最近圈子里讨论最多的除了各类大模型就要数人形机器人了。尤其是“北京人形机器人赛”里那些真假难辨的瞬间确实让人直观感受到这个赛道已经不只是实验室里的概念。很多开发者看完现场视频的第一反应是这东西到底是怎么做出来的我能不能也搭一个类似的仿真环境来跑通运动控制和视觉感知这篇文章不会去复述赛事现场而是把“真假难辨”背后的技术拆开来看。我们会围绕人形机器人的仿真环境搭建、运动控制、视觉感知、Sim-to-Real 迁移这几个核心模块讲清楚它们分别解决什么问题并给出一套可以在本地跑起来的最小实战项目。无论你是刚开始接触机器人开发的学生还是已经在做 ROS 相关项目的开发者这篇文章都能提供一个从零到一的完整参考。1. 背景与核心概念1.1 为什么人形机器人突然这么火人形机器人之所以受关注是因为它被设计成在人类的生活和生产环境中工作。工厂、仓库、家庭、医院这些场景里的工具、通道、操作习惯都是围绕人的身体结构设计的。从这个角度看两条腿、两只手、一个头的外形不是炫技而是为了适配真实世界的物理环境。但要造出一个“真假难辨”的人形机器人远比造一个轮式机器人复杂。它至少涉及以下几个技术层面运动控制双腿行走、平衡、转向、上下坡都需要实时计算关节力矩和足底受力。视觉感知识别物体、估计深度、判断可通行区域需要传感器和算法配合。决策规划在动态环境中决定下一步走到哪里、手往哪里伸。硬件本体电机、减速器、传感器、计算单元都要足够紧凑、轻量、稳定。这也解释了为什么“人形机器人芯片”会成为热门关键词。端侧算力决定了机器人能不能在低延迟下完成感知和控制闭环而不是把所有数据都传到云端再决策。1.2 “真假难辨”在技术上的含义赛事视频里“真假难辨”的直观感受本质上来自几个技术指标的叠加动作自然度关节轨迹平滑、步态自然不再像早期机器人那样僵硬。视觉真实感外壳材质、反光、手指细节、面部表情或灯光下的一举一动都更接近真人。响应速度从感知到动作的延迟足够低人看起来“反应很快”。但对开发者来说这些效果背后依赖的是软件系统的完整度而不是某一个算法的突破。真实项目中你更关心的是能不能用仿真环境快速验证算法能不能把仿真里训练好的策略迁移到真机上。1.3 仿真在整个人形机器人开发中的位置仿真环境的价值在于它允许开发者在低成本、零风险的条件下去验证算法。真实机器人一台可能价值几十万甚至上百万摔一次就是巨大损失。而仿真环境里你可以让机器人摔一万次也没问题。主流的做法是在仿真环境里构建机器人模型包括质量、惯量、关节限位、摩擦系数。设计或训练运动控制策略例如用强化学习训练步态。在仿真中反复测试收集数据和调整参数。等策略在仿真中表现稳定后再迁移到真实机器人。但仿真和现实永远有差距这就是 Sim-to-Real仿真到现实迁移问题。简单说仿真里建模再精细也无法完全复现真实世界的摩擦力、电机延迟、传感器噪声。所以我们必须用一些工程手段来减小这个差距。2. 环境准备与版本说明在开始实战之前先把本地的开发环境准备好。这一节给出的是通用配置思路具体版本需要根据你的系统环境灵活调整。本文的示例环境以 Ubuntu ROS 2 Python 为主这是目前人形机器人开发中最常见的组合。2.1 操作系统与基础环境推荐使用 Ubuntu 22.04 LTS。如果你用的是其他 Linux 发行版或者 Windows也可以安装双系统或使用 Docker 容器。# 查看系统版本 lsb_release -a安装基础编译工具sudo apt update sudo apt install -y build-essential cmake git python3-pip2.2 安装 ROS 2ROS 2 是目前机器人开发的事实标准。它提供了一套完整的通信、驱动和工具链让人形机器人不同模块之间可以互相通信。ROS 2 有很多发行版本Ubuntu 22.04 对应的是 Humble Hawksbill。安装步骤如下# 设置软件源 sudo apt install software-properties-common sudo add-apt-repository universe sudo apt update # 添加 ROS 2 GPG 密钥 sudo apt install -y curl sudo curl -sSL https://raw.githubusercontent.com/ros/rosdistro/master/ros.key -o /usr/share/keyrings/ros-archive-keyring.gpg # 添加软件源 echo deb [arch$(dpkg --print-architecture) signed-by/usr/share/keyrings/ros-archive-keyring.gpg] http://packages.ros.org/ros2/ubuntu $(. /etc/os-release echo $UBUNTU_CODENAME) main | sudo tee /etc/apt/sources.list.d/ros2.list /dev/null sudo apt update sudo apt install -y ros-humble-desktop安装完成后配置环境变量echo source /opt/ros/humble/setup.bash ~/.bashrc source ~/.bashrc验证安装ros2 --version2.3 安装仿真引擎仿真引擎选择很多常见的有Gazebo Classic老牌仿真器ROS 生态集成好。Gazebo Harmonic / Fortress新一代版本。MuJoCo轻量、速度快特别适合强化学习训练。Isaac Sim英伟达出品适合带视觉的训练但对显卡要求高。本文实战部分使用 MuJoCo 作为示例因为它的安装简单、硬件要求低适合快速跑通一个完整流程。pip install mujoco2.4 安装深度学习相关库运动控制策略中我们用 PyTorch 做简单的策略训练或推理。pip install torch --index-url https://download.pytorch.org/whl/cpu pip install numpy scipy matplotlib这里用了 CPU 版本的 PyTorch因为本文示例的重点是理解流程不是训练大模型。如果后续要做大规模 Reinforcement Learning 训练再根据显卡安装 CUDA 版本。3. 核心原理拆解3.1 运动控制的基本模型人形机器人要解决的问题是给定一个目标位置机器人怎么移动腿和身体才能走过去而且不掉倒。简化来看机器人身体可以理解为一个多刚体系统。它的状态包括机身的位置和姿态3D 坐标 旋转角度每个关节的角度和角速度每个足底与地面的接触状态控制策略的任务就是根据当前状态输出下一时刻关节的力矩或角度指令。早期的做法是采用 ZMPZero Moment Point理论。它的核心思想是只要机器人脚底支撑多边形内的零力矩点保持稳定机器人就不会摔倒。这个方法在平地行走中效果很好但遇到地形变化时需要精确建模泛化能力有限。近几年的做法更多是结合深度强化学习让机器人通过不断的试错来学会行走。这个方法不是依靠人工设计的规则而是通过奖励函数来引导机器人学习目标行为。3.2 强化学习如何控制机器人行走强化学习的核心思想是让智能体通过与环境互动来学习策略。在人形机器人行走任务中智能体机器人的控制策略通常是一个神经网络。环境仿真环境或真实世界。状态机器人关节角度、速度、姿态信息。动作关节角度或力矩指令。奖励每步执行得好不好比如走得稳给正奖励摔倒给负奖励。我们用数学语言描述在每一步 t智能体观察状态 s_t根据策略输出动作 a_t环境返回下一状态 s_{t1} 和奖励 r_t。目标是找到一个策略使累计奖励最大化。一个常见的奖励函数设计思路def compute_reward(state, action, next_state, task): # 鼓励机器人向前移动 forward_velocity calculate_forward_speed(state, next_state) velocity_reward forward_velocity # 惩罚机身倾斜过大 torso_angle get_torso_pitch(state) orientation_penalty -abs(torso_angle) # 惩罚过大关节力矩 torque_penalty -torque_cost(action) # 如果摔倒给予大惩罚 fall_penalty -100 if is_fallen(state) else 0 total_reward ( velocity_reward * 1.0 orientation_penalty * 0.5 torque_penalty * 0.01 fall_penalty ) return total_reward奖励函数的设计直接影响最终学习到的步态。如果只奖励前进速度机器人可能会学到“连滚带爬”的怪异步态虽然跑得快但不够自然。所以工程中通常还会加入姿态、能量消耗等正则项让步态更接近人类。3.3 视觉感知与人机交互人形机器人要“真假难辨”光能走路还不行还得能感知周围环境。这涉及到计算机视觉和 SLAM即时定位与地图构建。在赛事现场很多机器人能准确识别障碍物、行人、抓取目标靠的是深度相机和视觉模型的配合。深度相机能输出 RGB 图像和深度图一个典型的处理流程是用目标检测模型识别出场景中的物体位置和类别。结合深度图获取物体的三维坐标。通过运动规划算法计算机械臂或身体如何移动去接近目标。3.4 Sim-to-Real仿真到现实的鸿沟仿真里训练好的策略直接搬到真机上通常会失效。原因有很多仿真模型的摩擦力不准。电机响应有延迟。传感器噪声被忽略。机械结构存在形变。缩小这个差距的常用方法有Domain Randomization在训练时随机化仿真参数比如摩擦力、重量、电机响应时间。让策略学会在多种环境下都可行。System Identification先通过真实数据辨识出仿真模型的关键参数让仿真更接近真实。噪声注入在仿真环境中加入传感器噪声和延迟让策略适应不完美的感知。在你的第一个项目里不需要把 Sim-to-Real 做完整但理解这个概念非常重要因为它决定了仿真结果是不是真的能用。4. 完整实战案例搭建一个人形机器人仿真控制最小系统下面我们动手搭建一个简化版的人形机器人仿真控制项目。目标不是做出一个完全像赛事参与者的复杂机器人而是跑通一个完整的链路加载模型、读取状态、应用控制、可视化输出。4.1 创建项目结构先创建项目目录mkdir -p humanoid_sim/src cd humanoid_sim项目结构如下humanoid_sim/ ├── models/ │ └── simple_humanoid.xml ├── scripts/ │ ├── run_control.py │ └── train_policy.py └── README.md4.2 创建一个简化人形机器人模型在 MuJoCo 中XML 文件用来描述机器人的物理属性。下面是一个简化的人形机器人模型包含躯干、两条腿和部分关节。文件路径models/simple_humanoid.xmlmujoco modelsimple_humanoid compiler angledegree coordinatelocal inertiafromgeomtrue/ option timestep0.002 gravity0 0 -9.81/ asset texture typeskybox builtingradient rgb10.4 0.6 1 rgb20 0 0/ texture namebody typecube builtinflat markcross width150 height150 rgb10.8 0.8 0.8/ material namebodyMat texturebody rgba1 1 1 1/ material namegroundMat rgba0.6 0.55 0.5 1/ /asset default joint typehinge axis0 0 1 damping0.1/ geom typecapsule density1000 friction1 0.1 0.1 materialbodyMat/ /default worldbody geom nameground typeplane size10 10 0.1 materialgroundMat friction1 0.5 0.1/ light namelight1 pos0 3 5 dir0 -1 -1/ !-- Torso -- body nametorso pos0 0 0.9 geom nametorso_geom fromto0 0 0.85 0 0 1.05 size0.12/ joint nameroot typefree/ !-- Left Leg -- body nameleft_thigh pos-0.1 0 0.8 geom nameleft_thigh_geom fromto-0.1 0 0.8 -0.1 0 0.5 size0.06/ joint nameleft_hip axis-1 0 0 range-60 60/ /body body nameleft_shin pos-0.1 0 0.5 geom nameleft_shin_geom fromto-0.1 0 0.5 -0.1 0 0.25 size0.05/ joint nameleft_knee axis-1 0 0 range0 150/ /body !-- Right Leg -- body nameright_thigh pos0.1 0 0.8 geom nameright_thigh_geom fromto0.1 0 0.8 0.1 0 0.5 size0.06/ joint nameright_hip axis-1 0 0 range-60 60/ /body body nameright_shin pos0.1 0 0.5 geom nameright_shin_geom fromto0.1 0 0.5 0.1 0 0.25 size0.05/ joint nameright_knee axis-1 0 0 range0 150/ /body /body /worldbody /mujoco这个模型省略了手臂和复杂足部结构目的是把核心流程跑通。模型参数长度、质量、关节范围不够精确但它具备了一个人形机器人最基本的特征有躯干、有两条腿、有可动的髋关节和膝关节。4.3 编写控制脚本接下来写一个控制脚本让模型在仿真中运行。文件路径scripts/run_control.pyimport time import mujoco import mujoco.viewer import numpy as np MODEL_PATH models/simple_humanoid.xml def main(): # 加载模型 model mujoco.MjModel.from_xml_path(MODEL_PATH) data mujoco.MjData(model) # 获取关节索引和舵机控制范围 joint_names [ left_hip, left_knee, right_hip, right_knee, ] joint_ids [mujoco.mj_name2id(model, mujoco.mjtObj.mjOBJ_JOINT, name) for name in joint_names] joint_adr [model.jnt_qposadr[id] for id in joint_ids] joint_veladr [model.jnt_dofadr[id] for id in joint_ids] # 仿真时长 10 秒 duration 10.0 sim_steps int(duration / model.opt.timestep) # 简单的周期动作参数 amplitude 0.3 frequency 1.5 print(开始仿真总步数:, sim_steps) with mujoco.viewer.launch_passive(model, data) as viewer: for step in range(sim_steps): t step * model.opt.timestep # 生成髋关节和膝关节的周期动作 left_hip_angle amplitude * np.sin(2 * np.pi * frequency * t) right_hip_angle amplitude * np.sin(2 * np.pi * frequency * t np.pi) left_knee_angle max(0.0, amplitude * np.sin(2 * np.pi * frequency * t)) right_knee_angle max(0.0, amplitude * np.sin(2 * np.pi * frequency * t np.pi)) # 设置关节目标角度 data.qpos[joint_adr[0]] left_hip_angle data.qpos[joint_adr[1]] left_knee_angle data.qpos[joint_adr[2]] right_hip_angle data.qpos[joint_adr[3]] right_knee_angle # 执行仿真步 mujoco.mj_step(model, data) # 同步 viewer viewer.sync() # 每 100 步输出一次状态 if step % 100 0: print(fstep{step}, t{t:.3f}s, ftorso_pos_x{data.qpos[0]:.3f}, ftorso_pos_z{data.qpos[2]:.3f}) time.sleep(0.001) print(仿真结束) if __name__ __main__: main()这段代码做了几件事加载我们创建的 XML 模型文件。获取需要控制的关节索引。在循环中按时间生成正弦周期信号作为关节角度指令。调用mj_step推进仿真。使用mujoco.viewer提供实时可视化。需要注意这个控制方式非常粗糙实际上机器人光靠这几个周期信号根本走不起来。但别急这一步的目的是让你看到仿真环境是如何运行和交互的先跑通链路再谈优化。4.4 运行与验证回到项目根目录运行脚本cd humanoid_sim python scripts/run_control.py如果你的环境没有问题会弹出一个可视化窗口里面是一个灰色的人形机器人站在地面上。你会看到它的腿在周期性地摆动但因为缺乏平衡控制大概率很快就会摔倒。预期的控制台输出类似开始仿真总步数: 5000 step0, t0.000s, torso_pos_x0.000, torso_pos_z0.900 step100, t0.200s, torso_pos_x0.001, torso_pos_z0.899 step200, t0.400s, torso_pos_x0.005, torso_pos_z0.891 ...这里最关键的两个状态量是torso_pos_x躯干在水平方向的位置。如果机器人跌倒这个值会快速变化或被地面拦截。torso_pos_z躯干在垂直方向的高度。初始是 0.9 米如果跌倒这个值会变成接近地面高度。如果机器人摔倒了不要怀疑代码写错了这是预期行为。下一步我们会讨论如何让行走变得稳定。4.5 结果说明通过这个例子你至少可以理解仿真环境是如何推进的每一帧需要计算状态更新。关节角度控制是怎么设置的直接修改data.qpos中的关节自由度。可视化如何辅助调试launch_passive可以实时显示机器人的运动状态。这个流程是一切高级控制算法的基础。后续无论是接入强化学习策略还是换成真实机器人逻辑都是相似的。5. 常见问题与排查思路在仿真实战中新手会遇到很多问题。下面整理了几个最常见的方向并给出排查思路。问题现象常见原因解决思路模型加载时报错找不到文件XML 路径错误或依赖资源缺失检查路径是否与脚本运行目录对应使用绝对路径可视化窗口黑色或没有机器人viewer 启动异常确认是否在本地有显示环境远程服务器需要用 X11 转发机器人站不稳直接倒地模型参数或控制策略不合理先检查重心投影是否在支撑多边形内再调整控制频率和关节扭矩仿真速度很慢timestep 太小或模型接触面过多适当增大 timestep例如从 0.002 改为 0.005关节角度设置后不生效设置的是qpos而不是速度或力矩控制检查你是否混淆了位置控制、速度控制和力控制仿真结果和真机差距大未考虑传感器噪声和延迟在仿真中增加噪声模型训练阶段使用 Domain Randomization5.1 机器人为什么总是摔倒这是最常遇到的问题。根本原因是人形机器人本身就是不稳定系统尤其是双腿支撑面积小重心稍微偏移就会失衡。简单的周期信号无法应对这种不稳定。要解决这个问题有两条路径基于模型的控制器比如 LQR、MPC利用机器人动力学模型来实时计算需要的关节力矩。基于学习的控制器用强化学习在仿真中让机器人学会站立和行走。对于入门者我建议先试着稳定“站立”而不是“行走”。给所有关节指定一个目标角度使得机器人处于直立状态然后观察它能否稳定站着。如果这个都做不到说明模型或参数有问题。5.2 为什么仿真参数改了很多效果还是不好很多新手会把所有参数放在一起调结果效果不好也分不清是谁的问题。正确的排查顺序是先检查模型是否正确重心高度、质量分布、关节限位。再检查控制频率是否足够一般控制频率至少要在 200Hz 以上也就是每 5ms 控制一次。再检查奖励或误差指标你优化的目标是什么前进距离还是姿态稳定最后检查环境噪声如果仿真里没有噪声迁移到实际问题时会崩。5.3 如何选择合适的仿真器仿真器优点缺点适用场景MuJoCo速度快、精度高、支持梯度计算可视化一般强化学习训练、快速验证GazeboROS 集成好、插件丰富速度慢、模型复杂度高配合 ROS 做整体系统仿真Isaac Sim视觉效果好、支持 Omniverse对显卡要求高视觉感知 物理仿真结合PyBullet简单易用物理精度一般学习调试如果只是做控制策略训练推荐 MuJoCo。如果做完整 ROS 系统联调推荐 Gazebo。如果主要做视觉相关任务可以考虑 Isaac Sim。6. 最佳实践与工程建议6.1 模型文件管理人形机器人的 XML 模型是后续所有工作的基础建议从一开始就规范化管理把模型参数抽离成常量或 Python 配置类不要硬编码在代码里。每次修改模型参数后用 git 打 tag方便回溯。记录模型参数的来源和依据例如质量参数的测量值来源。6.2 控制器的分层设计成熟的机器人软件栈通常分为三层任务层决定机器人该做什么例如“走到门口”。导航/运动规划层在给定任务下规划路径和步态。底层控制层执行具体的关节力矩、位置指令。不要把这三层逻辑全部写在一个脚本里。哪怕只是学习项目也建议按模块切分方便后续替换任何一个环节。6.3 仿真与现实的差距管理前面提到过 Domain Randomization这里给出一个更具体的工程建议在训练阶段不要固定唯一的一组物理参数而是让每次训练随机采样参数。例如import random def sample_random_physics_parameters(): return { friction: random.uniform(0.8, 1.2), torso_mass: random.uniform(8.0, 12.0), motor_delay: random.uniform(0.0, 0.04), sensor_noise: random.uniform(0.0, 0.05), }这样训练出来的策略不是一个“死记硬背的动作”而是在多种物理条件下都合理的通用策略迁移到真机上的成功率会高很多。6.4 记录和回放无论是训练还是测试都建议把机器人的状态记录成文件后续可以离线分析。简单做法是保存为 CSV 或 npzimport numpy as np def log_trajectory(trajectories, filename): np.savez(filename, torquestrajectories[torques], qpostrajectories[qpos], timestrajectories[times])有了回放数据你才能知道某一次失败是发生在控制阶段还是感知阶段。6.5 安全与合规如果后续你在真实机器人上做实验一定要在安全环境中进行并明确以下事项确定设备和操作人员出现意外时的急停方案。先在小范围内验证动作安全边界再扩大到完整实验。数据采集涉及人形机器人对人物的识别、感知时注意遵守隐私和合规要求不要采集和传播敏感信息。使用开源模型和数据集时务必确认许可证允许你的使用类型。6.6 芯片算力与端侧部署回到“全志科技 人形机器人芯片”这个话题。在人形机器人产品中端侧算力是决定部署效果的关键。一个完整的感知-决策-控制循环如果延迟过大机器人就无法快速响应表现自然会“僵硬”。所以工程上通常会考虑把计算量大的模型进行量化和剪枝减少芯片负载。将任务拆分为高频控制例如 500Hz和低频感知例如 10Hz两者解耦。在性能受限的芯片上优先保证控制闭环的实时性感知可以适当降频或降低分辨率。7. 总结与下一步建议这篇文章从“真假难辨”的人形机器人热闹现场出发实际拆解了背后的核心技术并提供了一个最小可运行的仿真控制项目。你现在应该能够理解人形机器人开发中运动控制、视觉感知、Sim-to-Real 迁移的基本概念。完成一个基于 MuJoCo 的简化人形机器人模型搭建。运行一个基本的仿真脚本观察机器人在仿真环境中的运动状态。知道在仿真到现实迁移过程中可能遇到的问题和常规解决方向。下一步你可以考虑按照以下路径继续深入先稳定“站立”用 PID 或 LQR 让机器人保持直立体验反馈控制的作用。挑战“行走”接入强化学习框架如 Stable-Baselines3、RSL RL在 MuJoCo 中训练一个步态策略。尝试“感知”接入相机仿真可以使用 MuJoCo 的渲染功能实现一个简单的障碍物识别和躲避流程。探索真实硬件如果手头有开发板或舵机可以尝试把控制逻辑移植到嵌入式环境感受仿真与现实的硬件差异。在做仿真实验时我最后再提醒一句先保证基础控制闭环稳定再叠加感知和决策不要一上来就堆复杂度。人形机器人看起来很酷但它背后是大量的工程打磨和边界条件处理。希望这篇文章能帮你迈出第一步。