仿真技术特别是使用GPU加速的框架对于将机器人学习扩展到超越真实世界数据收集的限制和风险至关重要它能够在数千个多样化的并行环境中进行训练。NVIDIA Isaac Lab在一个模块化、开源的架构中统一了物理、渲染、感知和学习支持具有同步、高保真数据流、程序化场景生成以及开箱即用的强化和模仿学习工作流的多模态机器人学习。包括Agility Robotics、Skild AI、FieldAI、The Robotics and AI Institute和UCR在内的主要机器人组织都已采用Isaac Lab来加速开发、仿真到现实的迁移以及部署强大的通用机器人策略和基础模型。构建强大、智能的机器人需要在复杂环境中对其进行测试。然而在物理世界中收集数据成本高昂、速度缓慢而且通常很危险。要安全地训练应对现实世界中的关键风险如高速碰撞或硬件故障几乎是不可能的。更糟糕的是现实世界的数据通常偏向于“正常”条件使得机器人在面对意外情况时毫无准备。仿真是弥合这一差距的关键它提供了一个无风险的环境进行严谨的开发。然而传统的仿真流程难以支持现代机器人学的复杂需求。如今的通用机器人必须掌握多模态学习——融合视觉、触觉和本体感觉等多种输入以在杂乱、非结构化的世界中导航。这给仿真带来了新的要求它必须在一个紧密的训练循环中提供规模、真实感和多模态感知这是传统CPU限制的仿真器无法高效处理的。本期NVIDIA机器人研究与发展文摘R²D²解释了NVIDIA Isaac Lab一个来自NVIDIA Research的开源GPU原生仿真框架如何将这些能力统一到一个专为大规模、多模态机器人学习设计的架构中。关键的机器人学习挑战现代机器人学习对仿真基础设施提出了极高要求。为了高效训练鲁棒的策略研究人员必须克服关键障碍包括将仿真扩展到数千个并行环境以克服CPU限制工具的缓慢训练时间将多种传感器模态视觉、力觉、本体感觉集成到同步、高保真的数据流中模拟真实的驱动器和控制频率以捕捉物理硬件的细微差别通过强大的领域随机化和精确的物理模拟弥合仿真与现实部署之间的差距Isaac Lab开源的统一机器人学习框架Isaac Lab是一个用于多模态机器人学习的GPU加速仿真框架。它是一个统一的、GPU原生的平台旨在解决现代机器人学习的挑战。通过将物理、渲染、感知和学习整合到一个架构中它为研究人员提供了以前所未有的规模和保真度训练通用智能体的技术。图1. Isaac Lab仿真框架支持多种机器人应用Isaac Lab核心要素Isaac Lab的关键要素包括GPU原生架构为物理和渲染提供端到端的GPU加速实现大规模并行计算大幅减少训练时间。模块化与可组合设计为不同的实体人形机器人、机械臂提供灵活的组件并支持可复用的环境加速开发。多模态仿真利用平铺式RTX渲染和基于Warp的传感器生成丰富的、同步的观测数据视觉、深度、触觉并配以真实的多频率控制循环。集成工作流提供对强化学习和模仿学习的内置支持简化了大规模数据收集、领域随机化和策略评估的流程。它能够与包括SKRL、RSL-RL、RL-Games、SB3和Ray在内的顶级强化学习库开箱即用并可与NVIDIA Cosmos生成的数据无缝集成以增强模仿学习。Isaac Lab框架内部模块化工具包Isaac Lab将机器人学习分解为可组合的构建块使您能够构建复杂、可扩展的任务而无需“重复造轮子”。图2. Isaac Lab包含多样化的资产、多模态传感器和标准控制器其功能包括基于管理器的流程、程序化场景生成等。基于管理器的流程Isaac Lab没有将物理和逻辑混合在单一脚本中而是将环境解耦为独立的“管理器”分别用于观测、动作、奖励和事件。这使得代码模块化且可重用。例如您可以在不接触其传感器设置的情况下更换机器人的奖励函数。configclassclassMyRewardsCfg:# 将奖励定义为加权项track_lin_velRewTerm(funcmdp.track_lin_vel_xy_exp,weight1.0,params{std:0.5})penalty_lin_vel_zRewTerm(funcmdp.lin_vel_z_l2,weight-2.0)configclassclassMyEnvCfg(ManagerBasedRLEnvCfg):# 清晰地接入奖励配置rewards:MyRewardsCfgMyRewardsCfg()# ... 用于动作、观测等其他管理器程序化场景生成为了防止过拟合通常不希望在一个单一的静态场景上进行训练。借助Isaac Lab的场景生成工具您可以定义规则来程序化地生成多样化的环境。无论是为导航任务散布碎片还是为移动任务生成崎岖地形只需定义一次逻辑框架便能在GPU上构建数千种变体。# 配置包含多种子地形的地形生成器terrain_cfgTerrainGeneratorCfg(sub_terrains{pyramid_stairs:MeshPyramidStairsTerrainCfg(proportion0.2,step_height_range(0.05,0.2)),rough_ground:MeshRandomGridTerrainCfg(proportion0.8,noise_scale0.1),})更多功能此外Isaac Lab还提供一个统一的资产API用于从USD、URDF或MJCF导入任何机器人。用于模拟电机动力学的真实驱动器以及从IMU到逼真RTX相机的10多种传感器类型。一个内置的遥操作堆栈进一步简化数据收集。这些功能共同构成了从原型到部署策略所需的一切。提供GPU加速的大规模性能Isaac Lab为现代机器人学习提供了所需的大规模吞吐量对于人形机器人移动Unitree H1达到135,000 FPS对于操作任务Franka Cabinet超过150,000 FPS——在几分钟内训练策略而非几天。其统一的GPU架构消除了CPU瓶颈即使在4096个环境中启用复杂的RGB-D传感器也能保持高吞吐量。基准测试证实了与显存的线性扩展以及对各种实体包括灵巧手、多智能体集群以及在户外稳健行走的H1人形机器人的成功零样本迁移。规范的机器人学习流程Isaac Lab将机器人学习循环标准化为一个清晰的、以Python为先的工作流程。无论是训练移动策略还是操作技能过程都遵循相同的四个步骤设计、随机化、训练和验证。要开箱即用地运行一个完整示例——训练一个人形机器人行走请按照以下步骤操作。步骤1设计与配置首先在Python中定义您的环境。使用配置类选择您的机器人例如Unitree H1、传感器和随机化逻辑# 配置的伪代码表示configclassclassH1FlatEnvCfg(ManagerBasedRLEnvCfg):sceneInteractiveSceneCfg(num_envs4096,env_spacing2.5)robotArticulationCfg(prim_path{ENV_REGEX_NS}/Robot,spawn...)# 随机化和奖励在此定义有关更多详细信息请参阅isaac-sim/IsaacLab GitHub仓库中的H1人形机器人环境配置。您还可以选择性地添加其他传感器。配置传感器非常简单。配置平铺式相机fromisaaclab.sensorsimportTiledCameraCfg# 定义安装在机器人头部的相机tiled_camera:TiledCameraCfgTiledCameraCfg(prim_path{ENV_REGEX_NS}/Robot/head/camera,offsetTiledCameraCfg.OffsetCfg(pos(-7.0,0.0,3.0),rot(0.9945,0.0,0.1045,0.0),conventionworld),data_types[rgb],spawnsim_utils.PinholeCameraCfg(focal_length24.0,focus_distance400.0,horizontal_aperture20.955,clipping_range(0.1,20.0)),width80,height80,)配置光线投射器激光雷达fromisaaclab.sensorsimportRayCasterCfg,patterns# 定义一个2D激光雷达扫描仪lidarRayCasterCfg(prim_path{ENV_REGEX_NS}/Robot/base_link/lidar,update_period0.1,# 以10Hz运行offsetRayCasterCfg.OffsetCfg(pos(0.0,0.0,0.2)),attach_yaw_onlyTrue,# 针对机器人倾斜进行稳定pattern_cfgpatterns.LidarPatternCfg(channels32,vertical_fov_range(-15.0,15.0),horizontal_fov_range(-180.0,180.0)))步骤2训练策略接下来启动训练脚本开始学习。Isaac Lab使用gymnasium接口因此可以轻松连接到RSL-RL或SKRL等强化学习库。# 为Unitree H1人形机器人训练一个策略# 这在您的GPU上并行运行4096个环境python source/standalone/workflows/rsl_rl/train.py--taskIsaac-Velocity-Flat-H1-v0步骤3运行与可视化训练完成后通过在推理模式下运行策略来验证其效果。这将加载训练好的检查点并渲染结果。# 运行训练好的策略并可视化机器人行走python source/standalone/workflows/rsl_rl/play.py--taskIsaac-Velocity-Flat-H1-v0步骤4仿真到现实的部署验证之后策略可以导出为ONNX或TorchScript格式以便部署到物理硬件上同时利用训练期间应用的领域随机化技术。要查看现实世界的示例请参阅仿真到现实部署指南。生态系统采用情况在人形机器人、具身智能和腿式移动领域的领先组织和研究实验室正在部署Isaac Lab以加速通用机器人策略和基础模型的开发包括Agility Robotics的通用人形机器人Digit使用Isaac Lab框架通过数百万个强化学习场景完善全身控制从而加速增强其技能集例如从环境干扰中恢复步态这在制造和物流设施等高度动态的区域通常是必需的。Skild AI正在构建一个涵盖腿式、轮式和类人机器人的通用机器人基础模型使用Isaac Lab进行移动和灵巧操作任务训练并使用NVIDIA Cosmos世界基础模型生成训练数据集。FieldAI正在训练跨实体机器人大脑用于建筑、制造和石油与天然气环境中的监控和检查使用Isaac Lab进行强化学习并使用NVIDIA Isaac Sim进行合成数据生成和软件在环验证。机器人与人工智能研究所使用NVIDIA Isaac Lab为敏捷腿式移动、动态全身操作和定制机器人平台训练高性能强化学习控制器优化仿真器参数以缩小仿真到现实的差距然后将策略部署在Boston Dynamics Spot和Atlas以及RAI的超移动车辆上。加州大学河滨分校正在NVIDIA Isaac平台上为重型工业打造坚固的人形机器人使用Isaac GR00T的合成数据管道、Isaac Lab和Isaac Sim来训练端到端的移动策略并迭代地缩小仿真到现实的差距以便在恶劣的建筑和工业现场稳健地部署Moby。开始多模态机器人学习准备好使用Isaac Lab扩展您自己的多模态机器人学习工作负载了吗从这里开始核心资源并通过最新的研究提升高级工作流。通过Isaac Lab快速入门指南安装并运行您的第一个环境。在Isaac Lab GitHub仓库中探索示例、环境和问题。跟随Isaac Lab入门学习路径。查阅Isaac Lab文档了解概念和API参考。使用Isaac Sim快速入门设置底层仿真器。了解更多关于研究人员如何利用仿真和生成式AI突破机器人学习边界的信息Harmon结合语言模型和物理直接从文本生成富有表现力的全身人形机器人动作。MaskedMimic一种通用控制策略通过运动补全学习多种技能无需复杂奖励即可简化人形机器人控制。SIMPLER一个在仿真中评估现实世界操作策略RT-1 Octo以可靠预测物理性能的框架。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享
基于NVIDIA Isaac Lab的多模态机器人学习扩展框架
发布时间：2026/6/27 6:50:36
仿真技术特别是使用GPU加速的框架对于将机器人学习扩展到超越真实世界数据收集的限制和风险至关重要它能够在数千个多样化的并行环境中进行训练。NVIDIA Isaac Lab在一个模块化、开源的架构中统一了物理、渲染、感知和学习支持具有同步、高保真数据流、程序化场景生成以及开箱即用的强化和模仿学习工作流的多模态机器人学习。包括Agility Robotics、Skild AI、FieldAI、The Robotics and AI Institute和UCR在内的主要机器人组织都已采用Isaac Lab来加速开发、仿真到现实的迁移以及部署强大的通用机器人策略和基础模型。构建强大、智能的机器人需要在复杂环境中对其进行测试。然而在物理世界中收集数据成本高昂、速度缓慢而且通常很危险。要安全地训练应对现实世界中的关键风险如高速碰撞或硬件故障几乎是不可能的。更糟糕的是现实世界的数据通常偏向于“正常”条件使得机器人在面对意外情况时毫无准备。仿真是弥合这一差距的关键它提供了一个无风险的环境进行严谨的开发。然而传统的仿真流程难以支持现代机器人学的复杂需求。如今的通用机器人必须掌握多模态学习——融合视觉、触觉和本体感觉等多种输入以在杂乱、非结构化的世界中导航。这给仿真带来了新的要求它必须在一个紧密的训练循环中提供规模、真实感和多模态感知这是传统CPU限制的仿真器无法高效处理的。本期NVIDIA机器人研究与发展文摘R²D²解释了NVIDIA Isaac Lab一个来自NVIDIA Research的开源GPU原生仿真框架如何将这些能力统一到一个专为大规模、多模态机器人学习设计的架构中。关键的机器人学习挑战现代机器人学习对仿真基础设施提出了极高要求。为了高效训练鲁棒的策略研究人员必须克服关键障碍包括将仿真扩展到数千个并行环境以克服CPU限制工具的缓慢训练时间将多种传感器模态视觉、力觉、本体感觉集成到同步、高保真的数据流中模拟真实的驱动器和控制频率以捕捉物理硬件的细微差别通过强大的领域随机化和精确的物理模拟弥合仿真与现实部署之间的差距Isaac Lab开源的统一机器人学习框架Isaac Lab是一个用于多模态机器人学习的GPU加速仿真框架。它是一个统一的、GPU原生的平台旨在解决现代机器人学习的挑战。通过将物理、渲染、感知和学习整合到一个架构中它为研究人员提供了以前所未有的规模和保真度训练通用智能体的技术。图1. Isaac Lab仿真框架支持多种机器人应用Isaac Lab核心要素Isaac Lab的关键要素包括GPU原生架构为物理和渲染提供端到端的GPU加速实现大规模并行计算大幅减少训练时间。模块化与可组合设计为不同的实体人形机器人、机械臂提供灵活的组件并支持可复用的环境加速开发。多模态仿真利用平铺式RTX渲染和基于Warp的传感器生成丰富的、同步的观测数据视觉、深度、触觉并配以真实的多频率控制循环。集成工作流提供对强化学习和模仿学习的内置支持简化了大规模数据收集、领域随机化和策略评估的流程。它能够与包括SKRL、RSL-RL、RL-Games、SB3和Ray在内的顶级强化学习库开箱即用并可与NVIDIA Cosmos生成的数据无缝集成以增强模仿学习。Isaac Lab框架内部模块化工具包Isaac Lab将机器人学习分解为可组合的构建块使您能够构建复杂、可扩展的任务而无需“重复造轮子”。图2. Isaac Lab包含多样化的资产、多模态传感器和标准控制器其功能包括基于管理器的流程、程序化场景生成等。基于管理器的流程Isaac Lab没有将物理和逻辑混合在单一脚本中而是将环境解耦为独立的“管理器”分别用于观测、动作、奖励和事件。这使得代码模块化且可重用。例如您可以在不接触其传感器设置的情况下更换机器人的奖励函数。configclassclassMyRewardsCfg:# 将奖励定义为加权项track_lin_velRewTerm(funcmdp.track_lin_vel_xy_exp,weight1.0,params{std:0.5})penalty_lin_vel_zRewTerm(funcmdp.lin_vel_z_l2,weight-2.0)configclassclassMyEnvCfg(ManagerBasedRLEnvCfg):# 清晰地接入奖励配置rewards:MyRewardsCfgMyRewardsCfg()# ... 用于动作、观测等其他管理器程序化场景生成为了防止过拟合通常不希望在一个单一的静态场景上进行训练。借助Isaac Lab的场景生成工具您可以定义规则来程序化地生成多样化的环境。无论是为导航任务散布碎片还是为移动任务生成崎岖地形只需定义一次逻辑框架便能在GPU上构建数千种变体。# 配置包含多种子地形的地形生成器terrain_cfgTerrainGeneratorCfg(sub_terrains{pyramid_stairs:MeshPyramidStairsTerrainCfg(proportion0.2,step_height_range(0.05,0.2)),rough_ground:MeshRandomGridTerrainCfg(proportion0.8,noise_scale0.1),})更多功能此外Isaac Lab还提供一个统一的资产API用于从USD、URDF或MJCF导入任何机器人。用于模拟电机动力学的真实驱动器以及从IMU到逼真RTX相机的10多种传感器类型。一个内置的遥操作堆栈进一步简化数据收集。这些功能共同构成了从原型到部署策略所需的一切。提供GPU加速的大规模性能Isaac Lab为现代机器人学习提供了所需的大规模吞吐量对于人形机器人移动Unitree H1达到135,000 FPS对于操作任务Franka Cabinet超过150,000 FPS——在几分钟内训练策略而非几天。其统一的GPU架构消除了CPU瓶颈即使在4096个环境中启用复杂的RGB-D传感器也能保持高吞吐量。基准测试证实了与显存的线性扩展以及对各种实体包括灵巧手、多智能体集群以及在户外稳健行走的H1人形机器人的成功零样本迁移。规范的机器人学习流程Isaac Lab将机器人学习循环标准化为一个清晰的、以Python为先的工作流程。无论是训练移动策略还是操作技能过程都遵循相同的四个步骤设计、随机化、训练和验证。要开箱即用地运行一个完整示例——训练一个人形机器人行走请按照以下步骤操作。步骤1设计与配置首先在Python中定义您的环境。使用配置类选择您的机器人例如Unitree H1、传感器和随机化逻辑# 配置的伪代码表示configclassclassH1FlatEnvCfg(ManagerBasedRLEnvCfg):sceneInteractiveSceneCfg(num_envs4096,env_spacing2.5)robotArticulationCfg(prim_path{ENV_REGEX_NS}/Robot,spawn...)# 随机化和奖励在此定义有关更多详细信息请参阅isaac-sim/IsaacLab GitHub仓库中的H1人形机器人环境配置。您还可以选择性地添加其他传感器。配置传感器非常简单。配置平铺式相机fromisaaclab.sensorsimportTiledCameraCfg# 定义安装在机器人头部的相机tiled_camera:TiledCameraCfgTiledCameraCfg(prim_path{ENV_REGEX_NS}/Robot/head/camera,offsetTiledCameraCfg.OffsetCfg(pos(-7.0,0.0,3.0),rot(0.9945,0.0,0.1045,0.0),conventionworld),data_types[rgb],spawnsim_utils.PinholeCameraCfg(focal_length24.0,focus_distance400.0,horizontal_aperture20.955,clipping_range(0.1,20.0)),width80,height80,)配置光线投射器激光雷达fromisaaclab.sensorsimportRayCasterCfg,patterns# 定义一个2D激光雷达扫描仪lidarRayCasterCfg(prim_path{ENV_REGEX_NS}/Robot/base_link/lidar,update_period0.1,# 以10Hz运行offsetRayCasterCfg.OffsetCfg(pos(0.0,0.0,0.2)),attach_yaw_onlyTrue,# 针对机器人倾斜进行稳定pattern_cfgpatterns.LidarPatternCfg(channels32,vertical_fov_range(-15.0,15.0),horizontal_fov_range(-180.0,180.0)))步骤2训练策略接下来启动训练脚本开始学习。Isaac Lab使用gymnasium接口因此可以轻松连接到RSL-RL或SKRL等强化学习库。# 为Unitree H1人形机器人训练一个策略# 这在您的GPU上并行运行4096个环境python source/standalone/workflows/rsl_rl/train.py--taskIsaac-Velocity-Flat-H1-v0步骤3运行与可视化训练完成后通过在推理模式下运行策略来验证其效果。这将加载训练好的检查点并渲染结果。# 运行训练好的策略并可视化机器人行走python source/standalone/workflows/rsl_rl/play.py--taskIsaac-Velocity-Flat-H1-v0步骤4仿真到现实的部署验证之后策略可以导出为ONNX或TorchScript格式以便部署到物理硬件上同时利用训练期间应用的领域随机化技术。要查看现实世界的示例请参阅仿真到现实部署指南。生态系统采用情况在人形机器人、具身智能和腿式移动领域的领先组织和研究实验室正在部署Isaac Lab以加速通用机器人策略和基础模型的开发包括Agility Robotics的通用人形机器人Digit使用Isaac Lab框架通过数百万个强化学习场景完善全身控制从而加速增强其技能集例如从环境干扰中恢复步态这在制造和物流设施等高度动态的区域通常是必需的。Skild AI正在构建一个涵盖腿式、轮式和类人机器人的通用机器人基础模型使用Isaac Lab进行移动和灵巧操作任务训练并使用NVIDIA Cosmos世界基础模型生成训练数据集。FieldAI正在训练跨实体机器人大脑用于建筑、制造和石油与天然气环境中的监控和检查使用Isaac Lab进行强化学习并使用NVIDIA Isaac Sim进行合成数据生成和软件在环验证。机器人与人工智能研究所使用NVIDIA Isaac Lab为敏捷腿式移动、动态全身操作和定制机器人平台训练高性能强化学习控制器优化仿真器参数以缩小仿真到现实的差距然后将策略部署在Boston Dynamics Spot和Atlas以及RAI的超移动车辆上。加州大学河滨分校正在NVIDIA Isaac平台上为重型工业打造坚固的人形机器人使用Isaac GR00T的合成数据管道、Isaac Lab和Isaac Sim来训练端到端的移动策略并迭代地缩小仿真到现实的差距以便在恶劣的建筑和工业现场稳健地部署Moby。开始多模态机器人学习准备好使用Isaac Lab扩展您自己的多模态机器人学习工作负载了吗从这里开始核心资源并通过最新的研究提升高级工作流。通过Isaac Lab快速入门指南安装并运行您的第一个环境。在Isaac Lab GitHub仓库中探索示例、环境和问题。跟随Isaac Lab入门学习路径。查阅Isaac Lab文档了解概念和API参考。使用Isaac Sim快速入门设置底层仿真器。了解更多关于研究人员如何利用仿真和生成式AI突破机器人学习边界的信息Harmon结合语言模型和物理直接从文本生成富有表现力的全身人形机器人动作。MaskedMimic一种通用控制策略通过运动补全学习多种技能无需复杂奖励即可简化人形机器人控制。SIMPLER一个在仿真中评估现实世界操作策略RT-1 Octo以可靠预测物理性能的框架。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享
