快速完成 LeRobot 遥操作录制与策略训练一套完整的仿真环境实操笔记【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotLeRobot 是一个端到端机器人学习的开源框架。这篇笔记带你在一台桌面机器上完成三件事用遥操作录制演示数据、训练一个操作策略、在仿真环境中给它打分。全程只依赖三组命令lerobot-record、lerobot-train、lerobot-eval。仿真训练环境最少要装哪几样依赖Python 3.12 加三条安装命令用一条 import 验证是否齐了。机器要求不苛刻16GB 内存、约 50GB 磁盘用于依赖和数据缓存有 NVIDIA GPU 训练会快很多没有也能跑只是小数据集上慢一些。以下命令整体做四件事拉取源码、建独立 conda 环境、装视频解码依赖、安装该框架本体加 aloha 与 pusht 两个仿真环境和训练依赖git clone https://gitcode.com/GitHub_Trending/le/lerobot # 拉取仓库源码 cd lerobot conda create -y -n lerobot python3.12 conda activate lerobot # 建专用 Python 3.12 环境 conda install ffmpeg -c conda-forge # 视频解码依赖 pip install -e .[aloha,pusht,training] # 装框架 两个仿真环境 训练依赖方括号里的 extra 决定装哪些可选模块aloha/pusht 是评估用的仿真环境training 带 wandb 与数据集读写依赖。验证出口python -c import gym_aloha, gym_pusht, lerobot; print(lerobot.__version__) # 打印出版本号即依赖齐全常见偏航某个包 import 失败说明对应 extra 没装上把该行补进 pip 命令重跑即可无 GPU 用户可把 torch 换成 CPU 版本安装更快训练只是变慢。第一批遥操作数据怎么录才靠谱录 50 集起步录完逐集检查动作失真的集直接移除。遥操作录制的意思是你用手推主臂leader从动臂follower跟着动lerobot-record 在背后同步存下每一帧画面、关节角度和你发的动作。以下命令整体做一件事用 SO100 主从臂组合录 50 集抓方块演示并写入指定数据集。lerobot-record \ --robot.typeso100_follower --robot.port/dev/ttyACM0 \ --teleop.typeso100_leader \ --dataset.repo_id你/pick_cube \ --dataset.num_episodes50 \ --dataset.single_taskGrab the cube参数含义--robot.type / --robot.port从动臂型号与串口--teleop.type主臂型号--dataset.repo_id数据集 ID用户名/数据集名--dataset.num_episodes录制集数建议 50 起步--dataset.single_task一句话任务描述每录完一集程序会提示 Reset the environment留给你十几秒把物体摆回初始位姿摆好再松手下一集才开始。若尚未接入物理设备可以直接跳过录制用 Hub 上的公开演示数据集如 lerobot/aloha_insertion替换 --dataset.repo_id 用于训练与评估。验证出口lerobot-dataset-viz --repo_id你/pick_cube # 打开可视化页面抽查视频帧与动作曲线是否对齐常见偏航某集动作忽大忽小基本是录制失败用 lerobot-edit-dataset 移除该集不要混进训练。策略选型时最该盯哪两个指标数据量需求定策略下限推理速度定部署余量入门选 ACT。策略数据量需求推理速度适合场景Diffusion100 集较慢动作分布多模态、精细抓取ACT约 50 集快单臂/双臂仿人操作入门首选TDMPC20~50 集快低维状态观测、无相机的小任务在此基础上先用 ACT 训第一版50 集演示通常就能出效果单卡训练几小时可完成 10 万步源码在 src/lerobot/policies/act/默认超参一般不用动。lerobot-train \ --dataset.repo_id你/pick_cube \ --policy.typeact \ --policy.devicecuda \ --output_diroutputs/train/act_pick \ --job_nameact_pick \ --wandb.enabletrue在录制的数据集上训练 ACT 策略checkpoint 存到 output_dirloss 曲线上传 wandb。验证出口训练期间看 wandb 的 loss 曲线稳定下降说明在学跑完后 outputs/train/act_pick/checkpoints/ 下有最新权重。常见偏航不开 wandb 的话训练中看不到曲线只能事后翻日志首跑务必带上 --wandb.enabletrue。评估结果里哪三个数决定成败eval_info.json 里的 pc_success、avg_sum_reward、eval_ep_s 三个字段。评估就是把训好的策略放回仿真环境自己跑若干集让它自主完成任务。以下命令整体做一件事用最新 checkpoint 在 aloha 仿真环境跑 20 集并写分。lerobot-eval \ --policy.pathoutputs/train/act_pick/checkpoints/step/pretrained_model \ --env.typealoha --env.taskAlohaInsertion-v0 \ --eval.n_episodes20 \ --policy.devicecudapc_success成功率。20 集成了 15 集就是 75是核心判据。avg_sum_reward单集累计奖励。成功率接近时它更高说明完成得更稳、步数更省。eval_ep_s单集耗时。推理太慢的模型部署到物理设备会掉帧这是前置指标。验证出口cat outputs/eval/eval_info.json # 查看三个得分字段路径以 --output_dir 为准常见偏航指标不达标时先补数据每集换一种物体初始位姿多样性直接决定泛化其次再调 --batch_size 与学习率。部署至物理设备前要对齐哪些参数观测维度、动作维度、控制频率三处逐项核对再下发。仿真里 90% 的成功率不等于物理设备上 90%差异集中在三处观测维度用 lerobot-info 核对数据集特征训练用过的观测项必须都在实际相机与传感器输出里动作空间相机数量、关节角/末端位姿表示要与训练时一致维度错一位动作全乱控制频率--fps 与训练数据集保持一致物理设备常见 10~30Hz核对完成后用 lerobot-rollout 下发策略lerobot-rollout \ --strategy.typebase \ --policy.pathoutputs/train/act_pick/checkpoints/step/pretrained_model \ --robot.typeso100_follower --robot.port/dev/ttyACM0 \ --taskGrab the cube --duration30基础策略下在物理设备上用训练好的权重推理 30 秒。验证出口首跑加 --display_datatrue在 Rerun 窗口里看夹爪与关节曲线过渡平滑即可用动作响应不足时用 rollout 配置中的 torch compile 参数提速推理字段名以仓库内 rollout 配置实际定义为准。你想做什么去哪里看深入某个策略的原理与训练配方src/lerobot/policies/ 及官方 docs/多卡分布式训练docs/source/multi_gpu_training.mdx结合强化学习继续进化docs/source/hilserl.mdx 与 src/lerobot/rl/【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 快速完成 LeRobot 遥操作录制与策略训练：一套完整的仿真环境实操笔记
快速完成 LeRobot 遥操作录制与策略训练一套完整的仿真环境实操笔记【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotLeRobot 是一个端到端机器人学习的开源框架。这篇笔记带你在一台桌面机器上完成三件事用遥操作录制演示数据、训练一个操作策略、在仿真环境中给它打分。全程只依赖三组命令lerobot-record、lerobot-train、lerobot-eval。仿真训练环境最少要装哪几样依赖Python 3.12 加三条安装命令用一条 import 验证是否齐了。机器要求不苛刻16GB 内存、约 50GB 磁盘用于依赖和数据缓存有 NVIDIA GPU 训练会快很多没有也能跑只是小数据集上慢一些。以下命令整体做四件事拉取源码、建独立 conda 环境、装视频解码依赖、安装该框架本体加 aloha 与 pusht 两个仿真环境和训练依赖git clone https://gitcode.com/GitHub_Trending/le/lerobot # 拉取仓库源码 cd lerobot conda create -y -n lerobot python3.12 conda activate lerobot # 建专用 Python 3.12 环境 conda install ffmpeg -c conda-forge # 视频解码依赖 pip install -e .[aloha,pusht,training] # 装框架 两个仿真环境 训练依赖方括号里的 extra 决定装哪些可选模块aloha/pusht 是评估用的仿真环境training 带 wandb 与数据集读写依赖。验证出口python -c import gym_aloha, gym_pusht, lerobot; print(lerobot.__version__) # 打印出版本号即依赖齐全常见偏航某个包 import 失败说明对应 extra 没装上把该行补进 pip 命令重跑即可无 GPU 用户可把 torch 换成 CPU 版本安装更快训练只是变慢。第一批遥操作数据怎么录才靠谱录 50 集起步录完逐集检查动作失真的集直接移除。遥操作录制的意思是你用手推主臂leader从动臂follower跟着动lerobot-record 在背后同步存下每一帧画面、关节角度和你发的动作。以下命令整体做一件事用 SO100 主从臂组合录 50 集抓方块演示并写入指定数据集。lerobot-record \ --robot.typeso100_follower --robot.port/dev/ttyACM0 \ --teleop.typeso100_leader \ --dataset.repo_id你/pick_cube \ --dataset.num_episodes50 \ --dataset.single_taskGrab the cube参数含义--robot.type / --robot.port从动臂型号与串口--teleop.type主臂型号--dataset.repo_id数据集 ID用户名/数据集名--dataset.num_episodes录制集数建议 50 起步--dataset.single_task一句话任务描述每录完一集程序会提示 Reset the environment留给你十几秒把物体摆回初始位姿摆好再松手下一集才开始。若尚未接入物理设备可以直接跳过录制用 Hub 上的公开演示数据集如 lerobot/aloha_insertion替换 --dataset.repo_id 用于训练与评估。验证出口lerobot-dataset-viz --repo_id你/pick_cube # 打开可视化页面抽查视频帧与动作曲线是否对齐常见偏航某集动作忽大忽小基本是录制失败用 lerobot-edit-dataset 移除该集不要混进训练。策略选型时最该盯哪两个指标数据量需求定策略下限推理速度定部署余量入门选 ACT。策略数据量需求推理速度适合场景Diffusion100 集较慢动作分布多模态、精细抓取ACT约 50 集快单臂/双臂仿人操作入门首选TDMPC20~50 集快低维状态观测、无相机的小任务在此基础上先用 ACT 训第一版50 集演示通常就能出效果单卡训练几小时可完成 10 万步源码在 src/lerobot/policies/act/默认超参一般不用动。lerobot-train \ --dataset.repo_id你/pick_cube \ --policy.typeact \ --policy.devicecuda \ --output_diroutputs/train/act_pick \ --job_nameact_pick \ --wandb.enabletrue在录制的数据集上训练 ACT 策略checkpoint 存到 output_dirloss 曲线上传 wandb。验证出口训练期间看 wandb 的 loss 曲线稳定下降说明在学跑完后 outputs/train/act_pick/checkpoints/ 下有最新权重。常见偏航不开 wandb 的话训练中看不到曲线只能事后翻日志首跑务必带上 --wandb.enabletrue。评估结果里哪三个数决定成败eval_info.json 里的 pc_success、avg_sum_reward、eval_ep_s 三个字段。评估就是把训好的策略放回仿真环境自己跑若干集让它自主完成任务。以下命令整体做一件事用最新 checkpoint 在 aloha 仿真环境跑 20 集并写分。lerobot-eval \ --policy.pathoutputs/train/act_pick/checkpoints/step/pretrained_model \ --env.typealoha --env.taskAlohaInsertion-v0 \ --eval.n_episodes20 \ --policy.devicecudapc_success成功率。20 集成了 15 集就是 75是核心判据。avg_sum_reward单集累计奖励。成功率接近时它更高说明完成得更稳、步数更省。eval_ep_s单集耗时。推理太慢的模型部署到物理设备会掉帧这是前置指标。验证出口cat outputs/eval/eval_info.json # 查看三个得分字段路径以 --output_dir 为准常见偏航指标不达标时先补数据每集换一种物体初始位姿多样性直接决定泛化其次再调 --batch_size 与学习率。部署至物理设备前要对齐哪些参数观测维度、动作维度、控制频率三处逐项核对再下发。仿真里 90% 的成功率不等于物理设备上 90%差异集中在三处观测维度用 lerobot-info 核对数据集特征训练用过的观测项必须都在实际相机与传感器输出里动作空间相机数量、关节角/末端位姿表示要与训练时一致维度错一位动作全乱控制频率--fps 与训练数据集保持一致物理设备常见 10~30Hz核对完成后用 lerobot-rollout 下发策略lerobot-rollout \ --strategy.typebase \ --policy.pathoutputs/train/act_pick/checkpoints/step/pretrained_model \ --robot.typeso100_follower --robot.port/dev/ttyACM0 \ --taskGrab the cube --duration30基础策略下在物理设备上用训练好的权重推理 30 秒。验证出口首跑加 --display_datatrue在 Rerun 窗口里看夹爪与关节曲线过渡平滑即可用动作响应不足时用 rollout 配置中的 torch compile 参数提速推理字段名以仓库内 rollout 配置实际定义为准。你想做什么去哪里看深入某个策略的原理与训练配方src/lerobot/policies/ 及官方 docs/多卡分布式训练docs/source/multi_gpu_training.mdx结合强化学习继续进化docs/source/hilserl.mdx 与 src/lerobot/rl/【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考