免训练直接用Ravens预训练模型与10套官方数据集下载速查指南【免费下载链接】ravensTrain robotic agents to learn pick and place with deep learning for vision-based manipulation in PyBullet. Transporter Nets, CoRL 2020.项目地址: https://gitcode.com/gh_mirrors/ra/ravensRavens 是基于 PyBullet 的视觉机器人操作仿真框架Transporter NetworksCoRL 2020提供 10 套桌面级抓取-放置pick and place任务的官方数据集与预训练模型。你无需自己采集数据、也无需从零训练下载后即可用test.py直接评估模型表现。本文是一份速查指南帮你 10 分钟内完成下载与首次运行。一分钟认识 Ravens10 个视觉操作任务Ravens 提供 Gym 风格的 API每个任务都内置两类专家资源脚本化 oracle可自动生成专家演示用于模仿学习奖励函数提供部分得分用于强化学习10 个任务涵盖 L 形方块插入、汉诺塔、堆叠金字塔、装箱、绳索操作等其中部分任务要求对未见物体做泛化部分需要多步闭环反馈。任务定义可在 ravens/tasks/init.py 中查看完整任务名映射含block-insertion-easy等变体。仿真场景为 UR5 机械臂 夹爪场景模型与贴图资产位于 ravens/environments/assets/ur5/ 目录。Ravens 官方数据集下载地址10 套任务 预训练模型官方数据集和预训练模型统一存放在 Google Cloud Storage共11 个压缩包checkpoints.zip 10 套任务数据集。执行以下命令即可全部下载wget https://storage.googleapis.com/ravens-assets/checkpoints.zip wget https://storage.googleapis.com/ravens-assets/block-insertion.zip wget https://storage.googleapis.com/ravens-assets/place-red-in-green.zip wget https://storage.googleapis.com/ravens-assets/towers-of-hanoi.zip wget https://storage.googleapis.com/ravens-assets/align-box-corner.zip wget https://storage.googleapis.com/ravens-assets/stack-block-pyramid.zip wget https://storage.googleapis.com/ravens-assets/palletizing-boxes.zip wget https://storage.googleapis.com/ravens-assets/assembling-kits.zip wget https://storage.googleapis.com/ravens-assets/packing-boxes.zip wget https://storage.googleapis.com/ravens-assets/manipulating-rope.zip wget https://storage.googleapis.com/ravens-assets/sweeping-piles.zip各任务包内容速查任务名任务内容需要泛化需要多步闭环block-insertion把 L 形红色方块放入 L 形夹具place-red-in-green从杂物中取红色方块放入绿色碗towers-of-hanoi汉诺塔小盘只能压大盘✅align-box-corner将随机尺寸盒子的角对齐 L 形标记✅stack-block-pyramid按彩虹色顺序堆 3-2-1 金字塔✅palletizing-boxes同规格箱子在托盘上交错码放✅assembling-kits按轮廓标记摆放不同零件✅packing-boxes把随机尺寸箱子紧凑装进容器✅✅manipulating-rope重排软绳使其连接三点✅sweeping-piles把小物体推入目标区域✅解压后每个任务会生成xxx-train与xxx-test两个数据目录如block-insertion-train/、block-insertion-test/训练集用偶数随机种子、测试集用奇数种子与 ravens/demos.py 中自动生成数据的规则一致。免训练三步上手加载预训练模型并运行测试第 1 步准备环境与代码建议 Python 3.7 TensorFlow 2.3依赖见 requirements.txt。克隆代码git clone https://gitcode.com/gh_mirrors/ra/ravens cd ravens pip install -r requirements.txt python setup.py install --user将下载的数据包解压到项目根目录data_dir默认就是当前目录。第 2 步理解预训练模型加载机制模型检查点保存在checkpoints/{任务名}-{智能体}-{n_demos}-{训练轮次}/目录下Transporter 智能体加载的是其中的attention-ckpt-{N}.h5与transport-ckpt-{N}.h5两个文件N 为训练迭代数加载逻辑见 ravens/agents/transporter.py。⚠️ 关键点--n_steps参数必须与检查点文件名中的迭代数一致否则找不到.h5文件。第 3 步直接运行测试免训练以block-insertion任务为例10 条演示、1000 迭代模型python ravens/test.py --assets_root./ravens/environments/assets/ --dispTrue --taskblock-insertion --agenttransporter --n_demos10 --n_steps1000参数说明--task任务名可换成 10 套数据集中的任意一个--agent智能体默认transporter全部可选智能体见 ravens/agents/init.py--n_demos训练时使用的演示数量必须与检查点目录名匹配--n_steps检查点迭代数--dispTrue有界面显示服务器环境去掉该参数即可无头运行测试结果会以.pkl文件保存在根目录随后一条命令出图python ravens/plot.py --dispTrue --taskblock-insertion --agenttransporter --n_demos10数据集目录结构速览每个数据集由若干回合episode组成每个回合按字段拆成 5 个子目录子目录内容格式color/RGB 图像uint8数组pkl 序列化depth/深度图float32数组action/原语动作及参数pklreward/逐步奖励成功回合总和 1pklinfo/物体 6D 位姿、尺寸、颜色pkl文件命名为{回合ID:06d}-{随机种子}.pkl。观察为 RGB-D 图像 相机参数位姿与内参动作是机器人调用的原语函数及参数。读写逻辑见 ravens/dataset.py。没有下载好的数据也能自己生成demos.py用脚本化 oracle 录制例如python ravens/demos.py --assets_root./ravens/environments/assets/ --dispTrue --taskblock-insertion --modetrain --n10下载与使用避坑清单 Python 版本环境针对 Python 3.7 / TF 2.3 构建高版本 TF 可能无法加载旧检查点--n_steps不匹配报错找不到.h5文件时优先检查该参数与checkpoints/目录中文件名是否一致数据目录test.py默认读取./{task}-test/数据集没解压到根目录时请传--data_dir无 GPU 也能跑检测不到 GPU 会自动退回 CPU速度较慢共享内存模式可另开终端运行python3 -m pybullet_utils.runServer再给命令加--shared_memory参数训练与测试种子偶数种子为训练、奇数种子为测试自定义数据时保持该约定可无缝替换官方数据集想深入了解模型结构可阅读 Transporter 网络相关源码ravens/models/transport.py、ravens/models/matching.py环境封装见 ravens/environments/environment.py。更多安装与演示细节见 README.md。【免费下载链接】ravensTrain robotic agents to learn pick and place with deep learning for vision-based manipulation in PyBullet. Transporter Nets, CoRL 2020.项目地址: https://gitcode.com/gh_mirrors/ra/ravens创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考