简介面向机器人视觉与ROS开发者这份手眼标定实战项目提供了从原理到落地的完整方案旨在解决机械臂与相机之间空间位姿关系的精确标定问题。压缩包共78个文件总大小约5.25MB包含Python/C源码、launch启动文件、txt配置说明、CSV数据、XML与动态库等依赖目录下按src、handeye-calib及aubo/jaka通信模块组织结构清晰便于查阅。项目源码覆盖图像处理、特征提取、参数求解与坐标转换等关键环节并针对Aubo、Jaka机械臂提供独立通信接口可对比Tsai-Lenz、张正友等典型标定方法在实际场景中的适用性。配套流程教程从环境准备、标定图像采集到结果验证逐步展开同时结合真实案例说明常见问题与排错思路帮助用户独立完成标定实验。目前已有459人学习下载适合希望借助完整项目快速掌握手眼标定技术的初学者和进阶研究者。1. 机器人装上“眼睛”之前手眼标定这一关绕不开如果你在真实项目里接过机械臂视觉抓取大概率经历过这一幕坐标系配好了检测也能实时出框机械臂一伸手偏出几厘米。问题多半出在相机坐标系到机械臂坐标系的变换关系上也就是手眼标定要求解的那个固定六自由度位姿矩阵。旋转差零点几度在800毫米臂展末端就能放大成近厘米级偏差。ROS里现成的工具不少easy_handeye、visp_hand2eye_calibration都能直接拉起来用但项目里真正耗时间的往往是数据采集方式、tf链路完整度、相机内参有没有被正确带入。下面按做机械臂抓取项目的顺序展开先讲AXXB的数学本质再给一套能在真实机械臂或Gazebo仿真里复现的ROS实现流程最后落在验证和加权优化技巧上。2. 手眼标定的数学本质从AXXB到两种经典构型2.1 Eye-in-Hand与Eye-to-Hand先分清“手”和“眼”怎么装机械臂视觉系统按照相机安装位置分成两种构型。相机固定在机械臂末端、跟着机械臂一起动的叫Eye-in-Hand也就是“眼在手上”相机固定在工作站支架顶部、机械臂在它视野里运动的叫Eye-to-Hand“眼在手外”。这个区别决定了标定方程的形式也决定了采样时谁动谁不动。我一般这样和第一次做这块的同事解释Eye-in-Hand构型中机械臂停在任意位置时相机坐标系和机器人末端坐标系之间的变换是常量所以标定求解的是相机到法兰的固定变换。Eye-to-Hand构型中相机不动要解的是相机到机器人基座的固定变换。两种构型的标定板摆放位置正好相反眼在手上时标定板固定在世界里眼在手外时标定板通常夹在机械臂末端。构型选择要结合项目场景。做移动抓取相机要跟着机械臂接近工件用Eye-in-Hand做焊接或装配固定工位相机装在支架上看机械臂动作用Eye-to-Hand。同一条产线两种构型并存的项目我也遇到过那就各做一次标定不要试图用一个外参同时覆盖两套相机。2.2 AXXB手眼标定到底在解什么不管哪种构型手眼标定的数学本质都收敛到一个形如AXXB的矩阵方程。以Eye-in-Hand为例。让机械臂停在两个不同位姿P1、P2记录末端位姿变换得到T1、T2那么AT2⁻¹·T1表示机械臂末端从P1运动到P2的位姿变化。这个过程中相机跟着末端移动先后看到同一个固定标定板得到两组相机到标定板的位姿S1、S2那么BS2·S1⁻¹表示相机坐标系里看到的标定板位姿变化。X是要求的相机到末端的常量变换。把T2X·S2·S1⁻¹·X⁻¹·T1整理就得到A·XX·B。Eye-to-Hand的推导形式略有不同一般写成A·XZ·B通过两次采样消掉中间量Z之后同样变成AXXB的形式。所以开源求解器本质上都在解同一个AXXB方程。为什么一次观测解不出来单个方程AXXB欠约束旋转部分至少要有两次转动轴不平行的运动才能把旋转分量约束住。实践中我会保证相邻两组数据的旋转轴夹角足够大并且采集超过15组数据做最小二乘。数据里全是纯平移求解器出来的旋转分量会漂移这是手眼标定新手最容易踩的坑。2.3 常用求解方法Tsai-Lenz、Park-Martin与非线性优化开源库和论文里最常见的求解方法是Tsai-Lenz两步法先由旋转分量求X的旋转部分再代入原方程解平移。这个实现简单在大多数标定数据质量尚可的情况下精度足够。Park-Martin方法用李代数把问题写成最小二乘形式对噪声的鲁棒性略好。更重的做法是直接在SE(3)流形上做非线性优化把每一帧观测的噪声统计进来一起优化精度上限高但要自己写残差和雅可比。求解器求解思路数据量敏感度我推荐的使用场景Tsai-Lenz旋转-平移两步求解对旋转多样性敏感快速验证、现场首轮标定Park-Martin李代数最小二乘对噪声更稳一次标定的首选非线性优化全量位姿联合优化需要合理初始值对精度有硬指标的产线项目我做过一次对比同样20组数据Tsai-Lenz和Park-Martin解出来的平移结果能差2毫米左右再用非线性优化迭代一轮通常会落在两者之间偏小的位置。原因不复杂手眼标定的数据天然带噪声线性解法对异常值没有免疫力。2.4 标定之前的两个前置条件相机内参与tf链路手眼标定要求的不是“相机内参有”而是“相机内参对”。这一步建议不要直接拿相机出厂默认内参至少在标定现场重新跑一遍标定板内参标定把fx、fy、cx、cy和畸变系数记录下来。内参错了外参怎么解都是错的而且误差会随着视野边缘放大。另外要保证ROS的tf树从机器人基座到末端执行器这一条线上的frame名称与实际控制器一致并且发布周期稳定。手眼标定采到的每一帧位姿本质上都是tf监听的结果如果这条链路里混进一个错误的父级整组数据就废了。我习惯先开rqt_tf_tree确认base_link到flange_link到camera_link到marker完整成链再开始采样。3. ROS手眼标定的环境准备与数据采集先把喂给求解器的数据喂对3.1 ROS环境与常用标定包准备起步先确认ROS发行版。老项目里Ubuntu 20.04配Noetic依然很多新项目用Ubuntu 22.04配ROS 2 Humble的也常见。Ubuntu里从零装一套ROS发行版不少人会直接用鱼香ROS一键安装脚本它会引导你选择发行版和桌面组件装完source一下就能用。团队已有的机器人工作空间里我一般只补依赖ar_track_alvar、aruco_ros这类标定板识别包以及easy_handeye本尊再加tf2相关工具。常见做法是先把easy_handeye按官方文档的ROS分支clone进工作空间src目录然后编译。不同ROS版本对应的分支不同ROS 1用masterROS 2 Humble用对应分支否则编译期会因为tf2接口不一致报错。编译命令如下# 假设easy_handeye已放在catkin_ws/src下 cd ~/catkin_ws rosdep install --from-paths src --ignore-src -y catkin_make # ROS 1 Noetic # 或者 colcon build # ROS 2 Humble source devel/setup.bash逻辑说明rosdep负责把easy_handeye依赖的视觉库和tf库装齐编译完成后才出现handeye相关的可执行文件。参数上唯一要注意的是ROS 2环境下不要用catkin_makecolcon build之后source install/setup.bash否则运行时会提示找不到包。标定板识别包可以用apt直接装sudo apt install ros-noetic-ar-track-alvar ros-noetic-aruco-detect装完用rostopic list确认标定板识别节点发布的话题已经出现再进下一步。3.2 标定数据的采集手动采样与脚本自动采样数据采集有两种方式。第一种是手动采样用手柄或示教器把机械臂挪到位停稳后点击一次采集。这种方式适合只有一两台设备的调试现场灵活性高但人工操作容易让后续位姿之间的旋转变化不足。第二种是脚本自动采样预先规划一组末端位姿机械臂依次运动每个位姿停留2到3秒同时记录tf数据。这种方式适合批量标定多条产线设备。没有现成机械臂时我会先在Gazebo里用URDF模型加相机仿真把整套流程跑通。Gazebo里关节控制方式与真实设备一致标定板可以用一个贴图模型代替效果上足够验证代码链路。自动采样的Python脚本大致是这个结构#!/usr/bin/env python3 import rospy import moveit_commander rospy.init_node(handeye_auto_capture) robot moveit_commander.RobotCommander() group moveit_commander.MoveGroupCommander(arm_group) poses [ [0.20, 0.30, 0.60, 0.0, 0.707, 0.707, 0.0], [0.30, 0.10, 0.55, 0.3, 0.600, 0.740, 0.0], # 每组位姿的旋转轴要有明显差异 ] for i, pose in enumerate(poses): group.set_pose_target(pose) group.go(waitTrue) rospy.sleep(2.0) # 等待图像和tf稳定 rospy.loginfo(capture pose %d, i)参数说明set_pose_target给的是末端目标位姿go会阻塞到机械臂到位2秒停顿是为了让视觉识别节点拿到稳定的标定板位姿。如果你的机械臂没有MoveIt配置可以直接发布joint_states到控制器把pose换成关节角数组。关键不是用什么接口而是同一个位姿下图像和tf要在时间上对齐机械臂启停要与数据记录节点同步。3.3 数据质量比数据量重要几个数量级这是手眼标定项目中最容易被误解的点rosbag里有100帧远远不如15帧“姿态多样化”的数据。所谓多样化要满足三个条件旋转轴不全平行。如果机械臂只是平移标定板两次间的旋转接近零AXXB方程退化。标定板在图像里覆盖不同区域。让它从左上角到右下角都出现过避免固定中心带来内参耦合误差。工作距离覆盖实际作业范围。只在一个深度采数据标出来的外参在另一个深度下重投影误差会显著增大。我一般用旋转角度变化量先筛一遍数据相邻两次采样的轴角差值小于10度的直接不要。最实用的方法是在写数据时把四元数转成轴角输出到CSV一眼就能看出哪些数据可用。质量指标合格线常见误区相邻旋转变化量大于10度只做平移旋转轴单一标定板图像覆盖四角加中心都要出现永远贴在画面中央有效样本数15到20组盲目积累100组采样时机械臂状态停稳2秒以上运动中抓tf4. 基于ROS的手眼标定实现easy_handeye流程与自写求解器4.1 用easy_handeye跑通一次端到端标定假定环境就绪工作空间里已经加载机器人模型和相机标定板识别节点。启动三个节点机器人控制器、相机识别标定板、easy_handeye的标定服务端。以Eye-in-Hand为例常见的launch文件是这样launch arg nametracking_base_frame defaultcamera_link / arg nametracking_marker_frame defaultaruco_marker / node pkgeasy_handeye typehandeye_calibration_server namehandeye_calibration_server outputscreen param nameeye_on_hand valuetrue/ param namerobot_base_frame valuebase_link/ param namerobot_effector_frame valueflange_link/ param nametracking_base_frame value$(arg tracking_base_frame)/ param nametracking_marker_frame value$(arg tracking_marker_frame)/ /node /launch参数含义eye_on_hand为true表示眼在手上robot_effector_frame是机械臂末端法兰的frame名字tracking_marker_frame是标定板在相机坐标系里的frame名字。这些名字必须跟机器人模型、标定板识别节点发布的名字完全一致。然后启动标定客户端rosrun easy_handeye handeye_calibration_eyeinhand_client可视化界面出现后先确认左侧tf树显示正常、标定板识别框稳定套在板上。每动一次机械臂点一次Take Sample采集15组以上后点Compute。程序会把结果保存到~/.ros/easy_handeye/目录下的yaml文件里。4.2 看懂标定输出文件保存的yaml大概是下面这个样子transformation: translation: x: 0.082 y: -0.003 z: 0.146 rotation: x: 0.018 y: 0.003 z: 0.995 w: -0.098 error: translation: 0.0012 rotation: 0.042error字段是求解阶段的重投影残差translation单位是米rotation单位通常是弧度。如果rotation error大于0.1弧度基本可以判定数据采集有问题重新采集比继续调参数有意思。translation数值要与你相机和法兰的实际安装位置量级符合比如安装座大概偏移10厘米结果解出来是半米优先怀疑某个tf链路或者四元数顺序错了。4.3 不依赖现成工具自写一个AXXB求解器生产环境里我经常不依赖交互界面尤其需要批量标定多台设备时直接写脚本调用求解器更高效。OpenCV的calibrateHandEye封装了Tsai-Lenz、Park-Martin和Daniilidis等多种方法自己写求解器时可以把它作为底层核心代码量很小import numpy as np import cv2 def solve_hand_eye(T_ee_list, T_board_list): # T_ee_list: 机械臂末端位姿列表每个元素是4x4齐次矩阵 # T_board_list: 标定板在相机坐标系下的位姿列表 R_gripper2base np.stack([T[:3, :3] for T in T_ee_list]) t_gripper2base np.stack([T[:3, 3] for T in T_ee_list]) R_target2cam np.stack([T[:3, :3] for T in T_board_list]) t_target2cam np.stack([T[:3, 3] for T in T_board_list]) R_cam2gripper, t_cam2gripper cv2.calibrateHandEye( R_gripper2base, t_gripper2base, R_target2cam, t_target2cam, methodcv2.CALIB_HAND_EYE_TSAI ) X np.eye(4) X[:3, :3] R_cam2gripper X[:3, 3] t_cam2gripper.flatten() return X参数说明T_ee_list从tf的base到flange监听获取T_board_list从标定板识别节点或者solvePnP计算得到。method参数可以换成CALIB_HAND_EYE_PARK或CALIB_HAND_EYE_DANIILIDIS不同方法对数据噪声的敏感度不同我一般先跑Tsai-Lenz再用Park-Martin交叉验证两个结果平移差超过3毫米时回头检查数据。4.4 把标定结果发布到tf拿到X之后要把它固化成static transform。Eye-in-Hand要发布的父子关系是flange_link到camera_linkrosrun tf2_ros static_transform_publisher 0.082 -0.003 0.146 0.018 0.003 0.995 -0.098 flange_link camera_link参数顺序是x y z qx qy qz qw平移单位是米四元数来自标定输出。发布后打开rviz把标定板模型加进去如果相机坐标系下的点云和实际标定板位置贴合说明变换正确。如果不贴合先确认是不是把父级和子级写反了这个错误在项目里出现过不止一次。5. 手眼标定精度验证、高频踩坑与加权优化技巧5.1 验证重投影误差先于抓取实验标定完成不要直接跑去试抓先用重投影误差判断。把标定板角点的空间坐标经X和当前相机位姿投影回像素平面计算与图像检测角点的像素距离。误差在1到2像素以内可靠超过5像素说明标定或数据采集有问题。重投影误差比试抓更快暴露问题因为试抓结果还叠加了机械臂绝对定位精度的影响。5.2 三个高频踩坑点现象大概率原因排查方向残差大在视觉节点正常采样时机械臂未停稳增加等待时间检查记录时间戳平移收敛但旋转跳变旋转轴多样性不足检查相邻采样旋转夹角不同批次标定结果差很大frame名称或时间对齐错误打开rqt_tf_tree逐帧核对还有一种情况是标定板反光或者运动模糊导致识别跳变表现在数据里就是某几帧的T_board_list明显偏离邻域这类异常值直接删掉比留着重算更干净。5.3 更准的一步给观测加权重标定误差来源并不同权同一块板在图像中心正对时的观测噪声明显小于视野边缘。工程上最直接的做法是用标定板角点的重投影残差估计每帧置信度残差大的帧在优化时权重调低。手写求解器时可以在原方程组上乘一个对角权重矩阵效果立竿见影。标定精度往往是被最差的两组数据拖低的与其无限增加采样不如把15组数据里残差最大的2组权重降一档重解一次。本文还有配套的精品资源点击获取 ROS手眼标定实战：从AX=XB原理到机械臂视觉抓取精度优化
简介面向机器人视觉与ROS开发者这份手眼标定实战项目提供了从原理到落地的完整方案旨在解决机械臂与相机之间空间位姿关系的精确标定问题。压缩包共78个文件总大小约5.25MB包含Python/C源码、launch启动文件、txt配置说明、CSV数据、XML与动态库等依赖目录下按src、handeye-calib及aubo/jaka通信模块组织结构清晰便于查阅。项目源码覆盖图像处理、特征提取、参数求解与坐标转换等关键环节并针对Aubo、Jaka机械臂提供独立通信接口可对比Tsai-Lenz、张正友等典型标定方法在实际场景中的适用性。配套流程教程从环境准备、标定图像采集到结果验证逐步展开同时结合真实案例说明常见问题与排错思路帮助用户独立完成标定实验。目前已有459人学习下载适合希望借助完整项目快速掌握手眼标定技术的初学者和进阶研究者。1. 机器人装上“眼睛”之前手眼标定这一关绕不开如果你在真实项目里接过机械臂视觉抓取大概率经历过这一幕坐标系配好了检测也能实时出框机械臂一伸手偏出几厘米。问题多半出在相机坐标系到机械臂坐标系的变换关系上也就是手眼标定要求解的那个固定六自由度位姿矩阵。旋转差零点几度在800毫米臂展末端就能放大成近厘米级偏差。ROS里现成的工具不少easy_handeye、visp_hand2eye_calibration都能直接拉起来用但项目里真正耗时间的往往是数据采集方式、tf链路完整度、相机内参有没有被正确带入。下面按做机械臂抓取项目的顺序展开先讲AXXB的数学本质再给一套能在真实机械臂或Gazebo仿真里复现的ROS实现流程最后落在验证和加权优化技巧上。2. 手眼标定的数学本质从AXXB到两种经典构型2.1 Eye-in-Hand与Eye-to-Hand先分清“手”和“眼”怎么装机械臂视觉系统按照相机安装位置分成两种构型。相机固定在机械臂末端、跟着机械臂一起动的叫Eye-in-Hand也就是“眼在手上”相机固定在工作站支架顶部、机械臂在它视野里运动的叫Eye-to-Hand“眼在手外”。这个区别决定了标定方程的形式也决定了采样时谁动谁不动。我一般这样和第一次做这块的同事解释Eye-in-Hand构型中机械臂停在任意位置时相机坐标系和机器人末端坐标系之间的变换是常量所以标定求解的是相机到法兰的固定变换。Eye-to-Hand构型中相机不动要解的是相机到机器人基座的固定变换。两种构型的标定板摆放位置正好相反眼在手上时标定板固定在世界里眼在手外时标定板通常夹在机械臂末端。构型选择要结合项目场景。做移动抓取相机要跟着机械臂接近工件用Eye-in-Hand做焊接或装配固定工位相机装在支架上看机械臂动作用Eye-to-Hand。同一条产线两种构型并存的项目我也遇到过那就各做一次标定不要试图用一个外参同时覆盖两套相机。2.2 AXXB手眼标定到底在解什么不管哪种构型手眼标定的数学本质都收敛到一个形如AXXB的矩阵方程。以Eye-in-Hand为例。让机械臂停在两个不同位姿P1、P2记录末端位姿变换得到T1、T2那么AT2⁻¹·T1表示机械臂末端从P1运动到P2的位姿变化。这个过程中相机跟着末端移动先后看到同一个固定标定板得到两组相机到标定板的位姿S1、S2那么BS2·S1⁻¹表示相机坐标系里看到的标定板位姿变化。X是要求的相机到末端的常量变换。把T2X·S2·S1⁻¹·X⁻¹·T1整理就得到A·XX·B。Eye-to-Hand的推导形式略有不同一般写成A·XZ·B通过两次采样消掉中间量Z之后同样变成AXXB的形式。所以开源求解器本质上都在解同一个AXXB方程。为什么一次观测解不出来单个方程AXXB欠约束旋转部分至少要有两次转动轴不平行的运动才能把旋转分量约束住。实践中我会保证相邻两组数据的旋转轴夹角足够大并且采集超过15组数据做最小二乘。数据里全是纯平移求解器出来的旋转分量会漂移这是手眼标定新手最容易踩的坑。2.3 常用求解方法Tsai-Lenz、Park-Martin与非线性优化开源库和论文里最常见的求解方法是Tsai-Lenz两步法先由旋转分量求X的旋转部分再代入原方程解平移。这个实现简单在大多数标定数据质量尚可的情况下精度足够。Park-Martin方法用李代数把问题写成最小二乘形式对噪声的鲁棒性略好。更重的做法是直接在SE(3)流形上做非线性优化把每一帧观测的噪声统计进来一起优化精度上限高但要自己写残差和雅可比。求解器求解思路数据量敏感度我推荐的使用场景Tsai-Lenz旋转-平移两步求解对旋转多样性敏感快速验证、现场首轮标定Park-Martin李代数最小二乘对噪声更稳一次标定的首选非线性优化全量位姿联合优化需要合理初始值对精度有硬指标的产线项目我做过一次对比同样20组数据Tsai-Lenz和Park-Martin解出来的平移结果能差2毫米左右再用非线性优化迭代一轮通常会落在两者之间偏小的位置。原因不复杂手眼标定的数据天然带噪声线性解法对异常值没有免疫力。2.4 标定之前的两个前置条件相机内参与tf链路手眼标定要求的不是“相机内参有”而是“相机内参对”。这一步建议不要直接拿相机出厂默认内参至少在标定现场重新跑一遍标定板内参标定把fx、fy、cx、cy和畸变系数记录下来。内参错了外参怎么解都是错的而且误差会随着视野边缘放大。另外要保证ROS的tf树从机器人基座到末端执行器这一条线上的frame名称与实际控制器一致并且发布周期稳定。手眼标定采到的每一帧位姿本质上都是tf监听的结果如果这条链路里混进一个错误的父级整组数据就废了。我习惯先开rqt_tf_tree确认base_link到flange_link到camera_link到marker完整成链再开始采样。3. ROS手眼标定的环境准备与数据采集先把喂给求解器的数据喂对3.1 ROS环境与常用标定包准备起步先确认ROS发行版。老项目里Ubuntu 20.04配Noetic依然很多新项目用Ubuntu 22.04配ROS 2 Humble的也常见。Ubuntu里从零装一套ROS发行版不少人会直接用鱼香ROS一键安装脚本它会引导你选择发行版和桌面组件装完source一下就能用。团队已有的机器人工作空间里我一般只补依赖ar_track_alvar、aruco_ros这类标定板识别包以及easy_handeye本尊再加tf2相关工具。常见做法是先把easy_handeye按官方文档的ROS分支clone进工作空间src目录然后编译。不同ROS版本对应的分支不同ROS 1用masterROS 2 Humble用对应分支否则编译期会因为tf2接口不一致报错。编译命令如下# 假设easy_handeye已放在catkin_ws/src下 cd ~/catkin_ws rosdep install --from-paths src --ignore-src -y catkin_make # ROS 1 Noetic # 或者 colcon build # ROS 2 Humble source devel/setup.bash逻辑说明rosdep负责把easy_handeye依赖的视觉库和tf库装齐编译完成后才出现handeye相关的可执行文件。参数上唯一要注意的是ROS 2环境下不要用catkin_makecolcon build之后source install/setup.bash否则运行时会提示找不到包。标定板识别包可以用apt直接装sudo apt install ros-noetic-ar-track-alvar ros-noetic-aruco-detect装完用rostopic list确认标定板识别节点发布的话题已经出现再进下一步。3.2 标定数据的采集手动采样与脚本自动采样数据采集有两种方式。第一种是手动采样用手柄或示教器把机械臂挪到位停稳后点击一次采集。这种方式适合只有一两台设备的调试现场灵活性高但人工操作容易让后续位姿之间的旋转变化不足。第二种是脚本自动采样预先规划一组末端位姿机械臂依次运动每个位姿停留2到3秒同时记录tf数据。这种方式适合批量标定多条产线设备。没有现成机械臂时我会先在Gazebo里用URDF模型加相机仿真把整套流程跑通。Gazebo里关节控制方式与真实设备一致标定板可以用一个贴图模型代替效果上足够验证代码链路。自动采样的Python脚本大致是这个结构#!/usr/bin/env python3 import rospy import moveit_commander rospy.init_node(handeye_auto_capture) robot moveit_commander.RobotCommander() group moveit_commander.MoveGroupCommander(arm_group) poses [ [0.20, 0.30, 0.60, 0.0, 0.707, 0.707, 0.0], [0.30, 0.10, 0.55, 0.3, 0.600, 0.740, 0.0], # 每组位姿的旋转轴要有明显差异 ] for i, pose in enumerate(poses): group.set_pose_target(pose) group.go(waitTrue) rospy.sleep(2.0) # 等待图像和tf稳定 rospy.loginfo(capture pose %d, i)参数说明set_pose_target给的是末端目标位姿go会阻塞到机械臂到位2秒停顿是为了让视觉识别节点拿到稳定的标定板位姿。如果你的机械臂没有MoveIt配置可以直接发布joint_states到控制器把pose换成关节角数组。关键不是用什么接口而是同一个位姿下图像和tf要在时间上对齐机械臂启停要与数据记录节点同步。3.3 数据质量比数据量重要几个数量级这是手眼标定项目中最容易被误解的点rosbag里有100帧远远不如15帧“姿态多样化”的数据。所谓多样化要满足三个条件旋转轴不全平行。如果机械臂只是平移标定板两次间的旋转接近零AXXB方程退化。标定板在图像里覆盖不同区域。让它从左上角到右下角都出现过避免固定中心带来内参耦合误差。工作距离覆盖实际作业范围。只在一个深度采数据标出来的外参在另一个深度下重投影误差会显著增大。我一般用旋转角度变化量先筛一遍数据相邻两次采样的轴角差值小于10度的直接不要。最实用的方法是在写数据时把四元数转成轴角输出到CSV一眼就能看出哪些数据可用。质量指标合格线常见误区相邻旋转变化量大于10度只做平移旋转轴单一标定板图像覆盖四角加中心都要出现永远贴在画面中央有效样本数15到20组盲目积累100组采样时机械臂状态停稳2秒以上运动中抓tf4. 基于ROS的手眼标定实现easy_handeye流程与自写求解器4.1 用easy_handeye跑通一次端到端标定假定环境就绪工作空间里已经加载机器人模型和相机标定板识别节点。启动三个节点机器人控制器、相机识别标定板、easy_handeye的标定服务端。以Eye-in-Hand为例常见的launch文件是这样launch arg nametracking_base_frame defaultcamera_link / arg nametracking_marker_frame defaultaruco_marker / node pkgeasy_handeye typehandeye_calibration_server namehandeye_calibration_server outputscreen param nameeye_on_hand valuetrue/ param namerobot_base_frame valuebase_link/ param namerobot_effector_frame valueflange_link/ param nametracking_base_frame value$(arg tracking_base_frame)/ param nametracking_marker_frame value$(arg tracking_marker_frame)/ /node /launch参数含义eye_on_hand为true表示眼在手上robot_effector_frame是机械臂末端法兰的frame名字tracking_marker_frame是标定板在相机坐标系里的frame名字。这些名字必须跟机器人模型、标定板识别节点发布的名字完全一致。然后启动标定客户端rosrun easy_handeye handeye_calibration_eyeinhand_client可视化界面出现后先确认左侧tf树显示正常、标定板识别框稳定套在板上。每动一次机械臂点一次Take Sample采集15组以上后点Compute。程序会把结果保存到~/.ros/easy_handeye/目录下的yaml文件里。4.2 看懂标定输出文件保存的yaml大概是下面这个样子transformation: translation: x: 0.082 y: -0.003 z: 0.146 rotation: x: 0.018 y: 0.003 z: 0.995 w: -0.098 error: translation: 0.0012 rotation: 0.042error字段是求解阶段的重投影残差translation单位是米rotation单位通常是弧度。如果rotation error大于0.1弧度基本可以判定数据采集有问题重新采集比继续调参数有意思。translation数值要与你相机和法兰的实际安装位置量级符合比如安装座大概偏移10厘米结果解出来是半米优先怀疑某个tf链路或者四元数顺序错了。4.3 不依赖现成工具自写一个AXXB求解器生产环境里我经常不依赖交互界面尤其需要批量标定多台设备时直接写脚本调用求解器更高效。OpenCV的calibrateHandEye封装了Tsai-Lenz、Park-Martin和Daniilidis等多种方法自己写求解器时可以把它作为底层核心代码量很小import numpy as np import cv2 def solve_hand_eye(T_ee_list, T_board_list): # T_ee_list: 机械臂末端位姿列表每个元素是4x4齐次矩阵 # T_board_list: 标定板在相机坐标系下的位姿列表 R_gripper2base np.stack([T[:3, :3] for T in T_ee_list]) t_gripper2base np.stack([T[:3, 3] for T in T_ee_list]) R_target2cam np.stack([T[:3, :3] for T in T_board_list]) t_target2cam np.stack([T[:3, 3] for T in T_board_list]) R_cam2gripper, t_cam2gripper cv2.calibrateHandEye( R_gripper2base, t_gripper2base, R_target2cam, t_target2cam, methodcv2.CALIB_HAND_EYE_TSAI ) X np.eye(4) X[:3, :3] R_cam2gripper X[:3, 3] t_cam2gripper.flatten() return X参数说明T_ee_list从tf的base到flange监听获取T_board_list从标定板识别节点或者solvePnP计算得到。method参数可以换成CALIB_HAND_EYE_PARK或CALIB_HAND_EYE_DANIILIDIS不同方法对数据噪声的敏感度不同我一般先跑Tsai-Lenz再用Park-Martin交叉验证两个结果平移差超过3毫米时回头检查数据。4.4 把标定结果发布到tf拿到X之后要把它固化成static transform。Eye-in-Hand要发布的父子关系是flange_link到camera_linkrosrun tf2_ros static_transform_publisher 0.082 -0.003 0.146 0.018 0.003 0.995 -0.098 flange_link camera_link参数顺序是x y z qx qy qz qw平移单位是米四元数来自标定输出。发布后打开rviz把标定板模型加进去如果相机坐标系下的点云和实际标定板位置贴合说明变换正确。如果不贴合先确认是不是把父级和子级写反了这个错误在项目里出现过不止一次。5. 手眼标定精度验证、高频踩坑与加权优化技巧5.1 验证重投影误差先于抓取实验标定完成不要直接跑去试抓先用重投影误差判断。把标定板角点的空间坐标经X和当前相机位姿投影回像素平面计算与图像检测角点的像素距离。误差在1到2像素以内可靠超过5像素说明标定或数据采集有问题。重投影误差比试抓更快暴露问题因为试抓结果还叠加了机械臂绝对定位精度的影响。5.2 三个高频踩坑点现象大概率原因排查方向残差大在视觉节点正常采样时机械臂未停稳增加等待时间检查记录时间戳平移收敛但旋转跳变旋转轴多样性不足检查相邻采样旋转夹角不同批次标定结果差很大frame名称或时间对齐错误打开rqt_tf_tree逐帧核对还有一种情况是标定板反光或者运动模糊导致识别跳变表现在数据里就是某几帧的T_board_list明显偏离邻域这类异常值直接删掉比留着重算更干净。5.3 更准的一步给观测加权重标定误差来源并不同权同一块板在图像中心正对时的观测噪声明显小于视野边缘。工程上最直接的做法是用标定板角点的重投影残差估计每帧置信度残差大的帧在优化时权重调低。手写求解器时可以在原方程组上乘一个对角权重矩阵效果立竿见影。标定精度往往是被最差的两组数据拖低的与其无限增加采样不如把15组数据里残差最大的2组权重降一档重解一次。本文还有配套的精品资源点击获取