文章目录1、多视几何2、三角化Triangulation3、双目立体视觉原理1、多视几何图注同一三维点 (X) 在不同相机中的投影满足( x i K i [ R i ∣ t i ] X ) (x_iK_i[R_i\mid t_i]X)(xiKi[Ri∣ti]X)每幅图像对应独立的内参与外参。图注多相机拥有各自的坐标系旋转 (R) 和平移 (t) 描述相机之间的位姿关系。图注多个空间点在各视图中形成对应特征相机视场需要有重叠区域才能建立可靠匹配。图注同名特征在多幅图像中的位置为联合估计相机位姿和场景结构提供约束。图注运动恢复结构Structure from MotionSfM从多视角图像中恢复相机位姿和稀疏三维点云。多视角图像相机位姿场景结构图注Photo Tourism 利用大量游客照片重建地标点云同时估计每张照片的拍摄位置和方向。2、三角化Triangulation形成一个三角形图注三角化已知匹配点、相机内参和位姿通过两条反投影射线求三维点理想无噪声时两条射线相交。图注受标定和匹配误差影响两条射线通常不严格相交可取两条射线公垂线的中点作为近似三维点。两条直线之间存在唯一的一条最短连线。这条最短连线同时垂直于两条直线。它就是公垂线。场景最短距离点到直线垂线平行直线任意垂线异面直线公垂线图注多视三角化常通过最小化所有视图的重投影误差平方和求取更稳定的三维点。求出来 X重新投影回图片离真实角点还有几像素误差Q为什么叫重投影第一次投影真实世界棋盘格 │ ▼ 相机 │ ▼ 图像这是现实发生的。第二次投影现在已经知道K R t Dist于是再把世界点 X 重新投影一次X ↓ K ↓ R t ↓ 畸变 ↓ 理论像素 x因为这是重新投影。所以叫Re-projection重投影图注三角化可用于无人机测绘不同航拍视角共同恢复地表或建筑物的三维模型。3、双目立体视觉原理图注本节从一般多视几何进入双目立体视觉重点讨论两台相机的深度恢复方法。图注双目系统用左右相机观察同一场景根据对应点的位置差恢复物体的深度和三维形状。图注工业双目相机可输出高度图或点云工作距离、基线和成像分辨率共同影响测量范围与精度。图注双目视觉可由两台固定相机组成也可由一台相机移动后形成两个视点前提是两次观测具有公共区域。双目立体视觉的基本原理与人眼观察世界的方式类似双目立体视觉获取图像时通过不同位置的两台摄像机或者一台摄像机经过平移或旋转拍摄同一幅场景来获取立体图像对。图注人眼分别获得略有差异的左右图像大脑利用这种差异形成对场景深度和前后关系的感知。图注视差disparity是同一空间点在左右图像中的位置差是双目深度计算的核心观测量。视差是解释原理的基本概念之一。图注图像经过极线校正后对应点位于同一水平扫描线上视差可写为d x l e f t − x r i g h t dx_{left}-x_{right}dxleft−xright同一个物品应该位于左图的右边右图的左边所以是x l e f t − x r i g h t x_{left} - x_{right}xleft−xright图注双目处理流程是采集左右图像、寻找对应点并计算视差最后把视差转换成深度或三维点云。图注双目相机可采用横向平行或会聚安装两种模式的有效重叠区域和后续极线校正方式不同。双目横向平行模式双目横向会聚模式图注双目三角测量的主要变量包括焦距 (f)、基线 (B)、左右像点坐标以及待求世界点( X , Y , Z ) (X,Y,Z)(X,Y,Z)。图注平行模式下两条光轴方向一致会聚模式下光轴向目标区域相交通常需要先校正成便于匹配的标准形式。图注校正后的简化双目模型把左右相机中心放在同一基线上用两个投影位置共同确定点P PP的深度。图注图中在X − Z X\!-\!ZX−Z平面推导双目几何基线沿X XX轴Y YY轴垂直于示意图平面向外。图注左右投影坐标x L ∗ x_L^*xL∗和x R ∗ x_R^*xR∗的差定义为视差 (d)它随目标深度变化。图注利用相似三角形可把基线、焦距、视差和深度联系起来为深度公式的推导做准备。图注右相机坐标需减去基线偏移转换到与左相机一致的坐标系后才能直接比较投影位置。图注在平行、等焦距且完成校正的模型下相似三角形最终得到经典深度关系Z f B / d ZfB/dZfB/d。推导过程如上图箭头所示图注用针孔投影矩阵也能推出同一结论深度与焦距、基线成正比与视差成反比。左相机坐标系O c O_cOc右相机坐标系O c ′ O_cOc′两个相机之间距离t x t_xtx实际上就是Baseline基线通常记为B BB一个三维点在左相机坐标系里坐标是( x c , y c , z c ) (x_c,y_c,z_c)(xc,yc,zc)在右相机坐标系里坐标变成( x c ′ , y c ′ , z c ′ ) (x_c,y_c,z_c)(xc′,yc′,zc′)由于两个相机只是左右平移所以z c ′ z c z_cz_czc′zcy c ′ y c y_cy_cyc′yc只有x xx变了。上面推导核心展开第一个公式的第一行z c z_czc是等于z c ′ z_czc′的因为世界坐标系下立体校正后到左右相机的距离 z 相等x c ′ x c − t x x_c x_c - t_xxc′xc−tx左坐标系 0--------------------- x 右坐标系 0--------------右相机整体向右平移了t x t_xtx因此同一个物体。在右坐标系看来坐标会减去这一段。深度一定要取正求绝对值图注推导假设左右相机已经校正光轴平行且对应点深度一致此时水平视差即可直接用于求深度。图注实际系统的关键问题是标定与校正误差、左右图像匹配误差以及远处目标视差过小导致的深度误差放大。 【MV】Stereo Vision 1: Fundamentals of Multiple View Geometry
文章目录1、多视几何2、三角化Triangulation3、双目立体视觉原理1、多视几何图注同一三维点 (X) 在不同相机中的投影满足( x i K i [ R i ∣ t i ] X ) (x_iK_i[R_i\mid t_i]X)(xiKi[Ri∣ti]X)每幅图像对应独立的内参与外参。图注多相机拥有各自的坐标系旋转 (R) 和平移 (t) 描述相机之间的位姿关系。图注多个空间点在各视图中形成对应特征相机视场需要有重叠区域才能建立可靠匹配。图注同名特征在多幅图像中的位置为联合估计相机位姿和场景结构提供约束。图注运动恢复结构Structure from MotionSfM从多视角图像中恢复相机位姿和稀疏三维点云。多视角图像相机位姿场景结构图注Photo Tourism 利用大量游客照片重建地标点云同时估计每张照片的拍摄位置和方向。2、三角化Triangulation形成一个三角形图注三角化已知匹配点、相机内参和位姿通过两条反投影射线求三维点理想无噪声时两条射线相交。图注受标定和匹配误差影响两条射线通常不严格相交可取两条射线公垂线的中点作为近似三维点。两条直线之间存在唯一的一条最短连线。这条最短连线同时垂直于两条直线。它就是公垂线。场景最短距离点到直线垂线平行直线任意垂线异面直线公垂线图注多视三角化常通过最小化所有视图的重投影误差平方和求取更稳定的三维点。求出来 X重新投影回图片离真实角点还有几像素误差Q为什么叫重投影第一次投影真实世界棋盘格 │ ▼ 相机 │ ▼ 图像这是现实发生的。第二次投影现在已经知道K R t Dist于是再把世界点 X 重新投影一次X ↓ K ↓ R t ↓ 畸变 ↓ 理论像素 x因为这是重新投影。所以叫Re-projection重投影图注三角化可用于无人机测绘不同航拍视角共同恢复地表或建筑物的三维模型。3、双目立体视觉原理图注本节从一般多视几何进入双目立体视觉重点讨论两台相机的深度恢复方法。图注双目系统用左右相机观察同一场景根据对应点的位置差恢复物体的深度和三维形状。图注工业双目相机可输出高度图或点云工作距离、基线和成像分辨率共同影响测量范围与精度。图注双目视觉可由两台固定相机组成也可由一台相机移动后形成两个视点前提是两次观测具有公共区域。双目立体视觉的基本原理与人眼观察世界的方式类似双目立体视觉获取图像时通过不同位置的两台摄像机或者一台摄像机经过平移或旋转拍摄同一幅场景来获取立体图像对。图注人眼分别获得略有差异的左右图像大脑利用这种差异形成对场景深度和前后关系的感知。图注视差disparity是同一空间点在左右图像中的位置差是双目深度计算的核心观测量。视差是解释原理的基本概念之一。图注图像经过极线校正后对应点位于同一水平扫描线上视差可写为d x l e f t − x r i g h t dx_{left}-x_{right}dxleft−xright同一个物品应该位于左图的右边右图的左边所以是x l e f t − x r i g h t x_{left} - x_{right}xleft−xright图注双目处理流程是采集左右图像、寻找对应点并计算视差最后把视差转换成深度或三维点云。图注双目相机可采用横向平行或会聚安装两种模式的有效重叠区域和后续极线校正方式不同。双目横向平行模式双目横向会聚模式图注双目三角测量的主要变量包括焦距 (f)、基线 (B)、左右像点坐标以及待求世界点( X , Y , Z ) (X,Y,Z)(X,Y,Z)。图注平行模式下两条光轴方向一致会聚模式下光轴向目标区域相交通常需要先校正成便于匹配的标准形式。图注校正后的简化双目模型把左右相机中心放在同一基线上用两个投影位置共同确定点P PP的深度。图注图中在X − Z X\!-\!ZX−Z平面推导双目几何基线沿X XX轴Y YY轴垂直于示意图平面向外。图注左右投影坐标x L ∗ x_L^*xL∗和x R ∗ x_R^*xR∗的差定义为视差 (d)它随目标深度变化。图注利用相似三角形可把基线、焦距、视差和深度联系起来为深度公式的推导做准备。图注右相机坐标需减去基线偏移转换到与左相机一致的坐标系后才能直接比较投影位置。图注在平行、等焦距且完成校正的模型下相似三角形最终得到经典深度关系Z f B / d ZfB/dZfB/d。推导过程如上图箭头所示图注用针孔投影矩阵也能推出同一结论深度与焦距、基线成正比与视差成反比。左相机坐标系O c O_cOc右相机坐标系O c ′ O_cOc′两个相机之间距离t x t_xtx实际上就是Baseline基线通常记为B BB一个三维点在左相机坐标系里坐标是( x c , y c , z c ) (x_c,y_c,z_c)(xc,yc,zc)在右相机坐标系里坐标变成( x c ′ , y c ′ , z c ′ ) (x_c,y_c,z_c)(xc′,yc′,zc′)由于两个相机只是左右平移所以z c ′ z c z_cz_czc′zcy c ′ y c y_cy_cyc′yc只有x xx变了。上面推导核心展开第一个公式的第一行z c z_czc是等于z c ′ z_czc′的因为世界坐标系下立体校正后到左右相机的距离 z 相等x c ′ x c − t x x_c x_c - t_xxc′xc−tx左坐标系 0--------------------- x 右坐标系 0--------------右相机整体向右平移了t x t_xtx因此同一个物体。在右坐标系看来坐标会减去这一段。深度一定要取正求绝对值图注推导假设左右相机已经校正光轴平行且对应点深度一致此时水平视差即可直接用于求深度。图注实际系统的关键问题是标定与校正误差、左右图像匹配误差以及远处目标视差过小导致的深度误差放大。