计算机视觉-标定.ppt

《计算机视觉-标定.ppt》由会员分享，可在线阅读，更多相关《计算机视觉-标定.ppt（54页珍藏版）》请在三一办公上搜索。

1、计算机视觉,孙明竹,摄像机标定与立体视觉Camera Calibration&Stereoscopic Vision,主要内容,第4章 摄像机标定摄像机成像模型摄像机标定方法第5章 立体视觉立体视觉原理三维重建,第4章 摄像机标定,4.0 补充：坐标变换4.1 摄像机成像模型4.2 摄像机标定方法分类 4.3 直接线性变换(DLT)标定法4.4 张正友平面标定法,4.0 补充：坐标变换,坐标系在欧氏空间（笛卡尔坐标系）进行表示参考坐标系世界坐标系主要内容4.0.1 位置和姿态的表示4.0.2 坐标变换4.0.3 齐次坐标变换,4.0.1 位置和姿态的表示,1.位置描述在三维坐标系A下确定空间中

2、一点的位置用一个3*1的矢量表示2.姿态描述在物体上固定一个坐标系B，给出此坐标系相对于参考坐标系A的表达用一个3*3的矩阵（旋转矩阵）描述3.位姿描述在三维空间中表示物体的位置和姿态,旋转矩阵的性质,旋转矩阵中的9个元素只有3个是独立的旋转矩阵是单位正交矩阵 是单位矢量，且相互垂直,4.0.2 坐标变换,1.平移坐标变换 两个坐标系A和B的姿态相同2.旋转坐标变换两个坐标系A和B有共同的坐标原点3.一般坐标变换用过渡坐标系C将坐标变换分解为旋转和平移,4.0.2 坐标变换,例：已知坐标系B的初始位置与坐标系A重合，将B相对于A的z轴逆时针旋转30，再沿A的x轴平移12个单位，沿A的y轴平移6

3、个单位，求旋转矩阵 和平移向量。若点P在B中的坐标为5 9 0T，求P在A中的位置,4.0.2 坐标变换,4.混合坐标变换点P由坐标系C变换到坐标系B，再变换到坐标系A,4.0.3 齐次坐标变换,向量 矩阵 向量齐次坐标(Homogeneous coordinate)用4*1的列矢量表示三维空间中的点，称为点的齐次坐标 是比例系数，表示无穷远点,4.0.3 齐次坐标变换,齐次变换矩阵平移,旋转,4.0.3 齐次坐标变换,混合坐标变换,4.1 摄像机成像模型,主要内容4.1.1 摄像机成像中的坐标系4.1.2 线性摄像机成像模型4.1.3 畸变与非线性摄像机模型,4.1.1 摄像机成像中的坐标系

4、,1.世界坐标系(w)参考坐标系/基准坐标系用于描述摄像机和物体的位置2.摄像机坐标系(c)固定在摄像机上原点在光心Zc轴沿光轴方向，Xc/Yc轴分别平行于成像平面,世界坐标系,摄像机坐标系,4.1.1 摄像机成像中的坐标系,3.以物理单位表示的图像坐标系(x,y)原点在摄像机光轴与图像平面的交点x/y轴与摄像机Xc/Yc轴平行，沿图像平面方向4.以像素为单位表示的图像坐标系(u,v)原点在数字图像的左上角u/v轴沿图像平面向右向下为正方向,世界坐标系,摄像机坐标系,图像坐标系,4.1.2 线性摄像机成像模型,图像形成的过程,刚体变换,世界坐标系中的物体,摄像机坐标系中观察,二维数字图像,二维

5、图像(物理单位),成像,图像数字化,摄像机外参数,摄像机内参数,4.1.2 线性摄像机成像模型,摄像机外参数模型将物体在世界坐标系中的位置，变换到摄像机坐标系下（6个独立外参数）摄像机内参数模型1.小孔成像：将物体在像面上成像2.图像数字化x/y坐标系原点o在u/v坐标系下的坐标为(u0,v0)像素在轴上的物理尺寸为dx,dy(单位：mm)1)简单情况：u/v轴互相垂直（4个独立内参数）2)实际情况：u/v轴夹角为（5个独立内参数）,4.1.2 线性摄像机成像模型,总结成像过程 内参数矩阵 外参数矩阵摄像机参数矩阵：,4.1.3 畸变与非线性摄像机模型,畸变径向畸变离心畸变薄透镜畸变,径向失真

6、,切向失真,理想位置,切向失真,径向失真,非线性摄像机模型,以物理单位表示的图像坐标系(x,y)理想(xu,yu)：小孔成像结果实际(xd,yd)：畸变后结果，实际进行数字化位置加入畸变后的成像过程 小孔成像 畸变描述畸变,非线性摄像机模型,径向失真光线在远离透镜中心的地方比靠近中心的地方更弯曲对于径向失真，摄像机中心的畸变为零，随着向边缘移动，畸变越来越严重切向失真由于透镜制造上的缺陷，使透镜本身与成像平面不平行,4.2 摄像机标定方法分类,1.传统摄像机标定方法利用已知标定参照物进行标定优点：可以应用于任意的摄像机模型，标定精度高缺点：标定过程复杂，需要高精度的已知结构信息,如标定块或标定

7、板等立体靶标：直接线性变换(DLT)标定法平面靶标：张正友平面标定法,4.2 摄像机标定方法分类,2.主动视觉摄像机标定方法利用已知的摄像机运动，由景物约束确定摄像机参数优点：通常可以线性求解，鲁棒性比较高缺点：不能用于摄像机运动未知，或摄像机无法控制的场合,4.2 摄像机标定方法分类,3.摄像机自标定方法依靠多幅图像间的对应关系对摄像机进行标定优点：不需要标定物，仅需建立图像间的对应，灵活性强，潜在应用范围广缺点：非线性标定，求解复杂，鲁棒性低,4.3 直接线性变换(DLT)标定法,前提：使用四参数模型，不考虑畸变摄像机参数矩阵,一、基本方法,1.求解摄像机参数矩阵M将mij作为未知数，矩阵

8、展开并消去zc,一、基本方法,1.求解摄像机参数矩阵M对于 n个已知的空间点，得到2n个关于M的方程设,通过最小二乘法计算m在相差一个常数因子m34的前提下，确定M,一、基本方法,2.分解M得到内外参数,一、基本方法,2.分解M得到内外参数1）计算m34和r32）计算u0和v03）计算kx和ky4）计算其它参数,二、改进方法,加入约束：|r3|=1由r3=m3，将未知数mij分成两部分,二、改进方法,加入约束：|r3|=1对于 n个已知的空间点，得到2n个关于M的方程形成在约束|r3|=1(|X3|=1)的前提下，进行最优化,4.4 张正友平面标定法,前提内参数矩阵：五参数模型畸变模型：四阶径

9、向畸变模型,4.4 张正友平面标定法,前提标定物：平面靶标将世界坐标系置于靶标平面原点设在靶标一角Xw/Yw方向沿靶标平面Zw方向垂直于靶标平面,基本步骤1.不考虑畸变，标定摄像机参数，得到参数的线性初值2.利用线性初值，进行非线性标定，得到畸变参数3.重复1和2，直至参数收敛,4.4 张正友平面标定法,具体步骤1.求解单应矩阵(Homography Matrix)2.求解摄像机内参数3.求解摄像机外参数4.求解畸变系数k1,k25.参数最优化,参考资料Zhengyou Zhang,Flexible Camera Calibration By Viewing a Plane From Unkn

10、own Orientations,IEEE International Conference on Computer Vision,1999,pp.666-673,1.单应矩阵求解,单应矩阵单应矩阵给出从一个平面到另一个平面的映射，它包括摄像机内外参数矩阵设靶标上一点在世界坐标系中的位置为其在图像上对应的坐标为,1.单应矩阵求解,1)在不考虑噪声情况下，求解单应矩阵转换为解方程AH0通过奇异值分解(SVD)完成U和V是正交矩阵，S是A的特征值矩阵(对角矩阵)AH0的解是矩阵V的最后一列,1.单应矩阵求解,2）考虑噪声的影响假设噪声为零均值高斯噪声，方差矩阵为i，由最大似然估计求解单应矩阵H定义

11、目标函数F，求解H 使F取到最小实际应用中，假设噪声的方差矩阵使用不考虑噪声情况下得到的单应矩阵H作为初值计算 通过非线性最小二乘方法求出H的最终解,2.摄像机内参数求解,1)由单应矩阵H分解出内参数2)引入中间矩阵B,3)求解中间矩阵B：转换为解方程vb=0,2.摄像机内参数求解,2.摄像机内参数求解,4)由中间矩阵B计算摄像机内参数,3.摄像机外参数求解,1)根据单应性条件计算外参数2)通过奇异值分解(SVD)保证旋转矩阵R的性质U和V是正交矩阵，S是对角矩阵R是单位正交阵，则矩阵S必须为单位阵I强制计算R，使其更接近单位正交阵,4.畸变系数求解,畸变模型 角点在成像面上的理想坐标 角点在

12、成像面上的实际坐标 二阶、四阶径向畸变系数,刚体变换 小孔成像 畸变 数字化,4.畸变系数求解,将畸变模型转换到数字图像坐标进行求解 角点在实际图像中的坐标位置 没有畸变情况下，角点在理想图像中的坐标位置转换为解方程Ak=B通过最小二乘法完成求解,5.参数最优化,已知摄像机内外参数初值和畸变系数初值根据目标函数F，通过非线性最小二乘方法，实现参数最优化共采集m幅靶标图像，在每张图像中提取n个角点 表示第j幅图像中第i个角点在图像中的实际位置，是该点根据摄像机参数和畸变系数的计算结果，是该点对应的世界坐标系位置 是第j幅图像的摄像机外参数,4.4 张正友平面标定法,程序流程总结（I）0.初始化：

13、摄像机位置保持不变，将标定板置于不同位置采集m幅图像（世界坐标系随之变化），检测图像中的角点，设每幅图像中可检测出n个角点1.单应矩阵H求解（共m个）for j=1:m 1）对第j幅图像，求解方程AHj 0（共2n个方程，9个未知数），得到Hj的初值 2）考虑噪声影响，进行非线性优化，获取Hj2.摄像机内参数求解：综合m幅图像中的单应矩阵Hj，求解方程vb=0（共2m个方程，6个未知数），将中间矩阵B进行分解，获得内参数矩阵Min（5个参数）,4.4 张正友平面标定法,程序流程总结（II）3.摄像机外参数求解（共m个）for j=1:m 由Hj和Min计算Rj和Pj4.畸变系数求解：综合m幅图

14、像中的n个角点，求解方程Ak=B（共2mn个方程，2个未知数），得到畸变系数k1,k25.参数最优化：通过非线性最小二乘法，优化Min（5个参数），Rj和Pj（6m个参数）和k1,k2,摄像机标定(OpenCV),OpenCV函数检测标定板角点cvFindChessboardCorners：检测标定板角点cvFindCornerSubPix：亚像素精度角点检测cvDrawChessboardCorners：绘制角点,摄像机标定(OpenCV),cvCalibrateCamera2(const CvMat*object_points,const CvMat*image_points,const

15、CvMat*point_counts,CvSize image_size,CvMat*intrinsic_matrix,CvMat*distortion_coeffs,CvMat*rotation_vectors=NULL,CvMat*translation_vectors=NULL,int flags=0);,角点在世界坐标系位置(mn*3矩阵)角点在图像中坐标(mn*2矩阵)每幅图像角点数(m*1矩阵)图像大小内参数矩阵(3*3矩阵)畸变系数(5*1矩阵)旋转向量(m*3矩阵)平移向量(m*3矩阵)标志位,总结：摄像机标定,4.0 补充：坐标变换4.1 摄像机成像模型4.2 摄像机标定方法

16、分类 4.3 直接线性变换(DLT)标定法4.4 张正友平面标定法,OpenCV编程练习,练习I（10月21日交）编程实现直接线性变换(DLT)标定法（包括基本方法和改进方法），显示标定结果（内参数和外参数），对基本方法和改进方法的标定结果进行比较练习II（10月28日交）使用自己编写的Harris角点检测程序，检测标定板图像的角点，并使用OpenCV的标定函数完成摄像机标定，显示标定结果（内参数和畸变系数）,思考题,在笛卡尔坐标系中，位置和姿态是如何描述的？说明旋转矩阵的性质。解释齐次坐标的概念，为什么在摄像机标定中时常使用齐次坐标？在标定中有几种不同类型的坐标系？试阐述它们之间的不同。摄像机光学成像过程包括哪些步骤？给出摄像机外参数矩阵。分别给出四参数和五参数的摄像机内参数矩阵，并说明其形成条件。,思考题,畸变对摄像机成像有何影响？解释径向失真和切向失真产生的原因。给出两类失真的数学描述，并说明非线性摄像机模型包括哪些参数。摄像机标定可分成几类？试说明各类标定方法的优缺点。试推导直接线性变换(DLT)标定法的求解过程，并说明该方法存在的问题。为了对DLT标定法进行改进，可以加入何种约束？给出进行优化的目标函数。给出张正友平面标定法的畸变模型。试说明张正友平面标定法中世界坐标系的设置理由。,The End,