多视几何continue(-ppt课件).ppt

《多视几何continue(-ppt课件).ppt》由会员分享，可在线阅读，更多相关《多视几何continue(-ppt课件).ppt（90页珍藏版）》请在三一办公上搜索。

1、圆环点(the circular points),平面上任何圆与无穷远直线的交点：,3点+2圆环点=5点确定一个圆,1,绝对二次曲线(The Absolute Conic),欧氏空间中,无穷远平面上的二次曲线:称为绝对二次曲线.它都由虚点构成。,任意一个球与无穷远平面的交点：,2,AC性质,无穷远直线交绝对二次曲线于两点，这两个点是通过该无穷远线的平面的圆环点。绝对二次曲线是空间中所有平面的圆环点所构成的集合，因而任意一个圆与绝对二次曲线交于两个圆环点。设绝对二次曲线在无穷远平面上的矩阵表示为，则它的任一点的切线为，反之。配极对应也成立。,3,绝对二次曲线的像与照相机的内参数紧密相连.假定照相

2、机的内参数为:则绝对二次曲线的像是:反之,如果绝对二次曲线的像已知,则 K 可以被完全确定.,4,如果圆环点的像已知，也可以对照相机的内参数构成约束，通过解方程组来得到内参数的值。假定 m 是圆环点的像，则：,5,三维射影几何,点、空间直线、平面二次曲面扭三次曲线：与三维重建中的退化情况紧密相连。,6,计算机视觉的多视几何,7,主 要 内 容,1.单视几何（单幅图像测量）2.两视几何（Epipolar Geometry 约束）3.三视几何（Trifocal Geometry 约束）,8,1.单视几何,9,1.单视几何,10,1.单视测量,从单幅图像中恢复场景的全部或部分三维信息运用射影几何理论

3、，探索利用单幅图像实现场景测量所需的图像信息以及场景信息，从而实现对场景中距离、面积、体积等的测量,11,1.单视测量,利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响。基于图像的测量技术，因其所需的只是场景图像，所以更灵活、方便、即时、准确。具有非常广泛的应用前景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面。,12,1.单视测量,13,空间平面与其图像平面间的关系可由平面Homography:H 来表示(一个 的矩阵).一般将空间平面假设为,即 X-Y 平面,则：,1.单视测量之平面测量,14,1.单视测量之平面测量,如果4个空间点 已知，则由它们可线性求解H：,

4、然后通过将图像点反投到空间平面，实现空间平面上的测量,距离、面积、夹角,15,已知一个空间平面的homography和此平面法向量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测：,体积、身高、两个平面的距离、两个平面内的两个点之间的距离,1.单视测量之空间测量,16,1.单视测量,物体体积的测量结果：V1 Real volume:109265.0 cm3 Measured value:110018.9 cm3 Relative error:0.69%V2 Real volume:26826.7 cm3 Measured value:26628.2 cm3 Relative er

5、ror:0.74%,17,2.两视几何,18,2.两视几何,19,2.两视几何,外（对）极几何（Epipolar geometry）基本矩阵F、本质矩阵E,20,三个问题,Correspondence Geometry给定mi，mi在哪里Camera Geometry(motion)给定mimi,P,P是什么？Scene Geometry(Structure)给定mimi,P,P,M在哪里？,2.两视几何,21,2.两视几何之外极几何,外极几何是研究两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。,22,2.两视几何之外极几何,如

6、果只知道C,C,x的话，会得到什么？,23,2.两视几何之基本概念,基线：连接两个摄象机光心 O（O）的直线外极点：基线与像平面的交点外极平面：过基线的平面外极线：对极平面与图像平面的交线基本矩阵F：对应点对之间的约束,24,25,26,2.两视几何,R0,t0,R,t,如果将世界坐标系取在第一个摄像机坐标系上，则：,R,t,27,2.两视几何,空间中一点 在两幅图像上的成像分别为：极点 极线,基本矩阵的代数推导,因此：,28,基本矩阵 F：是一秩为2的33矩阵，自由度为 7,2.两视几何,外极点：,外极线：,29,2.两视几何,在两幅图像之间，基本矩阵将点 m 映射为对应的极线，将极点映射为

7、0。不能提供对应点间的一一对应。,基本矩阵的变换作用,如果，m，m是一对对应点，则：,反之，不成立。,30,2.两视几何,H是一个 射影变换矩阵，投影矩阵对 和 对应相同的基本矩阵。,基本矩阵,31,2.两视几何,基于代数误差的线性估计-8点、7点算法基于几何误差的非线性优化基于RANSAC（RANdom Sample Consensus）思想的自动估计算法,基本矩阵F 的估计方法,32,2.两视几何,一对对应点，之间满足约束：展开可以得到约束方程为：,基本矩阵F 的估计方法,8点算法:,33,2.两视几何,当 n=8 时，可以线性求解 f。,对于 n 对对应的图像点对,可得到 n 个这样的方

8、程,构造向量:,构造矩阵:,从而:,基本矩阵F 的估计方法,8点算法:,34,2.两视几何,基于代数误差的估计方法是满足某些约束下使 最小的算法8 点算法：步骤：由对应点(n=8)集构造矩阵A；对 A 进行奇异值分解，由向量 构造矩阵F对F进行SVD分解 得到基本矩阵的估计,基本矩阵F 的估计方法,8点算法:,35,36,2.两视几何,基本矩阵F 的估计方法,8点算法存在的问题:,37,归一化处理,规一化变换：对图像点做位移变换，使得图像的原点位于图像点集的质心；对图像点做缩放变换，使得图像点分布在以质心为圆心半径为 的圆内。,38,规一化 8 点算法：由对应点，求F对两幅图像分别做规一化变换

9、,得到新的对应点集；有新的对应点集和8点算法估计；基本矩阵,2.两视几何,基本矩阵F 的估计方法,8点算法:,39,左边：未归一化,右边：归一化后,40,左边：未归一化,右边：归一化后,41,上面曲线：未归一化,下面曲线：归一化后,点到极线的距离,42,2.两视几何,如果求解的基本矩阵 F 不满足约束，即 那么不存在向量 e 使得 Fe=0，则在图像中的对极线不交于同一点(对极点 e)。由于基本矩阵的秩为 2，因此基本矩阵仅具有7个自由度，所以已知7对匹配点便足以确定基本矩阵。,基本矩阵F 的估计方法,7点算法:,43,2.两视几何,基本矩阵F 的估计方法,7点算法:,44,2.两视几何,将估

10、计基本矩阵的问题化为数学的最优化问题，然后使用某种优化迭代算法求解.算法如下：构造基于几何意义的目标函数选取8点算法的结果作为迭代算法的初始值选取一种迭代方法（Levenberg-Marquardt方法），迭代求解最小化问题,http:/www.ics.forth.gr/lourakis/levmar/,45,2.两视几何,常用准则：(1)点到对应极线距离的平方和(2)反投影距离,构造基于几何意义的目标函数,46,2.两视几何,准则(1):点到对应极线距离的平方和,47,其中 和 是通过一定的方法进行射影重建所得的空间点的反投影图像点.,2.两视几何,准则(2):反投影距离,48,基于准则(2

11、)步骤：由线性算法求出基本矩阵的初始值;由对应点 和基本矩阵 射影重建得到三维空间点坐标；由三维空间点得到新的图像点：.,2.两视几何,49,前面所讲的所有的方法都假设没有错误数据点(Outliers)。实际处理过程中可能会出现错误的数据点。可用RANSAC方法(Fischler and Bolles,1981)剔除错误的数据点,50,2.两视几何,例：利用 RANSAC 思想估计直线,随机选两个点，作线测量每点support此线的程度(阈值)重复randomly选点(次数)由众多中选the line with most support(多大),51,2.两视几何,基本思想通过迭代地随机抽取最

12、小点集来找出所谓的一致集(即Inliers所占比例最高的最小点集)用此最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化，从而得到最终的基本矩阵估计值,52,阈值t的确定,经验值如果度量误差，则,（m=codimension of the model）,53,采样次数N,目标：在N次采样中，至少有一次采样，所有的点(共S个)都是inliers.以概率p(e.g.=99%)保证至少有一次。,54,一致集的大小T,55,完整流程,给定一对图像Find 基本矩阵F和对应点对提取图像点寻找对应点对计算F,e,56,特征提取程序,SIFT:http:/www.cs.ubc.ca/l

13、owe/keypoints/Scale-Invariant Features Transform Feature describer KLT:http:/www.ces.clemson.edu/stb/klt/Kanade-Lucas-Tomasi Feature Tracker,57,Automatic computation of F,Interest pointsPutative correspondencesRANSAC robust estimationNon-linear estimationGuided matching Repeat 4 and 5 until stable,5

14、8,59,建议,1.Do not use unnormalized algorithms2.Quick and easy to implement:8-point normalized3.Better:enforce rank-2 constraint duringminimization4.Best:Maximum Likelihood Estimation(minimal parameterization,sparse implementation),60,2.两视几何,本质矩阵 E(Essential Matrix)由摄像机的外参数确定，与摄像机内参数无关。,本质矩阵 E,O,摄像机坐标

15、系,v,图像像素坐标系,u,x,y,m,m,61,2.两视几何,本质矩阵 E,当摄像机内参数 K,K 已知时，当 F 被求出时，可重建，即求出 R，t,t,R,62,如何从F中恢复P,P?,63,如何从F中恢复P,P?,64,如何从F中恢复P,P?,canonic camera matrices:,Rank=2,65,给定一基本矩阵 F，构造投影矩阵对,2.两视几何,有了投影矩阵和图像点就可以通过三角化(Triangulation:compute intersection of twobackprojected rays)实现重建,射影重建,66,理想情况下,真实情况下,67,Linear T

16、riangulation methods,SVD,68,几何误差,possibility to compute using LM(for 2 or more points)ordirectly(for 2 points),69,Reconstruction ambiguity:projective,70,The projective reconstructiontheorem,If a set of point correspondences in two views determine the fundamental matrix uniquely,then the scene and ca

17、meras may be reconstructed from these correspondences alone,and any two such reconstructions from these correspondences are projectively equivalent,71,Find x,xFind FFind P,PFind X,72,Stratified reconstruction(分层重建),Projective reconstructionAffine reconstructionMetric reconstruction,73,Affine reconst

18、ruction,仿射不变量：保持无穷远平面不变。反之，亦然。保持平行性。保持物体的体积比、平行图形（或共面图形）的面积比、平行线段（或共线线段）的长度比不变,12DOF,74,Affine reconstruction,But how do we obtain so as to achieve affine reconstruction?,An affine reconstruction can be sufficient depending on applications,e.g.calculate mid-point,centroid,parallelism,75,Translationa

19、l motion(e.g.in a car on a straight road,moon),Points at infinity are fixed for a pure translation reconstruction by those xi xi which are on,we can obtain the and affine reconstruction,76,Scene Constraints,Find 3 points which are known to lie on the plane at infinity3 sets of parallel lines allow t

20、o uniquely determine,找三组平行线，求得V1,V2,V3求得最后,77,A vanishing point v and its corresponding line l(vxP)X=0 and(lTP)X=0,Scene Constraints,78,Scene Constraints,Distance ratios on a line,交比不变性,79,Scene constraints infinity homography,80,Reconstruction ambiguity:similarity（Metric and Euclidean reconstructio

21、n）,81,Metric Reconstruction,7DOF,相似不变量：保持绝对二次曲线不变。反之，亦然。保持平行性。保持物体的体积比、平行图形（或共面图形）的面积比、平行线段（或共线线段）的长度比不变保角,82,Key to affine reconstruction:plane at infinityKey to metric reconstruction:absolute conic,Metric Reconstruction,83,84,85,86,87,88,89,射影变换,仿射变换,刚体变换,交比不变，共线、共面性不变,平行线变为平行线，不保持垂直关系，单比不变,平行线变为平行线，保持垂直关系，线段的长度不变,不同空间下的若干性质,相似变换,平行线变为平行线，保持垂直关系，单比不变,90,