立体匹配技术浅析.ppt

立体匹配技术浅析,计算机应用技术2008级研究生姚刚,提纲,计算机视觉技术简介立体视觉的基本原理立体匹配算法简介立体匹配技术的发展趋势,计算机视觉技术简介,计算机视觉,计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科,其目标是从图像或图像序列中获取对外部世界的认知和理解,即利用二维图像恢复三维环境中物体的几何信息,比如形状、位置、姿态、运动等,并能描述、识别与理解。,计算机视觉技术简介,计算机视觉发展简史,20世纪50年代归入模式识别-主要集中在二维图像分析和识别上，如光学字符识别，工件表面、显微图片和航空图片的分析和解释等。60年代，Roberts积木世界理论-开创了以理解三维场景为目的的三维计算机视觉的研究。70年代，Marr计算视觉理论-第一个较为完善的视觉系统框架，分三个层次进行处理。80年代以后，蓬勃发展-新概念、新方法、新理论不断涌现，如基于感知特征群的物体识别理论框架，主动视觉理论框架，视觉集成理论框架等。,计算机视觉技术简介,视觉系统的三个层次,低层阶段：基于图像特征提取及分割 中层阶段：基于物体的几何模型与图像特性表达 高层阶段：基于景物知识的描述、识别与理解,计算机视觉技术简介,计算机视觉技术的应用,(1)工业机器人、移动机器人导航、安全监测、监测跟踪、运动分析、工业产品农作物食品检测、智能交通系统、娱乐、指纹识别、人脸识别。(2)基于内容的图像数据查询、基于内容的图像自动索引等成为很热门的研究和应用课题,可应用于数字图书馆、体育图像自动分析、运动物体自动跟踪等系统,根据物体的二维图像提取相应的特征不变量进行识别和分类也是一个十分重要的研究方向。同时,三维物体识别也开始进入了实用阶段。,立体视觉的基本原理,立体视觉的研究内容与基本原理,获取空间三维场景的距离信息是计算机视觉研究中最基础的内容。立体视觉的基本原理是从两个(或多个)视点观察同一景物,以获取在不同视角下的感知图象,通过三角测量原理计算图象象素间的位置偏差(即视差)来获取景物的三维信息,这一过程与人类视觉的立体感知过程是类似的。,立体视觉的基本原理,立体视觉系统的组成,(1)图象获取 图象获取的方式主要取决于应用的场合和目的。获取立体图象时不但要满足应用要求,而且要考虑视点差异、光照条件、摄象机性能以及景物特点等因素的影响,以有利于立视计算。(2)摄象机标定 确定摄象机的位置、属性参数和建立成象模型,以便确定空间坐标系中物体点同它在图象平面上象点之间的对应关系。建立一个有效的摄象机模型,除了能够精确地恢复出空间景物的三维信息外,还有利于解决立体匹配问题。,立体视觉的基本原理,立体视觉系统的组成,(3)特征提取 为了得到匹配赖以进行图象特征的提取，目前尚没有一种普遍适用的理论可运用于图象特征的提取,从而导致了立体视觉研究中匹配特征的多样性。(4)立体匹配立体视觉中最重要也是最困难的问题，其基本原理是从两个视点观察同一景物以获取立体像对,匹配出相应像点,从而计算出视差并获得三维信息。20 世纪80 年代,美国麻省理工学院的Marr 提出了一种视觉计算理论奠定了立体视觉发展的理论基础。,立体视觉的基本原理,立体视觉系统的组成,(5)深度确定 根据立体匹配的结果，计算出图像对应点的视差值，然后根据视差值得到图像的深度信息。(6)三维重建立体视觉的最终目的是为了恢复景物可视表面的完整信息，即三维重建。,立体匹配算法简介,立体匹配,立体匹配一直是三维场景结构信息获取的研究热点之一,其基本原理是从两个视点观察同一景物以获取立体像对,匹配出相应像点,从而计算出视差并获得三维信息.20 世纪80 年代,美国麻省理工学院的Marr 提出了一种视觉计算理论并应用在双目匹配上,使两张有视差的平面图产生具有深度的立体图形,从而奠定了立体视觉发展的理论基础。,立体匹配算法简介,立体匹配算法,(1)立体匹配算法从本质上看，就是以最小的代价在两幅图像上精确的寻找相同的像素点，找到一条最优的线路。因此设计立体匹配算法就是构建一种优化模型，求解最优解的过程。(2)从各具特色的双目立体匹配算法框架来看,算法有效性主要依赖3 个因素,即选择准确的匹配基元（决策变量）、寻找相应的匹配准则（目标函数和约束条件）和构建能够准确匹配所选基元的稳定算法（求解过程）。(3)构建一个完整的立体匹配算法应从4 个方面着手:1)广义匹配基元与特征参数选择;2)匹配方法及策略;3)匹配代价优化标准;4)视差提炼方式。,立体匹配算法简介,立体匹配中的约束分类几何约束,基于图像几何的约束的依据主要是图像获取过程中的几何学和光度测定学原理。1)极线约束2)唯一性约束3)几何相似性约束4)光度测定学相容性约束,立体匹配算法简介,立体匹配中的约束分类场景约束,基于场景的约束的依据主要是利用典型场景中物体的某些共同性质。1)视差光滑性约束 2)轮廓视差约束 3)特征相容性约束 4)顺序约束 5)互对应约束 6)相位约束 7)视差范围约束8)视差梯度范围约束,立体匹配算法简介,立体匹配算法分类基于局部约束算法,基于局部约束算法利用兴趣点周围的局部信息进行计算,涉及信息量较少,相应的计算复杂度较低,但其对噪声较敏感,对无纹理区域、视差不连续区域和遮挡区域匹配效果不理想。,1）区域匹配算法：本质上,基于光度测量学不变性原理的区域匹配算法,常以邻域窗的灰度为匹配基元,以相关程度作为判别依据,可以得到较稠密的视差图。灰度相关性算法的研究主要集中在匹配代价聚合的窗口构建上,区域匹配算法的一个突出缺点是,对无纹理区域常常由于相关函数变化的锐度不够以及难于保留深度不连续特性,不能取得精确的匹配结果。,立体匹配算法简介,立体匹配算法分类基于局部约束算法,基于局部约束算法利用兴趣点周围的局部信息进行计算,涉及信息量较少,相应的计算复杂度较低,但其对噪声较敏感,对无纹理区域、视差不连续区域和遮挡区域匹配效果不理想。,2)特征匹配算法：本质上,基于几何不变性原理的特征匹配算法克服了区域匹配算法对深度不连续和无纹理区域敏感的缺点,特别是由于特征基元的统计特性和数据结构的规则性,使其适合于硬件设计。按匹配基元的特征可分为全局特征和局部特征两大类.全局特征包括多边形和图像结构等,多与下文中的全局算法混合使用;局部特征算法常用点、边缘、线段、小区域或局部能量等图像信息作为匹配基元,对噪声不敏感,可以得到较精确的匹配。特征匹配主要存在两点不足及其改进措施:其一,图像特征的稀疏性决定特征匹配只能得到稀疏视差图,要得到稠密视差需附加较为复杂的插值过程。其二,特征匹配结果的性能紧密依赖于特征提取的精度。,立体匹配算法简介,立体匹配算法分类基于局部约束算法,基于局部约束算法利用兴趣点周围的局部信息进行计算,涉及信息量较少,相应的计算复杂度较低,但其对噪声较敏感,对无纹理区域、视差不连续区域和遮挡区域匹配效果不理想。,3)相位匹配算法：基于傅立叶平移定理的相位匹配算法的本质，是对带通滤波后的时/空2频域定位性的基元信号相位信息进行处理而得到像对间的视差。究其本质,相位匹配就是寻找局部相位相等的对应点。,立体匹配算法简介,立体匹配算法分类基于全局约束算法,基于全局约束算法利用对应扫描线或整个图像数据信息进行计算,着重解决图像中不确定区域的匹配问题,能到达全局最优解.全局最优算法的本质是将对应点的匹配问题转化为寻找某一能量函数的全局最优问题,通常跳过代价聚合步骤,直接计算视差值.这类算法的核心环节包括:1)能量函数构造方法;2)能量函数优化求解策略.,1)动态规划算法：本质是在左右图像对应扫描线上寻找最小匹配代价路径的过程.常在视差空间图中应用连续性约束和顺序约束,由全局代价函数决定匹配代价,规划出的路径由趋于具有最小代价的匹配点集合构成.动态规划算法能有效降低计算复杂度.动态规划算法为局部无纹理区域提供了全局支持,从而提高了匹配精确度.动态规划算法的最大局限是不能有效融合水平和垂直方向连续性约束.,立体匹配算法简介,立体匹配算法分类基于全局约束算法,基于全局约束算法利用对应扫描线或整个图像数据信息进行计算,着重解决图像中不确定区域的匹配问题,能到达全局最优解.全局最优算法的本质是将对应点的匹配问题转化为寻找某一能量函数的全局最优问题,通常跳过代价聚合步骤,直接计算视差值.这类算法的核心环节包括:1)能量函数构造方法;2)能量函数优化求解策略.,2)图割算法：为解决动态规划算法不能充分融合水平和垂直方向连续性约束问题,将匹配问题看成是利用这些约束在图中寻求最小割问题.图割算法的其本思想是将立体匹配问题转化为一种能量函数的形式,根据能量函数构造合适的图,求其最小割(最大流).图割算法的特性表现在:其一,构造能量函数用于图割求解时,其本身必须满足一定的约束条件；其二,不同的能量函数有着不同的构图方式.,立体匹配算法简介,立体匹配算法分类基于全局约束算法,基于全局约束算法利用对应扫描线或整个图像数据信息进行计算,着重解决图像中不确定区域的匹配问题,能到达全局最优解.全局最优算法的本质是将对应点的匹配问题转化为寻找某一能量函数的全局最优问题,通常跳过代价聚合步骤,直接计算视差值.这类算法的核心环节包括:1)能量函数构造方法;2)能量函数优化求解策略.,3)人工智能算法：Marr 提出的重要理论之一是立体视觉的不确定性,而且立体匹配问题可以看作是代价函数的优化问题.智能算法的基本思想是在约束条件下,首先建立以基元匹配的相似性条件和相容性条件为基础的最优准则;然后进行点集的最优匹配搜索,使各基元的相似性和相容性达到总体最优.,立体匹配算法简介,立体匹配算法分类基于全局约束算法,基于全局约束算法利用对应扫描线或整个图像数据信息进行计算,着重解决图像中不确定区域的匹配问题,能到达全局最优解.全局最优算法的本质是将对应点的匹配问题转化为寻找某一能量函数的全局最优问题,通常跳过代价聚合步骤,直接计算视差值.这类算法的核心环节包括:1)能量函数构造方法;2)能量函数优化求解策略.,A：基于神经网络的匹配算法，该算法的本质是根据所构建网络的形式,通过迭代学习算法将匹配代价函数及其匹配固有约束转化成能量最小化寻优过程,网络的动态变化过程是多个约束的极小化实现过程.B：基于遗传算法的匹配算法，该算法的本质是根据采用的匹配基元和基因构建策略,将问题的解编码到染色体中,考虑匹配约束构造适当的适应度函数,利用进化机制获得匹配最优解,是一种利用自然选择和进化思想在高维空间中寻优的方法.此类算法性能差异主要体现在4 个方面:1)基因构建策略;2)染色体编码方式;3)匹配约束下适应度函数的构建;4)进化机制的实施.,立体匹配算法简介,立体匹配算法分类基于全局约束算法,基于全局约束算法利用对应扫描线或整个图像数据信息进行计算,着重解决图像中不确定区域的匹配问题,能到达全局最优解.全局最优算法的本质是将对应点的匹配问题转化为寻找某一能量函数的全局最优问题,通常跳过代价聚合步骤,直接计算视差值.这类算法的核心环节包括:1)能量函数构造方法;2)能量函数优化求解策略.,4)其他全局算法：A协作算法的灵感源于人类视觉计算模型,其所用的非线性迭代操作在整体行为上类似于全局算法.B非线性扩散算法的研究热点集中在提高遮挡问题的处理性能上.C置信度传播算法，此算法能得到全局算法的精度和局部算法的效率.,立体匹配技术的发展趋势,立体匹配研究重点,双目立体匹配问题是一个“病态”问题.双目立体匹配实施要考虑诸多因素,并以计算复杂度和稳定性等总体性能指标来衡量方案实施的可行性和有效性。1)多种立体匹配算法有效融合。2)研究新颖的特定匹配约束以及合理变通利用匹配约束。如何有效地保护视差表面的不连续信息;如何避免出现局部最优的问题;如何检测匹配不可见的遮挡区域。3)能量函数构造及其最优求解策略是全局算法的核心问题。4)纹理缺乏、特征缺失、遮挡和不连续的图像区域,是立体匹配研究中的一个难点和重点。降低算法对遮挡的敏感性,从而减轻遮挡的不良影响;对遮挡进行检测并标示出遮挡的存在,虽然并不对其进行解决,但可以避免由其引起的错误;为遮挡问题建立专门的几何模型,对于遮挡问题进行特别处理。5)对匹配算法评价方法的研究。精度，复杂度，可靠性，通用性。,立体匹配技术的发展趋势,立体匹配发展趋势,1)完善双目立体匹配总体理论框架.特别是在复杂场景中,如何提高算法的去歧义匹配和抗干扰能力,如何降低计算复杂度和运算量,仍需要进行更加深入的探索和研究。2)立体匹配与重建相结合.匹配结果约束着内插的重建;反过来,重建结果又引导着正确的匹配.3)充分挖掘人工智能算法的发展空间,建立基于知识、规则、模型的智能化匹配算法.4)建立实时、精确以及稳定的实用立体匹配算法.5)立体匹配与认知科学紧密结合.认知科学中的图形组织规则对立体匹配中的图像分割问题有着重要的指导意义.6)从理解人类视觉的立体融合机制出发,建立一种通用的人类双目匹配计算模型.,Thanks!,