图像拼接毕业设计图像拼接技术研究.doc

毕业设计（论文）专 业：电子信息科学与技术 题 目：图像拼接技术研究 2014年 6 月12日本科毕业设计（论文）任务书 毕业设计（论文）题目中文：图像拼接技术研究英文：Research on Image Mosaic Technology 原始资料1 朱广新.基于特征点匹配的图像拼接以及医学应用D.南京理工大学硕士学位论文，2007:3-4. 2 L.G. Brown. A survey of image registration techniques J.ACM Computing Surveys, 1992, 24(4):325-376. 3 B. Zitova, J. Flusser. Image registration methods: a survey J.Image and Vision Computing, 2003, 21(11):977- 1000. 4 R. Szeliski. Image Alignment and stitching: A TutorialR.Preliminary Draft, Technical Report, 2005. 5 Richard Szeliski. Video Mosaics for Virtual Environments J.IEEE Computer Graphics and Applications, 1996, 16(2):22-30. 毕业设计（论文）任务内容1、课题研究的意义图像拼接的研究意义在于通过技术手段实现全景图像，而不需要对图像采集设备的硬件性能提出过高的要求。事实上，在现实生活中，专业的用于拍摄全景图像的相机的成本太大，而用普通的摄像机是不能得到全景图像的。通过图像拼接的算法，可以用一个普通的摄像机得到同一副场景的不同区域的图像，同时相邻区域之间有交叠，这样就可以利用交叠区域的匹配，将多幅同一场景下的图像拼接成一副全景图像。图像拼接在实际应用中使用非常广泛。遥感图片在军事目标监视、陆地水资调查、土地资源调查、植被资源调查、环境监测和规划管理等方面都得到了广泛的应用。随着科学技术的发展以及人类认知范围的扩大，图像拼接在航空航天领域也有着很大的发展和应用前景。图像拼接在国民生产和生活中发挥的作用也将越来越大，如在农业上，可以通过图像拼接的方法，对某一片区域的全景图像描绘出来，可以得到某一片的地形地貌和区域环境，对农业生产和生活提供指导。2、本课题研究的主要内容：通过图像特征点的匹配使多幅图像拼接成一副全景图像。其要过程为：图像采集、图像预处理、特征点提取、图像匹配和图像融合。3、提交的成果：（1）毕业设计（论文）正文；（2）仿真图和代码；（3）至少一篇引用的外文文献及其译文；（4）附不少于10篇主要参考文献的题录及摘要。指导教师（签字） 教研室主任（签字）批 准 日 期2014年1月4日接受任务书日期2014年1月10日完 成 日 期2014年6月12日接受任务书学生（签字）图像拼接技术研究摘 要图像拼接技术就是将数张有重叠部分的图像拼接成一副大型的全景图像的技术。图像拼接的研究意义在于通过技术手段获得全景图像，降低了对图像采集设备的硬件性能的要求。图像拼接技术融合了多个学科，涉及多个领域，在实际生活中的应用非常的广泛，研究图像拼接技术具有非常重要的意义。本设计的主要内容是通过图像特征点的匹配使多幅图像拼接成一副全景图像。其主要流程：首先，将待拼接的图像进行预处理，消除噪声等干扰因素，同时利用Harris角点检测算法提取图像特征点。其次，利用块匹配法对图像角点匹配，利用重叠区域等长法来消除误匹配。最后，利用加权平均法进行图像融合，完成全景图像的拼接。实验结果表明，此法得到了较为满意的结果，实现全景图像无缝拼接。图像拼接在实际应用中使用非常广泛。遥感图片在军事目标监视、陆地水资调查、土地资源调查、植被资源调查、环境监测和规划管理等方面都得到了广泛的应用。随着科学技术的发展以及人类认知范围的扩大，图像拼接在生活中会有着更大的发展和应用前景。关键字：图像拼接；Harris角点；特征点提取；图像匹配；重叠区域等长法Research on Image Mosaic TechnologyAbstractImage stitching is the technology that splices several overlapping images into a large-scale panoramic image. The research significance of image mosaic is that it could obtain panoramic image by means of a technology and reduces the hardware requirement of image acquisition equipment. Image mosaic technology combines multiple subjects, involving many fields, so its applications are very extensive in real life and it is very important to research the image mosaic technology.The main content of the design is that it can splice several images into a panoramic image through matching feature points. The main processes are as follows: firstly, the image that will be spliced is pretreated so as to eliminate noise and other interference factors. At the same time, image feature points are extracted by using the Harris corner detection algorithm. Secondly, the block matching method is used to match image points, then overlapping area equal length method is used to eliminate false matching. Finally, the weighted average method is used to realize image fusion and complete panorama image mosaic. The experimental shows that this method gets satisfactory results and achieves the panoramic image seamless splicing.Image mosaic is widely used in practical application. It is widely applied to remote sensing images in military surveillance, land water resources survey, land resource investigation, vegetation resources investigation, environment monitoring and management etc. With the development of science and technology and the scopes amplification of human cognition, image mosaic will have larger development and wider application prospect in life.Keywords: image mosaic; Harris corner; feature extraction; image matching; overlapping area equal length method目录引言- 1 -第1章 绪论- 2 -1.1课题的研究背景及意义- 2 -1.2 国内外研究现状- 2 -1.2.1 国外研究现状- 3 -1.2.2 国内研究现状- 4 -1.3 本课题研究的主要内容- 5 -第2章 图像拼接的基本理论- 6 -2.1 图像采集和预处理- 6 -2.2.1 图像采集- 6 -2.1.2 图像预处理- 7 -2.2 图像特征点提取- 7 -2.2.1 SIFT算子- 7 -2.2.2 SUSAN检测算子- 9 -2.3 图像匹配- 11 -2.3.1 归一化互相关（NCC）算法- 11 -2.3.2 序列相似性（SSDA）算法- 12 -2.4 图像融合- 13 -2.4.1 平均值法- 13 -2.4.2 小波变换法- 13 -2.4.3 多频带融合法- 13 -第3章 基于Harris算法的图像特征提取- 14 -3.1 Harris算法原理分析- 14 -3.2 图像特征点提取结果- 15 -第4章 图像特征点匹配- 16 -4.1 特征点初次匹配- 16 -4.2 消除误匹配- 17 -4.3 特征点匹配结果与分析- 17 -第5章 图像融合- 19 -5.1 加权平均法原理- 19 -5.2 图像融合区域分析- 20 -5.3 图像融合结果与分析- 21 -总结与展望- 24 -致谢- 25 -参考文献- 26 -附录A 实验仿真结果图- 28 -附录B 引用外文文献及其译文- 30 -附录C 10篇参考文献的题录及摘要- 37 -附录D 主要源程序- 42 -插图清单图2- 1 图像拼接的流程图- 6 -图2- 2 DOG尺度空间的构造- 8 -图2- 3 尺度空间极值点的构造- 8 -图2- 4 SUSAN模板离散圆与核- 9 -图2- 5 模板圆和模板核在典型图像的不同位置的USAN变化- 10 -图2- 6 相似度（y轴）与像元之间的差值（x轴）之间的关系图- 11 -图3- 1 Harris算法对图像特征提取的结果图- 15 -图4- 1 角点邻域像素分布图- 16 -图4- 2 待匹配简图- 17 -图4- 3 图像特征点匹配结果图- 18 -图5- 1 重叠区域及加权渐变- 19 -图5- 2 全局重叠图- 20 -图5- 3 局部重叠图- 20 -图5- 4 补零后的局部重叠图- 21 -图5- 5 三种重叠情况的图像拼接结果- 23 -引言在实际生活和工作中常常需要获得大视角、高分辨率的全景图像，但由于摄像设备硬件的性能限制，一般只能得到局部的图像，而得到全景图像的硬件设备一般比较昂贵，不适合普遍使用，于是人们提出了利用计算机软件进行图像拼接来获得全景图的方法。目前图像拼接技术已广泛应用于数字视频、运动分析、虚拟现实技术、医学图像分析、遥感图像处理等一系列领域。在现实环境中，由于图像采集设备的限制，想要获得一副场景的全景图像是不可能的。为了能够获得同一幅场景的完整景象，人们尝试了不同的方法，如扩大图像采集设备的视场角。但是这种方法带来的问题是，视场角过大的图像会有很明显的畸变，同时图像的分辨率没有提高，所得到的的宽视角的图像分辨率很低，因此为了解决这个问题，人们考虑采用图像拼接的方法，对采集到的图像采取适当的匹配算法，利用软件自动完成对多幅图像的无缝拼接，以生成全视角的高清晰的图像。基于特征点匹配的图像拼接算法是目前图像拼接算法的研究热门。由于基于特征的图像拼接算法具有一系列的优势，因此国际上有许多针对此类特征的算法的研究。Harris特征点检测提取算法是最早提出的算法模型。该算法的特征是具有旋转不变性。在光照和噪声不强的情况下也有很好的适应能力。后来有人提出基于Harris特征点的归一化函数来提取图像中的特征点，然后通过匹配的算法进行求精。基于尺度不变变换特征的算法，是由David G Love提出的算法，其本人在后续的算法中进行了改进和总结。基于尺度不变变换特征的算法具有很好的旋转不变性。其对图像的平移、旋转和缩放等操作都具有较好的鲁棒性。该算法同时对由光照和噪声引起的干扰也具有很好的适应程度。因此在进行图像拼接的时候，如果图像的质量没有达到很好的效果，在采用其他拼接算法不能取得很好的效果的时候，采用基于尺度不变特征的算法的时候，也能够很好的效果。不过由于该算法的数学计算量大，这也是该算法本身所固有的缺点，因此影响了该算法的整体速度。本设计的主要是通过图像特征点的匹配使多幅图像拼接成一副全景图像。实验结果表明，此法得到了较为满意的结果，实现全景图像无缝拼接。第1章 绪论1.1课题的研究背景及意义视觉是人类获得外界信息的主要手段,图像是视觉系统对客观世界的直接反映。由于设备以及感官的限制,得到的图像的视野是有限的。在许多研究和应用领域,经常需要获得视野大、分辨率高的全景图像进行分析处理,但是由于硬件设备以及技术或者成本方面的问题,不能获取比较满意的大视野图像。在实际中要想获得宽视野、高分辨率的图像,通常可以通过两种途径实现:一种方式是购买特殊的设备,但是此类设备价格都相当昂贵,并且获得的图像也有不尽如人意的地方;另一种方式是利用多图像的拼接技术,其中每幅图像都可以通过普通手持相机获取,这样就大大降低了成本,也能满足我们的需求,因此图像拼接技术成为各个领域研究的热点。图像拼接的研究意义在于通过技术手段实现全景图像，而不需要对图像采集设备的硬件性能提出过高的要求。事实上，在现实生活中，专业的用于拍摄全景图像的相机的成本太大，而用普通的摄像机是不能得到全景图像的。通过图像拼接的算法，可以用一个普通的摄像机得到同一副场景的不同区域的图像，同时相邻区域之间有交叠，这样就可以利用交叠区域的匹配，将多幅同一场景下的图像拼接成一副全景图像。图像拼接在实际应用中使用非常广泛。遥感图片在军事目标监视、陆地水资源调查、土地资源调查、植被资源调查、环境监测和规划管理等方面都得到了广泛的应用。随着科学技术的发展以及人类认知范围的扩大，图像拼接在航空航天领域也有着很大的发展和应用前景。图像拼接在国民生产和生活中发挥的作用也将越来越大，如在农业上，可以通过图像拼接的方法，对某一片区域的全景图像描绘出来，可以得到某一片的地形地貌和区域环境，对农业生产和生活提供指导。图像拼接在虚拟现实的实现方面也有着十分广泛的应用。首先全景图像的生成是通过图像拼接，将一幅幅图像拼接而成。然后将拼接而成的多幅全景图像通过适当的空间映射，生成最终的虚拟全景，最终形成虚拟现实的效果。目前，已经有部分基于虚拟现实的软件的产生，这些软件主要可以用于在虚拟环境下进行购物、旅游等活动。可以预见，在不久的将来，随着技术的不断发展，会有越来越多的基于图像拼接的虚拟现实软件的产生，将极大的改变人们的生活方式。图像拼接技术在医学成像方面同样有着非常广阔的前景。传统的医学成像方法，是通过射线、超声波等医学成像手段，将人体的某个部位拍摄成图像进行观察。但是此时获得的仅仅是某一部分的图像，很难对病变得周围组织信息以及病变的整体情况获得一个准确而全面的把握。因此在现有的医学条件下，没有重大的技术突破，为了获得完整的病变组织的整天信息，得到完整的网络图或者超声波图像，需要通过对从不同角度、不同方向获得图像进行拼接，从而形成完整的图像信息，医生可以在此基础上，对图像进行全面的分析，得到对患者疾病的更进一步的认识和全面的把握。为后续的病情医治提供更加可靠和精确的数据。可以预见，在不久的将来，随着技术的不断发展，会有越来越多的基于图像拼接的医学成像技术的产生，将极大的改变人们的生活方式和医生的就诊方式1。1.2 国内外研究现状在传统相机的时代，获得全景照片是比较困难的，除非你拥有一台昂贵的全景照相机，否则就只能靠暗房技术和手工拼接的方法来完成。进入数字化时代，借助数码相机等设备，数码照片的获取变得非常容易。借助数字计算机实现大量数字图像的快速、准确、自动拼接，成为国内外数字图像处理领域的一个研究热点。特别是近20年来，每年都有大量的图像拼接相关论文发表。多种图像拼接的理论和算法被提出和应用，各种方法都是面向一定的应用领域，具有各自的特点，但目前还没有通用的拼接技术和方法使得人们可以快速高效地实现图像的拼接。图像配准和图像融合是数字图像拼接技术的两个关键技术。图像配准是指将同一场景的两幅或多幅具有重叠区域的图像进行对准，得到图像之间的运动关系，以便于将图像旋转到统一坐标系下进行后续的融合操作。图像融合技术是将经过配准的图像的重叠区域合成一副无缝图像，用来消除由于几何失真、关照变化等引起的相邻图像间的灰度或颜色不连续问题。可见，图像配准较图像融合计算复杂度和耗时要大的多，可以说图像配准直接关系到图像拼接的速度和成功率。因此，图像拼接算法的发展主要与图像配准理论的发展密切相关。1.2.1 国外研究现状在国外，对于图像拼接技术的研究比我国要早，Richard Szeliski教授和Sevket Gumusteki博士是比较具有权威性的研究人员。Richard Szeliski教授针对的是手持摄像机拍摄的图像的拼接情况，要求在拍摄图像序列的时候基本保持光心不发生变化，可以根据需求拼接出不同形状的全景图。Sevket Gumusteki博士的研究重点则是放在了透视变换上面，深入地研究了由于摄像机绕光心旋转而造成的投射变换的消除方法。Stein在求解摄像机焦距和帧间偏移量时加入了对纹理特征的跟踪，使得求解精度有所提高，但同时也加大了计算量。J Davis在1998年提出了在静态场景中加入动态物体的全景图像拼接方法。Apple公司研制开发了一个图像拼接的软件Quiktime VR系统，它所拼接的图像是通过摄像机固定在三脚架上旋转360度获得的，对旋转的角度有严格的要求，并且要求相邻图像间在2/3以上的重叠区域，因此需要高端的拍摄器材和严格的校准工作。1992年，剑桥大学的Lisa Gottesfeld Brown 提出了图像配准技术的基本理论以及主要方法2。2003年，Zitova等人综述了随后10年的图像配准领域的相关方法3。2005年，Szeliski详细全面地介绍了图像拼接的理论架构和主要方法4。纵观近年来发表的关于图像拼接和图像配准的论文，其中提出的相关理论和算法大致可分为两类：基于特征的方法和基于区域的方法。基于特征的方法首先从待配准图像中提取特征，利用特征的对应关系进行特征匹配，通过特征匹配实现全局匹配。基于特征的方法利用了图像的显著特征，如角点、特征点和轮廓等，具有计算量小，速度快的特点，对于图像的噪声、畸变、遮挡等具有一定的鲁棒性，但是它的匹配性能在很大程度上取决于特征选取的合理性和特征提取的质量。美国微软研究院的Richard Szeliski教授对数字图像拼接理论做出了巨大的贡献。1996年，Richard Szeliski提出了一种2D空间八参数投影变换模型，将图像之间的刚性和仿射变换归结为一个八参数线性变换。手工选取n大于等于4对匹配点，得到2n个方程，通过采用Levenberg-Marquardt迭代非线性最小化方法求出图像间的几何变换参数来进行图像匹配5。这种方法在处理具有平移、旋转、尺度关系以及仿射等多种变换的待拼接图像方面效果好，收敛速度快，因此成为图像拼接领域的经典算法。许多后续的研究工作都是基于Szeliski的理论体系展开的。多种特征点的自动提取和匹配算法被应用到图像拼领域。典型的特征点自动提取算法有以下三种：1988年，Harris提出了Harris角点检测器6。该方法使用自相关函数来确定信号发生二维变化的位置，提取的角点被证明具有旋转、平移不变性。Harris角点检测算法对存在旋转、缩放和光照变化时仍有较好的鲁棒性，但缺点是对噪声比较敏感。1997年，英国牛津大学的Smith和Brady提出了最小单值分割相似核（Smallest Univalue Segment Assimilating Nucleus：SUSAN算法）角点检测算法7。1999年，David G.Lowe提出SIFT（Scale Invariant Feature Transform）特征点匹配算法，并于2004年完善总结8。该算法利用图像关键点的SIFT特征向量进行匹配，对信号的旋转、平移、尺度关系、噪声、关照变化、仿射乃至透射变换都具有较高的鲁棒性9。SIFT特征配准是目前国内外特征点配准领域的研究点。除了特征点，轮廓特征也被用来进行图像配准。轮廓的匹配准则可以选取链码相关或者其他一些相似性准则，如主轴和不变矩等。基于区域的方法主要包括模板匹配法和频域法。1972年，Barmea和Silverman10提出的序贯相似检测法就是一种经典的模板匹配算法。模板匹配算法是一种全搜索算法，通过匹配选定的图像模板来实现两幅图像的全局配准。这类算法冗余度高、计算量非常大，计算速度慢，而且仅仅适用于图像间的平移检测。对图像间的旋转和尺度关系无能为力。1975年，由Kuglin和Hines提出相位相关法。借助傅里叶变换将两幅待配准的图像变换到频域，然后利用互功率谱直接计算出两幅图像间的平移量11。1987年，De Castro和Morandi发现利用傅里叶变换的性质，进行旋转配准与平移配准一样有效，提出了扩展相位相关法12。随着快速傅里叶变换算法的提出以及信号处理领域对傅里叶变换的成熟应用，1996年，Reddy和Chatterji改进了De Castro的方法，提出基于快速傅里叶变换进行图像配准的方法，大大提高了运算速度，同时，采用对数据坐标变量分离技术，将频域配准技术成功的应用于存在平移、旋转和尺度的图像配准问题上13。随着极坐标Fourier变换计算方法的改进，Keller等人利用伪极坐标Fourier变换技术改进了图像平移、旋转和尺度的检测稳定性14。1.2.2 国内研究现状在国内，对重叠区域的边界确定这方面，华中科技大学和CAD&CG以及模式识别两个国家重点实验室分别提出了截然不同的方法。华中科技大学主要利用相邻图像间对应图形存在数学关系，通过识别同名点红日校正几何变形来确定匹配区域。CAD&CG以及模式识别两个实验室则是搜索的方式，利用模板进行匹配搜索以得到最佳配准位置，这种算法容易实现，但计算量相对较大且容易产生错误匹配。计算量和拼接精度间的矛盾，清华大学将两者进行折中，要求摄像机在垂直于地面上的方向上做水平旋转运动，对具体的旋转角度不作要求。2002年，杜威和李华视频纹理加入到全景图拼接当中，实现了动态全景图。国内外对图像拼接的研究中，主要的研究重点大部分都放在图像配准这一图像拼接关键技术上，配准速度快和配准精度高是国内外研究人员寻求的目标。因此，产生了图像配准方法，将这些图像配准方法按照匹配方法可分为两类：第一类是基于灰度信息的图像拼接方法图像的灰度信息是最直接且最容易利用的信息，到目前已经发展的较好。基于图像的灰度信息的方法是从一副图像中选取一块区域，根据区域的灰度阵列的相似属性在另一副图中进行搜索，寻找相似度最高的相匹配区域。根据模板的选取方式的不同可以分为三种匹配方式即块匹配、比值匹配和网格匹配。块匹配方法就是从重叠区域中选取一个窗口作为匹配模板，在另一幅图像的重叠区域中进行搜索相似度最高的窗口，这种方法虽然计算量较大，可是精确度比较高。比值匹配方法就是设定一个固定的距离间隔，选取间隔为一个距离的两列的比值作为匹配模板，它是从块匹配的基础上做的改进，从而减少了计算量，但是同时也降低了精确度。网格匹配时粗匹配与精匹配的结合，定义一个步长，每次水平或垂直移动一个步长的距离并记录下最好的位置，从这个位置出发，步长减半然后进行匹配，如此反复循环知道使步长为零。第二类是基于特征的图像拼接方法基于特征的图像拼接方法是目前图像配准领域中占主导地位的图像拼接方法，它将提取出在图像中灰度变化较显著的特征，如点、线、面等作为特征样本集，通过一定的算法挑选出正确的对应对作为匹配样本集。图像特征提取的算法包括Moravec算子、Forstner算子、Harris算子、Canny算子、SIFT特征提取算法等，我们可以根据实际的需要进行对算法的选择。图像拼接技术经过几十年的研究已经取得了很大的进展和广泛的应用。但是，由于拍摄环境复杂多变，没有一种算法能够解决所有的图像拼接问题。现有的算法各有其优缺点，如果能综合利用这些方法的优点将会取得更好的拼接效果。1.3 本课题研究的主要内容本设计的主要内容是通过图像特征点的匹配使多幅图像拼接成一副全景图像，其中包括特征点提取、图像匹配和图像融合。利用Harris角点检测算法提取图像特征点，通过块匹配法实现图像匹配，利用加权平均法进行图像融合，完成全景图像的拼接。第2章 图像拼接的基本理论本设计主要介绍了基于角点匹配的图像拼接。本章主要介绍了图像拼接的基本过程，其包括图像采集、图像预处理、特征点提取、特征点匹配和图像融合。图像拼接的流程如图2-1所示：图2- 1 图像拼接的流程图2.1 图像采集和预处理2.2.1 图像采集图像采集是图像拼接的第一步，目的是获取场景的原始图像，为图像拼接提供原始的图像素材。原始图像素材的质量的高低直接决定着全景图像拼接的效果，因此在图像采集阶段要尽量的使用高性能的图像采集设备，获取高质量的原始图像。原始图像的采集方式有很多种，必须根据不同的环境采取不同的图像采集方法，如医学图像采集就必须使用显微镜等。总的来说，原始图像的获取主要有三种途径15：1. 旋转式相机拍摄首先将三脚架放置在一个平面上，然后将三脚架调节到合适的高度，在放置好三脚架后，将摄像机固定到三脚架上，摄像机只能围绕一个固定的轴旋转，当摄像机拍摄完一张图像后需要将摄像机旋转一定的角度拍摄下一张图像。摄像机旋转的角度不应过大，要保证相邻图像之间有足够的重叠区域，一般来说，重叠区域要占图像的1/3左右，最后一幅图像和第一幅图像的重叠区域应足够大，要保证他们的重叠区域超过图像50%16，这样才能保证场景360度信息的完整性。在使用旋转式相机采集图像的过程中，要尽量避免摄像机镜头的偏移和俯仰。2. 手持式相机拍摄旋转式相机拍摄的图像在竖直方向上几乎没有位移，但是旋转式相机携带不方便，因此，人们通常使用普通的照相机对场景进行旋转拍摄，手持式相机拍摄对图像要求不如旋转式相机拍摄时严格，它允许相机有微小的位移和抖动。3. 平移式相机拍摄平移式相机拍摄时，相机必须在平行于场景的平面上进行拍摄，具体的拍摄方法如下：首先将相机固定在平面上，然后将相机沿着此平面移动，最终将获得一系列描述场景的原始图像。这种情况下拼接出来的全景图像三维感觉没有采用旋转式相机采集图像拼接出的全景图像的效果好。物体和相机的距离，拍摄物体的大小都会影响全景图像的拼接结果。2.1.2 图像预处理图像预处理工作的目的在于保证匹配精度和提高匹配效率。总的来说，由于图像自身特点、噪声及应用的情形不同，需要根据实际情况来选择预处理的方法。保证高准确性的图像预处理工作主要分为图像校正和去噪。由于光学成像或电子扫描系统的原因而产生图像的几何畸变会给图像的配准带来很大的困难。根据失真原因建立相应的数学模型，由模型设计滤波器，由失真图像计算真实图像的估值，从而获得尽可能接近真实图像的数据。在图像的采集、输入等环节中都会引入噪声，噪声会影响拼接效果，抑噪去噪一直是图像处理领域长期研究的问题。另外，由于彩色信息不能明显提高匹配性能，我们可将彩色图像转换为灰度图像，并在灰度空间内进行后续的匹配操作，这样，灰度图像的转换使图像匹配耗时大大降低。总之，根据拼接图像的各种情况采用的预处理方法能有效的提高拼接的质量与速度。2.2 图像特征点提取特征点也称角点，目前常见的角点检测算子主要有基于边缘的检测和基于图像灰度的检测。基于边缘的检测方法是由Rosenfeld和Freeman早期提出的，该方法需要对图像边缘编码，而此很大程度上依赖图像的分割效果和边缘提取质量，因此需要很大的计算量，同时具有一定的难度，而且如果检测的目标发生了局部变换也可能导致检测的失败。基于图像灰度的检测方法恰恰避免了基于边缘检测的缺点，成为目前研究的热点。该方法是通过将图像的梯度和曲率作为判断角点是否存在的标准，主要算法有SIFT算子、SUSAN算子和Harris算子等。这里将对前两者作介绍，Harris算子将在后续作详细介绍。2.2.1 SIFT算子SIFT算子17是由D.G.Lowe于1999年提出，并于2004年完善总结的。SIFT算法由于具有尺度、旋转、视角、仿射、光照不变性，对目标的运动、噪声等因素也保持较好的匹配性，所以有较高的准确性。在航空、医学图像的匹配性能上，明显优越于其他算法，适合应用在全景图像的拼接上。它的主要思想是：建立图像的多尺度空间，在不同尺度、不同分辨率下检测到高斯差分图像的极值点。(1)建立尺度空间尺度空间理论目的是模拟图像数据的多尺度特征。其主要思想是利用不同的卷积核对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列。Koenderink与Lindeberg的研究表明高斯核是唯一可能的线性尺度核。具有线性、对称性和可分离性等良好性质。构建尺度空间是为了检测出尺度空间的极值，即特征点。可以通过构造高斯差分金子塔，并在构造的尺度空间上寻找极值的方法获得。高斯差分金字塔可以通过高斯函数反复卷积原始图像并构造差分序列。若一副图像，变尺度高斯核函数,图像的多尺度空间即为和的卷积，定义为： （2-1）其中： ，为像素点坐标，为尺度空间因子。的大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。图像金字塔共O组，每组有S层，图2-2由两组高斯尺度空间示例金字塔的构建，第二组的第一幅图像由第一组的第一幅到最后一幅图像由一个因子2降采样得到。作为同一分辨率下的一幅图像可改变尺度因子，得到同阶相邻的n层尺度图像。相邻的图像相减就产生了相应的n-1层DOG图像，下一组的图像由上一组图像将采样得到。图2- 2 DOG尺度空间的构造 （2-2）其中可视为相邻尺度空间的比例。由此就形成尺度空间的第一阶，将原图像以2降采样方法得到第二阶的最底层图像，同样进行卷积，相减得到尺度空间的第二阶，完成了尺度空间的建立。(2)检测尺度空间的极值点为了检测的局部极值点，需要比较DOG图像中每个像素与其同层及上下层26个近邻像素值。如图2-3所示：若像素是一个可能的SIFT特征点，则它必须在它周围的26个近邻像素中为最大值或最小值，即极值点时，就认为改点为图像在该尺度下的一个特征点。图2- 3 尺度空间极值点的构造由于DOG值对噪声和边缘较敏感，在这里为了去除边界响应点，计算特征点处的Hessian矩阵H： （2-3）如果点满足，则改点保留为特征点，否则被视为响应点被排除。其中： ，一般取值为10。2.2.2 SUSAN检测算子SUSAN18是（最小核值相似区）Smallest Univalue Segment Assimilating Nucleus的缩写，是由牛津大学的Smith等提出的。SUSAN使用一个圆形模板和一个圆的中心点，通过圆中心点像元值与模板圆内其他像元值的比较，统计出与圆中心点像元值相似的像元数量，当这样的像元数量小于某一个阀值时，就被认为是要检测的角点。定义一个半径为3.4个像元的圆，对于离散图像而言，这个圆共有37个像元。圆的中心像元称为模板的核，如图2-4所示，粗线包围的区域为离散圆。图2- 4 SUSAN模板离散圆与核在模板圆内，将与模板核像元值相似的像元数量或面积称为USN（核值相似区，Univalue Segment Assimilating Nucleus）面积，如图2-5所示，当模板圆在典型图像上移动时，在圆内，USAN面积是完全不同的。从图可以看出，当模板圆的核移动到A点时。USAN的面积最小，其他依次分别是按D、B、C、E排列。由此，我们可以看出，当圆形模板在接近、进入、移出图像角点时，USAN面积经历了一个由大到小，再由小到大的过程。这一个变化特点我们检测角点所必须的。将圆形模板在被检测的图像上逐个像元移动，圆形模板内的像元值与核像元值进行比较。比较可用下式简单地描述： 1 如果 （2-4） 0 如果 其中，表示模板核在二维图像中的位置，表示模板内其他任意位置。表示图像在处的像元值，表示图像在处的像元值。为核像元与其他像元相似度的阀值。当模板圆内的所有像元比较完成后，对结果进行累加，即 （2-5）图2- 5 模板圆和模板核在典型图像的不同位置的USAN变化 就是模板核在处模板内图像USAN的像元数量，也即是模板核在处图像USAN的面积，它在角点处其值应该达到局部小。为了进行非最大值抑制，需要计算角点的响应。我们定义角点响应为： 如果 （2-6）0 其他式中：固定阀值，通常=。这样，当USAN的面积达到最小值时，就达到最大。为了得到更稳定的结果，避免相似度函数在阀值边界发生突变，将式（2-4）