目标跟踪算法的研究.docx

西北工业大学本科毕业设计论文目 录摘 要1ABSTRACT2第一章 绪 论41.1课题研究背景和意义41.2国内外研究现状51.3本文的具体结构安排7第二章 运动目标检测82.1检测算法及概述82.1.1连续帧间差分法92.1.2背景去除法112.1.3光流法13第三章 运动目标跟踪方法163.1引言163.2运动目标跟踪方法163.2.1基于特征匹配的跟踪方法163.2.2基于区域匹配的跟踪方法173.2.3基于模型匹配的跟踪方法183.3运动目标搜索算法183.3.1绝对平衡搜索法183.4绝对平衡搜索法实验结果193.4.1归一化互相关搜索法213.5归一化互相关搜索法实验结果及分析22第四章 模板更新与轨迹预测264.1模板更新简述及策略264.2轨迹预测284.2.1线性预测294.2.2平方预测器304.3实验结果及分析：31致 谢36参考文献37毕业设计小结3838摘 要 图像序列目标跟踪是计算机视觉中的经典问题，它是指在一组图像序列中，根据所需目标模型，实时确定图像中目标所在位置的过程。它最初吸引了军方的关注，逐渐被应用于电视制导炸弹、火控系统等军用备中。序列图像运动目标跟踪是通过对传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置。它是计算机视觉系统的核心，是一项融合了图像处理、模式识别、人工只能和自动控制等领域先进成果的高技术课题，在航天、监控、生物医学和机器人技术等多种领域都有广泛应用。因此，非常有必要研究运动目标的跟踪。 本论文就图像的单目标跟踪问题，本文重点研究了帧间差分法和背景去除法等目标检测方法，研究了模板相关匹配跟踪算法主要是：最小均方误差函数(MES)，最小平均绝对差值函数(MAD)和最大匹配像素统计(MPC)的跟踪算法。在跟踪过程中，由于跟踪设备与目标的相对运动, 视野中的目标可能出现大小、形状、姿态等变化, 加上外界环境中的各种干扰, 所要跟踪的目标和目标所在的场景都发生了变化, 有可能丢失跟踪目标。为了保证跟踪的稳定性和正确性, 需要对模板图像进行自适应更新。由于目标运动有一定得规律，可以采取轨迹预测以提高跟踪精度，本文采用了线性预测法。 对比分析了相关匹配算法的跟踪精度和跟踪速度；对比不采用模板更新和模板跟新的跟踪进度和差别，实验表明，跟踪算法加上轨迹预测及模板跟新在很大程度上提高了跟踪帧数，提高了跟踪精度，具有一定的抗噪声性能。关键词： 目标跟踪，目标检测 ，轨迹预测 ，模板更新 ABSTRACT Target tracking, image sequence is a classic computer vision problems, it is defined as a set of image sequences, in accordance with requirements of the target model, real-time images to determine the location of the target process. It initially attracted the concern of the military has gradually been applied to television-guided bombs, fire control systems for military preparation. Moving target tracking sensor is taken through the image sequence analysis, to calculate the target image in each frame position. It is the core of computer vision system is a combination of image processing, pattern recognition, artificial only and the results of automatic control in areas such as advanced high-tech issues in the aerospace, control, biomedical and robotics fields, etc. There are widely used. Thus, it is necessary to study the tracking of moving targets. In this paper, the image of the single-target tracking problem, research the target detection method is mainly based on inter-frame difference and background removal method to detect the target in preparation for target tracking. Template matching tracking algorithm is: the smallest mean square error function (MES), the smallest mean absolute difference function (MAD) and the maximum matching pixel statistics (MPC) of the tracking algorithm. In the tracking process, due to the relative camera movement with the goal, the goal of vision may occur in size, shape, gesture, such as changes in the external environment combined with the various kinds of interference, as well as over time, to track where the goals and objectives scene changes have taken place, it is possible to track the target is lost. In order to ensure the stability and tracking accuracy, the need for adaptive template image update. Since the goal of movement must be the law of the forecast track could take to improve the tracking precision, this article uses the square of the linear prediction method and prediction method. Analysis of the relevant matching algorithm to track the tracking accuracy and speed; contrast do not use templates and template updates with the new tracking the progress and differences in the experiment proved that the tracking algorithm with trajectory prediction and templates to a large extent with the new frame to improve tracking,Improved tracking accuracy, which has strong anti-noise performance.Key words: Target tracking ， Target Detection ， Trajectory Prediction， Template Update第1章 绪 论 本章首先讨论了目标跟踪的研究背景和意义；介绍了目标跟踪在国内外的研究现状；接着讨论了目标跟踪研究中面临的困难和待解决的问题；最后介绍了本文的主要工作和总体结构。1.1课题研究背景和意义运动目标跟踪在军事、智能监控、人机界面、虚拟现实、运动分析等许多领域有着广泛的应用前景，在科学和工程中有着重要的研究价值，吸引了国内外越来越多研究者的兴趣。 图像序列中的运动目标跟踪，就是在各帧图像中检测出各个独立运动的目标，或是用户感兴趣的运动区域（如人体、车辆等），并且提取目标的位置信息，得到各个目标的运动轨迹。其实质是通过对传感器获取的图像序列进行分析，得到目标在每帧图像中的位置、速度及加速度等特征参数。 图1-1目标跟踪原理图 国内外学者对目标跟踪算法进行了大量深入的研究，取得了令人瞩目的研究成果。但是，现有的目标跟踪算法大多受限于特定的应用背景，跟踪算法还有待于进一步研究和深化，研究一种具有鲁棒性和实时性、适用性强的目标跟踪方法依然面临着巨大挑战。 目前，运动目标跟踪算法的主要难点有：复杂背景下的运动目标提取、目标之间的相互遮挡以及目标与背景之间的遮挡、阴影处理、多摄像机的数据融合等。尤其是遮挡和阴影问题，它们普遍存在于现实环境中，严重影响跟踪算法的可靠性和适用性。本文重点研究了序列图像的几种常用跟踪方法。1.2国内外研究现状 目标跟踪就是通过对摄像机获得的图像序列进行分析，计算出目标在每帧图像上的二维位置坐标，并根据不同的特征值，将图像序列中不同帧之间同一运动目标关联起来，得到各个运动目标完整的运动轨迹，即在连续的图像序列中建立运动目标的对应关系。 目前，国内外学者提出了许多不同的跟踪算法和跟踪系统，可以按照不同的划分依据对跟踪算法进行不同的分类：就跟踪对象而言，可以分为车辆跟踪、人体跟踪或人体部分跟踪（如跟踪手、脸、头和脚等身体部分）等；就跟踪目标个数而言，可以分为单目标跟踪和多目标跟踪；就跟踪视角而言，可以分为单摄像机的单一视角、多摄像机的多视角和全方位视角；还可以通过摄像机类型（红外摄像机、可见光摄像机）、摄像机状态（运动、固定）、跟踪空间（二维、三维）和跟踪环境（室内、室外）等方面来进行分类。2 针对不同的研究对象有不同的跟踪算法，主要有以下几种跟踪算法： 1) 基于特征的跟踪 为了实现目标跟踪，没有必要跟踪整个目标区域，只要跟踪目标的某些显著特征，就可以实现对整个运动目标的跟踪。这些显著特征可以是目标的质心，也可以是目标上的任意一点，只要这些特征具有高度的稳定性，不易受外界因素如光照强度变化、噪声等因素的干扰，对目标大小、位置、方位不敏感即可。为了提高跟踪的鲁棒性，往往不只选一个特征，而是选一组特征，在一般情况下，可利用的特征有：角点、直边缘等局部特征和质心、表面积和惯量矩等全局特征，在实际应用中，采用什么特征主要取决于目标具有哪些特征以及算法实现的具体要求。 基于特征的目标跟踪方法利用跟踪特征点位置的变化来跟踪目标，首先，从图像序列中提取目标的显著特征，如拐点、质心或有明显标记区域对应的点、线、曲线等；然后在连续图像帧之间寻找特征的对应关系，即进行特征匹配，最后计算运动信息，从而通过对特征的跟踪来完成对整个目标的跟踪。Polana将每个行人用一个矩形框封闭起来，封闭框的质心被选作跟踪的特征，在跟踪过程中，如果两人出现相互遮挡的情况，只要能区分质心的速度，就能成功地完成人体跟踪。这种方法的优点是：即使场景中出现部分遮挡情况，只要目标的一些特征可见，仍可以保持对运动目标的跟踪。由于只跟踪已选择的显著特征，上一帧目标的特征在下一帧图像中的可能匹配数目大大小于相关跟踪算法，处理的数据量小，并且由于特征的精心选取，使得在光照和目标几何形状发生变化时，也能进行目标跟踪，具有一定的鲁棒性。特征的选取对整个跟踪算法十分重要，关系到整个跟踪系统的可靠性和跟踪精度，它应具有对目标大小、位置、方向和照度变化不敏感的特点，如灰度局部极大值点、跟踪。其不足是要求独立而准确地初始化边界，而这在实际应用中往往很难实现。2) 基于相关的跟踪相关跟踪法，又叫模板匹配法，其主要思想是：将目标的基准图像（模板）在实时图像中以不同的偏移值进行位移，然后根据一定的相似性度量准则对每一个偏移值下重叠的两个图像进行处理，计算两者的相关值，根据最大相关值确定实时图像中目标的位置。简单地说，就是在当前帧中寻找与上一帧目标相关性最大的区域。相关跟踪法具有很强的噪声抑制能力，可以在很小的信噪比条件下工作，它具有对有关目标的知识要求甚少、定位精度高、跟踪距离远、可靠性高和较强的局部抗干扰能力等优点，而且计算简单，易于编程和硬化。由于它只利用图像间的灰度相关性作为区域相似性的判断依据，对几何和灰度畸变十分敏感，光照强度变化或目标运动姿态发生变化等都将对算法产生较大的影响，计算量偏大。而且往往不能充分利用目标的几何特性，易产生积累误差，它适用于实时图像与参考图的产生条件较为一致，目标尺寸变化很小，景物与目标的相关性不强的场合。 3) 基于运动估计的跟踪 基于运动估计的跟踪方法是利用图像序列中目标的运动信息来对目标进行跟踪的一种方法。运动信息又称为光流，基于光流估计的方法，利用了灰度的变化信息，首先，从图像序列的灰度变化中计算速度场，一般需要计算灰度的一阶导数和二阶导数；然后利用一些约束条件从速度场中估计运动参数和物体结构。光流方法又分局部光流法和全局光流法，局部光流法能够准确的反映出运动边缘处的运动信息，但是对于图像中的弱纹理区域不敏感；全局光流法能够得到每个像素处的光流，但是对于运动边界处的光流变化不敏感。由于噪声、多光源、阴影和遮挡等原因，使得计算出的光流分布不是十分可靠和准确，实际景物中的速度场不一定总是与图像中的直观速度场有唯一对应关系，且偏导数计算会加重噪声水平，计算复杂，使得基于光流的方法在实际应用中常常不稳定。 尽管目标跟踪算法可以大致分为上述几类，但是这些方法并不是孤立的，在进行目标跟踪时，为了保证跟踪的可靠性和准确性，常常混合使用几种算法以得到更好的跟踪效果。1.3本文的具体结构安排 第一章 绪论，详细阐述了目标跟踪的研究背景和意义，总结了国内外研究 的发展现状，讨论了目前目标跟踪存在的困难和不足，指出了本文重点解决的问题。第二章 主要研究了帧间差分法、时间差分法和背景去除法及算法和各自的适用范围。 第三章 匹配方法和目标搜索算法 ，重点用最小平均绝对差值函数(MAD)做了跟踪算法实现跟踪。第四章 模板更新，由于目标的大小在变化及拍摄设备姿态的变化等导致目标变化，因此必须采取模板更新，已保证跟踪精度。 第2章 运动目标检测目前，已经有许多标准的算法用于运动目标检测，它们具有不同的效果和复杂度。在实际应用中，运动目标的提取通常不是采用单一的检测算法，而是对某一算法进行改进或是综合运用几种算法以求达到更好的效果。无论采用哪种目标检测算法，都应该满足以下几个条件：能够准确地从图像序列中检测出运动目标；操作简便、快捷以及适应实时系统的要求；对天气、光照等环境变化不敏感，且对于摄像机振动或由其它情况引起的噪声有很好的鲁棒性；所需要的先验信息越少越好。 运动检测主要有三种方法：光流法、时间差分法和背景去除法。光流法在摄像机运动的条件下也能检测出独立的运动目标，然而大多数的光流计算相当复杂，不能够用于实时处理。时间差分检测法对于运动环境具有较强的自适应性，但一般不能完全提取出所有相关区域的像素点，在运动实体中容易产生空洞现象。背景去除法适用于固定摄像机的情形，它先为背景建立背景模型，通过将当前图像帧和背景模型进行比较，确定出亮度变化较大的区域，即认为是前景区域。这种方法计算速度很快，可以获得完整的运动区域，但对于场景中光照条件和噪声比较敏感，在实际应用中需要采用一定的算法维护和更新背景模型，以适应环境的变化。10 本章首先简单概述了目标检测算法，然后详细介绍了本文使用的自适应背景去除算法，接着针对阴影对目标检测的影响，本文从色彩和光照不变性的角度，分析和讨论了阴影的特性，提出了一个新的可用于阴影去除的算法，提高了阴影去除率，最后介绍了噪声处理和区域标记方法。 2.1检测算法及概述 运动目标检测就是对包含运动信息的图像序列进行适当地处理，从而去除静止的背景，检测出运动目标及其携带的运动信息，并对这些运动信息进行整合，得到关键参数，为视觉系统的后续阶段提供可靠的数据源。运动目标的检测原则是要尽可能保留那些对视觉检测有重要意义的特征信息，同时最大限度地摒弃那些对运动目标检测无用的冗余信息。 人们总是希望有一个通用的运动检测算法，能适用于各种环境，在各种场景中都能很好地工作。但是，在实际应用中，由于动态场景的光照变化、阴影、目标之间的遮挡现象以及摄像机的抖动等问题的存在，要得到一个通用的运动目标检测算法是十分困难的，研究者不得不在算法的复杂度、可靠性以及实时性等方面综合考虑。目前，研究人员已经在这方面做了大量的研究，提出了许多方法。下面简单介绍目前常用的几种方法：2.1.1连续帧间差分法连续帧间差分法是将连续两帧进行比较，从中提取出运动目标的信息，基本运算过程如图2-1所示，图2-1连续帧间差分法的示意图 首先，利用公式2-1计算第k帧图像与第k-1帧图像之间的差别，得到差分后的图像; （2-1）其中：，为连续两帧图像，为帧间图像。 然后对差分后图像Dk使用图像分割算法(公式2-2)进行二值化处理，即认为当差分图像中某一像素的差大于设定的闭值时，则认为该像素是前景像素(检测到的目标)，反之则认为是背景像素; (2-2) 按照上面介绍的连续帧间差分方法，我们对室外的运动目标进行了检测实验，实验结果如下图所示。由于本图帧之间的变化很小，因此选取相邻几帧来做 (a) (b) (c) 图2-2采用连续帧间差分法的效果图连续帧间差分方法在动态环境下的自适应性是很强的，但是这样分割出来的区域实际上是物体前后两个位置的“或”区域，比物体实际所在的区域要大。采用连续帧间差分方法检测目标时，需要考虑如何选择合适的时间间隔。9 一般时间间隔依赖于所监视的物体的运动速度。对快速运动的物体，需要选择较小的时间差，如果选择得不合适，最坏情况下目标在前后两帧图像中没有重叠，造成被检测为两个分开的物体;而对慢速运动的物体，应该选择较大的时间差，如果选择得不适当，最坏情况下目标在前后两帧图像中几乎完全重叠，根本检测不到物体。针对这些问题有许多的改进方法，例如提出三帧差图像法，利用三帧图像计算出两个差分图像，再令对应像素相乘。这种方法检测运动目标仍然存在不完整问题 Lipton等利用两帧差分法从实际视频图像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧差分来代替两帧差分，如VSAM使用一种自适应背景减除与三帧差分相结合的混合算法；为了提高差分法的性能，Jain提出了累积图像差分法.帧间差分法其主要优点是：算法实现简单、复杂度低、实时性高，由于相邻帧的时间间隔较短，对场景光照的变化不太敏感，受阴影的影响也不是很大，时间差分法对动态环境有较好的适应性。1然而，在实际应用中目标检测的结果往往不太令人满意，其主要问题是：当目标表面存在像素均匀的大区域时，时间差分法将在目标的上述区域产生“空洞”而使目标被过度分割成多个区域，只能检测出运动目标的一部分；另外由于目标的运动，前一帧中被目标遮挡的背景部分在当前帧中将暴露出来，使得这部分背景也被认为是运动区域；同时这种方法所检测到的运动区域的大小与目标的运动速度有关，目标运动速度越大，检测出的区域就比实际的区域越大，而当目标运动很缓慢时，往往检测到的区域很小，甚至无法检测到目标的运动。2.1.2背景去除法背景去除法是目前运动目标检测中最常用的一种方法，它是利用当前帧图像和背景图像（参考帧图像）的差分来检测运动区域的一种技术，即将当前帧图像与背景图像相减，若差值大于某一阈值，则认为此像素点为运动目标上的一点，阈值大小决定了检测算法的灵敏度。4在背景去除法中，背景图像的选取直接关系到最终检测结果的准确性。在理想情况下，即背景图像是完全静止的，而且具有运动目标的图像除了运动区域的像素值发生了变化，其余属于背景的部分保持不变。背景去除法可以简单地表示为： = （2-3） （2-4）式中 (i,j)表示背景图像。 当前帧图像（a） 背景图像（b） 背景去除后的目标（c）图2-3采用背景差分法的效果图 与时间差分法相比，背景去除法能够提供比较完整的运动目标信息，得到较准确的目标图像，而且速度快，能适应实时系统的要求。但随着时间的推移，对光照和外部条件造成的场景变化比较敏感，会出现许多噪声点，影响目标检测结果。在实际应用中，场景中的背景很复杂，存在各种各样的干扰，而且背景随着时间不断变化，所以适用于整个图像序列的理想背景是不存在的，因此使用背景去除法的主要困难在于背景模型的建立和维护。一般来说，背景模型需满足以下要求：1) 能适应背景随时间的缓慢变化，如一天当中不同时间里的光照变化；2) 能适应背景物体的变化，如场景中移入新的物体，背景中的物体移出场 景等变化；3) 背景模型能描述背景中的一些较大扰动，如树叶晃动、日光灯闪烁等；4) 能适应光照亮度的突变；5) 能够消除前景物体的阴影；6) 能够处理前景物体与背景相似的情况，如人体衣服的颜色与背景中某个物体的颜色相似。 对于这些问题，可能的解决办法是：不断更新背景模型，使得背景模型具有自适应的功能，解决背景物体发生变化的影响和光照渐变的影响；对于室外树叶的摆动、日光灯的闪烁等情况，可以建立多模的背景模型，如利用混合高斯模型对背景像素建模；对于前景和背景颜色相似的，可以利用能够测量深度的摄像机捕获图像以及图像中对应于各像素点的深度信息；虽然阴影使得像素点的强度变化比较大，但是其色度信息几乎保持不变，可以利用色度信息把阴影从前景中消除。 目前许多研究人员致力于背景模型的研究，希望能够减少动态场景对于准确检测的影响。主要有基于统计的模型（高斯模型）和基于预测的方法（卡尔曼滤波、维纳滤波等）。如Haritaoglu等利用最大、最小强度值和最大时间差分值为场景中的每个像素进行统计建模，并且进行周期性的背景更新；McKenna等利用像素色彩和梯度信息相结合方法来建立自适应背景模型。2.1.3光流法光流是运动物体被观测面上的像素点运动产生的瞬时速度场，它包含了物体三维表面结构和动态行为的重要信息。一般情况下，光流由相机运动、场景中目标的运动或两者的同时运动产生的。当场景中有独立的运动目标时，通过光流分析可以确定运动目标的数目、运动速度、目标距离和目标的表面结构。光流研究已经在环境建模、目标检测与跟踪以及视频事件分析中得到了广泛的应用。光流计算方法大致可以分为三类：基于匹配的方法、基于频域的方法和基于梯度的方法。9光流法的基本原理是：给图像中的每一个像素点赋予一个速度矢量，形成一个图像运动场，在运动的一个特定时刻，图像上的一点对应三维物体上的某一点，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和背景速度矢量不同，从而检测出运动物体的位置。设图像上的点(x, y)在时刻t的亮度为f (x,y,t)，经过时间t后对应点的亮度值为f(x+x,y+y,t+t)，当t0时，可以认为亮度不变，于是有： f(x,y,t)=f(x+x,y+y,t+t) （2-5） 上式用泰勒公式展开得： （2-6）由于t0，因此忽略二阶无穷小项，得： （2-7）所以： （2-8）即： （2-9）其中， , 分别为x和y方向的光流分量。 式(2-9)给出了光流计算的一个方程，又称为光流约束方程（Optical FlowConstraint Equation）。光流约束方程对每一个像素点来说都是一个含有两个变量的方程，而只有一个约束方程，不能同时确定光流场的两个变量，这种不确定问题称为孔径问题（Aperture Problem）。由于孔径问题的存在，使得仅通过光流约束方程而不用其他信息是无法计算图像中某点的光流，为此人们提出了各种方法来克服这一问题。从不同的角度出发，可以引入不同的光流分析方法，如：使用光流全局平滑性假设来求解光流的Horn-Schunck方法；使用一个模型通过最小二乘法来拟合像素点领域内的光流值的Lucas-Kanade局部调整法；利用二阶导数求光流的Nagel方法和利用鲁棒回归算法来计算光流克服遮挡时运动边界的信息不可靠问题的鲁棒计算法等。关于光流更加详细的讨论可参见Barron、高文、马颂德等的文章。 基于光流方法的运动检测采用了运动目标随时间变化的光流特性，由于光流不仅包含了被观测物体的运动信息，而且携带了有关物体运动和三维结构的丰富信息，所以该方法不仅可用于运动目标的检测，甚至可直接用于运动目标的跟踪，在摄像机运动的前提下也能检测出独立的运动目标。然而在实际应用中，由于遮挡性、多光源和噪声等原因，使得光流约束方程的灰度守恒假设条件得不到满足，不能求解出正确的光流场；并且光流场与运动场并不一一对应，如球体在摄像机前面绕中心轴旋转，其明暗模式并不随着表面运动，此时光流在任意地方都等于零，而运动场却不为零；若球体不动，光源运动，则光流场不为零，而运动场却等于零。同时大多数的光流计算方法相当复杂，计算量巨大，除非有特别硬件支持，否则不能满足实时要求。 1第三章 运动目标跟踪方法3.1引言运动目标跟踪是近期视觉领域内一个备受关注的课题，图像中运动目标的跟踪技术通常是通过目标检测来进行跟踪。运动目标的跟踪就是在视频图像的每一幅图像中确定出我们感兴趣的运动目标的位置，来实现目标的跟踪。在机器视觉研究领域里，随着技术不断发展，自动目标跟踪(ATR)越来越受到研究者的重视，具有广阔的应用前景。运动目标的跟踪在工业控制、军事设备、医学研究、视频监控、交通流量观测监控等很多领域都有重要的实用价值。特别在军事上，先进的武器导航、军事侦察和监控中都成功运用了自动跟踪技术。跟踪的难点在于如何快速而准确的在每一帧图像中实现目标定位。 本章首先在第二节中概括介绍目标跟踪的几种方法。在本文中介绍运动目标的主要特征，具体对基于目标区域特征进行分析，及常见的运动目标搜索算法，重点分析了跟踪原理和搜索算法。3.2运动目标跟踪方法 图像中运动目标的跟踪技术通常有两种算法思想通过目标识别来进行跟踪和通过运动检测来进行跟踪。使用目标识别的方法进行跟踪通过在每一帧的图像中识别研究的物体来确定物体的位置来实现目标的跟踪。这种方法包含了目标识别和目标匹配两部分。而使用运动目标检测的方法来发现并确定运动目标的位置进行跟踪，这种方法不考虑目标的形状、尺寸，可以检测任何物体。近年来，人们从这两种基本思想或结合这两种思想的角度出发，提出了大量的跟踪算法。这些算法在实时性、可靠性和精确性上都有改进。现有的目标跟踪方法有下面三类:基于特征匹配的跟踪方法、基于区域匹配的跟踪算法、基于模型匹配的跟踪算法。3.2.1基于特征匹配的跟踪方法 基于特征匹配的跟踪方法不考虑运动目标的整体特征，即不关心目标是什么，只通过目标物体的一些特征来进行跟踪。由于图像采样时间间隔通常很小，可以认为这些特征在运动形式上是平滑的，因此可以完成目标的整体跟踪过程。 无论是刚体运动目标还是非刚体运动目标，基于特征匹配的方法进行目标跟踪时包括特征的提取和特征匹配两个过程。在特征提取中要选择适当的跟踪特征，并且在下一帧图像中提取特征;在特征匹配中将提取的当前帧图像中目标的特征与特征模板相比较，根据比较的结果来确定目标，从而实现目标的跟踪。例如使用特征点对人体进行运动跟踪33。该方法把需要跟踪的每一个人用一个矩形框封闭起来，封闭框的质心被选择为目标的跟踪特征。除了用单一的特征来实现跟踪外，还可以采用多个特征信息综合在一起作为跟踪特征，来提高跟踪的效果。利用多个目标特征联合进行跟踪的算法，如StnaBicrhfield提出了将目标的颜色直方图模型和灰度梯度模型联合的方法，实现对人头部的实时跟踪；H.chne和.TLiu联合目标的颜色概率分布和边缘密度信息完成对非刚体目标的跟踪。3 如果运动目标物体简单，可以将整个目标作为特征来进行跟踪，这种方法也被称为模板匹配。43.2.2基于区域匹配的跟踪方法 基于区域匹配的跟踪方法是把图像中运动目标的连通区域的共有特征信息作为跟踪检测值的一种方法。在连续的图像中有多种区域信息，例如颜色特征、纹理特征等等。这种方法不需要在视频序列的图像中找到完全相同的特征信息，通过计算区域的原始目标之间的相关性来确定跟踪目标的位置。基于区域的跟踪方法我们可以选取整个区域的单一的特征来实现跟踪，但是实际跟踪过程中单一的特征不太好选择，所以一般采用运动目标的多个特征来进行跟踪。 例如，Wrell利用小区域特征进行室内单人的跟踪。该方法将人体看作由头、躯干、四肢等身体部分所对应的小区域块的联合体，通过分别跟踪各个小区域块最终完成对整个人体的跟踪。基于区域的跟踪与基于区域的分割过程联系较为紧密，所以也可以利用分割同跟踪相结合的方法来进行跟踪。例如Frnaoc提出的区域跟踪方法依赖于以前的检测来区分运动目标，然后跟踪目标。运用滤波跟踪技术精确估计了区域几何形状和速度。Jgrea等人提出的区域跟踪算法不仅利用了分割结果来给跟踪提供信息，同时也能利用跟踪所提供的信息改善分割效果，把连续帧的目标匹配起来达到跟踪目标的目的。43.2.3基于模型匹配的跟踪方法基于模型匹配的跟踪方法是用模型来表示目标物体，也就是建模，然后在图像序列中跟踪这个建好的模型来实现目标的跟踪。对于刚体目标来说，其运动状态变换主要是平移、旋转等，可以利用该方法实现目标跟踪。但是实际应用中跟踪的物体往往是非刚体的，目标确切的几何模型不容易得到，因此可以利用变形轮廓模板来匹配到目标来进行跟踪。目前有两种可变性模型:一种是自由式的可变形模型，主要满足一些简单的约束条件(连续性、平滑性等)用来跟踪任意形状的运动目标。另一种是参数可变的模型。这种方法用一个参数公式，或一个变形公式来描述目标物体的形状。1 在前文提到的跟踪方法中，我们可以知道运动目标的特征是一个重要的跟踪依据，在很多跟踪算法中都有目标特征提取这一环节。所提取的目标特征必须在环境变化、目标自身变化或者运动改变时，仍然能够将运动目标描述出来。图像目标的特征大致分为：(1) 图像的视觉特征，如图像的轮廓、边缘、形状、纹理和区域等特征;(2) 图像的统计特征，如颜色直方图、各种不变矩等特征;(3) 图像的变换系数特征，如付立叶描述子、小波变换系数和自回归模型等特征;(4) 图像的代数特征，如图像矩阵的奇异值分解等。3.3运动目标搜索算法 运动目标跟踪算法中，目标的特征提取之后，就是要选择合适的搜索匹配算法来实现目标在每帧图像中的定位。要能够准确地、实时地确定目标的位置搜索算法很关键。经典的搜索匹配算法包括有绝对平衡搜索法、归一化相关法。利用图像的边缘特征搜索匹配算法等。3.3.1绝对平衡搜索法 绝对平衡搜索法就是直接使用模板图像和待匹配图像上的搜索窗口之间的像素灰度值的差别来表示二者之间的相关性，并且利用阂值来界定相关性，进而决定匹配效果。 绝对平衡搜索法有三种算法:最小均方误差函数(MES)，最小平均绝对差值函数(MAD)和最大匹配像素统计(MPC)，它们的定义分别如下:5 （3-1） （3-2） （3-3） （3-4）以上各式中T(m，n)为模板图像灰度值，F(m，n)为待匹配图像灰度值，依据(3一7)式，t为预设闭值，小于闭值t的像素被归入匹配像素，否则被归入非匹配像素。113.4绝对平衡搜索法实验结果 第1帧 第7帧 第15帧 第33帧 第41帧 第53帧 第65帧 第77帧 第80帧 第82帧 第90帧 第97帧 第104帧 第110帧图3-4-1采用最小平均绝对差值算法的跟踪效果图 绝对平衡搜索法虽然简单，但是有明显