毕业设计（论文）文献综述视频运动目标检测技术关键技术研究.doc

文献综述题 目 视频运动目标检测技术关键技术研究 学生姓名 XXXX 专业班级 网络工程2006级1班 学 号 院 (系) 计算机与通信工程学院 指导教师(职称) (副教授) 完成时间 2010年 3 月 15 日 视频运动目标检测技术关键技术研究 摘 要 运动目标检测是计算机视觉领域的一个重要研究内容，在很多计算机视觉应用中，其中关键的任务是从图像序列中确定运动目标，其中对于固定摄像机下运动目标的检测图像序列中运动目标的检测在现代社会中的应用越来越广泛，并且给人们的生活带来了巨大的变化。尤其是在一些对安全要求敏感的场合都具有广阔的应用前景，如军队、公安、银行、道路、停车场等，生活中路口交通流量的监测，重要场所的安全监测，汽车或飞机的自动驾驶，军事上的导弹自动目标跟踪与军事机器视觉。本文先介绍了图像预处理的相关内容及运动目标检测关键技术，分析了运动目标检测算法，在重点研究了各种方法的基础上，提出基于改进的帧差算法，并通过验证了该算法显示了良好的性能。本人概述了智能监控的另外一个重要学科就是运动目标跟踪技术。关键词 图像处理；目标检测；高斯模型；目标跟踪视频运动目标检测技术关键技术研究1 引言伴随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉已成为热点研究问题之一。它是一门交叉性很强的学科，涉及计算机、心理学、生理学、物理学、信号处理和应用数学等诸多学科。作为计算机视觉研究的热门课题一运动目标检测是计算机视觉信息提取的一个关键步骤,是更高层次的视频图像分析如目标跟踪、目标分类的重要基础。在视频监控、目标跟踪、视频语义解释等系统中,运动目标检测的作用更是显得尤其重要。因此,如何快速准确地从视频图像序列中提取出系统所关心的运动目标,是诸多研究人员所关心的一个问题。2 图像预处理技术在运动目标检测过程中图像预处理尤为重要，它主要是对图像进行增强、改善或修改，为图像分析做准备，直接关系到图像的下一步质量。数字图像处理(Digital Image Processing)是利用计算机对图像进行处理，因此，也称之谓计算机图像处理(Computer Image Processing)1。它首先将图像转换为数字信号也就是数字图像之后，计算机才能对图像进行处理。数字图像是对图像进行数字化处理之后的一种数字表示。数字图像处理是将一幅图像变为另一幅经过修改(改进)的图像，或是将一幅图像转化为一种非图像的表示，如一个测量数据集或一个决策。其最早可以追溯到20世纪60年代初，美国喷气推进实验室(JPL)用计算机对航空器发回的数千张月球照片进行处理，成功地绘制出了月球的地形图和彩色图，从而开辟了人类历史上数字图像处理的先河。视频对象的的图像预处理学科所涉及的知识非常广泛，具体的方法种类繁多，应用也极为普遍。从工程学考虑，图像预理常用技术主要包括图像灰度化、图像滤波等。 2.1 图像滤波图像滤波是数字图像处理过程中经常使用的、也是最重要的处理过程，因为图像在摄取、传输等过程中经常会受到噪声的干扰，反映在原本均匀和连续变化的灰度突然变大或者变小，形成一些虚假的物体边缘或轮廓，使得图像的后续处理容易引入误差。图像滤波主要是为了消除噪声,因此需要重视图像的滤波处理2。图像滤波处理方法3中主要的图像滤波的常用方法有均值滤波、中值滤波3和低通滤波。图像滤波是数字图像处理过程中经常使用的、也是最重要的处理过程，因为图像在摄取、传输等过程中经常会受到噪声的干扰，反映在原本均匀和连续变化的灰度突然变大或者变小，形成一些虚假的物体边缘或轮廓，使得图像的后续处理容易引入误差。因此，需要重视图像的滤波处理。以下是几种常见的图像滤波处理方法4:1、均值滤波假设图像由许多灰度恒定的小块组成，相邻像素间有很强的空间相关性，而噪声是统计地叠加在图像上的，其均值为零。因此用像素邻域内的各像素灰度值的平均值代表原有的灰度值，实现图像的平滑。在灰度图像f中以像素值(x,y)为中心的N×N窗口(3,5,7,.)内，若平均灰度值为时，无条件的令f(x,y)=。这种方法就是对一个噪声点进行模糊，把被处理点的某一领域中所有像素灰度值的平均值作为该点灰度的估计值。由于参加平均的像素在原始无噪声图像中灰度值是不等的，但在去噪过程中邻域内所有像素都进行了平均，均值滤波法可能会使边界模糊。2、中值滤波中值滤波法是以局部中值代替局部平均值。在灰度图像中f中以像素值(x, y)为中心的N×N窗口(3,5,7,.)内，首先把这N×N个像素点的灰度值按大小进行排序，然后选取值的大小为处于正中位置的那个灰度值，使f(x, y)=。这样，把被处理点的某一邻域中像素灰度中值作为该点的像素灰度的估计值。由于中值滤波不影响阶跃函数和阶梯函数，而当宽度小于窗口的一般时，冲击函数趋于消失，三角形函数的顶部则将被削平，因此，中值滤波一般不会引起边缘模糊，而能够达到减小离散的冲击噪声的目的。3、低通滤波从频谱上看，噪声特别是随机噪声是一种具有较强高频分量的信号。平滑的目的就是通过一定的手段滤除这类信号。一个很自然的想法就是使图像经过一个二维的低通数字滤波器，让高频信号得到较大的衰减。在空间域上进行的这种滤波实际上就是对图像和滤波器的冲击函数进行卷积。设图像为f(x, y)，滤波器的冲击响应函数为H(x, y),则卷积表达示为 (2-6)常见的冲击响应函数有, , (2-7)显然，采用作为滤波器，其效果将与3×3窗口下的均值滤波法得到的效果类似。不同的冲击响应函数之间的区别在于计算机窗口内像素值的加权平均值的加权系数不同。2.2 图像灰度化将视频中提取的彩色图像转换为灰度图像后，由于外界因素的影响，使图像质量降低。因此在对图像进行分析之前，需要对图像质量进行改善。直方图均衡化5是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，这样就增加了像素灰度值的动态范围从而可达到增强图像整体对比度的效果，使图像的细节变得清晰。3 运动目标检测方法运动目标检测(Moving Object Detection)是对视场内的运动目标，如人或车辆等，进行实时的观测，并将其从背景图象中提取出来，一般是确定运动目标所在区域和颜色特征等。运动目标检测是计算机视觉研究领域中的一个重要且困难的课题，在实现运动补偿、视频压缩编码、视频理解时都需要用到运动目标检测技术。运动目标检测的相关技术覆盖了数字视频处理、数字图像处理及分析中的各个方面，并且还涉及计算机视觉、统计信号分析、随机过程及分析等诸多领域。作为计算机视觉基础之一的“图像序列中运动目标检测”是一个困难而又富有挑战性的课题，也是近年来理论和应用研究的热点。运动目标检测算法的实时性、可靠性和普适性是衡量算法优劣的标准，是智能视频监控系统追求的目标。运动目标检测主要有三种常用的方法：背景减法5,6、相邻帧差法7和光流法8等。相邻帧差法法对于动态环境有很好的适应性，但是不能完全提取目标的所有内容；背景差分算法，能够较完整的提取目标点，却容易受到光照和外部条件造成的场景变化的影响；光流法能够用于目标检测，但是光流法计算复杂，如果没有相关硬件支持，不适合实时处理。3.1 背景减法含有运动物体的图像，可以看成是运动物体叠加在背景图像上的结果，如果从当前图像中减去背景图像，那么在得到的差值图像中运动物体所在区域的像素点将具有比较大的值，而背景区域的像素值会很小，两者会有比较明显的对比。下图是背景减法的算法原理图。判定消除噪音 连通分析二值化 背景图像 图3-1背景减法算法原理图背景减法9的基本思想是:首先，用事先存储或者实时获取的背景图像序列为每个像素统计建模，得到背景模型;其次，将当前每一帧图像和背景模型相减，得到图像中偏离背景图像的像素点，然后对二值化图像进行连通分析等处理。 (3-1)其中，为某一帧图像，为背景图像，为目标图像。虽然减背景技术原理简单，但是背景图像的构建和更新方法却至关重要，因为它直接影响背景模型对场景变化和前景目标粒度的适应性。背景图像建模方法是背景减算法的核心。目前常用的背景建模方法主要有：均值/中值滤波法、W4方法、线性预测法、非参数模型、单高斯模型10、混合高斯模型11-13、隐马尔科夫模型、本征方法、码本方法等。另外，值得一提的是，帧差法可以被看作一种特殊的背景减法，只不过是直接将前一帧或前某帧图像的像素值作为当前的背景模型3.2 帧间差分法帧间差分法14是利用图像序列中两个或三个相邻帧间的差异来进行检测运动目标的方法。该方法的主要优点是:算法实现简单，程序设计复杂度低，易于实现实时监视。基于帧间差分方法，由于相邻帧的时间间隔一般较短，因此该方法对场景光线的变化一般不太敏感。最基本的帧间差分法可以检测到场景中的变化，并且提取出目标，但在实际应用中，基本的帧间差分法的结果精度不高，难以获得目标所在区域的精确描述。因为在实际应用中特别是在下一步进行目标跟踪中，我们总希望提取的目标尽量接近目标的真实形状，也就是说，我们提取出的目标应是完整的，同时也应该尽量少的包括背景像素点。但是在使用过程中存在两个问题:一是两帧间目标的重叠部分不容易被检测出来，即只检测出目标的一部分或者出现了较大比例的空洞，这是由于我们直接用相邻的两帧相减后，保留下来的部分是两帧中相对变化的部分，所以两帧间目标的重叠部分就很难被检测出来;二是检测目标在两帧中变化的信息，这样会存在较多的伪目标点，检测出的目标往往比实际的目标大一些，这是山于实际目标颜色或者灰度在一定的区域内较为均匀所导致的。帧间差分法主要是利用视频序列中连续的两帧或几帧图像的差异来进行目标检测和提取。一个最基本的帧间差分法的基本过程如图3-2所示。判定消除噪音连通分析二值化 图3-2帧间差分法的基本过程设在和处时刻采集到同一背景下的两幅运动图像为和，则差分图像的定义为: (3-2)对上式的差分结果进行二值化处理，就可以提取出运动物体。 (3-3)其中(x, y)为二值化后的图像，(x, y)为差分后的图像，T为分割阈值，可以事先给定或者用自适应的方法确定。首先，利用(3-3)式计算第t帧图像与第t-1帧图像之间的差别，得到差分后的 (x, y)图像，然后对差分后的图像(x, y)进行二值化，认为当差分图像中像素值大于某一给定阈值式，该像素位于前景之中，即认为该像素可能为目标上的一个点，否则认为该像素为背景中的一个像素，二值化后得到 (x, y)图像，最后对图像 (x, y)进行连通性分析，获得图像 (x, y)，当某个连通区域的面积大于某一给定的闭值，则检测到目标，并认为该区域就为目标所占的区域。由于帧与帧之间的时间间隔短，目标的运动速度不大，能够对运动目标进行很好的定位，是可能存在重影的现象，所以文中采用对称差分法进行目标定位。3.3 光流法光流计算技术是Gibsno于1950年提出的。所谓光流是空间运动物体被观测面上的像素点运动所产生的二维(ZD)瞬时速度场，其中ZD速度矢量是可见的三维速度矢量在成像平面上的投影。光流场的计算最初是1981年由美国学者Horn和Schunck提出的。基于光流法15的运动检测是根据光流的不连续性来分割运动物体，不同的光流区域对应不同的运动目标。光流计算基于下面两个假设：第一，任何物体点所观察到的亮度随时间是恒定不变的；第二，图像平面内的邻近点以类似的方式进行移动。根据这两个假设我们可以推导出光流基本方程。假设在t时刻图像上点(x ,y)处的灰度为：I (x , y, t)。那么，在t +t时刻，该点的灰度可以表示为：I (x +x ,y +y, t +t)。由上面的两条关于光流假设可知： I (x ,y, t )=I (x +x, y +y, t +t)。将右边的式子在(x ,y, t)处用泰勒公式展开，化简并略去二次项得： (3-4)令：，则有： (3-5)方程(3-5)就是光流场的基本方程。光流法的主要任务就是通过求解光流约束方程求出(u, v)。但是有两个未知数只有一个约束条件，所以不能确定光流。也就是说，从基本等式求解光流场是一个不适定问题。为了解决光流场计算的不适定问题，还需要加入另外的一些约束条件，从而使方程有解。因此，如何为光流场添加合适的约束条件并从中解出u、v的解，是光流场计算法的核心问题。Horn等人依据同一运动物体引起的光流场应该是连续的、平滑的，即整体平滑约束来将光流场的计算问题转化为一个变分问题。即运动场既满足光流约束方程又满足全局平滑性。由于Horu和schunck依据全局平滑约束，未能考虑到实际运动物体边缘处光流矢量的不平滑性，该方法对于边界点计算结果很差。针对这一问题，Lucas等人提出一种局部平滑约束条件，即假设在一个足够小的空间邻域上，各像素点的光流可以用其中一个像素点的光流来近似，采用加权最小二乘技术推导出另一个约束条件。Nagel16等提出了“有向平滑”的概念， Otte17等人假定光流在局部空间和时间轴是线性变化的，推导局部约束条件。光流法检测运动目标的基本原理是:给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体的位置。总之，光流法是用通过计算出来的光流场来模拟运动场。光流场指图像灰度上求解的表面运动，而运动场指三维物体的实际运动在图像平面上投影。光流场是基于在如下的假设下推导出光流方程的:运动物体做刚体运动(物体在运动过程中没有形变或只有微小形变)；物体的反射光变化是平滑的;光照变化是连续的。满足上述条件的情况下可以使用光流方程得到图像的光流场。理想状况下，光流场和运动场互相吻合，但实际上并非如此。只是一般情况下，可以认为光流与运动场没有太大区别，因此就可以根据图像运动来估计相对运动。光流算法的优点在于不需要预先知道场景的任何信息即能检测出独立运动的目标，可以很好的处理背景运动和遮挡问题，并可用于摄像头运动的情况。但是由于存在以下问题，使之在实践中还有待改进：(l) 基本的光流约束方程并非严格成立，由于孔径和噪声等影响，再加上为求解光流方程而添加的约束条件，造成光流场并不能完全反映运动场，进而影响最后的结果。(2) 光流计算复杂，普通的光流计算一般都要求迭代运算，所以比较耗时，而且一般情况下精度越高的光流算法计算代价就越大，不利于实际系统的搭建。如果没有特定的硬件支持，一般很难用于序列图像中运动目标的实时性操作。从而导致这种方法的实时性和实用性都较差，很难满足实现运动目标检测的要求。(3) 使用光流方程的算法要求图像亮度是可微分的，并且亮度的偏微分也是可以得到的。这两点限制了光流法的使用。(4) 光流算法的抗噪性能较差。 由于噪声、多光源、阴影、透明性和遮挡性等原因，使得计算出的光流场分布不是十分可靠和精确，并且光流法运算公式复杂，计算量大，不适用于实时性要求很高的场合，实时性要求很高的情况下一般都采用帧差法和背景法。4 视频运动目标检测技术发展现状和前景展望进入21世纪，计算机正朝着模拟人类智慧和人类感知外界的能力的方向发展。从某种意义上说，人类的大脑和计算机的处理器有很多相似之处。人类对外界环境的理解和认识很大程度上是通过视觉信息来完成的。我们可以想象如果计算机也具有了分析和理解视觉信息的能力，那么计算机就能够做到更大程度上模拟人类的行为，具有更高的智慧。和静止的图片信息相比，动态的视频信息中隐藏着运动信息，在很多情况下，这些运动信息是我们最关心的，所以就产生了视频序列中的运动分析这个研究方向。基于视频流的运动目标检测与跟踪技术目前正处于快速发展和持续深入的阶段，相关理论正在口益完善，应用领域也在迅速扩展，随着社会的进步，在未来的数字化生活中，基于视频流的运动目标检测与跟踪技术必将发挥更加重要的作用。然而在目前运动目标检测与跟踪技术仍然是一个未成熟的研究领域，还有很多问题有待解决。在视频运动目标检测方面的问题有如，视频场景中不可避免会发生日标遮挡的现象.当遮挡发生时日标只有部分可见，使日标检测和跟踪的结果不可靠.为了减小这方面的影响，需要研究能有效处理遮挡的方法。其次，在运动日标分割过程中，背景的提取与更新是比较关键的步骤.如果背景静止不变，则运动日标分割相对容易实现.然而，多数情况下，背景是动态变化的，常存在物体的移入或移出，如果不能很好地处理背景中的干扰现象，则作为前景的运动物体的检测必将受到影响。还有视频场景中光线变化问题(渐变、突变、反光等)同样会影响背景的提取与更新。必须不断地对背景进行实时估计，解决亮度变化问题，才能更好地完成运动日标的检测。背景物体的干扰运动。背景中存在的如风中树叶的摇动、水面波光的闪动、车窗玻璃的反光以及天气的变化等许多细微活动，同样会影响到运动日标的检测。最后在光照条件下，日标存在阴影.与背景不同，运动日标的阴影将随运动日标移动。检测分割的结果可能是阴影与被检测对象连为一个整体出现;另一种检测结果是阴影与日标分离成两个独立的运动日标，导致了虚假错误的运动日标的出现。参考文献1 李志勇，沈振康，杨卫平. 动态图像分析. 北京：国防工业出版社，1999.2 胡蕾,张伟,覃庆炎.几种图像去噪算法的应用分析J.信息技术报,2007,7:82.3 贾云得. 机器视觉. 科学出版社，2000.4 贺贵明，吴元保，蔡朝晖等.基于内容的视频编码与传输控制技术.武汉：武汉大学出版社，2005.5 夏良正，李久贤，数字图象处理(第2版)，南京:东南大学出版社， 20056 Chris Stauffer,W.E.L Grimson.Adaptive Background Mixture Models for Real-Time TrackingC.Proc IEEE Conference on Computer Vison and Pattern Recognition,Fort Collins,Colorado,1999(2):246-252.7 侯志强，韩祟昭. 基于像素灰度归类的背景重构算法J. 软件学报，2005，16(9):1568-1576.8 Neri A,Colonnese S,Russo G,Talone P. Automatic moving object and background separationJ.Signal Processing,1998,66(2):219-232.9 代科学,李国辉,涂丹,袁见.监控视频运动目标检测减背景技术的研究现状和展望J.中国图象图形学报,2006,11(7):920-921.10 大学数学系列教材编委会.随机数学M.吉林大学，2003.11 Stauffer C, Grimson W. Learning patterns of activity using real-time trackingJ. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 747-757.12 方帅，薛方正，徐心和.基于背景建模的动态目标检测算法的研究与仿真J.系统仿真学报2005, 17(1): 159-165.13 屈有山，田维坚，李英才. 基于并行隔帧差分光流场与灰度分析综合算法的运动目标检测J.光子学报，2003，32(2):182-185.14 Collins R, Lipton A, Kanade T, etal. A system for video surveillance and monitoringR.Tech.Report CMU-RI-TR-00-12,Robotics Institute, Camegie Mellon University,2000.15 N DIEHL. Object-oriented motion estimation and segmentation in image sequencesS. IEEE Trans. Image Processing,Vol 3, Feb. 1990: 1901-1904.16 Kass M.Witkin A,Terzopoulos D.Snakes:Active Contoux ModelS.International Journal of Computer Vision，1987:321-33117 郭礼华，袁晓彤等.基于直方图的snake视频对象跟踪算法.中国图象图形学报.2005，10(2).