多通道视频中的多目标自动跟踪技术研究.docx

《多通道视频中的多目标自动跟踪技术研究.docx》由会员分享，可在线阅读，更多相关《多通道视频中的多目标自动跟踪技术研究.docx（79页珍藏版）》请在三一办公上搜索。

1、南京航空航天大学硕士学位论文中图分类号：TP391.4 论文编号：1028703 13-S264学科分类号：081104 硕士学位论文多通道视频中的多目标自动跟踪技术研究研究生姓名 钱秋朦学科、专业 模式识别与智能系统研究方向 目标跟踪理论与技术指导教师 周鑫 副教授南京航空航天大学研究生院 自动化学院二一三年三月ixNanjing University of Aeronautics and AstronauticsThe Graduate SchoolCollege of Automation EngineeringResearch on Multi-Target Automatic Tra

2、cking in Multi-Channel Videos A Thesis inPattern Recognition and Intelligent SystembyQian QiumengAdvised byAssociate Prof. Zhou XinSubmitted in Partial Fulfillmentof the Requirementsfor the Degree ofMaster of EngineeringMarch, 2013承诺书本人声明所呈交的硕士学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人

3、已经发表或撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权南京航空航天大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本承诺书）作者签名： 日 期： 南京航空航天大学硕士学位论文摘 要随着科技的发展和社会的进步，利用多个摄像机结合视频处理技术实现监控系统的智能化，已成为计算机视觉领域的一个研究热点。本文研究多通道视频目标跟踪系统中的关键问题，并在此基础上构建了一应用于实际场景中的目标自动跟踪系统，实现对该场景中一个或多个目标的自动跟踪。本文的主要工作包括

4、如下几个方面：1. 研究分析当前新兴起的一种高效目标跟踪方法TLD(Tracking-Learning-Detection)，在此基础上，对TLD加以改进，提出了一种改进的TLD目标跟踪方法，该方法不仅提高了原始算法的跟踪精度和运行速度，而且增强了算法对相似目标交会后分开的辨识能力，能够获得比原始算法更理想的跟踪效果。2. 在改进TLD目标跟踪方法的基础上，提出了一种基于改进TLD的多通道视频中多目标跟踪方法，设计一套高效的数据表示格式来记录所有目标的信息，根据记录的所有目标信息依次遍历各个视频通道的图像，找出每个通道中当前帧图像上所有可能存在的目标。该方法不仅能够稳健跟踪单个视频通道中的多个

5、目标，而且能够实现在多个视频通道中对多个目标的连续跟踪。3. 设计了一个多通道视频中的多目标跟踪系统，并在一实际场景下对该系统进行了验证。该系统由摄像机、传输线、图像采集卡、中心服务器组成。摄像机、传输线、图像采集卡作为整个系统的输入部分负责多路通道图像的实时采集，中心服务器实现系统的算法功能以及结果显示，通过分析和处理每一路通道的图像序列，实现一个或多个目标在多通道视频中的连续跟踪，最终在中心服务器上显示目标详细的运动信息。本文的工作不仅涉及多通道视频目标跟踪系统的理论研究，而且给出了该系统的具体设计方案，可为相关的学术研究和工程应用提供有效的参考。关键词：多通道视频，多目标跟踪，目标跟踪系

6、统，TLD，视频监控 viiABSTRACTWith the development of technology and society, using multiple cameras and video processing technology to achieve the intelligence of video surveillance system becomes a hot research topic in the field of computer vision. This thesis first studies the key problems in the multi-

7、channel video targets tracking system, and then based on the research results, a target automatic tracking system is built to demonstrate the ability of automatic tracking one or multiple targets in the scene monitored by multiple cameras. The main research works in this thesis include the following

8、:1. An efficient target tracking algorithm TLD is first studied, and then an improved TLD algorithm is proposed based on the original TLD. This improved TLD algorithm not only improves the tracking accuracy and processing speed, but also increases the ability of identifying similar targets which cro

9、ss each other during moving.2. A multi-channel video targets tracking algorithm is proposed based on the improved TLD algorithm. An efficient data representation format is created for this algorithm to record the information of all the targets. Based on the recorded information, the frames of all th

10、e channels are examined to find all possible existences of the targets being tracked. The proposed multi-channel video targets tracking algorithm not only can robustly track multiple targets in a single video channel, but also is able to smoothly track multiple targets in multiple video channels.3.

11、A multi-channel video targets tracking system is designed, and is verified in a real scenario. This tracking system consists of cameras, transmission lines, an image capture card and a central server, in which cameras, transmission lines and the image capture card are in charge of real-time image ac

12、quisition and the central server performs the tracking algorithm and displays the results. Through processing and analyzing for the image sequences in all the channels, a target or multiple targets are tracked in multi-channel videos, and the detailed target motion information is displayed in the ce

13、ntral server.The research works in this thesis involve not only the theoretical research for the multi-channel video targets tracking system but also the specific and practicable design for this system, and this thesis will be an effective reference for the related works in both academic researches

14、and engineering applications.Key Words: Multi-Channel Video，Multi-Target Tracking，Target Tracking System，TLD，Video Surveillance南京航空航天大学硕士学位论文目 录第一章 绪论11.1 课题的研究背景及其意义11.2 国内外研究概况21.3 本文主要研究内容及章节安排7第二章 TLD目标跟踪方法介绍92.1 TLD算法框架结构102.2 TLD算法主要模块102.2.1 跟踪模块102.2.2 检测模块132.2.3 学习模块192.2.4 融合处理模块212.3 TLD

15、算法运行流程212.4 本章小结22第三章 TLD目标跟踪方法的改进233.1 TLD算法的改进思路233.1.1 基于Cell FoT+的TLD跟踪器设计233.1.2 基于Kalman滤波器的目标检测区域预测273.1.3 基于Markov模型的目标运动方向预测283.2 改进后的TLD目标跟踪方法的实现303.3 实验结果及其分析323.3.1 跟踪精度和运行速度分析323.3.2 引入Markov方向预测器的性能验证333.4 本章小结34第四章 基于改进TLD的多通道视频中多目标跟踪方法研究354.1 多通道视频中多目标跟踪方法的设计思想354.2 多通道视频中多目标跟踪方法的关键技

16、术354.2.1 目标的数据表示354.2.2 跟踪模块中帧图像的选取384.3 多通道视频中多目标跟踪方法的实现394.4 实验结果及其分析404.5 本章小结42第五章 多通道视频中的多目标自动跟踪系统设计435.1 系统总体设计435.1.1 系统应用场景435.1.2 系统实现功能445.1.3 系统总体结构及其设计方案455.2 系统实现475.2.1 图像采集实现475.2.2 目标跟踪实现495.3 系统验证与分析505.4 本章小结54第六章 总结与展望55参考文献57致谢61在学期间发表的论文62图清单图2.1 TLD算法框架结构图10图2.2 FORWARD-BACKWAR

17、D示意图12图2.3基于MEDIAN FLOW思想设计的短期自适应跟踪器的效果图13图2. 4 2BIT BINARY PATTERNS在目标跟踪中应用的示意图14图2.5 扫描窗口示意图15图2.6 级联分类器结构图16图2.7 单株树结构图17图2.8 随机森林分类器原理图18图2.9 P-N LEARNING原理图21图3.1 Cell FoT示意图.24图3.2 邻域一致预测器示意图25图3.3 KALMAN滤波器减小扫描区域的示意图28图3.4 马尔可夫预测预测当前时刻检测区域示意图29图3.5 改进的TLD目标跟踪方法示意图31图3.6相似目标交会后分开的辨识能力比较34图4.1

18、目标模型示意图36图4.2 帧图像的选取39图4.3 多通道视频中的多目标跟踪39图4.4 基于改进TLD的多通道视频中的多目标跟踪效果图41图5.1 多通道视频目标跟踪系统的运行场景示意图.44图5.2 室外摄像机拍摄画面44图5.3 多通道视频的多目标跟踪系统总体结构图45图5.4 大恒DH-VT142采集卡46图5.5 算法参数设置界面50图5.6 跟踪结果显示界面50图5.7 系统的操作界面51图5.8 系统跟踪效果图54表清单表3. 1测试视频描述以及图像序列预览图32表3. 2图像序列测试结果33表4. 1单目标的数据表示38表4. 2多通道视频目标跟踪系统的数据表示38南京航空航

19、天大学硕士学位论文注释表缩略词说明DARPADefense Advance Research Project Agency美国国防部高级计划署FBForward-Backward Error向前向后误差JPDAJoint Probability Data Association联合概率数据关联MADMean Absolute Difference平方绝对差值相关MTTMultiple Target Tracking多目标跟踪MCMCMarkov Chain Monte Carlo马尔可夫链蒙特卡罗理论MHFMultiple Hypothesis Filter多假设滤波MpMarkov Pred

20、ictor马尔可夫预测器NCCNormalized Cross Correlation归一化积相关NhNeighborhood Consistency Constraint Predictor邻域一致预测器SADSum of Absolute Difference差的绝对值和相关SSDSum of Squared Difference差的平方和相关SSDASequential Similarity Detection Algorithm序贯相似性检测算法TLDTracking-Learning-Detection跟踪-检测-学习算法VSAMVisual Surveillance And Mon

21、itoring视觉监视与监控系统2bitBP2bit Binary Patterns局部两位二值模式 ix南京航空航天大学硕士学位论文第一章 绪论1.1 课题的研究背景及其意义科学技术的飞速发展，带来了机器视觉的革命性变革，人们对自身安全防范意识进一步增强，视频监控系统在各个领域得到了广泛的应用，如小区的安全监控、城市交通的管理监控、银行柜台的安全监控、医院病人的行为监控等。由于视频监控系统通常关注一些小概率的事件，而安全监控人员不可能长期、不间断的将全部注意力集中在视频监视器上。若可疑的目标能够通过计算机自动识别、跟踪，那么不仅能节省大量的人力、物力资源，也能大幅度提高监控系统报警的可靠性和

22、实时性。因此如何高效的自动跟踪和分析视频中的目标成为了广大科研人员和科研机构争相研究的一个领域。多通道视频目标跟踪的实质是实现一个或多个目标在多个摄像机所拍摄的视频中的自动跟踪，该技术是计算机视觉的一个新兴领域，涉及人工智能、图像处理、图像变换、模式识别、摄像机标定、自动控制等众多领域的先进技术。多通道视频即多个摄像机获取的图像信号；目标跟踪即在图像序列的每帧图像中找出运动目标所处的位置，最终获得目标的运动参数及其运动轨迹，实现目标行为的理解1。视频跟踪技术的研究目的是赋予机器以生理视觉系统的感知能力，使机器能够“人为”识别图像序列中的运动物体。通常，视频跟踪系统具有实时性、隐蔽性、抗干扰性、

23、性价比高等优点，相比较雷达系统，无需向外辐射无线电波，只需通过同轴线缆、网络、光缆等传输介质完成信号的传输，不易被侦查发现，也不易受到其他信号的干扰，同时，视频跟踪系统只需摄像机或其他光学器件即可采集目标图像，并通过视频监视器直观的监视感兴趣或可疑目标，性价比高，使用简单、方便。视频跟踪技术是计算机视觉的一个研究热点，也是视频监控系统中的一个重要环节，其实质是实时、在线、准确的跟踪目标并分析其行为特征。随着计算机处理速度的飞速提高和感兴趣目标的多样化，人们希望对同一视频中的多个运动目标实现同步实时监控，要求能够同步跟踪并分析多个目标的行为特征，做出相应的决策。然而，摄像机获取图像的实质是一个三

24、维实物在二维平面的投影，自身即存在部分信息的缺失，再加上被跟踪目标运动的不确定性、自身形状姿态变化以及所处场景的复杂程度，都影响着目标跟踪的效果，从而给目标的实时、准确、长期跟踪带来了很大的困难，因此在一定程度上制约了视频跟踪技术的快速发展与应用。在目前的实际应用中，大多数的视频跟踪系统采用单一摄像机，自身存在着一些局限性，如监控视野范围有限带来的场景遮挡问题，景深问题等。采用多个摄像机进行目标的实时跟踪和分析可以拓宽信息的采集域，扩大监控的范围和角度，解决单个摄像机中的遮挡及景深问题。同时，多摄像机能够提供比单个摄像机更加丰富的目标信息，而有效地融合这些信息可对目标的跟踪与分析带来巨大的促进

25、作用。综上所述，如何实时、高效的跟踪一个或多个目标仍是视频跟踪领域中一个亟待解决的关键问题；同时，如何实现一个或多个目标在不同摄像机中的准确跟踪，扩大目标的监控力度和范围，是监控系统的一个重要研究课题。因此，多通道视频中的多目标跟踪技术无论是在学术研究领域还是工程应用领域都具有极其重要的研究价值。1.2 国内外研究概况高效率计算机以及高精度、高质量摄像机的出现，使得人们对视频自动处理分析的需求愈加急切，目标跟踪技术得到广泛的重视。所谓目标跟踪，就是在已知目标在过去的某时刻的位置等信息的基础上，找到现时刻目标的位置及其他信息，也就是在一段视频图像中的每帧图像上找到运动目标所处的位置2。计算机处理

26、速度的飞速提高、图形识别算法的革命性改进以及跟踪对象的多样化，多目标跟踪技术（Multiple Target Tracking，MTT）应孕而生，并在交通监管、军事打击及防御、天文预测、智能监控等领域有着非常重要的实用价值。计算机视觉技术的进一步发展，关于单个摄像机中目标运动分析技术的研究已较深入，其中一些不可避免的问题凸显而出，如视野问题、遮挡问题。由于单个摄像机的视野范围有限，难以对感兴趣目标实现大范围、多角度、长期的跟踪，多摄像机的应用成为必然趋势。多摄像机监控范围大，视野广阔，可全方位定位跟踪，同时可以解决单个摄像机中由于遮挡而存在的盲点问题，未来的目标跟踪系统将得益于多摄像机的应用。

27、下面分别就单目标跟踪技术、多目标跟踪技术以及多通道视频目标跟踪技术的国内外研究现状做介绍。1. 单目标跟踪技术目标跟踪是计算机视觉的一个重要环节，并在军事和民用领域有着广泛的应用。早在二战之前，世界上第一部跟踪雷达站SCR-28的出现标志着目标跟踪技术已经应用到军事领域。之后，随着科学技术的发展，一系列的跟踪系统涌现而出，目标跟踪理论和方法得到飞速发展。70年代，卡尔曼滤波理论3在目标跟踪领域的成功应用，使得目标跟踪技术得到人们的普遍关注。之后，各学者在该领域展开大量的研究工作，一些新型的目标跟踪技术相继产生，比如粒子滤波4、区域匹配5、特征匹配6等技术，结合这些技术产生了多样化的跟踪方法，进

28、一步推动了目标跟踪技术的飞速发展。目前，常用的目标跟踪方法有基于特征的目标跟踪方法、基于模板匹配的目标跟踪方法和基于粒子滤波的目标跟踪方法等。（1）基于特征的目标跟踪方法在序列图像中，如果在每幅图像中都可以根据特征来确定目标，即可实现目标的跟踪。因此找到并提取出具有良好描述以及较强分类性能的图像特征是解决基于特征的目标跟踪的关键问题。通常提取的目标特征具备以下几个特点7：可区分性、可靠性、独立性。而常用的特征有如下几类:描述图像灰度分布的统计特征、描述几何形状的特征、颜色特征、纹理特征、矩特征、角点特征。基于特征跟踪的方法多种多样。基于角点特征的跟踪要求能够准确的检测并描述角点。对于角点检测，

29、目前主要分为两类方法：基于图像边缘的方法和基于图像灰度的方法。基于图像边缘的方法对边缘提取算法的依赖性比较大，计算复杂且不能很好地定位角点，而基于图像灰度的方法则避开了这些缺陷。常用的角点检测方法如SUSAN算法8、Harris特征点检测算法9、SIFT算法10等。基于颜色特征的跟踪主要针对跟踪目标本身的颜色信息，即用于匹配的特征是像素灰度值、颜色直方图等。前者直接利用模板图像与待匹配图像的对应像素处的灰度值，通过统计方法计算距离或相关程度来量测两者的相似程度；后者利用模板图像与待匹配图像的颜色直方图（可以是灰度直方图，也可以是在某颜色空间上的某颜色分量直方图），根据直方图得到的统计特征，来比

30、较两者的相似程度。常用的基于颜色特征的目标跟踪方法如基于颜色直方图的投影图匹配算法、mean-shift算法11、Camshift算法12等。基于不变矩特征的目标跟踪考虑其具有旋转、平移、尺度变换等特性的不变性，用几个几何矩来表征目标的图像区域，完成图像的分类等操作。常用的矩特征如Hu不变矩13。利用图像的特征，如颜色、亮度、角点等，即可进行目标的跟踪。在进行跟踪时，可以利用某种方法对两幅图片进行比较，根据比较的结果实现跟踪，如帧间差分法；可以将两种或多种特征结合在一起，在跟踪时就可以排除非目标特征点的干扰，如利用直方图构造不变矩，利用角点进行向量匹配等；也可以根据特征在不同图片中进行模板的匹

31、配；还有一些利用图像中目标的运动特征来进行跟踪。（2）基于模板匹配的目标跟踪方法模板匹配的基本思想是预先存储一个目标模板，后续的匹配过程中用该模板与实际图像中的各个子区图像进行匹配（计算相关函数值），以与目标模板相似度最高的子图像位置为当前目标的位置14。模板匹配方法简单、直观实用，且定位灵敏度高，对动态物体有很好的即时响应性。但是，它的相关运算计算复杂，且对尺度、旋转等目标变形以及目标自身特征变化问题的适用性差。图像模板匹配算法可以分成基于灰度值法以及基于特征的提取法两大类。基于灰度值相关的方法简单易行，具有较高的匹配精度，且不损失图像信息，对复杂图像具有良好的适应性，同时，无需对匹配对象进

32、行分割和特征提取，只需计算模板与匹配子图的相似度即可实现匹配。但是，它对噪声和图像的光照变化比较敏感，且相似度算子计算量大，不适用于目标出现旋转缩放情况的场合。常用的灰度匹配算法如平均绝对差算法（MAD）、归一化积相关法（NCC）、差的平方和相关法（SSD）、差的绝对值和相关法（SAD）、序贯相似性检测法15（SSDA）等。特征提取方法一般涉及大量的几何与图像形态学计算，计算复杂度小，计算量大，没有一般模型可遵循，需要针对不同的应用场景选择各自特定的特征。常用的特征提取算法如方向码法16、圆投影法17等。关于模板匹配算法的改进，大多是针对算法的计算量来考虑的，它关乎到匹配的速度问题。任何一个匹

33、配算法的总计算量都为相关算法的计算量和搜索位置数之积。因此，可以通过相应的方法减少相关算法计算量或者搜索位置数，从而达到快速匹配的效果。常用的减少相关算法计算量的方法如相关系数最大值的快速模板匹配算法、差分求和法、多值模板法。常用的位置搜索方法如逐步搜索法、均匀搜索法、分精度搜索法、二维对数搜索法、三步搜索法、分层搜索法。（3）基于粒子滤波的目标跟踪方法粒子滤波是蒙特卡罗法和贝叶斯法的结合。该方法通过非参数化的蒙特卡罗法实现递推贝叶斯估计，基本思想是利用一组随机抽取的赋予权重的样本近似状态的概率分布。粒子滤波可用于任意非线性、非高斯系统的状态估计，且精度逼近最优估计18。但同时，相对传统线性模

34、型下的卡尔曼滤波，粒子滤波的算法复杂度高，计算量较大。基于粒子滤波的目标跟踪包括如下六个步骤：跟踪的目的，即求解目标的状态。常用的目标状态有目标的空间位置、目标姿态等信息如旋度、尺度等；目标的先验知识，即跟踪目标区别与其他目标的特征。常用的目标特征如灰度、轮廓、颜色等；系统的状态转移，即目标状态随时间的更新过程；系统观测，即目标传播之后对目标状态进行验证；后验概率的计算，如常用的加权准则中每个粒子根据自身权值判定其重要性，决定最终的结果；粒子的重采样，即保留权值较大的粒子，抛弃权值较小的粒子。由于在传播过程中，部分粒子偏离实际目标，权值会变小，无需耗费无谓的计算可以抛弃，只有少数具有较大的权值

35、粒子需要保留。关于粒子滤波的研究越来越深入，其中一些不可避免的问题凸显而出，如退化问题、重要概率密度函数选择问题、样本贫化问题。针对上述问题，一些关于粒子滤波的改进方法相继出现，如序贯重要采样粒子滤波器18、辅助变粒子滤波器19、正则粒子滤波器20、自适应粒子滤波器21等。该类方法的出现进一步丰富了粒子滤波理论。2. 多目标跟踪技术计算机数据处理能力的提高以及图像处理技术的发展，多对象目标的实时追踪技术脱颖而出。多目标跟踪的概念首先由Wax于1955年提出，认为多目标跟踪类似于原子物理学中噪声背景下确定每个粒子路径的问题，从而提出了航迹的起始、维持和消除等问题。1964年，Sittler提出了

36、多目标点迹与航迹的最优数据关联贝叶斯方法，该方法在关于数据关联等内容的多目标跟踪理论方面取得了开创性突破，进一步完善了多目标跟踪理论。1970年，Singer和Bar Shalom研究了一些简单环境下的目标跟踪技术，并使数据关联技术与卡尔曼滤波理论有机结合，令多目标跟踪技术进入了新的发展阶段。然而卡尔曼滤波技术只能应用于线性高斯场合，上世纪九十年代粒子滤波理论的出现，使得人们可以处理非线性、非高斯的状态估计，再一次推动多目标技术的发展。此后，广大学者仍致力于该技术的研究，并衍生出了微波单探测器多目标跟踪技术以及多探测器多目标跟踪技术。此外，随着人工神经网络技术的飞速发展，神经网络的自组织、自学

37、习能力，令其具备较强的记忆、选择、抽象和识别能力，使得通过神经网络实现多目标跟踪成为当前的一个研究热点。由于跟踪对象不同，图像获取设备各异以及跟踪算法的多样性，目前没有一种多目标跟踪方法能够应用到所有领域，但各国学者仍致力于该技术的研究，并努力改进或寻求新的算法以获得更优的跟踪效果。基于多特征融合的多目标跟踪算法22,23考虑单一的特征信息不能确保充分描述目标，因此选择多种特征表征目标。文献22中用纹理、颜色、运动信息三种特征相结合来描述目标，可以充分的描述各个目标，达到预期的跟踪效果。但是该算法采用固定不变的特征模板，当目标背景发生变化会导致跟踪失败。文献23针对上述问题提出了多特征融合的自

38、适应模板更新的多目标跟踪算法，能够实时在线更新目标模板，达到多个目标的稳健跟踪。基于运动信息的多目标跟踪算法考虑目标的运动情况，实现简单方便，常用的如光流法、背景差分法。基于3D空间的多目标跟踪算法24,25考虑在3维图像中目标的位置能够唯一确定，可以有效的解决目标间的遮挡问题。文献24提出了一种基于粒子滤波的多摄像头3D多人跟踪算法，对3D模型的人应用粒子滤波进行跟踪，利用目标空间位置的唯一性，可以很好的解决多人间的遮挡。文献25中提出了基于MCMC的3D多目标跟踪算法，目标由两个椭圆体表示，状态向量用3D坐标表示，用联合状态空间表示多目标，计算两个椭圆相交区域与相并区域像素点个数的比值，并

39、作为当前的状态权值，其最优位置估计为当前所有状态值的加权。基于数据关联的多目标跟踪算法26,27通过计算当前帧观测值与所有可能跟踪目标的相关联概率实现多目标的跟踪。常用的数据关联算法有联合概率数据关联法（JPDA）26，多假设滤波法（MHF）27等。基于神经网络的多目标跟踪算法28把真实世界中的运动目标映射到神经网络特征图中进行研究，神经网络通过竞争学习，最终只有一个输出单元获胜，它即为目标跟踪的下一个点。混合多目标跟踪算法29,30考虑不同跟踪算法的优劣性，混合几种算法实现多目标的跟踪。如文献30中提出了一种基于mean-shift和粒子滤波的多目标跟踪算法，在目标间无遮挡的情况下利用mea

40、n-shift法实现目标的快速跟踪；在目标间存在遮挡的情况下利用粒子滤波实现目标的跟踪，从而有效的解决多目标跟踪过程中的遮挡问题。3. 多通道视频目标跟踪技术单摄像机中运动目标跟踪技术的成熟以及单摄像机视野有限、遮挡等问题的出现，使得众多科研机构以及工作人员着手研究运动目标在多摄像机下的应用，并取得较好的效果。多通道视频中的目标跟踪不仅要求在单通道摄像机下稳健跟踪目标，更要求对目标在不同摄像机视频通道中实现连续跟踪。常用的不同视频通道中的目标连续跟踪方法有基于几何变换的方法31、基于特征融合的方法32、基于摄像机视野分界线的方法33。基于几何变换的方法通过建立多个摄像机监控场景之间的空间映射关

41、系，实现不同摄像机中相同目标的一一对应；基于特征融合的方法利用目标的多个特征信息如颜色、轮廓、形状、位置来建立目标的对应关系，在匹配过程中，利用多个特征实现相同目标的一致匹配；基于摄像机视野分界线的方法利用视野分界线确定目标在不同摄像机视野的交接位置，实现相同目标的一致匹配。目前世界上很多学者已经对多通道视频的目标跟踪系统展开了大量的研究工作。国外对多通道视频跟踪系统的研究起步较早。早在1996年，日本学术振兴会着手主持的CDV Project34项目，该系统由携带多个摄像机并具有实时图像处理能力的观测站和移动机器人组成，能够实现动态变化真实场景的实时分析和理解；1997年美国国防部高级计划署

42、(DARPA)设立的视觉监控项目VSAM (Visual Surveillance And Monitoring)35，该系统用主要用于战场及普通民用场景的实时多运动目标的自动检测与跟踪。在跟踪过程中，采用位置预测与模板匹配技术，能够有效完成目标运动分析，如人类活动预测或异常行为报警等；1999年美国马里兰大学研制出实时监控系统W4 36，该系统结合轮廓分析和跟踪技术，通过灰度或红外摄像机定位分割出人的身体部分，建立简单的人体轮廓模型实现多个人体目标在有遮挡情况下的跟踪，该系统同时具备检测人是否携带物体等简单行为的能力；2000年佛罗里达中央大学的KNIGHT系统37可通过计算机视觉技术检测出

43、监控区域目标的变化情况，并对重要事件和相关人的行为进行标柱；2003年意大利摩德纳大学的SAKBOT系统38；2004年IBM的Smart系统39不仅可以自动监视某个场合，还能够监视数据信息执行事件的检索，并通过相应的网络设施实时报警；2004年由欧盟资助，雷丁大学与法国INRIA等研究机构联合实施的智能监控项目ADVISOR40，该系统主要用于地铁站的安全监控，其目的是缓解城市交通压力。国内对多通道视频目标跟踪系统的研究起步相对较晚，研究领域涉及目标检测、跟踪、分类及运动行为分析等，并取得了较大的成果。目前，中科院自动化研究所、哈尔滨工业大学、清华大学、西北工业大学、上海交通大学等单位或学校

44、正着手视频目标检测跟踪和人体运动分析等方面研究工作。中科院自动化所模式识别国家重点实验室借鉴英国雷丁大学研制的Views系统，设计出交通监控原型系统，实现交通视频场景中车辆的自动检测、定位、跟踪；哈尔滨工业大学模式识别与智能控制研究中心研究出一种基于多区域视频对象的跟踪系统，该系统在短道速滑运动中得到广泛应用；清华大学电子工程系研制出一种智能监控系统，该系统以计算机为辅助，完成运动目标自动检测、跟踪和分类，可解决户外复杂背景下人体无法准确识别的难题。同时，国内一些安防监控领域的开发商也致力于该方面的研究，如海康威视，长期以来致力于不断提升视频处理技术和视频分析技术，提供面向全球的领先监控产品，

45、其智能视频监控产品已广泛应用于交通、金融、企业、家庭等各个方面。1.3 本文主要研究内容及章节安排本文主要研究多通道视频目标跟踪系统包含的一些关键技术，并构建一实际场景下的系统运行平台，完成一个或多个目标在单个摄像机以及多个摄像机中的连续、接力跟踪。主要内容分为两个方面：多通道视频目标跟踪系统中的关键技术研究，包括单目标跟踪技术、多通道视频中的多目标跟踪技术；系统的构建，通过摄像机、图像采集卡、传输线、中心服务器共同搭建一应用于实际场景的系统平台，实现一个或多个目标的自动跟踪，并在目标由一个摄像机视野进入另一个摄像机视野时，实现对应目标的连续跟踪。下面简要地介绍本文两方面的主要工作。1. 多通

46、道视频目标跟踪系统的关键技术研究（1）单目标跟踪技术对当前新兴的一种高效目标跟踪方法TLD研究分析，并加以改进提出了一种改进的TLD目标跟踪方法，能够获得比TLD算法更理想的跟踪效果。该算法具有以下的改进：在TLD的跟踪器中采用Cell FoT+进行设计，取代原始TLD算法中的Grid FoT+FB+NCC法，该方法不仅具有较强的跟踪精度和鲁棒性，而且也提高了运算速度；在TLD的检测器中引入Kalman滤波器预测TLD在当前帧上的目标检测区域，从而缩小了TLD算法中的检测范围，在跟踪精度基本保持不变的情况下提高TLD算法的处理速度；在TLD的检测器中加入了基于Markov模型的方向预测器，提高了TLD对相似目标交会后的辨识能力。（2）多通道视频中的多目标跟踪技术在改进的TLD目标跟踪方法的基础上，提出了一种基于改进TLD的多通道视频中多目标跟踪方法，该方法选取改进TLD方法中的目标位置、大小、目标模型、分类器四个量在线描述一个目标的信息，并支持目标信息的在线更新。通过设计一个高效的多通道视频目标跟踪系统的数据表示格式记录所有视频通道中的全部目标信息。依次遍历各个视频通道的帧图像，在任一视频通道的帧图像中