基于机器视觉的运动目标跟踪系统设计毕业论文.doc

《基于机器视觉的运动目标跟踪系统设计毕业论文.doc》由会员分享，可在线阅读，更多相关《基于机器视觉的运动目标跟踪系统设计毕业论文.doc（21页珍藏版）》请在三一办公上搜索。

1、 本科生毕业论文（设计）题 目：基于机器视觉的运动目标跟踪系统设计 专业代码： 作者姓名： 学 号： 单 位： 物理科学与信息工程学院 指导教师： 2012年 5月 20日目 录摘 要2引言4第一章 基于OpenCV的运动目标跟踪实验平台51.1 OpenCV介绍51.2运动物体的检测与跟踪61.3Windows多线程编程71.4实验结果101.5展望10第二章 机器视觉、.NET与C#112.1机器视觉介绍10与C#简介12与C#的概念12与C#的特点122.3小结15第三章 运动目标跟踪系统的图像处理单元设计163.1. 视频运动目标跟踪器的总体结构163.2.图像处理模块设计163.21

2、 图像处理模块的组成163.2.2. 中值滤波163.2.3图像边缘检测173.2.4 SAD匹配跟踪模块的设计183.3总结18总结19参考文献20致 谢21摘 要运动目标的检测跟踪在机器人视觉、监控测量和视频压缩编码等等方面有着广泛的应用，是近年来的一个研究热点。本文设计了一个利用OpenCV软件的基于机器视觉的运动目标检测跟踪实验平台，对摄像头视野中的运动目标进行实时检测和跟踪，并留下编程和硬件接口。运动目标跟踪系统的图像处理单元对于系统跟踪的准确性与实时性至关重要。文中将跟踪系统采集到的动态图像序列经过预处理后送入图像处理单元进行中值滤波、边缘检测以及匹配跟踪，实现对运动目标的信息跟踪

3、。该文对传统的中值滤波算法进行改进，同时对Sobel边缘检测算法进行改进，减少了系统的运算时间，使系统的图像处理单元具有更快的处理速度和更高的实时性。关键词 : 目标跟踪；OpenCV； C#；ASIC；边缘检测AbstractMoving targets detection in the robot vision, monitoring tracking measurement and video compression coding, and so on in a wide range of applications, in recent years is a hot research t

4、opic. This paper designs an OpenCV using software based on machine vision of the moving object detection and tracking experimental platform, camera moving object in view of real-time detection and tracking, and leave programming and hardware interface. Abstract：The image processing unit is key to th

5、e precision and timeliness of the moving target tracking systemThe system collects the dynamic image and preproeesses it，then sends the results to the image processing unit to accomplish the operation of median filter，edge detection an d match trackingThe paper introduces an improved median filter a

6、lgorithm and a novel edge detection algorithm based on Sobel algorithmAfter manipulated as above，the image processing unit decreases the times of operation and ofers faster processing speed.Key words: Target Tracking; OpenCV; C#; ASIC; Edge Detection基于机器视觉的运动目标跟踪系统设计引言目前，数字图像处理在国民生产中起到日益重要的作用，对其的研究也

7、日益广泛和深入。OpenCV程序库作为数字图像研究的软件助手，具有简单易用、功能强大、移植方便等优越性能。本文首先实验设计了一个基于OpenCV的运动目标检测跟踪实验平台，对从摄像头采集来的图像数据进行实时的分析，从而实现对运动物体的检测与跟踪。实验旨在了解OpenCV的性能，学习OpenCV的使用方法；尝试并逐渐熟悉图像处理，特别是运动目标跟踪方面的知识；以及进一步提高Windows操作系统下使用C语言和C+编程的能力。C# 是由微软公司开发的一种面向对象的新型编程语言。它保留了 C/C+原有的强大功能，并且继承了 C/C+的灵活性，而且它又同 Visual Basic 一样具有简单的语法和

8、高效的开发能力。对于编写数字图像处理算法的程序员来说，相比主流的应用软件 C+，C# 不失为一种更佳的选择。第一章 基于OpenCV的运动目标跟踪实验平台1.1 OpenCV介绍OpenCV是Intel开源计算机视觉库(Open Computer Vision)的简称。它由一系列 C 函数和少量 C+ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV 拥有包括300多个C函数的跨平台的中、高层API。它不依赖与其它的外部库，尽管也可以使用某些外部库。OpenCV具有以下特点：1.开放源码2.基于Intel处理器指令集开发的优化代码3.统一的结构和功能定义4.强大的图像和矩阵运

9、算能力5.方便灵活的用户接口6.支持MS-Windows和Linux操作系统由于有了以上性能特点，OpenCV函数库功能强大，简单易用，移植也很方便，不失为学生和科研人员进行数字图像处理方面学习和研究的好工具。1.2运动物体的检测与跟踪数字图像处理中，运动物体的检测和跟踪在机器人视觉、监控测量和视频压缩编码等方面有着广泛的应用，是近年来的一个研究热点。随着研究的深入，应用于运动物体跟踪的算法也越来越多：从最简单的“帧差法”，到“背景消减法”到“模板匹配法”，到带有预测功能的“卡尔曼滤波”和“粒子滤波”等算法，都在不断地提高对运动目标检测和跟踪的准确性和高效性。本平台在进行运动物体检测跟踪时所采

10、用的算法是：首先利用“帧差法”检测出初始的运动目标；一旦认为此目标合法，便根据目标在HSI（色调、饱和度、强度）空间中H通道的色调特性，利用“连续适应性均值移动算法（CamShift）”，对目标进行跟踪。CamShift算法简述如下：首先，在图像HSI空间中计算H通道（色彩通道）分量的1D直方图；接着，利用此1D直方图将原图改建成2D概率分布图；第三步，计算出目标区域的重心；第四部，利用经典的“Mean Shift”算法，不断平移调整窗口中心到与目标重心重合；第五步，将上一帧的窗口大小和中心，作为下一帧Mean Shift算法搜索窗口的初始值，在下一帧中继续Mean Shift运算。图1.2C

11、amShift流程上述运动物体检测和跟踪的算法运算量小，跟踪效果好。只要初始抓取目标无误，并且在色彩空间上目标与背景有一定偏差，视频跟踪便能够达到相当的准确度。更好的一点是，此算法在跟踪同一场境内多个运动目标其中的一个时的效果，是其它同样计算复杂度的算法所难以比拟的。1.3Windows多线程编程为了达到良好的实时性能，充分利用CPU资源，本平台采用多线程并发处理模式进行编程。在Windows操作系统下，线程与进程调度都有着一套封装好的方法，各线程轮流占用CPU资源。既然没有多个CPU进行真正的程序“并发”执行，多线程编程要做的就是如何利用线程的“休眠”事件，合理充分地使用资源，以达到提高程序

12、运行效率的目的。本平台中，程序由两个线程组成：main线程和GetImage线程。Main线程作为主线程，它启动了GetImage线程；除此之外main线程的主要功能就是利用OpenCV函数库，对从摄像头获取的图像数据进行分析处理；此外main线程还负责获取用户输入信息。GetImage线程的主要工作就是循环地从摄像头读取数据放到缓存中，以供main线程分析。在这当中，GetImage线程往缓存中写数据与从缓存中读数据将不可避免地操作同一块缓存；为防止数据读写冲突出错，两线程在操作这块缓存时都必须上锁。这在本平台程序中是通过“互斥量”来实现的。另外，为防止main线程重复地分析同一帧图像，要求

13、main线程必须等待GetImage线程的一个信号才能进行数据读取和分析，这在平台程序中是通过Wait/Object的方式来实现的。程序流程图如图1.3.1、图1.3.2所示图1.3.1 GetImage线程图1.3.2主线程1.4实验结果 经过实验证明，基于OpenCV的运动目标检测跟踪实验平台可以在实时显示图像的基础上，实时检测和跟踪运动目标，并且检测和跟踪具有较高的鲁棒性。在跟踪过程中，即时目标保持静止，程序也不会丢失对目标的跟踪。检测跟踪结果如图1.4.1所示：图1.4.1检测跟踪结果1.5展望本实验设计的基于OpenCV的目标检测、跟踪平台，由于其较低的计算复杂度和较高的鲁棒性，不仅

14、可用于智能吸尘器的控制；也可用于其它基于全地图路径规划的机器人领域，比如：收割、搜救、测绘、探伤等等场合。因此本平台具有广泛的应用前景。第二章 .NET与C#2.1机器视觉介绍2.1.1 概述机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉

15、难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。2.1.2基本结构一个典型的工业机器视觉系统包括：光源、镜头、 相机（包括CCD 相机和COMS相机）、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯 / 输入输出单元等。2.1.3工作原理机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行

16、各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格 / 不合格、有 / 无等，实现自动识别功能。与C#简介与C#的概念.NET就是微软的用来实现XML，Web Services，SOA（面向服务的体系结构service-oriented architecture）和敏捷性的技术。对技术人员，想真正了解什么是.NET，必须先了解.NET技术出现的原因和它想解决的问题，必须先了解为什么他们需要XML,Web Services 和 SOA。技术人员一般将微软看成一个平台厂商。微软搭建技术平台，而技术人员在这个技术平台之上创建应用系统。

17、从这个角度，.NET也可以如下来定义：.NET是微软的新一代技术平台，为敏捷商务构建互联互通的应用系统，这些系统是基于标准的，联通的，适应变化的，稳定的和高性能的。从技术的角度，一个.NET应用是一个运行于.NET Framework之上的应用程序。（更精确的说，一个.NET应用是一个使用.NET Framework类库来编写，并运行于公共语言运行时 Common Language Runtime之上的应用程序。）如果一个应用程序跟.NET Framework无关，它就不能叫做.NET程序。比如，仅仅使用了XML并不就是.NET应用，仅仅使用SOAP SDK调用一个Web Service也不是

18、.NET应用。C#（读作C sharp）：是由微软公司的Anders Hejlsberg和 Scott Willamette领导的开发小组专门为.NET平台设计的语言。C#由C语言和C+派生而来，继承了其强大的性能，同时又以.NET 框架类库作为基础，拥有类似Visual Basic的快速开发能力。它可以使程序员移植到.NET上。这种移植对于广大的程序员来说是比较容易的，因为C#从C，C+和Java发展而来，它采用了这三种语言最优秀的特点，并加入了它自己的特性。与C#的特点A是一种动态网站高级编程语言。A是一种建立在公共语言运行库上的编程框架，可用于服务器上开发强大的web应用程序。不但执行效

19、率高，对代码的控制也做的很好。并且支持web controls 功能和多种语言。以提高安全性，以管理性和高扩展性。生产效率，使用服务器控件和包含很多现有控件，可以轻松的创建网页和应用程序。灵活性和可扩展性，很多功能都可以扩展。这样可以轻松的将自定义功能集成到应用程序中。安全性，现在相web应用程序添加身份验证和授权非常简单。完整性，可以创建解决实时web开发挑战的端对端方案。1.GC垃圾回收机制垃圾回收机制，作为CLR最大的亮点之一，使得传统的Native语言(c/c+)程序员彻底摆脱了一直影响编程质量的内存泄漏问题，引得大家无数的好奇和关注。2.反射机制审查元数据并收集关于它的类型信息的能力

20、。元数据（编译以后的最基本数据单元）就是一大堆的表，当编译程序集或者模块时，编译器会创建一个类定义表，一个字段定义表，和一个方法定义表等。3.泛型编程.NET 2.0的System.Collections.Generics 命名空间包含了泛型集合定义。 灵活应用泛型可以充分发挥代码威力，不用重复定义各类方法和无节制的类型重载4.网络编程网络编程方面的改进包括以下内容：针对Windows身份验证的安全改进体现在几个类中，包括System.Net.HttpWebRequest，System.Net.HttpListener，System.Net.Mail.SmtpClient，System.Net

21、.Security.SslStream和 System.Net.Security.NegotiateStream。在Windows 7和Windows Server 2008 R2中运行的应用程序可以使用扩展保护功能。5.工作流Windows通信基础实现了消息管理方面的增强并提供与Windows工作流基础的无缝集成。WF提供的改进体现在性能、可扩展性、工作流建模以及一个更新的可视化设计器等方面。6.并行计算.NET框架 4针对编写多线程和异步代码引入了一个新的编程模式，从而极大地简化了应用程序和库开发者的编程。此新的模式可以使开发人员以一种自然的方式来编写高效的，良好粒度的，可扩展的并行代码，

22、而不必直接使用线程或线程池等。新的System.Threading.Tasks命名空间和其他相关类型支持这种新模式。并行LINQ(PLINQ)，作为LINQ to Objects的一种并行实现，能够通过声明性语法支持类似的功能。7.托管扩展性框架托管扩展性框架(MEF)是.NET框架4中的一个新库，帮助您构建可扩展的和可组合式应用程序。MEF可以让您指定在一个应用程序中的扩展点，给其他扩展的应用程序提供服务，以及创建可扩展应用程序所使用的部件等。8.委托机制C#使用一种委托模型来实现事件。事件的处理方法不必在将生成事件的类中定义。这种机制有许多优势。它既有普遍性，又很灵活。设想应用程序中有两个

23、按钮，但这两个按钮的作用不同。如果事件处理程序被绑定到事件源，我们可能必须写两个派生的按钮类，每个派生类有自己的事件处理程序。C#在带来对应用程序的快速开发能力的同时，并没有牺牲C与C+程序员所关心的各种特性。它忠实地继承了C和C+的优点。C#是专门为.NET应用而开发出的语言。这从根本上保证了C#与.NET框架的完美结合。在.NET运行库的支持下，.NET框架的各种优点在C#中表现得淋漓尽致。简洁的语法、精心地面向对象设计、与Web的紧密结合、完整的安全性与错误处理、版本处理技术、灵活性与兼容性。C#是事件的驱动的，完全面向对象的可视化编程语言，我们可以使用集成开发环境来编写C#程序。编程序

24、更重要的一点是要找到解决问题的方法就是算法，才能达到快速、准确解决问题的目的。算法就是为完成一项任务所应当遵循的、一步一步的、规则的、精确的、无歧义的、总步数有限的描述。我们不能孤立地使用C#语言，而必须和.NET Framework一起考虑。C#编译器专门用于.NET，这表示用C#编写的所有代码总是在.NET Framework中运行。对于C#语言来说，可以得出两个重要的结论：(1) C#的结构和方法论反映了.NET基础方法论。(2) 在许多情况下，C#的特定语言功能取决于.NET的功能，或依赖于.NET基类。C#是一种相当新的编程语言，C#的重要性体现在以下两个方面：它是专门为与Micro

25、soft的.NET Framework一起使用而设计的。.NET Framework是一个功能非常丰富的平台，可开发、部署和执行分布式应用程序。 C#是一种基于现代面向对象设计方法的语言，在设计它时，Microsoft还吸取了其他类似语言的经验，这些语言是近20年来面向对象规则得到广泛应用后才开发出来的。C#的特点： 确定性、可行性、有穷性、输入性、输出性算法的描述方法很多有自然语言（如英语、汉语）、图形或符号等描述。C#是Microsoft专门为使用.NET平台而创建的，事实上C#是.NET开发中最好的一门语言。C#是一种使用简单，功能强大，表达力丰富的全新语言。如果抛开一切非技术方面的因素

26、，C# 无疑是这个星球上有史以来最好的编程语言，它几乎集中了所有关于软件开发和软件工程研究的最新成果：面向对象、类型安全、组件技术、自动内存管理、跨平台异常处理等。2.3小结本章主要介绍了机器视觉的概念、基本结构、工作原理等内容以及软件的开发环境、特点以及c#语言的一些基本概念和优点，从而为接下来的设计提供理论基础。第三章 运动目标跟踪系统的图像处理单元设计3.1. 视频运动目标跟踪器的总体结构视频运动目标跟踪器的总体结构是由图像采集模块、图像缓存模块、图像处理模块、图像实时显示模块4部分组成，其系统功能图如图3.1.1所示。视频采集模块的功能是对模拟视频数据进行解码并捕获图像；图像缓存模块的

27、功能主要将采集到的大量视频图像数据进行缓存；图像处理模块进行图像预处理，运动目标跟踪和图像后处理；图像实时显示模块实现图像后处理的实时显示。图3.1.1 系统总体结构框图3.2.图像处理模块设计3.21 图像处理模块的组成由于CCD摄像头输入的图像信号不可避免引入噪声，并且图像本身存在着空间和幅度的量化误差，所以在设计中需要对输入的图像数据进行滤波处理。在设计中，图像处理模块划分为中值滤波、边缘检测、SAD匹配跟踪3个模块，其结构框图如图3.2.1所示。图3.2.1 图像处理模块框图3.2.2. 中值滤波中值滤波 是某一点的值用该点的1个邻域中各点值的中间值代替，这个邻域通常被称为窗口。中值滤

28、波在图像处理中，首先需选1个含有奇数点的窗口w，将这个窗口在图像上扫描，把该窗口中所含的数据进行排序，取中间值作为该点的灰度值，这样可以很好地消除图像中的噪声。通常来说，采用中值滤波需要对邻域窗口内的像素数值进行排序。排序的方法有很多种，不同的排序会导致不同的处理速度，而这其中用的较多的排序法是冒泡法 。假设该窗口拥有n个像素，如果采用冒泡法需要做n(n一1)2次两两比较操作。文中对传统的中值滤波算法进行改进，对传统方法进行了改进，通过分组比较的方法找出其中的最大值、最小值和中间值，避免了逐个比较操作。这种方法相比传统的方法避免了大量比较操作，从而减少了逻辑资源的使用。文中以33滤波窗口为例，

29、按下述进行排序：(1)每行按最小数值、中间数值和最大数值排序。(2)将每一步排序所得到的最小数值组、中间值组和最大数值组分别按最小值、中间值和最大值排序。(3)对上一步所得到的最小数值组的最大值、中间数值组的中间值和最大数值组中的最小值排序，最后得到中间值。依据上述算法对33的滤波窗口进行排序，要想得到最后的中间值必须进行19次两两比较，采用传统的冒泡法得到所需的中间值则至少需要30次比较运算。相对于传统算法而言，改进后的中值滤波算法可以提高运算速度，有利于提高系统的图像处理速度。3.2.3图像边缘检测图像边缘是图像最基本的特征之一，其中包含着有价值的目标边缘信息，这些信息可以用于图像分析、目

30、标识别以及图像滤波。图像边缘检测主要是梯度运算，在进行设计时，通常运用小区域模板卷积法 来近似计算梯度值，且使用不同的模板求图像数据的梯度值就构成了不同的边缘检测算子。常用的方法有边缘Robert算子、Sobel算子、Prewitt算子、Laplacian算子 等，其中Sobel算子具有较好的抑制噪声和算法实现简单而得以广泛应用，文中将采用Sobel算子进行边缘检测。3.2.4 SAD匹配跟踪模块的设计SAD匹配的过程就是首先通过选取模板图像，然后到图像区域中的所有的未知物体进行SAD运算，扫描整幅图像寻找SAD值最小的点，将SAD最小值的点所在的邻域作为所寻找的目标物体。首先通过1616窗生

31、成子模块生成候选目标模块与目标模板模块，然后送到SAD运算子模块进行SAD运算，最后通过SAD查找子模块寻求SAD值最小的点(即所要跟踪的目标)。SAD运算子模块主要负责将上述1616窗生成子模块生成的目标模板与候选目标内的对应的像素点按公式进行匹配运算。文中运用了流水线设计的方法，把较复杂的电路分成四级，并在每一级设置寄存器组用于存放中间数据，以减少逻辑运算的延时，提高系统运行速度。3.3总结文中设计了运动目标跟踪系统所需的图像处理单元，通过将系统采集到的动态图像序列经过预处理后送人图像处理单元进行中值滤波、边缘检测以及匹配跟踪，有效的实现了对运动目标的信息跟踪。文中的创新点在于完成了对传统

32、的中值滤波算法进行改进，同时对Sobel边缘检测算法进行改进，有效的减少了运算时间，提高匹配跟踪的准确度，使系统的图像处理单元具有更快的处理速度和更高的实时胜。 总结 通过本次对基于机器视觉的运动目标跟踪系统设计，成功的达到了目的，能够使系统实现对运动目标的跟踪。虽然实验不是很难，但是本次实验让我对C#.NET，OpenCV和图像处理有了更深刻的认识，提高了动手能力，而且增加了实验经验，可谓一举两得。参考文献1 Hieu T.Nguyen, Arnold W.M. Smeulders, Fast Occluded Object Tracking by a Robust Appearance F

33、ilter, 2004 IEEE. 2 冈萨雷斯，数字图像处理M, 电子工业出版社, 2005, 40-112.3Julia Case Bradley,Anita C.Millspaugh.C#.NET程序设计.北京：清华大学出版社，2005:10-354 王小科，吕双 C# 从入门到精通 M 北京：清华大学出版社，20083-325 Gary R. Bradski, Microcomputer Research Lab, Santa Clara, CA, Intel Corporation, Computer Vision Face Tracking For Use in a Percept

34、ual User Interface. 6赵哲.基于C#的数字图像处理算法的分析研究J.科技信息，2010.7:92-93 7徐其法,朱战立.基于Visual C#.NET平台的数字图像处理及其实现J.现代电子技术,2007,30(20):121-122. 8 张春田，苏育挺，数字图像压缩编码M, 清华大学出版社, 2006, 20-239梁斌玉.叩响C#之门M.北京：电子工业出版社，2009.2-1110 Jeffery Richter, Windows核心编程M, 2000, 121-28711何斌，马天宇数字图像处理M北京：人民邮电出版社，2001262-30412张弘. 数字图像处理M

35、. 北京：机械工业出版社，2007.13 opencv-doc-cn-0.9.7，OpenCV说明文档14 钱能. C+ 程序设计教程M. 清华大学出版社，1999，4，1-134.15PORTER T,DUFF T.Compositing Digital Images J.Computer Graphics (ACM),1984,18(3):253-259. 16RABBANI M,JONES P.Digital Image Compression Techniques J.SPIE,1991(1 450):116-128.17SAID A，PEARLMAN W A.A New Fast and Efficient Image Code Based on Set Partitioning in Hierarchical Processing J.IEEE Trans. on Circuits and Video Technology,1996,6(3):243-250.