电气自动化毕设论文.docx

毕 业 论 文专 业： 电气自动化 班级学号： 1101-201103010124 学生姓名： 徐 芳 指导教师： 杜贵锋 助讲 二一四年 二 月甘肃有色冶金职业技术学院毕业论文铁路供电生产远程督导系统现场终端图像采集与处理技术研究Railway power systemThe terminal image acquisition and processing专业班级：电气1101班学生姓名：徐 芳指导教师：杜贵锋 助讲系 别：机电工程系2014 年 2 月摘 要随着我国铁路建设的飞速发展，铁路供电段生产管辖范围越来越宽广，技术人员应付生产现场的技术指导，疲于奔命，严重地影响了铁路供电的高效生产。就当前生产和科学技术现状，基于3G无线网络的铁路供电生产远程督导系统是目前解决问题的有效手段。论文基于DaVinci技术硬件平台和软件架构完成了督导系统终端图像采集与处理技术的设计，分析了3G无线网络的有限带宽对图像实时传输的限制问题，对视频处理技术提出了更高的要求既要保证图像传输的实时性，又要保证视频图像的清晰度。结合铁路供电生产远程督导系统终端设备的便携性和可移动性，论文研究设计了一种新的图像处理方案两种算法协调处理图像。在目标搜索 阶段对视频质量要求不高但需要保证较小的延时，则采用最新的H.264压缩算法进行图像处理，目标锁定后允许存在一定的延时但要保证视频的清晰度，则对图像进行分割处理传输。设计通过调度终端发送指令的形式，完成了两种算法的灵活调用，保证了图像处理的高效性。设计的核心技术主要分为硬件设计和软件设计两大模块，硬件部分主要从视频处理、音频处理、存储器（DDR2和FLASH）、电源、USB接口、时钟等模块进行了具体设计；软件部分主要设计了视频处理、音频处理及控制模块的流程图和部分代码，其中视频采集模块采用Linux内核的V4L2进行设计，实现了对视频采集设备的控制。由于达芬奇硬件处理器TMS320DM6446集成了ARM内核和DSP内核，缩小了体积、降低了成本、提高了算法处理的性能，所以论文所设计的图像采集与处理设备具有体积小、成本低、算法处理能力强等特点，能够满足高质量视频在3G网络的实时传输功能关键词：远程督导；视频采集与处理；TMS320DM6446；图像分割；H.26ABSTRACTWith the rapid development of China's railway system, the scope of management of railwaypower feed section becomes more wider. It makes technicians become exhausted to give technical guidance for construction, which affects the production of railway power supply seriously. Considered the current situation of manufacture and technology, so far, the railway remote steering system based on 3G wireless network is an effective way to solve the problem.This article designs the image acquisition and the terminal of processing technology of steering system which is based on DaVinci technology hardware platforms and processing technology- not only to ensure the real-time image transmission, but then it uses the latest H.264 compression algorithm for image processing. The core technology of designing contains hardware and software modules. Hardware part designs the video processing, audio processing, memory(DDR2 and FLASH), power supply, USB interface, clock etc and draws the circuit diagram. Software part designs the flow diagram and code of video processing, audio processing and control module, and the video capture module is designed by V4L2 of Linux kernel to control the video capture device.For DaVinci hardware processor TMS320DM6446 integrates the ARM core and DSP core, it reduces volume and cost and improves the function of the algorithm processing ,so the paper designs the image acquisition and processing equipment with smaller size, lower cost and stronger ability of algorithm processing, which is able to meet requirement of real-time transmission capabilities for the high-quality video in 3G Keywords: remote steering; video capture and processing; TMS320DM6446; image segmentation; H.264甘肃有色冶金职业技术学院2014届毕业设计（论文）目 录1 引 言21.1铁路远程督导系统及应用21.2相关技术的发展现状21.2.1 3G无线网络发展现状21.2.2图像处理技术发展及现状21.3课题研究内容及章节安排32 现场图像采集与处理技术52.1 图像采集芯片简介52.2图像处理硬件平台的选择62.3达芬奇技术介绍72.3.1 DaVinci硬件结构72.3.2 DaVinci软件体系92.4算法122.4.1 H.264压缩算法122.4.2图像分割算法133图像终端硬件设计163.1系统框图163.2图像采集与处理模块173.2.1 TVP5146与DM6446的硬件连接173.2.2 TVP5146与DM6446的数据通信183.3 存储器模块203.3.1 DDR2模块203.3.2 FLASH模块223.4音频模块233.5其他模块243.5.1电源管理243.5.2 USB接口244 图像终端软件设计254.1系统整体框架254.2主线程模块264.3图像线程模块274.3.1图像采集驱动274.3.2图像处理流程314.4音频模块345总结376 参考文献387致 谢401 引 言1.1铁路远程督系统及应用随着社会的不断发展和进步安防问题得到人们越来越高的重视。视频监控作为安全防范系统的重要组成部分，使得人们可以远距离的观察和调度被控区域的能力，以其直观、准确、及时和信息内容丰富等优势广泛应用于现代化小区、交通、铁路、消防等领域。随着科学技术的不断进步和人们对监控系统要求的不断提高，监控系统也经历了从模拟监控时代到数字化网络监控时代的飞速发展变化。基于国内已经投入商业运营的3G网络的无线视频监控系统具有强大的功能，能够克服由于地理位置、布线成本和远距离监控等带来的问题。相对于有线传输，无线传输模式具有安装方便、灵活性强、性价比高等特性，诸多优势使得无线监控系统成为如今视频监控领域新的发展方向1。论文是基于铁路供电生产远程督导系统进行研究的，远程督导系统也算是视频监控系统，但是跟视频监控系统又不完全一样，增加了部分功能，即在监控的同时可以进行双向语音交流，随时指挥现场的维修进展等。铁路供电生产远程督导系统主要具有以下优势：（1）利用远程督导系统，监控人员可以直接对出问题系统进行实时监控，不仅能直观的监视和记录工作现场的情况，而且能及时发现事故苗子并加以指导，防患于未然；（2）使数字化存储成为可能，经过处理的视频数据可存储在磁盘阵列中或保存在光盘中，查询十分简便快捷，也能为事后分析事故提供有关的第一手图像资料；（3）远程督导系统是基于3G无线网络设计，终端设备简易携带方便，所以适用于任何地点任何位置，可以实现图像在局域网的共享，基本上不受距离限制，便于迅速集合众专家的力量快速完成维修工作；此督导系统主要是针对铁路供电生产提出的，由于其终端设备体积较小、移动性好，全球3G无线网络的无缝覆盖，便于调度终端的指挥等优势，系统也可以应用于其他领域，如地震、重大交通事故突发区，井下作业的指导等，该远程督导系统具有较高的研究价值和广阔的应用前景。其总体框图如图1.1，系统中云台控制摄像机从铁路施工现场采集图像并传至图像处理器进行处理，处理后的视频信息通过3G无线网络传输至调度中心，并通过因特网实现资源共享。督导系统涉及到现场终端的供电技术（没有电源）、云台控制技术、图像处理技术、3G无线网络传输技术及调度终端的图像解码技术和资源共享技术等。其中现场终端的图像采集与处理技术是设计重点研究的部分，其关键是图像压缩编码和图像分割并用问题的解决，设计从软硬件两方面的研究达到图像处理的目的。40 甘肃有色冶金职业技术学院2014届毕业设计（论文） 图1.1 铁路远程督导系统结构图1.2相关技术的发展现状1.2.1 3G无线网络发展现状无线远程监控系统指的是利用无线传输网络实现远程现场视频信号传输的系统。无线传输网络可以是微波、卫星或移动通信网络。其中，成本最低、灵活性最强的是移动通信网络。目前最常用的无线数据网络中无论是CDMA1.x还是GPRS网络，其上行带宽均在l00 kbps以下，监控画面的图像格式要求在320×240以上，传输的图像连续性差无法实现实时传输。而3G(第三代移动通信系统)是一种能提供多种类型、高质量的多媒体业务，能实现全球无缝覆盖，具有全球漫游能力，无线视频传输系统具有功耗低、数据量大、压缩效率高和信道容错能力强等特点。联通的3G网络WCDMA在静止条件下速率可达7.2M/s,电信的CDMA2000速率达3.1M/s，移动TD-SCDMA在准静止条件下能够达到2.8M/s的速率，在阻挡物等影响下网速会有所下降，但能够支持音频或低速率视频等多媒体业务。由于3G网络的发展，实现远程视频的无线传输已不再是梦想。假设在一般状态下，3G网络的传输速率为2Mbps，采用D1格式NTSC制式分辨率为720×576的图像，且每个像素采用24 bit，则每帧的数据量为720×576×24=9953280bit，压缩比采用150：1，则压缩后的数据量为9953280bit/150=66355.2bit/帧，那么用3G无线网络传输可达的帧数是2Mbps66355.2bit/帧=31帧。由此可以看出，通过图像压缩视频通信能够保证以30fps的传输速率，完全满足高质量实时视频要求2，由此也可得出论文研究的可行性。1.2.2图像处理技术发展及现状视频图像是对客观事物形象、生动的描述，是直观而具体的信息表达形式，是人类最重要的信息载体。随着网络、通信和微电子技术的快速发展，图像处理系统以其直观、方便和内容丰富等特点，日益受到人们的重视。视频图像处理产品现在正经历着从模拟化向数字化、网络化的革命，并在科学研究、工农业生产、交通运输、资源的遥感探测、医疗卫生等各个领域得到越来越广泛的应用。在实际的应用中，系统除了对算法本身有较高的要求外，对视频信号的处理速度和稳定性也有一定的要求。而目前的视频图像处理系统难以满足实时处理和稳定可靠的要求。因此需要研制新一代的数字视频图像处理系统，两超大规模集成电路和嵌入式软硬件技术的迅猛发展，使得研制嵌入式结构的数字视频图像处理系统成为一个新的发展方向。基于嵌入式设备的处理系统的优点表现在：由于嵌入式系统的硬件是一个处理器和软件捆绑较为紧密、设计专门的独立设备，不像插卡系统那样受通用计算机系统中其他软硬件的影响，因此在性能上更稳定，且便于安装、维护，易于实现系统的模块化设计；另一方面，由于功能的单一，只要算法选择正确，系统的实时性就能得到保证，而且控制功能较PC系统容易实现。数字视频图像处理系统不仅符合信息产业的未来发展趋势，而且代表了处理行业的未来发展方向，蕴藏着巨大的商机经济效益，有较大的研究意义。为了应对市场的强劲需求，基于嵌入式系统，2005年TI公司推出了DaVinci(达芬奇)技术，其应用目标就是数字视频图像处理应用。它将固定器件的高效率和可编程器件的灵活性结合在一起，以支持各种数字的终端设备。TI通过达芬奇技术提供了新的产品开发工具和支持，其第一批处理器TMS320DM6446是基于ARM926EJ-S和TI最新的C64x+DSP的双核SOC架构，集成了为加速数字视频开发而专门设计的协处理器引擎和丰富的片上外围器件。它超越了传统的开发工具和应用支持，扩展到包含了开发数字视频所需要的基本软件架构，通过应用编程接口（API），开发者直接调用已经编好的符合接口标准的DSP库程序，大大加速了开发速度，具有较大的应用前景和研究价值。达芬奇技术也是图像采集与处理设计中所采用的关键技术。1.3课题研究内容及章节安排随着我国铁路建设的飞速发展，铁路供电段生产管辖范围越来越宽广，技术人员为应付生产现场的技术指导疲于奔命，严重地影响了铁路供电的高效生产。就当前生产和科学技术的现状，铁路供电生产远程督导系统是目前解决问题的有效手段。论文主要就是针对远程督导系统，研究现场终端图像采集与处理技术，主要内容包括：调查铁路供电生产远程督导技术的研究现状；选择合适的现场终端图像采集与处理技术；采用当前先进、实用的技术设计现场图像采集与处理终端；其中关键是解决图像采集与处理的硬件平台和算法选择问题。设计首先利用视频解码器TVP5146将CCD摄像头采集到的模拟信号数字化，将数字信息传至TMS320DM6446芯片的视频处理子系统（VPSS）进行预处理，然后由ARM端应用程序调用DSP端的视频处理算法进行编码处理，最后处理后的视频数据流将通过3G网络进行传输。其中督导系统的便携移动性，使得现场终端的摄像头需要先进行目标搜索，搜索到目标并调整为合适的焦距后才会固定设备。由于搜索阶段对视频质量要求不是很高，而设备固定后的维修阶段则需要高质量的视频图像，考虑到3G无线网络带宽的有限性及视频传输的实时性要求，为了充分利用资源达到灵活处理图像的目的，设计图像处理部分时采用了两种算法相互协作，分为搜索阶段的压缩处理算法和锁定阶段的图像分割处理算法。搜索阶段采用最新的压缩技术H.264压缩标准，图像质量略有下降但降低了延时；图像分割处理则是利用整个大背景的不变性只对小部分的运动目标进行处理传输，由于运动目标数据流较小所以无需对其进行图像压缩，则提高了视频质量当然会带来一定的延时，但是对系统功能的实现影响不大。其中压缩算法和图像分割算法的调用是根据调度中心的指令灵活切换。通过软硬件及算法的合理设计，实现了高质量图像的有效处理并达到能在3G无线网络实时传输的目的。第一章主要介绍了课题研究的背景及意义和3G无线网络及图像处理技术的发展现状。第二章主要涉及到技术介绍，首先是采集芯片的简要介绍和硬件平台的选择，然后介绍了设计使用的达芬奇技术，包括硬件平台、软件架构及算法开发步骤，最后介绍了设计采用的压缩算法和图像分割算法的原理。第三章主要是图像处理系统的总体设计及各个硬件模块的设计，主要有图像采集与处理模块、音频模块、存储模块、电源管理模块、USB接口模块、RS232串口模块以及时钟模块等。第四章则是图像采集与处理的软件设计，从软件的总框架、视频线程、音频线程和控制线程做了设计的阐述。第五章是设计的总结和展望。2 现场图像采集与处理技术2.1 图像采集芯片简介为了开发出适用于例如数字电视、移动电话等便携式、高质量及高性能的视频产品，TVP5146芯片相继为此应用诞生并且在市场上广泛使用，它可以将模拟视频信PAL、 NTSC、SECAM制式的视频信号转化为数字视频信号BT.656的YUV格式，是能解决绝大多数视频信号和图像信号的A/D转换的高效芯片。TVP5146支持的格式为CVBS信号 、Y/C信号、 RGB信号 和YPbPr信号。TVP5146模数转换芯片有4路高达10位精度的A/D转换通道，并且包含借位电路、可编程增益及偏移电路10。视频解码芯片TVP5146的主要功能模块包括：模拟前端模块（有4路独立A/D转换），时钟处理模块(可进行同步检测)，I2C总线模块，VBI数据处理模块，CVBS、Y、RGB及YPbPr信号处理模块，输出格式模块，拷贝保护检测模块。PAL/NTSC等制式的模拟视频信号输入视频解码芯片TVP5146，经过相位电路、自动增益控制电路(AGC)后进入视频模数（A/D）转换器，最后出来BT.656的YUV格式的数字视频信号。不同的信号具有不同的处理方式，例如：对数字化的CVBS信号是先进行自适应数字梳状滤波，然后再进行亮度、色度处理；对数字化的Y/C信号则是并行进行亮度、色度处理(分离出色差Cr和Cb信号)；而对数字化的YCbCr分量信号和RGB信号，则除了进行分量处理和色彩空间转换外不需要其他处理方式，经过视频解码器处理过的数字视频信号经过CCDC进入解码输出控制器。另外需要注意的是，TVP5146输出的10位YCbCr数据格式进入8位YCbCr输入数据格式的DM6446时其像素最后两位将会丢失。2.2图像处理硬件平台的选择目前，基于3G无线网络的视频监控系统的终端图像采集与处理的硬件平台主要有以下几种构架3：（1）PC机+视频采集卡方案此方案是较早出现的数字视频监控形式，其最大的优势就是软硬件资源非常丰富。相对Linux系统而言，它的软件便于开发并且开发周期较短，硬件的维护比较容易。另外，单用硬件采集卡或者软件编码器都可以实现视频图像的处理。其缺点不只是体积和功耗大的问题，而且成本也很高，另外视频的布线也相当麻烦。这种方案比较适用于监控点固定或者范围较小的场合，比如银行、监控等。（2）MCU+DSP双处理器方案此方案结合了嵌入式微处理器强大的控制能力（控制系统各个外围接口）和DSP的编码运算能力（处理视频图像数据），一般所选MCU的外围扩展能力都不错，视频图像质量由DSP中的算法来定，图像编码和应用软件开发工作的同步进行缩短了开发周期。但是首先MCU和DSP/ASIC各用一块内存，增加了体积；其次，通常还需要外加可编程逻辑器件（CPLD）或现场可编程门阵列（FPGA）来解决两个模块之间的同步和逻辑转换问题，使得开发周期变长,还增加了一块芯片带来了功耗的增加。这种方案比较适合用于要求设备体积较小或者监控路数较少的场合。（3）单片DSP处理器方案基于单片DSP视频监控终端，在单片DSP上集成了MCU和DSP的优越功能，既能实现视频图像处理算法（保证实时性和质量），又能实现系统控制功能，但是占用大量的资源的同时芯片的负荷也比较重，在实现复杂度较高的算法时难度很大，更不用提高清晰的视频编码了。另外，此方案很大程度的限制了能够在网络通信协议栈使用的资源4。这种方案比较适合用于对设备的功能追求不高要求但对其体积要求很严格的场合。2.3达芬奇技术介绍达芬奇技术（DaVinci）由硬件处理器TMS320DM6446、达芬奇软件、开发工具和技术支持系统等组件优化构成。TMS320DM6446处理器具有最高性能的TI的C64x+ DSP内核。达芬奇处理器既包括SoC(基于可扩展、可编程的DSP)，又包括了优化的加速器与外设等其他优秀的设备，满足于视频采集与处理系统低成本、高性能和强功能的要求。达芬奇软件利用芯片资源运行在处理器TMS320DM6446上，其内置于可配置的框架内，通过流行操作系统内部已公布的应用编程接口（API）提供，以实现快速的软件实施。达芬奇技术为了能加速厂商的设计与开发过程专门提供了一整套的工具与套件，其中包括：入门工具、开发套件和参考设计。达芬奇处理器上ARM-DSP集成开发环境(IDE)、Linux操作系统及DSP工具使得开发人员不需要重新学习新的开发环境，因为它的编程环境基本上没有变化，在一方面体现了达芬奇技术的优势，而且开发人员还能充分利用达芬奇技术的其他优势。2.3.1 DaVinci硬件结构TMS320DM6446是TI公司于2005年12月推出的高度集成的双核视频处理芯片，该芯片是361脚（引脚间距是0.8mm）BGA封装，图2.1是它的内部功能模块。DMSoc包括ARM子系统、DSP子系统、视频处理子系统(VPSS)和系统控制模块；另外有交换中心资源（SCR）、外部存储接口、电源管理和外围控制模块等。图2.1 TMS320DM6446功能结构图ARM子系统采用的是工作频率达到297MHZ的ARM926EJ-S内核CPU（管道化流水线32bit的 RISC处理器），ARM系统相当于整个系统的HOST，负责控制整体配置及外围的操作，甚至包括DSP端的算法调用。ARM926EJ-S使用协处理器CP15和保护模块增强了体系结构，能处理16bit或32bit的指令和8bit、i6bit及32bit的数据，同时提供程序和数据内存管理单元(MMU)。ARM用独立的16KB指令存储和8KB数据存储来保证内核周期的存取指令和数据，指令存储和数据存储都是通过VIVJ四路连接。另外，还有一个用来提升内核性能的写缓存，缓存数据达17KB。DSP子系统采用的是工作频率达到594MHZ的TMS320C64+TMDSP内核的CPU，支持3.3V、1.8V的I/O及储存器接口。DSP主要是负责视频处理算法的编码工作，它16bitMAC的处理能力可达237MMACS(AMCs per Second)，而8bitMAC处理能力可高达到4752MMACS(AMCs per Second)。DSP系统具有64个32bit的通用寄存器和8个独立的功能单元 (包括6个算数逻辑单元及2个乘法器)。DM6446中视频处理子系统（VPSS）接口分为视频处理前端（VPFE主要用于获取经过视频解码器处理过后的数字视频数据信息）和视频处理后端（VPBE主要用于压缩处理后视频的输出），视频处理子系统（VPSS）的视频处理前端（VPFE）用来连接至前方的视频解码芯片TVP5146，提供数字视频的输入；它的视频处理后端（VPBE）可以连接至后方的高清显示器、或者视频解码器及网络传输模块等。在芯片内部的公共缓冲区（通过内部的128 位总线通信）和DMA控制器确保了DDR2存储器与视频处理子系统（VPSS）的高效通信。图2.2为视频处理子系统框图。视频处理前端的输入模式主要包括以下几种：（1）一般数字接口模式，该模式主要用于数字传感器的接入；（2）ITU-RBT.656 视频流模式，该模式在视频流内嵌行场同步信号；（3）标准YUV模式，该模式兼容8位或16位的标准YCbCr-4:2:2 格式6。图2.2 视频处理子系统框图视频处理后端（VPBE）主要用于数字视频数据流的输出，其接口主要由OSD(实现画中画并在视频上叠加音量等信息)引擎和视频编码器（支持数字输出和模拟输出）组成。数字输出支持24bit RGB格式、8/16bit BT.656以及具有独立的水平和垂直同步能力的CCIT.601输出；模拟输出支持四路10bit DAC，均工作于54MHz，支持符合NTSC/PAL、S端子和分量视频。2.3.2 DaVinci软件体系达芬奇参考软件框架分为应用层(ARM)、信号处理层（DSP）和I/O层三部分，如图2.3所示，应用层供硬件平台ARM处理器运行，主要负责全局的控制；信号处理层则于DSP处理器一侧运行，它主要负责处理视频图像信号；I/O层也就是驱动，主要负责运行TMS320DM6446处理器外围模块的驱动程序，比如我们为图像传输系统设计的EMIF外设的驱动。目前TI公司已经提供了一些常用的外设驱动程序，如果开发者自己的研究项目有特殊要求，则需要自己开发相应的驱动程序。应用层通过Codec Engine的VISA(视频，图像，语音，音频)API来调用DSP处理器的算法，实现图像、音频和视频的各种处理，如压缩、解压缩等，比如要实现H.264算法标准，就必须调用H.264相关的编解码API。图2.3 达芬奇处理器软件结构目前，这些API函数已经由TI公司开发完毕，开发者直接调用他们即可，因此，对于它们的许多细节，开发者不需要了解。在此，我们只给出API函数实现的步骤，如图2.4所示。图2.4 达芬奇编解码引擎开发步骤由图2.4可知，达芬奇API接口函数的软件开发有以下四个步骤：（1）在DSP端，利用CCS3.3开发相关标准的音/视频编/解码算法，并且要编译生成一个编/解码算法的库文件（*.lib）。另外算法实现必须要符合xDM标准；（2）生成一个在DSP硬件平台上运行的可执行程序（.out）文件-DSP Server；（3）根据DSP Server的名字及其包含的音/视频编/解码算法创建Codec Engine的配置文件（*.cfg）。由这个文件来决定Engine里的codec运行在哪一侧（ARM或DSP），它还可以定义Engine的名字及其包括的codec，形成相关的API函数；（4）应用工程师收到不同的codec包、DSP Server和Engine配置文件（*.cfg），把自己的应用程序通过编译、连接，最终生成ARM侧可执行文件7。在视频处理器中ARM是HOST负责操作系统的应用，而DSP主要运行codec算法处理，ARM则是通过codec engine机制调用DSP端的codec算法，codec engine是介于应用程（ARM）和信号处理层(DSP)之间的软件模块，扮演很重要的角色。它是配置和运行xDAIS算法的API，同时提供VISA接口。Codec引擎的作用结构如图2.5。图2.5 Codec引擎结构图引入codec engine可以克服以下问题：（1）异构处理器环境下很复杂的调试；（2）相同的算法具有不同的实现，如果想转换为更为有效的算法，将会涉及到大量的再次编程；（3）市场上有多种多样的媒体格式，所以应用程序必须支持多个编解码器；（4）习惯在GPP上编程的程序员要使用DSP编程，必须掌握复杂的DSP存储器管理和DSP实时问题。2.4算法2.4.1 H.264压缩算法电视信号可以数字化是在1948年提出，到目前为止已经有六十多年的历史，图像编码技术无论是在理论上还是实际应用方面都取得了很大的成果。从最初的H.261视频编码到H.262、H.263以及MPEG-1、MPEG-2、MPEG-4（2）等视频编码标准都有一个在尽量低的码率/存储容量下得到最理想图像的共同目标。另外，随着3G无线网络的发展市场对图像传输的需求逐渐增加，所以业界急需解决适应不同信道传输特性的问题。为了克服这些难题，国际标准化组织ISO/IEC和ITU联手制定了视频编解码新标准H.264。H.264它既是ITU的H.264，又是ISO/IEC的MPEG-4的第10部分，也是DPCM加变换编码的混合编码模式。但是它的简洁设计“回归基本”，不仅对信道的适应能力加强，而且还使其压缩性能比H.263好很多；为了方便处理误码和丢包，“网络友好”的结构和语法为之所用；而且它能满足不同解析度、速率和传输（存储）方面的要求，所以拥有更广泛的应用目标；另外，它还有一大优势是开放的基本系统，任何人都可以使用没有版权。在技术方面，H.264具有的高精度的位移估计、分层的编码语法等许多闪光点使其编码效率相当高，在相同比特率情况下H.264标准重建图像的质量是H.263标准的2倍左右。在网络适应性方面，H.264标准增加了差错回复能力，其码流结构能够很好的适应IP和无线网络的应用，也给设计的实现带来了方便8。H.264标准定义了视频编码层（VCL）和网络抽象层（NAL）两个层次。视频编码层采用基于块的混合编码方法，通过帧间预测来减少运动图像时域上的相关信息，通过对预测残差进行正交变换来减少运动图像空间上的相关信息。其中视频编码层（VCL）尽可能的不依靠任何网络特性进行视频压缩，编码后输出VCL数据，传输先映射到对数据输出进行适配的网络抽象层（NAL）。每个NAL单元包含原字节序列负载（RBSP），接着一组数据对应的编码视频数据或NAL头信息。H.264的框图如图2.6所示。图2.6 H.264的框架图编码器的视频编码层（VAL）使用的是混合（变换和预测）编码方法，帧内预测就是利用周围已经编码的像素进行预测从而减少空间上的冗余，帧间预测则是利用上一时刻编码的像素进行预测从而减少信息时间上的冗余。H.264编码器的结构如图2.7所示，在进行压缩编码时，首先将原始图像划分为16*16像素点的宏块（可以是8*8），在宏块中进行帧内和帧间预测减少信息量。预测以后将预测值(P)和原生值进行比较得到残差值Dn，对残差值Dn进行变换（T）、量化（Q）、重排序、熵编码，形成视频码流传到网络抽象层（NAL）进行传输或者保存解码。图2.7 H.264编码器结构因为帧预测所需要的参考值来自已经编码的宏块，所以需要对量化后的系数X进行反量化（Q-1）、反变换(T-1)操作，得到的值与之前的预测值（P）相加得到粗略的重构图像，再经过去块效应滤波得到最终的重建图像。2.4.2图像分割算法视频运动对象分割是将视频序列中人们感兴趣的运动物体从静止的背景中分离出来,有着广泛的应用前景。目前常用的方法有：基于时间域的光流法、基于空间域的静止图象分割方法和帧差法。考虑到远程督导系统背景环境的相对稳定性，以及要求视频传输的实时性，设计采用帧差法用作图像分割。帧差法比较简单，易于实时处理，因而成为目前应用最广泛、最成功的运动对象分割方法。帧差法即从固定背景图象中差分分离出运动对象，其基本思想是将当前每一帧图像与事先存储或者实时得到的背景图像相减，若像素差值大于某一阈值，则判定此像素为出现在运动目标上的，且相减的阈值操作后得到的结果直接给出了目标的位置、大小、形状等信息，表示方法如式2.1。 （2.1）其中B(x，y)是二值化的图像，在B(x，y)中只剩下小面积的噪声区域和物体在,中位置的对应区域，在差分图像中，不等于零的像素并不一定都属于运动物体，而有可能是当前帧中显露出来(在上一帧中被目标覆盖)的背景区域目标和显露背景同时存在，因此必须去除显露背景部分，利用3幅图像的两两差分，然后将两结果图像相“与”，可确定物体在中间那幅图像的位置，这种运算叫做对称差分运算。设,，是序列图像中相邻的3帧，则 ，分别为阈值，令则只有=1，=1时，才有=1。这样便可以消除背景显露的影响，以获得运动物体在的区域和位置9。 目标区域选择算法只需在目标提取的基础上，依据处理过的像素点的某些信息确定每一点是否为目标上的点。为了便于区分前景和背景可先将目标提取的结果进行二值化，即处理成目标为黑色、背景为白色。目标区域选取的策略采取腐蚀法，即：图像的4个边界为K(其余部分记为K)，从图像的四周向中心进行收缩，将与K相邻但属于K的点都归属于K，一次收缩记为K(-1)，n次收缩记为K(-n)。当某一边上的黑色素的阀值大于规定的取值的时候，该边停止收缩。当4个边都停止的时候，所圈定的矩形区域就是目标所在的区域。依据矩形区域的坐标就可在原始图像中找到该区域所在的位置。因此传输的过程中只需传输定点坐标和矩形区域的图像即可，其中阈值的选取要通过具体的环境在实验中得到确定。其流程图如图2.8所示。图2.8 图像分割算法流程图3图像终端硬件设计3.1系统框图系统利用的是TI公司推出的DaVinci系列芯片TMS320DM6446的双核架构特性，ARM是HOST控制整个外围部分,如：视频编解码、外围器件的控制与操作、网络通信的控制及DSP算法调用等，在DSP端进行视频图像处理算法的编解码。整个系统结构如图3.1所示。图3.1 系统硬件结构图硬件主要包括以下几个部分：1视频采集模块、2音频处理模块、3数据存储模块、4电源模块、5时钟模块、6其他模块。具体的接口图如图3.2。图3.2 系统接口图设计是将CCD摄像机采集到的模拟视频信号传入到视频解码芯片TVP5146内，在TVP5146内进行模/数(A/D)转换输出符合BT.656标准的ITU制式的数字视频信号，然后经过CCDC接口传到TMS320DM6446处理器的视频处理子系统（VPSS）的进行预处理，经过Codec Engine调用DSP中视频编码算法进行处理后通过USB2.0总线端口送入3G传输芯片，进行网络传输。3.2图像采集与处理模块早期的DSP芯片为了接入EMIF接口需要添加FIFO芯片，增加了功耗，开发难度也较高，而TMS320DM6446处理器具有专用的可以与视频编解码芯片无缝连接的视频口，视频口是数字高速并行接口也是专为视频应用而设计的，专用视频口相比于早期的DSP芯片其传输速率有了很大的提高，开发难度也相应降低很多。设计采用TI公司的TVP5146解码器芯片将视频信号制式为PAL、NTSC和SECAM模拟视频信号转换成格式为BT.656的YUV数字视频信号。3.2.1 TVP5146与DM6446的硬件连接TVP5146具有2路模拟信号通道：VI_2_C作为复合模拟视频CVBS的亮度输入端口、VI_1_C则作为复合模拟视频CVBS的颜色信号的输入端口，模拟视频信号经过TVP5146芯片解码后转换成视频数据（l0bitYCbCr4:2:2格式），然后经过CCDC接口送至DM6446的视频前端(VP