嵌入式视频检测电子警察设计方案(初步稿).doc

嵌入式视频检测电子警察设计方案（初步稿） 邹托武2009-03-14目录1.系统总体设计31.1.前言31.2.系统简介31.3.设计依据51.4.设计目标与原则61.5.系统原理71.6.系统的组成101.7.系统功能101.8.系统优点11随着我国经济建设的蓬勃发展，城市的人口和机动车拥有量也在急剧增长，交通流量日益加大，交通拥挤堵塞现象日趋严重，交通事故时有发生。交通问题已经成为城市管理工作中的首要问题，阻碍和制约着城市经济建设的发展。因此，深入研究解决城市交通问题有着极为重要的现实意义。要解决城市交通问题，就必须准确掌握交通信息。目前国内常见的交通信息采集方法有人工监测、地埋感应线圈、超声波探测器、红外线检测以及视频检测等方法，其中，视频检测方法以其操作直观灵活、安装简便、维护容易、费用低、检测范围广等特点，比其他方法更具优越性。 交通视频检测系统是一种利用图像处理技术对交通目标检测和识别的计算机处理系统。通过对道路交通状况的实时监测，实现路段上行驶机动车数量的自动统计，行驶车辆速度和车辆类别等交通参数的自动计算操作，达到监测道路交通状况，采集有关交通参数信息的作用。同时，将检测到的交通信息存储起来，为分析和管理交通提供依据，并且可以同时捕捉违章车辆。国内外情况简介:视频检测技术的应用始于二十世纪七十年代末。在美国联邦公路管理局的资助下，加州Jet Propulsion实验室于1978年开始尝试使用视频技术来检测车辆的运行，并取得了初步的进展。此后，欧美其它国家及日本等国相继展开了对视频检测技术的研究，一些视频检测系统也应运而生。其中，比较有代表性的是由明尼苏达大学研制开发并逐渐投入应用的Autoscope视频检测系统(ISS公司是目前国际上视频检测交通上的老大拥有二十多年的ITS方面的开发经验，并且有一系列产品，从中我们可以学习先进的设计理念)。伴随着视频检测在交通管理控制应用范围的增大，一些针对各种视频检测设检测系统的评价研究也相继展开，为视频检测技术的与发展提供了宝贵的实地数据及改进的策略与方向。二十一世纪，在研究界、企业界和交通管理部门的共同努力下，视频检测技术日趋成熟，逐渐取代传统的感应线圈、雷达等检测技术，成为实际交通管理工作中获取交通息的重要来源与手段。同时，韩国汉城奥林匹克高速公路、纽约Gwanus快速路、香港机场隧道等诸多的成功应用实例，使视频检测技术受到了越来越广泛的关注。 由于我国在视频检测技术的研究应用方面起步较晚，所以还处于初步的尝试阶段。尽管国内高德威智能交通系统有限公司、深圳神州交通系统有限公司、北京汉王等企业推出了视频检测的产品，美国Autoscope视频检测系列产品也在国内开始推广，视频检测技术的市场占有率仍然很低。影响推广的主要因素包括：(1)初期设备投资高，要求用户有较高的经济承受能力；(2)产品的性能稳定性和规模有待提高；(3)公路管理者认识上的局限性等。但是应该看到，随着视频检测产品的不断完善，视频检测技术必将以其独有的优势与先进性，成为我国公路交通管理系统乃至智能交通系统的生力军。（特别是针对目前金融危机，我国出台经济刺激计划未年几年内要投入2000亿资金发展交通行业，因此视频检测产品在未来具有相当好的前景）根据市场现状现在的视频检测电子警察实施方案，仍然是两种主要的情况：一种是以路口工控机为主体的实现模式为：数字视频摄像机+视频检测图像卡+工控机。该方案以工控机为核心，配备摄像机、视频图像采集卡、调制解调器/GPRS、硬盘等，采用虚拟线圈取代地感线圈，在信号机提供的红灯信号配合下，实现一个路口多至四个方向的闯红灯违章监测。对每个违章闯红灯的车辆实现远、近景抓拍图像，作为违章证据，并通过多种通讯方式将抓拍的图像传送到监控中心。另一种是利用嵌入式是一体化抓拍单元、数字视频摄像或拍照单元、车辆检测单元、网络传输单元、红绿灯信号监测单元组成，主机通过地感线圈与车检器的检测及红绿灯信号来对过往车辆进行实时抓拍。利用嵌入式系统替代前端工控主机。这两种方案都有各自的优缺点，工控机方案利用市场上成熟的工控机、图像采集卡可以非常方便的搭建起系统，采用上位机编程方式例如VC就可以实现一个简单的采集平台，工作主要集中在上位机编程，利用图像的方式抓拍违章车辆主要依靠图像算法的先进性。嵌入式平台依靠成熟的车道上的车辆检测单元，对违章车辆的捕捉相对可靠，嵌入式平台对环境适应性好，结构简单成本相对低，但安装并不方便由其是针对四方向多车道时候并不能有效的降低成本，而且功能相对单一没有升级的能力。针对上述两种方案的优缺点，我在这里提出一种全新的纯嵌入式方案，利用TI公司的专门视频处理芯片DM642来完成视频处理功能也就是利用数字图像判别车辆违章的捕捉，利用专门CPU（如IDT79RC32K438）或者ARM来完成网络、图片处理存储、以及DSP管理功能与通讯功能。在系统中每一路方向由一个DM642来完成判别，每路方向的DSP通过PCI桥相互与CPU联接，CPU访问每路DSP并且通过PCI桥从DSP的缓存中收取捕捉下来的闯红灯图片。CPU可以一方面缓存在自己的NAND FLASH中或者ATA的硬盘中，在特定的时间通过网络把图片上传给监控中心。现分别针对这个嵌入式系统来详细描述一下系统构成。一、 电子警察整体：本系统采用视频信号作为触发源,它的工作原理为:在路口每一方向安装一个全景摄像机,全天候监视着路口行驶的车辆；如果有车辆进入基于DSP视频图像检测处理模块所设置的虚拟线圈中,就会产生触发，该触发可以传递给前端摄像机，并且开启DSP实时跟踪车辆系统；同时，DSP系统不断地检测交通参数（具体指车速、车流量、车型）并保存；当机动车违反交通规则即闯红灯时，DSP系统马上就会控制全景摄像机进行连续一系列的违章过程及全景环境认证拍照,近景摄像机进行车牌特写拍照，将所拍得的相片存储，并且利用空闲时间对存储图片进行JPEG压缩，随时提供给CPU系统。通过CPU控制系统将抓拍到的违章图片和交通参数通过光纤(或PTSN,ISDN,DDN,GPRS无线传输)传送到指挥中心,为管理部门进行违章处罚和交通数据分析提供依据。视频电子警察系统由三大部分组成，即前端嵌入式检测系统（包括多路DSP及CPU）、中心计算机处理系统以及数据传输系统。用下图来说明实例:一个方向双车道交通信号 近景摄像机1光端机 嵌入式视频检测处理器 全景摄像机 近景摄像机2光端机 违章处理单位公安网 车管所服务器一个方向四车道近景摄像机1交通信号近景摄像机2 嵌入式视频检测处理器 全景摄像机近景摄像机3前端系统部分 近景摄像机4全景摄像机近景摄像机（抓拍车牌）15米人行横道停止线虚拟线圈四方向的安装示意范图：本系统的特点:1、不用破路用“视频检测”方法，只需在初始本底图片上设置虚拟线圈（在这里我还在考虑是否能实时修改虚拟线圈的设置,在现场调试时很有作用，根据每路方向上摄像机安装的不同会造成虚拟线圈的设置的差异，具体虚拟线圈算法思路会在下面详细介绍）进行车辆信号触发，抓拍全景和近景照片，不须在道路上施工安装电感线圈。2、维护方便系统的维护，不用更换线圈，不用破路，不会影响交通，延长了路面寿命，减少工程量,嵌入式系统工作稳定不会经常出现死机或损坏现象并且由于功耗相对工控机方面要小的很多，对使用环境也没有太大的要求，在这里我主张尽量使用工业级芯片确保嵌入式系统的稳定。3、使用寿命长虚拟线圈的寿命无限长，可无数次设置和使用，根据环境的改变或者是道路状况的改变，操作人员可以通过本底图片或者现场视频进行更改虚拟线圈从而修正系统。4、设置灵活视频检测区的大小、数量和位置，通过远程计算机屏幕可以方便、灵活地对相关路口设定。远程监控中心设置的数据文件可以通过网络回传给CPU起到配置文件的作用，从而影响DSP的工作。5、排除干扰使用图像匹配算法及道路区域特征、运动识别的判断，有效滤除检测区域内的行人、自行车以及灯光等形成的干扰。6、适合多相位系统按多相位或箭头指示灯的多种组合，形成闯红灯的取证判据，正确区分左转、直行、右转的行车路线。在系统中必须存在与信号灯主机对接的模块，用以区分各个方向不同车道的红绿灯的情况，通过串口发送指令给CPU去解析，从而给DSP发出不同处理指令。7、远程控制：前端系统自诊断获得路口拍摄现场设备故障信息（每个嵌入式模块具有判别连接的摄像机的工作情况好坏，因摄像机是安装在杆子上的全天侯工作非常容易出现各种异常情况）反馈到中心计算机，便于组织维修；中心计算机通过网络，定时遥测路口摄像机的工作状态，检测信号灯及虚拟线圈信号；中心计算机通过网络，对前端系统主机的日期、时间统一设置；8、多种获取数据方式单点应用：现场嵌入式系统具有一定的存储图片能力至少能保储三天左右时间的闯红灯图片，并且可以不通过网络读取。联网应用：远程传送按光纤、PTSN、ISDN、DDN、GPRS无线传输等多种方式选用，实现路口和中心两端的数据传输。9、交通参数检测：实现主要三种交通参数检测：车型分类、车流量检测、车速检测。10、可扩展性好。能够在条件具备的情况下，检测跨越中心线行驶、逆向行驶、违章停车、临时变道、超速行驶、视频监控和实时录像等功能； 根据闯红灯自动记录系统通用技术条件的学习,提出了对本系统的的技术指标： 自动抓拍响应时间：< 500ms 车速在5100Km/h范围时，闯红灯车辆捕获率: > 95 照片有效率：85%，即指抓拍到的图像可使用率 照片正确率：100%，即指抓拍到可有效使用的照片能够100%作为执法处罚的证据 图像分辨率不低于768×576 拍照监视区域路面最小光照度：0.5 Lx 连续抓拍车辆的间隔时间：< 1s 前端系统可暂存至少3000张违章图片 车型分类：对100辆车的分类差异 < 10 车流量检测：正常天气时准确率不小于90,恶劣天气时不小于85 车速检测：10160Km/h 单机（路口）或联网工作方式 工业防护级别，连续工作二、前端嵌入式检测系统前端嵌入式检测系统是这次我们设计的重点，也是整个电子警察系统的核心，因为整个闯红灯的检测以及交通流数据的获取需要依靠DSP运算。根据前端嵌入式检测系统功能可将其结构划分为四个部分：视频采集模块、DSP视频处理模块和CPU处理模块及电源模块。视频采集模块负责对视频图像进行采集, 作用主要是接收前端摄像头传过来的模拟图像信号，在这里初步选用TI公司的TVP5154A四通道解码芯片进行模数转换把YCRCB4：2：2符合ITU656的数字数据按八位传送给DSP进行处理，因为DM642视频处理芯片具有三个20位的Video Port端口，可以直接TVP5154A输出的数据直接对接，在这里利用二个VP端口拆分成四个八位的端口挂接最多四个摄像机。从而省去FIFO作为缓存，但时序电路仍然由外部EPLD控制其逻辑关系。解码芯片的初始化采用DSP的I2C总线实现。总体框架图如下：具体连接线路有些省略1、主电路板:包括八路视频输入和转换电路（在这里八路针对两个方向，但可以扩展到四方向即如上图一样增加两DSP系统），二路视频输出和转换电路，CPU电路，DSP电路，CPLD电路，实时钟电路，Ethernet电路，RS232电路,RS485电路。1） CPU选用IDT公司的RC32438，工作主频300MHz，具有两个MII接口，一个PCI接口。2） DSP选用两片TI公司C64x系列的TMS320DM642，工作主频600 MHz，具有最多六个ITU-R BT.656视频接口（把VP端口进行拆分）。通过PCI接口与CPU连接。3） 八路视频解码器芯片选用了两片TVP5154A，每片TVP5154A包含四路实时模拟视频信号输入，四路ITU-R BT.656格式的数字视频信号输出，具有移动侦测功能和画面比例压缩功能。4） 单路视频编码器芯片选用ADI公司的ADV7179，ITU-R BT.656格式的数字视频信号输入，模拟视频信号输出在这里设想输出是在调试时使用，可以察看摄像机的信号状态。5） CPLD选用ALTERA公司Max系列，处理各种粘合逻辑，包括开关量输入输出信号的处理，PCI中断信号的处理，视频帧同步信号的处理等。6） 实时钟电路提供真实计时。7） 可以扩展PCI转IDE控制芯片选用了IT8212，可接二个3.5英吋IDE硬盘接口。这是可以用来备份违章图片，在这里我们可以先不用。8） 可以扩展PCI转USB控制芯片选用了VT6212，可接二个USB接口9） 一个双层RJ45接口，连接10M/100M以太网和RS232，用于程序调试和参数设置。电源模块：在此初步方案中对电源模块没有进行深设计设计，需明确输入电源后在进设行准确设计。 2.功能说明主电路板上的CPU RC32438作为中心处理单元，结合DDR SDRAM、NAND FLASH、NORFLASH构成最小系统成为主控模块，处理板上所有的软件任务和各种控制操作。当CPU RC32438上电启动后，通过FLASH加载程序到DDR SDRAM中运行操作系统，并对各个周边设备作初始化设置，包括加载DSP程序。CPU RC32438具有2个MII接口，一个通过PHY RTL8201B实现10M/100M以太网接口。CPU RC32438具有PCI总线接口，可同时挂接多达六个PCI总线设备，在主电路板上现设计挂接了4个PCI总线设备：2片DM642，一片IT8212F，一片VT6212L。两片DM642通过PCI总线加载程序运行，系统运行中通过PCI总线与CPU进行数据传输。IT8212F为PCI转IDE控制芯片，具有两个IED硬盘接口，可支持4个3.5英吋硬盘。VT6212L为PCI转USB控制芯片，具有4个USB接口。CPU RC32438具有2个UART接口，其中之一通过RS232收发器转换成RS232电平标准用于程序调试和参数设置或与信号灯检测板对接，还有一个通过RS485收发器转换成RS485电平标准用于远程控制。主要功能芯片CPU：RC32438是一款内核为MIPS32的32位MIPS处理器,它支持PCI2.1/2.2总线、2个10/100M MAC、2个UART接口/、1个SPI接口、1个I2C接口。同时它在芯片内部采用了双总线架构，可以有效的提高其处理效率，拓展带宽。其最高频率为300MHz.。CPU的选取综合了处理能力、性价比、周边集成度和生产可靠性诸多方面的因素。作为主处理芯片，需要支持操作系统，完成TCP/IP等协议的处理，易于连接硬盘和USB等设备。这主芯片的选择我一直在初步方案中有些犹豫，这外芯片没有使用过有一定风险，希望大家能找到一个合适的ARM类芯片。DSP模块采用2片TI公司的C64x系列的TMS320DM642，工作主频600 MHz，每个时钟周期最多执行8条指令，最高处理能力4800MIPS，每片具有最多六个ITU-R BT.656视频接口。工作I/O电压3.3V,内核电压1.8V。每片DSP DM642外部连接两片32MB的SDRAM，组成64bit总线，工作频率100MHz。DSP DM642通过PCI接口和CPU RC32438的PCI接口相连，所有资源可被CPU RC32438访问。上电时，CPU RC32438从其Flash memory调出并通过PCI接口向2片DSP DM642加载程序。视频编解码芯片的选取主要考虑图象ADC和DAC的分辨率。电源模块根据系统输入电源来进行设计，需要注意的是考虑到视频模拟部分容易受到数字脉冲干扰而产生水波纹图象，不宜选用DC-DC电源供电，故采用两片LDO为核心构成的LDO电路给TVP5154内核供电。三、软件部分设计在这里主要讨论DSP方面的软件实现，因为大家针对视频检测部分并不熟悉，CPU部分不详细描述。在这介绍的是一种基于视频图像技术、采用彩色虚拟线圈代替传统感应线圈来检测车辆闯红灯的算法。虚拟线圈（Virtual Loops）是在图像序列中仿照感应线圈探测器的功能定义的。在获得了图像序列的基础上，一帧图像中一定数量的区域可以被定义并称作虚拟线圈，这一定义可以被扩展到整个图像序列，或者在其它图像序列中重新定义。通过在图像中设置的虚拟线圈对前后连续两帧图像进行线圈模块跟踪匹配,进而通过线圈的变化来判断车辆的违章行为。具体的设置如图所示。为了保证虚拟线圈能有效工作，在视频图像中位置和数量的设定必须有一定条件限制。针对实际情况必须采取在抓拍的路面图片上手工可视化设置虚拟线圈。以检测车辆闯红灯为例，说明虚拟线圈的设置过程。闯红灯判据是在红灯亮时车身越过停止线，要求在亮红灯期间按照停止线前、停止线上和停止线后的位置抓拍三张闯红灯的过程，因此如上图所示采用两层虚拟线圈，第一层的虚拟线圈尽量放到车道的停止线上。第二层虚拟线圈应与第一层的线圈保持在实际中的3.5-5米的距离。两层线圈都应放置在相应车道的内部。保存虚拟线圈的位置与色彩信息在相应的文件。当程序启动后传至DSP相应的存储空间内。虚拟线圈的匹配虚拟线圈设定以后，就要采用所设定的线圈块进行块匹配，块匹配一般有几种衡量标准，这里采取平均绝对值差分，即MAD来衡量两个小块之间的相似程度，MAD值越小，说明两个小块相似程度越高，否则相似程度越低。例如假定将设定的虚拟线圈分成个M×N（以像素为单位）的小块，对于连续两帧图片（以F和F1表示）中以（x，y）为左下角坐标的M×N的小块而言，MAD的定义式为： （1）式中，SF（x，y）和SF1（x，y）分别表示连续的两帧图片中以（x，y）为左下角坐标的M×N模块上的所有像素点的灰度值。如果只在亮度空间检测运动车辆存在如下缺陷：当运动目标亮度与路面亮度相近时无法检测；无法区分车辆和其产生的阴影。鉴于上述缺点,本文提出一种彩色运动检测方法。本文中DSP处理的数字视频，是直接的4：2：2的YUV信号，运用Y信号做亮度匹配，利用色度信号UV做色度匹配。闯红灯的判决流程在对虚拟线圈分别进行亮度匹配和色度匹配后，根据MAD的值与相应的阈值进行比较，MAD（xi，yi）>=Threshold，这里i = 0,1.L-1,L为相应的虚拟线圈的块数。Threshold为设定的MAD阈值，根据白天与晚上分别取相应的值。对发生变化的块计数完后，根据最后的计数值来判定图像在虚拟线圈区域的变化是不是由运动车辆引起的，如果改变的块数与总线圈块数之比大于一定的百分比，则认为有车辆经过。整个流程用自定义的三步法来判断。叙述如下：第一步：首先匹配第一层线圈是否产生变化，用来判断车辆是否已经开到停止线上来。如果第一层线圈没有就化，继续执行第一步，否则进入第二步。第二步：匹配第二层线圈，判断车辆是否已经行驶在斑马线上。如果第二层没有变化，则回到第一步，不然进入第三步过程。第三步：通过对第一层线圈的匹配及第一层线圈的特征分析，和匹配第二层线圈，用来发现车辆是否以开过第一层线圈既停止线，并且还在继续的运行。如果第一层线圈不变化以及第一层线圈里的亮度值与色度值保持在一定的范围内，并且第二层线圈有变化，则说明了有一个闯红灯的过程发生，保存相应的三个过程的图片。不然回到第一步判断过程。闯红灯检测程序算法流程参数及变量定义和初始化 远景和近景图象分配内存 进入检测循环：while(1)读取两幅远景及所有需检测近景 车道循环：for(i=0;i<lane;i+)，所有车道循环完毕返回到检测循环检测红绿灯：红灯则检测，绿灯则进入下一个车道。按照信号三分量来区分车道，我们设定第一车道对应左转信号，最后一个车道对应右转信号，中间的所有车道对应直行信号 绿灯或者该车道不检测 绿灯时检测标志位复位 检测该车道且对应信号为红灯根据抓拍图片数标志确定执行下列哪一步：switch(Flagi)，i为车道号 Loop Flagi= 0 Flagi=1 Flagi=2 匹配第一层线圈匹配第二层线圈匹配第一层线圈 动则返回匹配第二层线圈变化达到阈值否变化达到阈值否 Loop No Yes Yes No白天检测停止线（如果路面灯光条件不好晚上在近景图片中检测尾灯）匹配第一层晚上判断是否是灯光的影响保存第二张图片标志Flagi置2 一层不动，二层动且白天有停止线（晚上有尾灯）变化很小返回到Loop，否则延迟，延迟次数超过4，删除图片标志置0返回Loop Loop Yes No Loop保存第一张图片标志Flagi置1满足且是红灯则抓第3张立即切换到近景抓第4张否则延迟，次数过多Flag标志复位，返回 Loop对于闯红灯检测系统调试的重点在检测程序部分，首先要合适的设置好虚拟线圈和道路参数，特别是两层虚拟线圈的位置，因为最终检测时是依靠线圈的位置来启动抓拍的时机，两层的位置根据系统采用切换卡的特性，不能设置的相对太高，应该保持在实际的4到5米左右。在启动检测程序前，先启动一下信号灯检测程序，看信号灯的信号是否能正确的接收。各种设置完成后，就可以启动抓拍程序，因为实际的路面情况是相当繁杂的，在红灯状态下时常有一些逆行或者人行、阴影的干扰，这时我们在抓第一张时，不仅仅只判断第一层线圈的变化，还要判断第二层不要产生变化，同时要保证停止线模型产生了变化（用来防止阴影或者是摄像机闪烁产生的干扰），保证变化的趋势是向前动作的。在抓拍第二张的过程中，首先要判断第二层的虚拟线圈发生变化超过阈值，而且为了防止两辆车连续逆行而对程序的干扰，在判断完第二层变化后，把第二层线圈的位置向前移动20个像素，判断这一层的变化值，如果车辆是向前移动闯红灯的话，这一层的变化不大，但如果是逆向来的车，这一层也会发生变化，由于要合理的捕捉到车牌，相对而言第三张捕捉的过程要繁杂些，首先要保证车辆车尾开到了斑马线附近，因为第一层的线圈此时的变化应该很小，我们在处理时适当在这里把第一层线圈的位置前移5到10个像素，然后还要判断停止线模型，停止线模型也是在虚拟线圈设置时设计好的（停止线因为是一根纯白的有一定宽度的线，它与路面产生了强烈的对比，它们之间的亮度值有相当大的不同，而路面基本是保持一致的，所以可以形成数学模型描述出停止线的形状）在这里停止线模型是完好的，保证车辆肯定超过了停止线，而这时第二层线圈的变化也应超过阈值，防止车开到斑马线停下，当满足了这些条件后，应立即启动切换程序，抓拍近景完成整个捕捉的过程。如果路面的灯光条件比较差，在晚上时首先要对停止线区域检测亮度（防止车头灯引起的干扰），因为比较暗，停止线模型不能保证，所以不能采用，相应的运用检测尾灯的方案，在对第三张判断时，利用远景的图片在第二层线圈附近检测高亮度（是否车尾灯到达了斑马线）这种方法确实能解决一些问题，但也会对抓拍产生一定影响，会降低抓拍率，并且会对那种车顶上有强灯的车子产生反应。因而最好是保证路口的灯光条件，从而保证准备率。总结：整个系统相对比较繁杂，设计多方面，主要工作在二点，一点就是DSP方面调试与编程，第二点就是CPU部分。我在这里初步选定的DSP为DM642，是一款使用多年而且有工业级的DSP，它的相关资料及程序我以从TI方面拿到手而TVP5154的样片十片我也拿到手在这方面我们能得支持，现TI升级的视频芯片DM648具有更加强大的功能可以做为未来的升级设计，CPU的选择我还不是太满意而且这次要运用网络，需要操作系统的支持这方面是我们的难点，而视频检测的方法上文只是简单的描述了一下，实际上在捕捉违章图片时情况相当繁杂，算法方面也需要进一步改进。