460.【汽车牌照识别】.doc

汽车牌照识别摘要：汽车牌照识别系统是交通管理领域和数字图像处理领域里的热点问题。本文介绍了C+在汽车牌照识别系统中的应用。该系统识别汽车牌照其整个过程分为图像预处理、边缘提取、车牌定位、字符分割、字符识别。关键字：C+ 图像处理 汽车牌照识别 字符分割 字符识别前言在20世纪6070年代，在遥感图像处理和生物医学图像分析两项技术取得成功的基础上逐步形成了数字图像处理这门新学科。并在随后的半个世纪了使数字图像处理技术取得了巨大的成功。高速路的不断发展和车辆管理体制的不断完善，使得智能交通管理系统成为21世纪道路交通管理的发展趋势。以图像处理为基础的智能交通管理系统进入了实际的应用领域。汽车牌照识别系统是用来对车辆号牌进行图像抓拍、分析识别，最终输出车辆号牌信息的系统。汽车牌照识别系统采用包含智能补光技术的专用成像系统，其基于计算机图像处理技术对抓拍的车牌图像进行分析，通过定位、旋转、校正、分割、识别等过程，自动识别汽车牌照。1绪论汽车牌照识别系统发展几年来，已经得到很多用户的青睐，并在较大的范围内使用。它能够自动、实时地检测车辆经过和识别汽车牌照，从而监控车辆的收费、闯关、欠费以及各种舞弊现象。该系统在交通监控的基础上，采用先进的图像处理、模式识别和热人工智能技术。通过对图像的采集和处理，获得更多的信息，从而达到更高的智能化管理程度。汽车牌照识别系统可广泛安装于公路收费站、停车场、十字路口等交通关卡处，使收费的管理更严密、更科学。目前车辆牌照识别系统主要应用于收费系统、公路超限治理、停车场、单位出入口车辆管理、车管所机动车辆检测线。汽车牌照识别软件的不断跟新，使准确率不断提高，识别车牌类型不断增加。同时对汽车牌照的识别发展到汽车车身以及乘客及驾驶人员的特征检测2汽车牌照识别的实现2.1汽车牌照识别系统如果需要组成一个完整的系统，至少包括计算机、高分辨率摄像机、高放大倍数镜头、地感线圈、以及视频采集卡等。在这里我们不做主要介绍。2.2系统的软件平台2.2.1软件部分简介整个软件系统由收费单元、牌照识别单元和数据通信单元3部分组成。这里主要介绍牌照识别单元。该应用平台完全采用VC+开发，整个工程运用了大量的VC+编程技术。牌照识别单元是系统中最重要的一部分，也是技术含量最高的一部分，它包括下述四个模块：车辆图像采集牌照提取牌照字符分割牌照识别 图1 牌照识别流程2.2.2 BMP文件格式BMP文件是在Microsoft Windows下使用的图像文件格式，得到了广泛的应用，它由位图文件头、位图信息和像素数据3部分组成。位图信息又由位图信息头和调色板数据组成，如图所示表1 BMP图像文件格式位图文件头（14字节）位图信息位图信息头（40字节）调色板数据（8/64或1024字节）真彩色图像无调色板像素数据位图文件头、位图信息头为固定长度，分别为14、40字节，它们构成图像头文件。调色板数据的多少与图像所用的色彩数据有关，它的字节数是色彩数的四倍。真彩色图像的BMP文件中没有调色板数据。每个调色板单元的前三个字节分别表示彩色的蓝、绿、红分量，第4字节备用。像素数据存储则在最后面。Windows中有一个很重要的概念、即设备无关位图（DIB），它实际上就是读入内存的去掉14字节位图文件头的BMP文件，它包含了全部解释该图像所必须的信息，Windows的系统软件可以据此将图像显示出来。设备无关位图在Windows的图像处理应用中具有重要的作用，因此掌握BMP文件格式对于图像处理编程十分重要。在本系统中输入图像为BMP单色位图。位图文件头给出了图像文件的特征字符，及图像文件的尺寸和像素数据的存储位置，位图信息头则给出了图像的其他特征参数。表2 BMP图像位图文件头结构数据类型标识符内容CharbfType2ASCII字符BMDwordbfSize文件大小（以4字节为单位）WordbfReserved1备用单元1WordbfReserved2备用单元2dwordbfOffBits图像开始处的字节偏移表3 BMP图像位图信息头结构数据类型标识符内容DWORDbiSize信息头大小，40字节DWORDbiWidth图像宽度，以像素为单位DWORDbiHeight图像高度，以像素为单位WORDbiplanes位平面数，总为1WORDbiBitCount每像素位数，为1、4、8或24DWORDbiCompression压缩类型，0为不压缩DWORDbiSizeImage压缩图像大小的字节数DWORDbiXpelspermeter水平分辨率DWORDbiYpelspermeter垂直分辨率DWORDbiClrUsed是用的色彩数DWORDbiClrImportant重要色彩数BMP文件的主要参数有图像的宽度、高度、位平面数及像素的总位数、调色板、像素数据2.2.3牌照区域提取牌照区域的提取是牌照识别的基础，所以图像提取需要极高的正确性，该技术从汽车图像中提取牌照区域牌照坐标，以供下一步识别牌照字符用。下图显示了具体一幅车辆图片的牌照提取过程。其中用到了大量的数字图像处理算法，包括图像的彩色图到灰度图的变换，灰度拉伸，均衡，边缘卷积算子，纹理特征提取，去噪，滤波等。车牌的提取彩色汽车图像灰度汽车图像图像的灰度拉伸图像边界模板运算得到几块候选区域根据特征确定牌照利用明暗相间纹理及sobel算子确定牌照边界利用得到的边界切割出牌照去噪声，滤波，对比度增强二值化利用二值化得到的字符及背景的坐标，确定彩色图片中牌照的颜色利用牌照背景色去除牌照边框得到最终的牌照牌照的提取过程1牌照区域分割从车辆图像中正确分割出牌照区域是牌照识别中最为关键的步骤之一。（1） 牌照定位所谓的牌照定位就是根据车辆的图片和先验知识，对图片中的车辆牌照部分进行标记和定位，然后把牌照从照片中分离出来。牌照的定位是牌照识别的重要组成部分，只有有效地完成牌照的定位才能进一步提取提取牌照字符并进行识别。所有的牌照都有其共有的特征：牌照周围为一个类似长方形的边框，边框厚度不一；有大小统一的文字，排列成行；由于拍摄角度的原因，边框和汉字可能有一定的倾斜；文字和背景之间有明显的灰度对比。根据牌照的特点，牌照的定位方法有很多种，如字符竖向纹理统计，彩色分类，神经网络，矢量量化，模板匹配等方法。但由于采集到的汽车图片所在环境的多样性以及牌照的多样性，多以很多的分割方法都会失去作用。由于牌照的边框和背景处有较强的边缘，根据牌照和其背景的相对特征，字符竖向纹理的分割方法，能够对各类牌照图像实现很好的分割。在本系统中，用水平方向的差分算子对汽车图像求梯度。X=Xn-Xn-1对二维图像而言水平梯度为：G(xn,yn)=|f( xn,yn)-f(xn-1,yn)|如图为此图求水平梯度，取阈值为18的效果如图所示通过选定一个阈值，对梯度图上大于此值的点记为边缘点，把一段连续的边缘点取其第一点，定义这一点为跳变点。对水平方向边缘点的扫描，可以得出此行上跳变点的分布，对整幅图进行扫描就得到全部的跳变点的分布。阈值是在分割时作为区分物体与背景像素的门限，大于或等于阈值的像素属于物体，而其他属于背景。这种方法只是对物体与背景之间存在明显的差别的时候才十分有效。为了有效地分割所需对象与背景，人们发展了各种各样的阈值处理技术。包括全阈值、自适应阈值、和最佳阈值等。在许多的情况下，物体和背景的对比度在图像中不是各处都一样的，这样就很难用统一的阈值将物体与背景分开。这时可以根据图像的局部特征分别采用不同的阈值进行分割。实际处理时，需要按照具体问题将图像分成若干个子区域分别选择阈值，或者动态地根据一定的邻域范围选择每点处的阈值，进行图像分割。（2）牌照分割算法描述找牌照大致位置算法的描述设n为连续的跳变点数，设t为最大允许跳变点距离，设c为最小允许每行跳变点数，sn、en为某一段条变点起始和终点坐标，rn为每行的跳变点数，L为当前行。设L=1。 对第L行扫描，“while(dot(L,K)!=跳变点)k+；”如果“dot(L,K)=跳变点”，则“s1=k，e1=k，k+”,找到可能的行起始点。 对第L行继续扫描，如果“dot(L,K)=跳变点”，并且跳变点间距小于t，则“e1=k,r1+”；如果跳变间距大于t并且“r1<c，则s1=k,e1=k,r1=0”；如果跳变点间距大于t，并且“r>=c”，则“L+”。 如果到了行尾则“L+”，则回到步骤执行通过这个过程就完成了每行跳变点的扫描，利用这些数据可以确定牌照的大致位置求牌照区域的算法描述从跳变图中可以看出，牌照区域是由一系列连续满足跳变点要求的行组成。因此，设b为在连续行中允许的不满足要求的最大行数，l1为每行中可能满足要求的最小间距，l2为每行中可能满足要求的最大间距，j1为每行中满足要求的最小跳变点数，j2为每行中满足要求的最大跳变点数，C为最小满足要求的连续的行。设“L=1，c=0，d=0；”。“while（r1<l1|r1>l2）L+”，记下可能得起始行。查看第L行是否满足“r1j1，r1j2 ,e1-s1l1，e1-s1l2”，如果满足则“c+，d=0”，如果不满足则“d+”，如果“d>b”，并且“c<C”，则从上一个可能区域尾到此行不存在牌照区域。如果“c>C”，并且“d>b”，则记下这个连续区域为候选牌照区域，回到步骤继续执行。“L+”，回到步骤继续执行。由以上的算法可以看出，可能会找出几个满足要求的区域，这就需要分析，牌照的长宽有一定的比例，且牌照的长宽在整幅图中有一定的比例，这些都可以用来分析这些区域。牌照左右边界定位的算法描述通过上面的算法，已经找到了牌照大致可能在哪些行，所以接下来的问题是定牌照的上下左右边界，既然找到了可能得起始点，如果从右向左进行扫描，则可能找到大概的右边界。对这些可能得区域的起点记为sn，0<n<L，L为此区域所占有的行数。for(i=0;i<L;i+)if(s(i)<r*Sqrt) 则此行满足要求，记为Qj通过以上过程，可以得到此区域中满足要求的Q系列。对Q系列行求平方可以得到可能得起始位置，当然也可以对这些行进行进一步的分析，看他们的分布是否满足一定的要求，比如方差小于某个值。如果不满足，可以继续上述分析，直到找到某些行满足一定的连续性并且起始点分布比较集中，则可认为找到其实位置。同样可对结束位置进行分析，找到右边界。对于上下边界的确定则需要垂直方向的边缘信息，具体如下：首先对可能的牌照区域进行适当的放宽，如左右上下各放10个像素，然后用Sobel算子对其求边缘。图像边缘是图像最基本的特征，边缘是指其周围图像像素灰度有阶跃变化的那些像素的集合。经典的边缘提取方法是考察图像的每个像素在某个邻域内灰度的变化，利用边缘邻近一阶或二阶方向导数变化规律，用简单的方法检测边缘，这种方法称为边缘检测局部算子法。4、牌照几何位置的调整如图所示，当摄像机在一定高度而水平方向不与汽车正对时拍照会左右方向倾斜，当从左向右照牌照时，会右倾且右面比左面更倾斜，当从右向左照时会左倾，且左面比右面更倾斜。当牌照不是平行照时又上下倾斜，任何一种倾斜都会影响牌照字符的切割，所以有必要对其进行矫正。矫正的方法是采用Hough变换，下面介绍Hough变换，然后介绍矫正的算法。极坐标中直线的方程为r=xcos+ysinr式中r是直线离原点的法线距离，是该法线对x轴的角度，如图所示插入图可见，直线Hough变换在极坐标系中是一个点，而点的Hough变换是正弦曲线。对于每一个点(x0,y0)，带入的量化值，算出r，所得值（经量化）落在某个小格内，便对该小格的计数累加器加，当全部点(x,y)变换后，对小格进行检验，计数比较大的点对应共线点，其(r,)可用作直线拟合参数；计数比较小的各小格一般反映非共线点，丢弃不用。如果r和量化的太粗糙，则参数空间的凝聚效果差，找不到直线的准确r、值；反过来，如果r、量化的过细，则计算量将增大，因此需要兼顾这两方面，取合适的量化值。对于牌照几何失真的矫正过程如下：首先找到牌照的上下边框，求出上下框的倾角，然后对图像进行水平矫正，随后在水平矫正的基础上进行左右矫正。上下边框求法如下：首先对牌照区域进行扩展，使其包含上下边框，然后对此区域做垂直sobel变换，接着对sobel变换求出其垂直方向的跳变图，最后对其进行Hough变换。牌照图像二值化牌照图像的二值化是处理和识别图像中很关键的一个步骤，效果的好坏直接影响到后续的工作。牌照二值化就是取一个合适的阈值把字符和背景分开。由于光照不均匀，例如在光线弱的情况下，特别是在夜间汽车前灯开启时，牌照字符与底色的对比度偏低，多以要取得好的效果只能采取动态阈值法，比如Marr-Hildreth算子法等。Marr算子实现牌照图像二值化在我国，牌照一般由黄底黑字、蓝底白字、白底黑字、和黑底白字组成。对于灰度图而言只有两种情况一种是底色比字符亮，一种是底色比字符暗，对于字符比底色亮的牌照首先要反色后才能用Marr算子来二值化，所以就必须判断牌照的底牌颜色，但是在光照不均匀和牌照过亮的情况下是很难判定颜色是白色还是蓝色，而在比较暗的地方则很难判定蓝色和黑色。所以就提出了一个判定是否需要反色的方法，因为如果能够得到字符内的像素平均亮度和底色的平均亮度，则很容易判断反色，方法如下：首先对牌照图像进行对比度拉伸，然后用水平Sobel算子和垂直Sobel算子得到牌照的边缘图，对水平Sobel图像逐行扫描，碰到边缘点时记下这一小段线段的终点，继续扫描知道碰到另一短边缘的起点，计算这两点间的距离，如果距离小于阈值t1（t1=3）则认为这是字符内像素点，如果距离大于t2（t2=5）则认为是底色的点，此外情况则不考虑，给这些像素点做好标记。同样对垂直Sobel图扫描，然后把两幅扫描图综合起来，求底色和字符色的比值。通过以上方法可以判断是否需要反色。如果需要反色，则反色后再利Marr算子和图像进行卷积，然后根据过零点来二值化。二值化后图像牌照的处理对二值化的图像处理之一就是去除左右边缘，略 牌照字符分割字符分割是将牌照中单个字符分割出来，以供下一步神经网络识别用。本系统中将字符归一化成32x16大小。字符分割算法是以垂直投影、字符间距尺寸测定、字符的长宽比、轮廓分析技术的组合为基础的。由于二值化的原因，可能会产生粘连、断裂的字符。此时要根据牌照的大致宽度，结合各字符的轮廓，利用分割合并的方法正确的分割字符。采用一个目标函数搜索合并字符内的断裂点是一种有效的方法。该目标函数是垂直投影函数V(x)与V(x+1)二次差分的比率，即略分割目标函数的最高值看做是可能出现的断裂点。字符分割处理后得到的单个数字、字母和汉字图像，还必须进行归一化处理，以消除因牌照倾斜带来的字符在位置和大小上的变化。归一化处理包括位置归一化和大小归一化，甚至比划（粗细）归一化。对于汉字识别，汉字点阵的归一化是十分重要的，因为汉字识别主要基于汉字的图形结构，如果不能将汉字点阵在位置和大小上归一化处理一致起来，汉字点阵的相似性比较久无法正确进行。下面简要介绍字符分割的算法从投影图可以看出字符与字符的边界处往往是投影比较少的地方，并且字符与字符的边界处投影往往接近零或者为零，所以取初始阈值t=1对投影图进行扫描，过程如下：。没写完牌照字符识别将所获得的图像，经预处理和归一化后得到牌照上每个字符的图像