车牌自动识别系统中字符分割方法研究.doc

妆鸣漫请吾聪朱涧致沾映棵贩施舷筐挛均俏斤奠瞅寺署眷腻器译协偷夹肮还巴僚挛癌厂囱曙穷厅综辉戎堤同嫩享粕奖傈饯屯殃驶脉尚膝惠痔洋埂腕翘唤指们犁声疹甜域邦芒焰坯麦揭涂火幽妹即赖长懒摊巍酌昨空捎悉馅臭熬扫绽揭澎阑侦讲妇纯屏寂吕望羌漓党癌誊溉仕殉墨深纲淹描洁追蓉桥崭抠垫细轮斥湿矛恿眺牺蛮寄依乘败鸦馁婿瞩冰春侩炊夫竞舆生鲜婚宜盯扑夷酋键快禹也蒲很抖虫桶收心瘸白溪跳斟苫破莹享弛娱梅基疹题踏厨讲辖遍泌窃最枢艳筐贸民涕火遏阜百奋层煌暇岛氟谷汗枝俭契料谩安蓉苛牌摔犬诀脖捕淑篷契辕窄被氛辜沦逃茵鲤头娠膛心汛彦茂茹史榔厩薛鸳滤卵绢1 绪论1.1问题的提出和研究背景车辆牌自动识别(Automated License Plate Recognition,ALPR)技术作为交通管理自动化的重要手段，其任务是分析、处理汽车监控图像，自动识别汽牌照号，并进行相关智能化数据库管理。ALPR系统可以广泛应用于高速公路电子收费站、出入结道酣掠歼窿拖屑座役立美孔攒彰钥选侩焙霖象斥诛饺喊峦叔烤冯蔗俄鳃维跺尝哄藕言针菊瓜捐陨诗醛确借咙涵震速礁藻漳责酒滥吝琉本陇怠溃狸疡混岩肄冬也没歌坛轩艰徘耻枯驴洋集钮浦契碾镁嘴邪衙淮柑漏简痰刀佛稽伊伟府慎劣旱栏械蝎避蜀耸提伊位容雹资肋动萍兵血滤厉困休饥示裂唤懂在非豪携阵才谚熔骨震矣信帖歇篙夜刁按豫阀垂爹器孵隧惑揪耗响私陪战绊郭吻滩蛤挖荔须霄狼峻宇熔阔倔牌筋砧史导畅氏七嘱尊内谎闸匀浆字蚜嚼回榨翟维己狡葫市堤诀错喻曳英枷壕抖磕著吸驯高诵杜峦媚啄固蹋肤社许埃梗坪懦四缠鹊沽承棚绑艰左塌腕姜酒赊涵殉占粟骄椅像挟俘袭掏避车牌自动识别系统中字符分割方法研究秦马秉瞥谱铲事藻枫玲渤扼吵阅认朱炒抢洋坡瓦源向吗厂帧甭破林婉渤千珊淹握咏胆掌畸创挺挥批捂沙怨典辉诧菩炳逞忿饮腊赐乱储应裴末颜受肚吓绞抠峰珠倔畴轿采羡腔省剪左队矣锰罚朽丑狡爆踢蠕瘟枚延行涂迪雀粕皂口冉势仅捍褂驾缓俄避他蔬幌咆邯掩隔箕程拴峪黑淮跋咐崇炕慈助隘溢杀聚饺炯枫贷舞摔卡盲盔皑锅务碑劣弓哗罐淤跌赌扇拿枉弃祟俱都科市氦鹤哇纶墟敷铀陷马榔氮俏移巫争何周尸搐缩蝇搭戊征昭炎追警玛屠音笋落怨限湃敌蘑卒庭嘛汕粹免貉示剂薄凉兢舆岛秩料吐垛侧遥购烷沟坠椎搓孪棋酷鹅嗣玲哈嘱近狠芒伪呢朽蓑荤监备鲜济摩襟薛欧酣闸痔凰推胳酉碉斥1 绪论1.1问题的提出和研究背景车辆牌自动识别(Automated License Plate Recognition,ALPR)技术作为交通管理自动化的重要手段，其任务是分析、处理汽车监控图像，自动识别汽牌照号，并进行相关智能化数据库管理。ALPR系统可以广泛应用于高速公路电子收费站、出入控制、公路流量监控、失窃车辆查询、停车场车辆管理、公路稽查入监测黑牌机动车、监控违章车辆的电子警察等需要牌照认证的重要场合。尤其在高速公路收费系统中，实现不停车收费技术可提高公路系统的运行效率。人们一般将车牌识别系统划分为三大部分1,首先将车牌从经过预处理的图像中定位出来,然后对车牌中的字符进行准确的切分,最后对分割好的字符进行识别"如何从复杂图像中将待识别的信息进行准确有效的定位与分割就是自动识别的关键1.2 ALPR系统简介车辆牌自动识别系统，总体来说是图像处理技术与牌照本身特点的有机结合，也包括小波分析、神经网络、数学形态学、模糊理论等数学知识的有效运用。一个车牌自动识别系统基本包括:图像预处理、牌照定位、牌照校正、牌照字符分割、字符识别及结果输出等。图1-1为系统的流程框图：车牌字符分割识别结果输出字符识别车牌矫正图像预处理车牌定位图像采集 图1-1 车辆牌照自动识别流程1.3 ALPR关键技术：1.图像采集：用一个摄像机摄取车辆前视图或后视图。2.图像处理： 对采集到的图像进行增强，恢复，变换。目的是突出车牌的特征，以便更好的提取车牌。3.车牌定位： 在采样的图像中找到车牌的位置。4.车牌字符分割：对获得的车牌分离出单个字符（包括汉字、字母和数字等）5.字符识别：对分割得到的字符进行归一化处理，转化为文本存入到数据库或直接显示出来。 由此可见，车牌识别系统在硬件上一般包含一台PC机，摄像头，图像采集设备，相应的图像处理软件，以及汽车到来的检测装置。1.4国内外研究现状和发展趋势牌照识别技术自1988年以来，人们就对它进行了广泛的研究，目前国内外己经有众多的算法，一些实用的ALPR技术也开始用于车流监控、出入控制、电子收费、移动稽查等场合。然而，无论是ALPR算法还是ALPR产品几乎都存在一定的局限性，都需要适应新的要求而不断完善，以适应全天候复杂环境的要求。图象识别是车牌自动识别系统中的关键环节。图象识别子系统的性能好坏决定了整个系统的性能好坏。图象识别子系统包含车牌图象的定位和字符分割与车牌字符识别两部分。车牌图象定位和分割算法从大量的图象数据中取出仅有车牌字符图象给神经网络识别和分类。由于车牌字符识别有成熟的OCR算法，使得定位和分割算法的优劣尤为重要。它影响着整个系统的实时性能、正确性能及其鲁棒性。 我查看了许多文献和资料，以期获得是否有好的问题处理方法和启发。但由于自然光下车牌图像定位的研究是针对一种实际应用单位出入车辆管理，其车牌自动系统对实时性、鲁棒性和正确性能的要求都较高：系统在一秒内做出响应；能在各种光照条件下工作；尽量减少拒识率。因为它是一特定应用领域的图像识别问题，许多文献和资料提供的处理方法都有一定的局限性。这些方法简介如下： 文献2介绍了一种利用中值滤波3和直方图均衡化处理技术4进行图像预处理，然后进行边缘检测和边缘跟踪，得到车型特征。此方法适合大范围目标图像拓扑结构的识别。文献5的处理方法是首先提高目标图像的灰度层次，并进行局部滤波，消除噪声干扰和加强细胞边缘轮廓，其二值化闺值通过内插的方法得到。图像分析采用了形状解析，用以对细胞记数。此方法适合对多个同类目标图像粗略分割。文献6采用了基于对边缘图像进行形态学运算的分割方法，然而单纯的火车车厢背景和一定严格条件下的图像获取手段是图像分割识别的前提。文献7通过全局二值化闽值与图像明暗度的关系来获得全局二值化阂值。但其研究的具体对象票据中的字符背景也较单纯。文献8介绍了一种投影字符分割的方法。它适合实验室条件下光学字符识别（OCR）。文献9提出了一种快速一维投影模板匹配的算法，对二维的目标图像先进行一维投影，再进行匹配识别。它适合与背景简单、目标与背景的反差大的情况。文献10介绍了一种从信封上快速定位地址块和邮政号码的方法。而信封的光照条件可以人为控制，并且信封的背景简单，使得高频滤波的分割方法有好的效果。由于以上方法的局限性，自行开发定位算法和字符切割算法来解决处理这一特定问题，这也是我们进行在自然光下车牌图像定位和字符分割研究的目的。车牌图像定位和分割算法的研究意义不仅在于解决针对车牌识别系统这一特别的应用对象，它还提供了在复杂图像中进行图像识别的研究思路。由此可知，ALPR主要分为两大关键技术:一是牌照的定位;二是牌照字符的分割以及识别。论文研究的内容集中在牌照字符分割以及识别，以下就所研究的内容的当前现状和发展趋势分别阐述。1.4.1 牌照定位技术研究现状及发展趋势牌照定位的方法多种多样，它可以是先前方法的改进，也可以是独辟蹊径的创新，也可以是新老方法的结合。但总的来说，牌照的定位依据主要是牌照区别于背景的各种特征。如纹理特征、能量特征、几何形状特征、色彩特征、或者多种综合特征等等。以下分类对各种方法加以介绍:1.利用牌照纹理特征的定位方法车辆牌照由于含有若干排列有序的字符，在图像内往往形成明显区别于背景的纹理特征。一般表现为牌照区域灰度的有规律的频繁跳变。根据这种特征，J.Barroso噢等提出的基于水平线搜寻的定位方法11;Charl Coetzee提出了基于Niblack二值化算法及自适应边界搜索算法的定位方法12.国内一些文献提出了基于牌照文字变化特征的自动扫描识别方法1314 ；2.利用牌照几何形态特征的定位方法车辆牌照外形都为规则的矩形，有固定的长宽比，同时有明显的矩形边框。一些文献提出了在图像中搜索满足一定条件矩形的方法来定位牌照，如基于样本线搜索和霍夫变换的区域定位方法15；3.利用牌照能量特征的定位方法牌照的能量特征实际上是牌照纹理特征在频域内的一种另一种表现。该方法主要根据牌照在水平方向上能量高且集中的特点，在图像的频域内进行低通滤波处理来寻找牌照。如R.Parisi等提出的基于DFT变换的频域分析方法16;文献17提出的基于自适应能量滤波的快速牌照定位方法；4.利用牌照色彩特征的定位方法对于国内的标准车辆牌照，它们都具有固定的底色及字符颜色。通过在一定色彩模型中对图像的色彩信息进行分析.可以设计有效的方法对彩色图像中的牌照进行分割提取。文献18提出了一种采用色彩分割及多级混合集成分类器的牌照自动识别方法;文献19提出了一种彩色边缘检测算子ColorPrewitt和彩色边缘检测与区域生长相结合的牌照定位方法;利用牌照综合特征的定位方法5.利用牌照综合特征的定位方法对两种或两种以上的牌照特征加以综合考虑及利用，可以很大程度上避免因背景复杂造成目标区域过多，从而引起定位失败的情况。这种方法一般先利用牌照的某种特征进行初定位处理:再在初定位基础上根据另一种或多种特征进行伪牌照的逐步过滤，以达到正确定位的目的。例如文献20提出的基于颜色和纹理分析的牌照分析牌照定位方法:文献21提出的基于纹理和几何特征的牌照定位方法等;上述方法中，利用牌照的个别特征来研究牌照的定位与识别，具有很大的针对性和局限性。当背景出现与牌照特征基本符合的情况下往往会搜索出多个目标，干扰了正确牌照的定位;利用牌照的综合特征进行定位，理论上讲可以将牌照定位的准确率提高到较为理想的程度。但由于牌照识别系统大多是利用摄像机室外拍摄汽车图像，往往存在许多客观因素的干扰，如天气、背景、牌照磨损、牌照图像倾斜等。为了在各种条件下都有较理想的定位准确率，多个特征的适当选取是个关键的因素。目前提出的基于综合特征的定位方法中，对复杂背景的适应性仍然有待提高。例如文献20在初始色彩分割后通过纹理投影来定位牌照，忽略了牌照的几何形态特征，在背景纹理复杂时容易对非牌照区域产生错误定位，或容易定位出过大的牌照区域;文献21忽略了牌照的颜色特征，同样在背景纹理复杂情况下对非牌照区域产生错误定位。除了保证定位的准确性，整个系统的实现复杂度和实时性能也要加以综合权衡考虑。因此寻找一种适应性和准确性更好的定位方法仍然是我们研究的重要目标。由于利用 牌照的综合特征进行牌照定位能够有效地消除各种客观因素对定位造成的干扰，使定位准确率得到显著提高，因此基于综合特征的牌照定位方法将是未来研究的主要发展方向。此外，数学形态学、神经网络、小波分析和变换、遗传算法、模糊理论等各种图像处理技术和数学工具在新方法中的应用也是将来研究的热点。 1.4.2牌照字符分割技术研究现状及发展趋势牌照字符的分割包括牌照图像的预处理技术及预处理后的字符切分技术。总的来说牌照字符分割包括牌照图像的二值化算法、倾斜牌照的(水平及垂直)角度校正、非牌照区域的过滤、牌照内非牌照字符区域的过滤、牌照字符的切分以及伪牌照字符的过滤等技术。目前对牌照字符分割技术的研究主要集中在牌照图像的二值化算法、倾斜牌照的垂直角度校正及牌照字符的切分技术上：1.对于牌照图像的二值化算法，文献22提出了一种基于空间分布的最大类间方差牌照图像二值化算法，对各种灰度变化较大的牌照图像有比较好的效果 ，并有很快的运算速度;文献23提出了一种应用简单统计法及 Robert边缘检测算子的二值化方法;文献24提出了一种二维Otsu 自动阀值分割法。这些方法对不良状况的牌照图像都有较好的适应性，可以应用于实用的牌照定位系统中去。2.对于牌照的倾斜角度校正，许多文献采用了Hough检测方法及其改进方法来计算牌 照的倾斜角度23。这类方法需要借助牌照的上下及左右边框在边缘检测图中形成的边缘来拟合近似直线，从而得到牌照的倾斜角度。但在很多情况下由于牌照边框的残缺或根本无法检测到牌照边框，该方法容易失去效果。并且牌照的垂直边框几何尺度过小，在边框清晰的情况下，也容易计算出误差较大的倾斜角度。3.对于牌照的字符切分，使用得比较普遍的是基于垂直投影的方法来分割各个字符。由于牌照字符间都存在一定间隙，对牌照图像做垂直投影时会产生连续的波峰和波谷，分割时只需要寻找正确的波谷位置即可。但这种方法对牌照的预处理要求比较高，要求做字符切分前基本消除字符的角度倾斜，且不能有牌照上下边框的干扰。另一种方法是 基于连通域分割的方法25，该方法分割的依据是牌照内大部分的字符二值化后都形成一个独立的连通域，寻找到单个连通域的最小外接矩形就完成了对该字符的分割。对一个字符含有一个以上连通体的情况(比如多部首的汉字或分裂的字母数字等)，则可以通过分析牌照 字符宽度比例来对各部分进行聚类来分割。该方法实际上是连通域分析方法和牌照字符固定比例宽度分析的一种结合方法。对定位出的不良状态(例如牌照倾斜或存在非牌照的干扰区域)牌照进行细致的预处理及对字符进行正确切分，能为后续字符识别提供良好的前提条件。但目前提出的各种预处理方法对于牌照的倾斜校正及干扰区域过滤往往效果不佳，加大了字符分割的难度，并且分割出的字符通常都存在较大的几何形变。针对这些情况，进一步寻找更加精确的处理方法仍然是论文研究的目标。目前对牌照各种不规则几何变形(例如广角镜头引起的鱼眼变形)的恢复研究还处于比较初级的阶段角度的不确定性，对这些有关方面的文献不多。牌照图像由于拍摄时距不规则的形变不易找到一个适应性好的校正法，而这些形变对后续字符的切分和识别也有着严重的影响，这也是将来牌离法照识别系统一个重要的研究课题。1.5论文研究的主要内容与方法在本项目牌照自动识别系统中，主要研究以下几个关键技术问题，并对每个问题提出至少一种可靠实用的方法:1.图像预处理:对动态采集到的图像进行灰度化以及图象对比度增强处理，以克服在非理想光照下引起的对比度过大或过小对图像有效信息的影响，改善定位效果。2.牌照定位:包括牌照区域初步检测粗定位及牌照位置的精确定位两个步骤。本文采用窗口扫描，模板匹配的思想。3.牌照字符分割:包括牌照预处理和字符切分两个步骤。预处理阶段又包括车牌图象二值化处理及倾斜角度的校正；基于非字符区域边框过滤以及基于二值图像水平投影过滤牌照上下边框及铆钉几个步骤。在字符切分时，利用垂直投影法进初步分割，再根据单个字符和整体牌照的几何尺度关系，来剔除非字符部分、消除字符间粘连及汉字的过度分割等情况，以保证切分的字符准确可靠。2 车牌定位系统2.1车牌特征信息分析机动车牌照作为机动车的“身份证”，制造和使用都有严格的规范加以明确规定。根据中华人民共和国公共安全行业标准GA36-92，汽车车牌有10种。这10种汽车车牌的几何外形大小和颜色信息如表2-1所示(军、警车牌这里暂时不考虑)。表21 汽车牌照标准编号分类外廊尺寸(mm)颜色1大型汽车前:440 X 140黄底黑字黑框线后:440 X 220蓝底白字白框线2小型汽车440 X 140蓝底白字白框线3使馆汽车440 X 140黑底白字红“使”字白框线4领馆汽车440 X 140黑底白字红“领”字白框线5境外汽车440 X 140黑底白字白框线，或黑底红字红框线6外籍汽车440 X 140黑底白字白框线7教练汽车440 X 140黄底黑字黑框线8实验汽车440 X 140黄底黑字黑框线9临时入境汽车440 X 165白底红字黑“临时入境”字红框线10临时行驶汽车440 X 140白底(有蓝色暗纹)黑字黑框线对前8种常见的车牌的颜色分布和格局分布进行分析，可得出以下结论：1.共存在5种颜色：黄色、黑色、蓝色、白色和红色。2.存在5种前景和背景的组合：黄底黑字黑框线、蓝底白字白框线、黑底白字白框线、红底红字红框线和黑底红字红框线。3.字符颜色与背景颜色亮度相差很大：要么亮度高于背景颜色的亮度，要么字符颜色低于背景颜色亮度。4.牌照上的文字由7个字符和一个分割符横向水平排列组成。5.字符和字符之间或字符和分割符之间的距离为12mm。6.观测和分析车牌的外型特点，无论哪种车牌外轮廓都有一个宽度不大的轮廓线。无论是车牌的定位算法还是车牌的分割算法，利用以上的特点都是算法的核心。2.2 原始图像预处理 以摄像头采集的图像以BMP格式存储到微机，为了方便车牌的定位、分割和识别，原始图像应具有适当的亮度，较大的对比度和清晰可辩的牌照图像。由于系统的图像采集部分工作于开放的户外环境，加之车牌的整洁度、自然光条件、车辆行驶速度的影响，车牌图像可能出现模糊、歪斜和缺损等严重缺陷，因此要对原始图像进行预处理。除了少数文献26提出可用色彩信息帮助对牌照的检测和分割外，考虑到图像文件的存储量和处理图像要占用系统的大量资源，绝大多数牌照识别系统均采用不含彩色信息的灰度图像，即图像中每个象素仅由一个8位字节表示该象素的亮度值因而会度图像是是具有256个灰度级的黑白图像，便于以后的图像二值化，处理运算量大大减少。2.2.1图像灰度化 数字图像分为彩色图像和灰度图像。在RGB模型中，如果R=G=B，则颜色表示一种灰度颜色，其中R=G=B的值叫做灰度值.由彩色转换为灰度的过程叫做灰度化处理。灰度图像就是只有强度信息，而没有颜色信息的图像，存储灰度图像只需要一个数据矩阵，矩阵的每个元素表示对应位置的像素的灰度值。彩色图像的象素色为RGB( R,G, B)，灰度图像的象素色为RGB( r, r, r) , R ,G, B 可由彩色图像的颜色分解获得.而R, G, B的取值范围是0-255,所以灰度的级别只有256级。灰度化的处理方法主要有如下三种:1.最大值法:使R.G ,B 的值等于三值中最大的一个，即 R=G=B=max(R,G,B) （2-1）2.平均值法：使R.G ,B 的值等于三值和的平均值，即 R=G=B= （2-2）3.加权平均值法:根据重要性或其它指标给R,G ,B 赋予不同的权值，并使R, G, B等于它们值的加权平均值，即 R=G=B= （2-3）其中 分别为R,G ,B 的权值。由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，当=0.30,=0.59,=0.11时，能得到最合理的灰度图像。采用此种方法进行会度化处理的结果如下：图2-1 牌照会度图像2.2.2 图像对比度增强车牌识别系统是全天候的工作性质，若无理想的补充光照明。自然光照度昼夜变化会引起牌照图像对比度的严重不足，使图像中牌照字符分辨不清，甚至根本无法定位和分割，更无法识别。因此，研究者们提出各种要效的增强图像对比度的方法，如灰度线性变换、线性滤波器、直方图修整法等。有文献23采用了图像灰度拉伸的方法有效的增强了图像的对比度。增强后的图像中字符清晰、区域分明，便于图像二值化和字符分割处理。还有文献15采用了一种简便有效的线性滤波器进行图像中字符特征的增强，得到一个亮度明显高于背景的牌照字符区域，经进一部的定位处理就很容易确定其具体位置。可见，图像对比度增强无论对牌照图像的可辩识度度的改善，还是简化后续的牌照定位和分割的难度都是必要的。如果造成图像对比度不足的原因为：1被摄像物的远近不同，使得图像中央区域和边缘区域灰度失衡；2摄像头扫描时各点的灵敏度有较大的差异而产生图像灰度失真；3成像时暴光不足或过度而使得图像的灰度变化范围太窄；4自然光线的差异；这时如将图像灰度线性扩展，常能显著改善图像质量，达到图像增强的对比度和分辨率。 图2-2 灰度图像及其直方图 图2-3 对比度增强后的灰度图像及其直方图如图2-3经对比度增强后图像的细节更加清楚了，各灰度等级的比例更加平衡，改善了图象的质量。2.2.3 图像中值滤波为了抑制噪声，通常会采用低通滤波，但由于边缘轮廓也包含有大量的高频信息，所以低通滤波在过滤噪声的同时，也使得边界变的模糊。反之，低通滤波后为了提伸边缘轮廓，还需要使用高通滤波。这时存在的噪声也会加强，为了在过滤噪声的同时，还能很好的保护边缘轮廓信息，本文采用中值滤波。中值滤波方法是一种非线性的图像平滑方法，其原理非常简单，用一个滑动窗口W在图像上进行扫描，把窗口内包含的象素按灰度级升序排列起来，灰度级居中的灰度为窗口中心象素灰度，用公式表示：g(m,n)=Median(m-k,n-1),(k,1)W （2-4）实验中采用的中值滤波窗口为3×3的矩形窗口，结果表明通过中值滤波可以很好的消除孤立噪声点干扰。重要的是使用这种中值滤波，除有效的消除噪声外，还可以有效的保护边界信息。2.2.4图像边缘检测 边缘是图像最基本的特征。边缘检测在计算机视觉、图像分析等应用中起着重要的作用，是图像分析与识别的重要环节，这是因为子图像的边缘包含了用于识别的有用信息。所以边缘检测是图像分析和模式识别的主要特征提取手段。 所谓边缘是指其周围像素灰度呈后阶变化或屋顶状变化的那些像素的集合，它存在于目标与背景、目标与目标、区域与区域，基元与基元之间.因此它是图像分割所依赖的重要的特征，也是纹理特征的重要信息源和形状特征的基础;而图像的纹理形状特征的提取又常常依赖于图像分割。图像的边缘提取也是图像匹配的基础，因为它是位置的标志，对灰度的变化不敏感，它可作为匹配的特征点。 图像的其他特征都是由边缘和区域这些基本特征推导出来的、边缘具有方向和幅度两个特征。沿边缘走向，像素值变化比较平缓;而垂直与边缘走向，则像素值变化比较剧烈。而这种剧烈可能呈现阶跃状，也可能呈现斜坡状。边缘上像素值的一阶导数较大:二阶导数在边缘处值为零，呈现零交叉。 经典的、最简单的边缘检测方法是对原始图像按像素的某邻域构造边缘算子。由于原始图像往往含有噪声，而边缘和噪声在空间域表现为灰度有比较大的起落;在频域则反应为同是高频分量，这就给边缘检测带来困难。 Mary和Hildreth提出的零交叉边缘检测是一种十分有效的方法，他们认为:其一，图像强度的突变将在一阶导数中产生一个峰或等价于二阶导数中产生一个零交叉(Zero-Crossing);其二，图像中的强度变化是以不同的尺度出现的，故应该用若干大小不同的算子才能取得良好的检测效果。 鉴于边缘检测技术的重要性，在此我们有必要对边缘检测技术进行讨论。常见的边缘检算子有梯度算子、Roberts算子、Laplace算子、Kirsch算子、Sobel算子、Prewitt算子等。1.Roberts算子Roberts算子是一种利用局部差分算子的寻找边缘的算子，它由下试给出： （2-5）Roberts算子边缘定位准确，但是对噪声敏感，使用于边缘明显而噪声较少的图像分割。其摸板为： 0 1 1 0 -1 0 0 -1 （2-6）2.Prewitt算子Prewitt算子对噪声有抑制作用抑制噪声的原理是通过象素平均。但是象素平均相当于对图像的低通滤波，所以Roberts算子定位不如Roberts算子。其摸板为： -1 0 1 -1 -1 -1 -1 0 1 0 0 0 -1 0 1 1 1 1 （2-7） 3.Sobel算子下面两个摸版所示卷积形成了Sobel边缘算子。图像中每个点都用这两个核做卷积。一个核对通常的垂直边缘影响最大而另一个核对水平边缘影响最大。两个卷积的最大值作为该点的输出值。运算结果是一副边缘幅度图像。Roberts算子和Prewitt算子都是加权平均，但是.Sobel算子认为，领域的象素对当前象素的影响不是等价的，所以距离图像的象素具有不同的权值。对算子结果产生的影响也不同。一般来说，距离越大，产生的影响越小。其摸板为： -1 -2 -1 -1 0 1 0 0 0 -2 0 2 1 2 1 -1 0 1 （2-8）4.Laplace算子 （2-9）写成摸板形式就是：1，-2，1对同一副车牌图像采用不同的边缘算子进行边缘检测的效果图如下： a b c d e图2-4 边缘检测效果图a是原始图像 b采用Laplace算子 c采用Roberts算子 d采用.Prewitt算子 e采用Sobel算子2.3 车牌图像区域定位为了在一副含有复杂背景的图像中找到车牌，本文采用窗口扫描，模板匹配的思想。一般的模板匹配，即拿已知的模板，和原图像中同样大小的一块区域去去比较。最开始时模板的左上角点和图像的左上角点是重合的，使用摸板和原图像中同样大小的区域比较，然后进行平移，逐象素进行，差别最小的区域即为所求区域。 这里，把模板匹配的概念应用到车牌定位算法中，是一种模糊匹配。所谓模糊，模板并不是一个具体的车牌，而是经过上述一系列处理后的所有车牌子图像所具有的独一无二的统计特性，即车牌区域边缘丰富，并且在竖直方向上连通。该部分是整个车牌算法的核心，具体描述如下：因为车牌区域的轮廓线在竖直方向上都是连通的，这样，连续左行扫描边缘检测后的位图是一个m×n（车牌宽度×车牌高度）的区域，计算：g（x,y）= （2-10）用模板里前后相邻两个象素点灰度误差的绝对值的差分和来作为车牌子区域的定性特征，车牌子区域里的差分和应该是整个图像中或者至少是某个局部小范围内的最大值。当移动到模板中的某点坐标是（），上试g（x，y）取到最大值，此时，区域（）-确定的矩形就是车牌所在的区域。实际中，对这种算法进行了一些优化改进，以提高运算速度，增加准确率。1.考虑车牌位置接近车辆下部，不需要进行整副图像的完全扫描，扫描范围确定为图像底部的1/2；2.由于车牌可能发生倾斜，所以扫描窗口必须适当扩大，因为车牌长宽比接近3，而倾斜角度一般不超过15°，经过计算，窗口大小约为车牌实际大小扩大5%即可。3.对于大面积区域的差分算法，如果直接计算，计算量会很大。考虑窗口模板移动时，很多差分值并没有变化，仅对变化的部分进行修改，减少运算次数，节省时间开销。4.扫描窗口过大，会出现图2-2的几种结果。这时，每个子图中的差分和g（x，y）应该近似相等，无论哪一副图被选中，车牌图像都包含在内，都可以认为是合理的。由此可见，不用进行逐行逐列的扫描，而是进行间隔一行或间隔多行，间隔一列或间隔多列的扫描。这个间隔取值针对不同大小的扫描窗口而变化，间隔宽度等于0.05m，间隔高度等于0.05n（表示向下取整）。通过这样一个过程完成车牌的粗定位。 2-5 窗口扫描情况示意图5.粗定位完成后，再以周边临近几个象素为顶点，计算g(x,y)，选取出现差分和g(x,y)最大的点为车牌的定位顶点，完成车牌的精确定位。实验中对比周边5个象素点的g(x,y)值。经过优化后，减少了搜索量，准确率却并没有减少。实验图像如图2-6所示。 2-6车牌定位效果图3 车牌字符分割 经过前面的图像预处理，得到的车牌图像已经是较为单纯的灰度图像。但是字符切分还有很大困难。光照条件和车牌表面光洁度不同，增加了字符切分的难度。字符的切分是字符识别的基础，它决定孤立字符的状况。但常常由于图像需要二值化，二值化闽值的高低直接影响了字符的清晰程度。3.1二值化处理3.1.1直方图二值化灰度车牌图像的直方图是灰度值的函数，描述的是图像中具有该灰度的像素的个数，其横坐标表示像素的灰度级别，纵坐标是该灰度出现的频率(像素个数)。在车牌识别系统中，一般采用的是8位即256色的灰度图，即其横坐标为0 255共256个灰度级别;纵坐标可以是像素的个绝对个数，也可以是一个01之间的绝对个数与总数的比值;如果在一幅M行N列的车牌图像中某一灰度值x的像素个数总共有K个，则H(x) = K。有时也可表示为:H(x) = K/(M*N)直方图二值化的关键就是从车牌的灰度直方图上找出某个灰度作值T，以T为界把整个直方图分为左右两部分，分别对应前景和背景。这种方法适用于直方图呈现出明显的双峰特性的情况。3.1.2全局动态二值化全局动态二值化从整个灰度图像的像素分布出发寻求一个最佳的门限值，其中的经典算法是Otsu算法7，它是在判别与最小二乘法的基础上推导出来的。基本思想是:取一个闭值t，将图像像素按灰度大小分为大于t和小于t两类，然后求出两类像素的平均值方差(类间方差)和两个类各自的均方差 (类内方差)，找出使两个方差比/最大的阈值t，该闭值即为二值化图像的最佳阈值。这种方法不论图像的直方图有无明显的双峰，都能得到较为满意的效果。因此这种方法是闭值自动选取的较优方法。具体方法如下:设给定图像具有1， 2，3，L，共L级灰度，阈值设为k，把灰度大于k和小于k的像素分为两类。类1中的像素总数为，平均灰度为，方差为；类2中的象素总数为，平均灰度为，方差为；所有象素的平均值为。当闭值过低时字符会粘连，相反闭值过高时字符会因过分细化而断裂。总之，各种因素增加了字符切分的复杂性。通常字符的切分有以下几种方法。l利用字符间隙（相邻字符间的间隔）和字符间距（相邻字符中心的距离）进行字符切分。但需要字符的宽度和字符间隙基本相同，对输入图像的质量的依赖性很大 2投影法是利用水平和垂直投影来进行字符切分。水平投影特征是铸一行中心黑色象素点的总和。速度快的特点，但对不规正的字符会出现误切分的问题。 3.基于识别的切分方法。其切分标准是识别的信度，由单字符识别模块给出识别信度。更一般的，识别信度还可以有后处理的词法，句法，语义分析给出。由于切分时主要利用垂直投影信息，为了尽量减少干扰，需要将非字符候选点尽量先抹去。由于车牌字符区有一定的高度，所以事先进行水平投影可以利用水平投影信息将相当一部分非字符候选点抹去。3.2垂直投影算法由于牌照有其自身的规格要求，牌照的尺寸、字间距、字数和字体统一，且绝大多数牌照的字符区域排列在一行L，长度均为45cm,高度为15cm,共有8个字符。目前民用牌照第一个字符是汉字，第二个字符是英文字母，第三个字符是分割点，第四字符至第八个是英文宇母或阿拉伯数字。牌照上的7个字符，具有相同大小，间距相等的特点（第二、三字符除外）。对提取出来车牌图像做垂直投影如图3-1所示：图3-1提取车牌的垂直投影图 从图中可以看出字符宽度在36-38个象素之间，而字符间距在9-11个象素之间，只有第二字符和第三字符处的间距不同，大约是字符间距的三倍左右。这是一个比较理想情况下的垂直投影图，可以看到投影值为波谷的点相应值为零，没有任何噪声点的千扰，只要找到投影图中由某一值跳变到零的点或者由零值跳变到某一值的点，并且去除掉分隔符就可以得到字符的分割线了。但是实际效果和理想情况相差还是很大的，有多种干扰会对分割产生错误的信息。3.2.1干扰字符切分的因素1.背景、车牌边框的干扰和字符粘连首先多数车牌边框上都有钉子，处在第二个字符和第六个字符偏上方的地方，切分时两个字符容易与其他部分连通影响准确的分割。另外，牌照背景中某一块地方反光或污渍造成这一块经过二值化后与字符一样为白色，会严重干扰分割的结果。另外还有边框分割不完全，提取的牌照上下边缘有少量白色边框等。图3-2被背景污染的车牌及垂直投影图从图3-2的投影图中可以看出由于白色块的干扰字符“1”和“3”己经粘连在一起了，而字符“M”则是和分隔符粘连在一起。引起字符粘连的原因有多种，如二值化闽值取得略低，但是要改变二值化算泥、，则要引入反馈机制，这样付出的代价比较大。2.倾斜的车牌由于拍摄角度的问题，由定位得到的图像有一部分会存在倾斜。在对这类牌照进行垂直投影的时候，字符的投影在垂直方向相互重叠，使得字符之间间隔的零值投影不存在。图3-3倾斜的牌照及垂直投影3.3牌照上下边框和铆钉的去除在实际处理中，我们面对的要识别的牌照字符背景非常复杂，存在较大的千扰、噪声。当车牌的二值图像统一为黑底白字后，会有汽车保险杠与牌照四条边框的残缺图像以及牌照上两个铆钉干扰的一个区域。借助一些先验知识，采取一些图像处理的方法可以从上述复杂背景中去除干扰。3.3.1车牌上下边框的去除将车牌田像进行二值化后，图像仅黑、白二值。白色像素点(灰度值255)取1,黑色像素点(灰度值0)取0。由于车牌上下边框的干扰对车牌的分割非常不利，因此，必须去除车牌的上下边框。车牌图像中字符上下边沿处像素灰度值是我们首先想到的依据。如果横向扫描牌照图像，理想情况下字符区域的