基于卷积神经网络LeNet5的车牌字符识别研究.doc

基于卷积神经网络LeNet-5的车牌字符识别研究赵志宏 1,2, 杨绍普 2,马增强 1,2(1.北京交通大学机械与电子控制工程学院, 北京 100044; 2.石家庄铁道学院, 河北 050043)摘 要：将卷积神经网络 LeNet-5 引入到车牌字符识别中。为了适应目前中国车牌字符识别的需要，对传统的卷积神经网络 LeNet-5 的结构进行了改进，主要是改变输出单元的个数与增加卷积 层 C5 特征图的个数。研究结果表明，改进后的 LeNet-5 比传统的 LeNet-5 的识别率有所提高，识别率达到 98.68%。另外，与 BP 神经网络进行了比较研究，从实验中可以看出在字符识别的正确 率和识别速度上都优于 BP 神经网络。卷积神经网络在车牌识别中具有很好地应用前景。关键词：字符识别; 车牌识别; 卷积神经网络; LeNet-5中图分类号：TP391.4文献标识码：A文章编号：1004-731X (2010) 03-0638-04License Plate Character RecognitionBased on Convolutional Neural Network LeNet-5ZHAO Zhi-hong1,2, YANG Shao-pu2, MA Zeng-qiang1,2(1. School of Mechanical, Electronic and Control Engineering, Beijing Jiaotong University, Beijing 100044, China;2. Shijiazhuang Railway Institute, Shijiazhuang 050043, China)Abstract: The application of convolutional neural network LeNet-5 was proposed in license plate character recognition. Tofit with the Chinese license plate character recognition problem, the traditional LeNet-5 was modified. The unit number of output layer was changed and the feature map number of C5 layer was added. Experimental results show that the recognitionrate of modified LeNet-5 reaches 98.68% and is better than that of LeNet-5. The results are also compared with the BP neuralnetwork, which indicates that the modified LeNet-5 is superior in both recognition rate and speed. This method has a great potential for license plate recognition.Key words: character recognition; license plate recognition; convolutional neural network; LeNet-5引言车牌识别在交通信息控制与智能交通中发挥着重要作 用，如：高速公路收费管理、超速违章处罚、停车场管理、 交通数据采集等。通常，车牌识别系统主要包括三个部分： 车牌定位、字符分割与字符识别。本篇论文主要研究字符识 别。已经提出很多种字符识别方法1-4。字符识别方法大致 可以分为两类：基于结构的方法1,2和基于统计的方法3,4。 基于结构的方法的优点是符合人的直觉，可以容易地处理局 部变换，其主要缺点是抗噪声能力差。基于统计的方法比较 成熟，具有抗干扰、噪声的能力，识别性能好，识别速度快 的优点，它的难点是特征提取，因此，在统计字符识别中， 特征提取的质量是影响系统性能的关键因素。卷积神经网络可以直接从原始图像中识别视觉模式，它 需要的预处理工作非常少。卷积神经网络已成功应用于手写 字符识别5,7, 人脸识别6, 人眼检测8, 行人检测9，机器人 导航10中。卷积神经网络可以识别有变化的模式，具有对简 单几何变形的鲁棒性。卷积神经网络较一般神经网络在图像处理方面具有如下优点:(1)输入图像和网络的拓扑结构能很好的吻合；(2)特征提取和模式分类同时进行；(3)权值共享 可以减少网络的训练参数，使神经网络结构变得更简单，适 应性更强。卷积神经网络在国外的研究较多，但目前在国内的研究5与应用还刚刚起步。LeNet-5 是一种卷积神经网络，最初用于手写数字识别中，本文将卷积神经网络 LeNet-5 用于中国 车牌字符识别中。由于车牌字符识别的类别比手写数字识别 的类别数目多，不能直接应用传统的 LeNet-5 进行车牌字符 识别。因此，对传统的 LeNet-5 的结构进行了改进。本文首先简单介绍卷积神经网络和 LeNet-5 的结构，进 而对 LeNet-5 的结构进行了改进，较好地解决了车牌字符识 别类别比手写数字识别的类别多的难题。设计了实验方案， 实验对比了改进后的 LeNet-5 与 BP 神经网络性能，得出了 一些有益的结论，并对进一步的研究工作进行了展望。1 卷积神经网络卷积神经网络是近年发展起来，并引起广泛重视的一种 高效识别方法。现在，卷积神经网络已经成为众多科学领域 的研究热点之一，特别是在模式分类领域，由于该网络避免 了对图像的复杂前期预处理，可以直接输入原始图像，因而 得到了广泛的应用5-9。卷积神经网络通过结合三个方法来实现识别位移、缩放收稿日期：2008-05-28修回日期：2008-06-23基金项目：国家杰出青年科学基金 (50625518)；教育部科学技术研究重点项目 (205019)。作者简介：赵志宏(1972-), 男, 河北人, 博士生, 讲师, 研究方向为智能 交通,神经网络；杨绍普(1962-), 男, 河北人, 博导, 教授, 研究方向为车辆工程; 马增强(1975-), 男, 河北人, 博士生, 讲师, 研究方向为智能交通。和扭曲不变性5：局域感受野、权值共享和次抽样。局域感受野指的是每一网络层的神经元只与上一层的一个小邻域 内的神经单元连接，通过局域感受野，每个神经元可以提取 初级的视觉特征，如方向线段，端点，角点等。权值共享使 得卷积神经网络具有更少的参数，需要相对少的训练数据。 次抽样可以减小特征的分辨率，实现对位移、缩放和其它形 式扭曲的不变性。一般地，卷积层后有一个次抽样层来减少计算时间和建 立空间和结构上的不变性。通常采用小的次抽样因子，这个 方法非常简单和有效。1.1 卷积层在卷积层，前一层的特征图与一个可学习的核进行卷 积，卷积的结果经过激活函数后的输出形成这一层的特征 图。每一个输出的特征图可能与前一层的几个特征图的卷积 建立关系。一般地，卷积层的形式如式(1)所示：输出10C5 层120F6 层84S4 层5×5C3 层10×10C1 层28×28S2 层14×14输入层32×32图 1 LeNet-5 神经网络的结构，每个面是一个特征图样层，它是由 C1 层抽样得到。特征图的每个神经元与 C1层的一个大小为 2×2 的邻域连接。网络层 C3 是由 16 个大小为 10×10 的特征图组成的卷 积层。特征图的每个神经元与 S2 网络层的若干个特征图的5×5 的邻域连接。表 1 显示了 S2 层的特征图如何结合形成 C3 的每个特征图，其中的每一列表示 S2 层的哪些特征图结 合形成 C3 的一个特征图，例如，从第一列可知，S2 层的第0 个，第 1 个，第 2 个特征图结合得到 C3 的第 0 个特征图。xl = f (xl 1 k l + bl )(1)ji ij jiM j其中， l 代表层数，k 是卷积核，Mj 代表输入特征图的一个选择。每个输出图有一个偏置 b 。1.2 次抽样层一个次抽样层对输入进行抽样操作。如果输入的特征图 为 n 个，则经过次抽样层后特征图的个数仍然为 n，但是输 出的特征图要变小(例如，变为原来的一半)。次抽样层的一 般形式如式(2)所示：表 1S2 层特征图与 C3 层特征图的连接方法0123456789101112131415012345X XXXXXX X XXXXXX XXXXXX X X X XXX XXX X XXXXX XXX X XXXXl 1 )l )x j = f ( j down x jll(+ bj(2)X XXX XXXX其中，down () 表示次抽样函数。次抽样函数一般是对该层输入图像的一个 n×n 大小的区域求和，因此，输出图像的大 小是输入图像大小的 1/n。每一个输出的特征图有自己的 和 b 。2 LeNet-5 及其改进2.1 LeNet-5 的结构卷积神经网络 LeNet-5 的结构如图 1 所示。输入图像要 经过大小归一化，每一个神经元的输入来自于前一层的一个 局部邻域，并被加上由一组权值决定的权重。提取的这些特 征在下一层结合形成更高一级的特征。同一特征图的神经元 共享相同的一组权值,次抽样层对上一层进行平均。卷积神经网络 LeNet-5 不包括输入，由 7 层组成，每一层都包括可训练的参数(权值)。该网络的输入是 32×32 的图 像，其中 C 层是由卷积层神经元组成的网络层，S 层是由次 抽样层神经元组成的网络层。网络层 C1 是由 6 个特征图组成的卷积层。每个神经元 与输入图像的一个 5×5 的邻域相连接，因此每个特征图的大 小是 28×28。网络层 S2 是由 6 个大小为 14×14 的特征图组成的次抽XXXXXXXXX网络层 S4 是由 16 个大小为 5×5 的特征图组成的次抽样层。特征图的每个神经元与 C3 层的一个 2×2 大小的邻域相 连接。网络层 C5 是由 120 个特征图组成的卷积层。每个神经 元与 S4 网络层的所有特征图的 5×5 大小的邻域相连接。网络层 F6，包括 84 个神经元，与网络层 C5 进行全连接。 最后,输出层有 10 个神经元，是由径向基函数单元(RBF)组成，输出层的每个神经元对应一个字符类别。RBF 单元的 输出 yi 的计算方法如式(3)所示：y =( x w )2(3)ij ijj2.2 LeNet-5 的改进卷积神经网络 LeNet-5 最初是用于手写数字识别中，输 出的类别数目为 10，中国的车牌识别与手写数字识别相比， 需分类的类别数目要多很多。除了 10 个阿拉伯数字外，还 有 25 个英文字母(不包括字母 I)，全国各省市、自治区的简 称 31 个，还有其它一些字符。针对中国车牌字符识别与手写数字识别的不同，对传统 639 3.2 训练次数与识别率的关系表 2 显示了当 C5 网络层特征图的个数为 240 时训练次 数与识别率的关系，从表中可以看到，随着训练次数的增加， 训练样本与测试样本的正确率都随着增加。并且当训练样本 集的正确率达到 100%后，继续训练，测试样本集的正确率 仍然得到提高，基本不出现过训练的情况。这体现了卷积神 经网络良好的性能。的 LeNet-5 进行了改进。主要有以下两点：(1)将传统的 LeNet-5 的输出层由 10 个神经元改为 76 个 神经元。收集到的车牌字符数据库有 76 类车牌字符，因此， 将输出神经元的个数改为 76。(2)增加传统的 LeNet-5 网络层 C5 层的特征图的数目， 将 C5 层特征图的数目由 120 个增加到 360 个。由于车牌字 符识别分类的类别数目增多，因此，考虑增加 C5 层特征图 的个数，以增加整个网络的识别性能。表 2 训练次数与识别率的关系3实验研究为了验证改进的卷积神经网络 LeNet-5 的性能，收集了 大量真实车牌数据，并建立了训练与测试用的数据集。车牌 图像经过定位，字符分割后，存入车牌字符数据库，没有对 车牌图像进行去噪处理。为了应用卷积神经网络 LeNet-5， 所有的车牌字符都归一化为 32×32 大小。图 2 显示了输入字符图像在卷积神经网络 LeNet-5 前面 几层的处理结果，最左边是输入图像，从左到右依次是输入 层，C1 层，S1 层，C2 层，S2 层。C1 层的输出代表相应地6 个特征图。从图 2 中可以看出，神经网络 LeNet-5 可以很 好地提取字符的特征。训练次数训练样本集 测试样本集40092.9389.6550098.6296.3060099.8397.4970010098.0280010098.1590010098.46100010098.59110010098.593.3 C5 层改变对性能的影响下面是改变 C5 层特征图的个数对卷积神经网络性能的 影响。3.3.1 对识别率的影响C5 层特征图的个数与 LeNet-5 卷积神经网络的识别率 的关系如表 3 所示。表 3 C5 层特征图个数与识别率的关系C5 层特征图数目60120240360480测试样本识别率97.8498.4398.5998.6898.68C2 层C1 层S2 层从表 3 中可以看到，C5 层特征图个数对车牌字符识别率有直接影响，随着 C5 层特征图个数的增加，车牌字符的 识别率也有所提高。这说明，在类别数增加的情况下，增加 C5 层特征图的个数，可以提高 LeNet-5 卷积神经网络的分 类能力。但当提高到一定程度后，再增加 C5 层特征图的数 目，识别率将不再提高。3.3.2 对识别速度的影响网络层 C5 层特征图数目的改变对 LeNet-5 卷积神经网络 的速度也有影响。不同 C5 层特征图个数的识别速度如表 4 所示。从表 4 中可以看到，随着 C5 层特征图个数的增加，车 牌字符识别的速度将变慢。这是由于增加 C5 层特征图的数 目后，提高了 LeNet-5 卷积神经网络的复杂程度，因此，识 别速度有所降低。这说明，可以通过降低网络层 C5 层的特 征图的个数，来提高字符识别的速度。因此，在某些要求实 时性高的应用场合，可以适当降低 C5 网络层特征图的个数。S1 层输入图 2 神经网络 LeNet-5 的输入图像及中间层神经元输出的例子。3.1 实验数据本文实验所用的车牌图像均由数码相机在实际环境中 获取的分辨率为 640×480 的真实车牌图像，收集到实际车牌 图像数据共 650 个，利用其中的字符分别建立训练数据集与 测试数据集，训练数据集与测试数据集之间没有重叠。图 3 是实验中用到的一些车牌数据。表 4 不同 C5 层特征图数目的识别速度(单位:秒)C5 层特征图数目60120240360480识别 100 个字符的时间 0.2410.2740.2990.3360.379从上面的实验可知，改进后的 LeNet-5 在识别率方面优于传统的 LeNet-5，但识别速度有所降低。3.4 与 BP 神经网络的比较为了测试改进后卷积神经网络 LeNet-5 的性能，与常用图 3 实验中用到的一些车牌数据 640 的三层 BP 神经网络进行了比较。BP 神经网络隐含层取 450个节点，学习率采用 0.01，实验结果的比较如表 5 所示。从 表 5 中可以看到，改进后的 LeNet-5 卷积神经网络的识别率 比 BP 神经网络的识别率高大约 5。另外，通过与三层 BP 神经网络的对比，可以看到改进后的卷积神经网络 LeNet-5 无论在字符识别的正确率还是识 别速度上都优于 BP 神经网络。进一步研究工作地展望：(1) 试验不同的卷积神经网络。除了 LeNet-5 之外，试 验是否存在更好的适应车牌字符识别的卷积神经网络结构。 (2) 设计和实现基于视频的车牌识别系统。实验用卷积 神经网络建立一个比较实用的车牌识别系统，包括车牌定位、字符识别的功能。参考文献:表 5 LeNet-5 与 BP 网络识别性能的比较网络类型LeNet-5BP 神经网络识别正确率98.68%93.37%另外，BP 神经网络识别 100 个字符的时间为 0.785 秒，改进后的卷积神经网络 LeNet-5 的识别速度也优于 BP 神经 网络。3.5 错误数据分析识别错误的 38 个车牌字符如图 4 所示。识别错误的 38 个车牌字符或者是由于预处理效果不好(字符分割的效果不 理想)，或者是由于噪声的影响(在字符的关键地方有很强的 噪声)，还有部分是由于倾斜的影响(倾斜角度很大)。识别错 误的字符，可以通过有效的预处理过程来进一步减少。另外， 可以通过扩大训练字符集来进一步提高车牌字符识别的正 确率。1贾婧, 葛万成, 陈康力. 基于轮廓结构和统计特征的字符识别研究J. 沈阳师范大学学报: 自然科学版, 2006, 24(1): 43-46.任柯昱, 唐丹, 尹显东. 基于字符结构知识的车牌汉字快速识别 技术J. 计算机测量与控制, 2005, 13(6): 592-594.廉飞宇, 付麦霞, 张元. 基于支持向量机的车辆牌照识别的研究J. 计算机工程与设计, 2006, 27(21): 4033-4035.Al-Hmouz R, S Challa. Intelligent Stolen Vehicle Detection using Video Sensing C/ Proceeding of Information, Decision and Control. Adelaide, Qld., Australia. USA: IEEE, 2007: 302-307.LeCun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition C/ Proc. IEEE, 1998. USA: IEEE,1998: 2278-2324.Steve Lawrence, C Lee Giles, Ah Chung Tsoi, Andrew D Back. Face Recognition: A Convolutional Neural Network Approach J. IEEE Trans. on Neural Networks (S1045-9227), 1997, 8(1): 98-113.Lauer F, C Y Suen, Bloch G. A trainable feature extractor for handwritten digit recognition J. Pattern Recognition (S0031-3203),2007, 40(6): 1816-1824.Tivive, Fok Hing Chi, Bouzerdoum, Abdesselam. An eye feature detector based on convolutional neural network C/ Proc. 8th Int. Symp. Signal Process. Applic. Sydney, New South Wales, Australia. USA: IEEE, 2005: 90-93.Szarvas Mate, Yoshizawa Akira, Yamamoto Munetaka, Ogata Jun. Pedestrian detection with convolutional neural networks C/ IEEE Intelligent Vehicles Symposium Proceedings. USA: IEEE, 2005:224-229.Y Le Cun, U Muller, J Ben, E Cosatto, B Flepp. Off-road obstacle avoidance through end-to-end learning M. Advances in Neural Information Processing Systems. USA: MIT Press, 2005.2345678图 438 个识别错误的车牌字符模式4结论本文对卷积神经网络 LeNet-5 用于车牌字符识别进行了 各种研究。为了适应中国车牌字符识别的需要，对传统的卷 积神经网络 LeNet-5 的结构进行了改进。研究结果表明，改 进后的 LeNet-5 比传统的 LeNet-5 识别率有所提高，对收集 到的车牌字符样本识别的正确率达到 98.68%。并且从实验中 得到 LeNet-5 的分类性能与卷积层 C5 层特征图的数目有关。910(上接第 637 页)2004, 66(6): 469-478.Zhou J, Liu Z, Chen G. Dynamics of periodic delayed neural networksJ. Neural Networks (S0893-6080), 2004, 17(1): 87-101.Cao J, Li Q. On the Exponential stability and periodic solutions of delayed cellular neural networks J. Journal of Mathematical Analysis and Applications (S0022-247x), 2000, 252(1): 50-64.周立群, 胡广大. 具分布延时细胞神经网络的指数周期与稳定性J. 系统仿真学报, 2007, 20(10): 2511-2514. (ZHOU Li-qun, HU G.uang-da. Exponential Periodicity and Stability of Cellular Neural Networks with Distributed Delays J. Journal of System Simulation(S1004-731X), 2007, 20(10): 2511-2514.)10Guo S, Huang L. Periodic oscillation for a class of neural networks with variable coefficients J. Nonlinear Anal. (S0362-546x), 2005,6(3): 545-561.Guo S. Bifurcation analysis in a discrete-time single-directional141511network with delays71(7/9): 1422-1435.J.Neurocomputing(S0925-2312),2008,1612Cao J. New results concerning exponential stability and periodic solutions of delayed cellular neural networks J. Physics Letters A (S0375-9601), 2003, 307(2): 136-147.Sun C, Feng C. Exponential periodicity and stability of delayed neuralnetworks J. Mathematics and Computers in Simulation (S0378-4754),13 641 file:/D|/我的资料/Desktop/新建文本文档.txtAppliance Error (configuration_error)Your request could not be processed because of a configuration error: "Could not connect to LDAP server."For assistance, contact your network support team.file:/D|/我的资料/Desktop/新建文本文档.txt2012-07-12 20:42:52