交通道路标志牌检测与识别综述.doc

交通道路标志牌检测与识别综述一、 背景综述随着社会科技不断发展和进步，车辆已经普及到国内大部分家庭。汽车的普及极大方便了人们的出行、生活和工作，同时也不可避免的产生了很多的交通问题。据公安部交通管理局统计，2014年1月至10月，全国共发生道路交通事故426378起，造成87218人死亡、391752人受伤，直接财产损失20.2亿元。交通安全问题成为人们日常生活中最常见的问题之一，受到了政府、科研机构以及汽车生产厂家的高度重视。解决交通安全问题的途径之一是准确、有效地设立道路交通标志，为驾驶员提供丰富的禁令、警告、指示等信息，从而起到减少交通事故的作用。为了确保交通标志的信息能够及时、准确地传达，交通标志自动识别系统(Traffic Sign Recognition,TSR)受到了各国学者的关注，其主要功能表现在以下几个方面：(1)用于驾驶辅助。交通标志识别的概念最早就是作为驾驶辅助工具被提出的。TSR系统在识别出交通标志后，可对驾驶员进行语音或视频等方式的提醒，甚至可以在必要的时候对车辆驾驶系统直接做出控制，从而确保驾驶安全。(2)用于交通标志维护。由于交通标志通常放置于室外环境中，受自然环境(如风吹雨淋)及人为因素(如涂抹)影响，难免出现褪色、变形甚至坠落失踪现象，需要进行定期检查维护。通常，这一工作需安排专人专岗，工作量巨大且很难保证实时性和准确性。显然，一个有效的TSR系统是完成这一工作的理想方案。(3)用于无人驾驶技术。无人驾驶汽车在近年来受到了越来越多的关注。从上世纪90年代起，国内外相继研发出了一系列无人驾驶汽车，其智能化逐渐提高，能够自动规划路线，避让障碍物等。使无人驾驶汽车具备辨认交通标志的能力显然是使其实用化的一个重要步骤。TSR在计算机领域中是一个非常重要的分支研究领域，而图像检测以及处理是其主要手段，这是一个难度比较大的实景图形识别问题。在车载视觉系统中，如何有效地识别道路交通标志是一个非常重要的研究课题。TSR包括三个重要模块：图像复原、标志检测、标志分类。交通标志的外观受天气条件的影响很大，如在有雾的天气条件下，标志会变得比正常情况下的亮度更高、颜色更淡，而在沙尘天气下，交通标志会变得比正常颜色更黄。图像复原模块根据恶劣天气条件的生成模型，对输入的降质图像进行逆变换，得到相对清晰的图像，以使后续的标志检测、分类更加准确；标志检测模块负责找出输入图像中类似交通标志的区域，通常被称作感兴趣区域(Region of Interest,RO I)，并将这些区域送入标志分类模块；标志分类模块对每个ROI进行分析，判断出其中所包含标志的具体类别，最后输出结果。如下图所示，为TSR的总体框图。图 1-1 TSR的总体框图二、 交通标志简介交通标志是一种图形与文字相结合的公共标识，用图形符号和文字传递特定信息，用以管理交通、指示行车方向以保证道路畅通与行车安全的设施。有很显著的颜色和形状特征,起到指示、示和警示等作用。适用于公路、城市道路以及一切专用公路，具有法令的性质，车辆、行人都必须遵守。我国的交通标志有警告标志、禁令标志、指示标志、指路标志、旅游区标志、作业区标志、告示标志、辅助标志8种。下文对禁令标志、警告标志、指示标志三类标志进行简明扼要的介绍。（1） 禁令标志：起到禁止某种行为的作用。共有43种。禁止或限制车辆、行人交通行为的标志。除个别标志外，颜色为白底，红圈，红杠，黑图案，图案压杠；形状为圆形、八角形、顶角朝下的等边三角形。设置在需要禁止或限制车辆、行人交通行为的路段或交叉口附近。如图2-1所示的禁令标志，红色在自然环境下比较少见，故以红色作为特征颜色检测禁令标志通常具有较好的效果。图 2-2 我国的交通禁令标志（2） 警告标志：起警告作用。共有49种。警告车辆、行人注意危险地点的标志。颜色为黄底、黑边、黑图案，形状为顶角朝上的等边三角形。如图2-2所示的警告标志，由于外沿与图案的颜色均为黑色，某些图案面积较大的标志与外沿几乎相连，给检测带来一定困难。图 2-3 我国的交通警告标志（3） 指示标志：起指示作用。共有29类。指示车辆、行人行进的标志。颜色为蓝底、白图案；形状分为圆形、长方形和正方形；设置在需要指示车辆、行人行进的路段或交叉口附近。指示标志没有特定的外沿颜色，某些标志的图案几乎将蓝底分为了几个部分，给检测带来一定困难。图 2-4 我国的指示标志其他国家的交通标志与中国的标志非常类似，只是警告标志的颜色与中国不同，通常为红色外沿、白底、黑色图案。三、 图像复原算法研究现状常见的恶劣天气条件主要有雾、霾、沙尘、雨雪等几种。雨和雪由于颗粒较大，且比较稀疏，对交通标志的影响主要表现为遮挡，相当于在交通标志上加入了噪声干扰，因此可以简单地对图像进行边缘保持的滤波，如中值滤波、双边滤波(Bilateral Filter)等，一般可较好地复原图像。而雾、霾、沙尘颗粒小且浓密，光线通过有雾或沙尘的大气时，会产生较明显的折射和散射作用，使交通标志的颜色发生变化。因此，简单的滤波类算法很难较好地复原雾和沙尘图像。以下着重分析雾和沙尘图像复原算法的研究现状。由于有雾或沙尘的图像对比度下降，因此用图像增强算法恢复这类图像是一种比较直观的想法。Land根据人类视觉系统从不同光照条件下提取彩色信息的原理提出色彩不变性模型Retinex，具有压缩图像动态范围，保持色彩不变的特点，可有效增强因光照不均匀形成的低对比度图像。Chen和芮义斌分别用单分辨率Retinex(Single-Scale Retinex,SSR)和多分辨率Retinex(Multi-Scale Retinex,MSR)对有雾图像进行增强，取得了一定的去雾效果。直方图均衡化是一种有效提升图像对比度的方法，北京航空航天大学艾明晶等提出采用块部分重叠的直方图均衡化方法复原雾天图像，能够有效突出图像的局部细节信息，从而起到去雾效果。该方法速度较快，能够满足实时处理的要求。曲波变换是一种在小波变换基础上发展起来的新的多尺度分析方法，由于它特别适合于各向异性特征的信号处理，因此是对小波变换在图像边缘增强方面局限性的一个很好弥补。Brian Eriksson利用曲波变换这一特点，通过检测曲波的消失点实现了图像的去雾。图像增强算法虽然能够增强有雾或沙尘图像的对比度，却不能保证真实地还原出图像色彩，在特定条件下易出现明显的颜色失真。因此，人们对雾或沙尘图像的成像原理进行了研究，建立了相应的物理模型。根据图像的特定特征估算出模型的参数，并对降质图像进行逆变换，以期得到更加真实的复原图像。董涛、王挥等认为雾天图像的降质是由于大气湍流和气溶胶引起的。通过分别估计湍流传递函数和气溶胶传递函数，并用二者的乘积作为总的大气调制传递函数，之后在频域内根据大气调制传递函数对降质图像进行复原，并对降质过程引起的衰减进行补偿，取得了一定的复原效果。Tarel提出了一种快速的基于单图像的去雾算法。该算法也基于物理模型，但没有采用全局最优化方法，大大提高了处理速度，可以接近满足实时处理要求。但该算法的处理效果比暗通道假设算法略差。 综上，对现有的较具代表性的雾天、沙尘图像复原算法总结于表3-1。复原算法优点缺点Retinex有效增强图像对比度复原的图像真实感较差直方图均衡化速度快，有效增强对比度复原的图像真实感较差曲波变换有效增强图像的细节复原的图像真实感较差大气调制传递函数较好的去模糊效果需要估计雾气浓度和场景深度，不易实现Tarel 的算法处理速度快处理效果略差表 3-1 现有雾天、沙尘图像复原算法的特点现有的雾天、沙尘图像复原算法均存在一定局限性。从去雾效果的角度比较，最大化对比度与暗通道假设算法处于现有算法中的领先地位，但速度较慢，无法用于驾驶辅助等高实时性应用场合。而 Tarel的算法虽然速度较快，但以牺牲去雾效果为代价。其他算法或处理效果不够真实，或受限于实施难度大，均不适合驾驶辅助场合。四、 交通标志检测的研究现状一般来说，交通标志识别系统包括路标检测和路标分类两个阶段。在路标检测阶段，系统会在图像中搜索路标。在各类文献中，图像分割被广泛应用于路标检测阶段中。这里主要有三种办法来实现对路标的分割：1) 对灰度图像进行边缘检测，然后进行分析2) 直方图阈值法3) 特征提取和聚类在分类阶段，系统会对检测阶段发现的区域进行分析，然后辨别出路标。常见的分类方法如下：1) 神经网络(NN)2) 最近邻分类器3) 支持向量机(SVM)4) 遗传算法(GA)5) 基于相关的模式匹配在处理灰度图像时，是基于形状的特点进行对路标搜索，计算量是十分庞大的。对于实现快速检测路标，一些方法是基于形状识别发展的，是因为作者们认为基于颜色分割的检测是不可靠的（比如，距离、天气、灰尘和路标使用的时间都会对路标的色彩产生变化和影响）。比如，Barnes等人提出了一种使用后验概率(posterior probability)的路标检测算法，它是基于路标的位置和角度信息的。文献使用了自组织神经网络( self-organization map,SOM)的方法提取轮廓线，然后识别路标的形状。文献应用了图像的梯度方向的几何模型识别三角形路标。Loy和Barnes实现了一种基于快速辐射对称(fast radial symmetry)的算法，它使用边缘方向的模式检测三角形、正方形和六边形的路标。然后，基于梯度的特征检测办法对于噪点处理不佳，很多形状检测器在计算超大图像时速度很慢。在直方图阈值法中，有两种方法。即，使用标准颜色空间和进行更加彻底颜色空间的研究。文献提出了使用RGB分量之间的差别来进行路标的分割。文献在RGB空间上直接进行二值化，然后进行形状分析来检测路标，使用神经网络进行分类。对于禁令标志、警告标志和指示标志的检测，Kang-Hyun使用RGB颜色分割，使用形状分析来识别。近几年以来，在物体检测中被广为接受并且使用的方法之一就是图像特征聚类。Bahlmann等人使用一系列对颜色敏感的哈尔小波特征来检测路标，这些特征是从AdaBoost训练和时态信息传播过程中得到的。Gome z等基于一套完整的交通标志检测和分类系统，对各种颜色空间下的最终识别结果进行了比较，认为归一化RGB空间和HSV空间的检测结果相似，优于其他颜色空间。在颜色提取之后，通常需要将颜色相同，位置临近的点合并为感兴趣区域。Escalera等采用角点检测的方法在相近颜色点组成的二值图像中寻找感兴趣区域，但无法克服遮挡问题。区域生长是一种使用较多的方法，一些算法利用区域生长的方式将相近颜色点连成区域，得到一系列连通域，而后判断各连通域的大小和纵横比，从而快速排除部分虚警情况。经过大小、纵横比等简单判据筛选后，通常仍存在大量虚警情况，若直接输出为感兴趣区域，则给后级的分类模块带来很大负担。因此，众多算法通过判断连通域的形状实现进一步筛选。Maldonado等提出Dt B(Distance toBound ing Box)特征，通过计算连通域边缘到能覆盖它的最小矩形的四条边的距离，结合线性支持向量机(SVM,Support Vector Machine)对连通域的形状分类，若非交通标志形状，则将其筛除。Gil等计算连通域的中心到其所有边缘的距离，形成一条一维曲线，并计算其FFT幅度特征，而后采用最近邻分类或神经网络分类器进行形状判别，获得了良好的平移、旋转不变性。Xu采用正切函数特征，将连通域边缘曲线每个点的切向角的正切值组成一个特征向量，并通过模板匹配完成分类。虽然基于颜色的方法通过各种方式增强了颜色提取的可靠性，但在特殊条件下，如严重背光或标志褪色时，基于颜色的方法普遍会出现不稳定甚至漏检。此外，当多个交通标志连接在一起或背景颜色相似时，连通域的提取通常会遇到困难，导致基于颜色的检测方法出现漏检。而基于形状的检测算法则通常可以较好地解决这些问题。Gavrila提出一种基于距离变换的检测方法。先检测出图像的边缘，然后得出图形中每一个点到边缘的距离图像，最后用标准形状的距离图作为模板，用不同的位置、旋转角度以及尺寸与在前面得出的距离图像进行模板匹配，从而找出满足交通标志形状的区域。该方法的主要问题是运算量大，无法满足实时处理要求。霍夫变换是一种有效的检测直线、圆等参数化曲线的方法，在交通标志检测中具有广泛应用。但霍夫变换运算量大、存储空间要求高的问题使其不易满足实时处理的要求。为提高算法的运行效率，Garcia等在限定的区域内用霍夫变换检测圆形标志。Loy等提出了一种霍夫变换的改进算法，被称作快速径向对称算法。该算法利用圆形径向对称的特点，通过计算边缘点的梯度方向，大大降低了霍夫变换的运算量。Ruta在此基础上结合了颜色信息，进一步提高了算法的效率。Barnes等对镜像对称算法进行了扩展，使其可应用于三角形和正方形标志的检测，但准确率和速度都与圆检测有一定差距。Belaroussi等提出了另一种霍夫变换的改进形式，可以实时检测三角形标志。基于霍夫变换的方法对遮挡等问题具有较好的适应能力，但当视角发生倾斜时，交通标志的形状变为椭圆或非正多边形，此类算法的漏检率明显提升。遗传算法是另一类能够有效检测形状的方法。Aoyagi等先用拉普拉斯核滤波的方式提取出感兴趣点，生成一副二值图像，之后用遗传算法进行启发式搜索，找出其中的圆形。Escalera等首先找出感兴趣的颜色区域，而后对每个区域进行平移、旋转、尺度的变换，用遗传算法估计参数，可有效应对由视角倾斜引起的标志变形。遗传算法的缺点是速度较慢，每次只能检测一个标志，多标志检测时需要多次调用，不适合于驾驶辅助等高实时性要求的场合。除基于颜色和形状的检测算法外，近年来也出现了一些基于模板的检测算法。这类方法通常在一个滑动的窗口中对窗口内图像进行分类，判断其是否为交通标志。其典型代表为基于Harr特征和基于方向梯度直方图的检测方法。Harr特征最早用于人脸检测，利用积分图像实现高效特征提取，而后用级联的boost分类器实现快速窗口筛选。一些算法用Harr特征在特定的颜色通道中检测交通标志，取得了良好的效果。方向梯度直方图(HOG,Histogram of Orientated Gradient)是一种区分力很强的形状描述子，最早被用于行人检测，通过与SVM配合，可实现很高的准确率。Yuan等在灰度图像中提取HOG特征，并用线性SVM分类，取得了较高的准确率。Creusen等分别计算RGB三个通道上的HO G特征，进一步提高了准确率，代价是运算量明显提高。Gao等未使用SVM，而是通过计算相似性系数对HOG特征分类，以提高检测速度。提高速度的另一个策略是用boost方法将一系列基于HOG的分类器级联，实现由粗到精的快速窗口筛选，一些算法采用这一策略实现了实时检测。三大类交通标志检测算法各自的优缺点总结于表 4-1优点缺点基于形状的检测对光照、遮挡、相邻标志影响等问题适应能力强速度较慢，多数方法对视角倾斜适应能力较差基于颜色的检测速度快，对视角倾斜、轻度遮挡的适应能力较强对光照条件敏感，易受背景及相邻标志的影响基于模板的检测检测精度高，能适应光照、遮挡等多种不利条件速度较慢，不同标志需要不同特征，不适合嵌入式应用表 4-1 三类交通标志检测算法的特点总结 五、 交通标志识别的研究现状交通标志分类是 TSR系统的最后一个步骤，负责对感兴趣区域进行准确分类，剔除不是交通标志的区域。常用的分类方法有模板匹配法，神经网络分类法，支持向量机分类法等。模板匹配法是一种较直接的方法。Piccioli 等利用标准模板与输入图像进行互相关运算，可适应不同的光照强度。然而，模板匹配法要先将待分类图像与标准模板配准。在很多情况下，如交通标志有形变或背景复杂时，配准十分困难。一些算法对输入图像进行距离变换，一定程度上提高了算法对小形变的适应能力。相比于模板匹配法，特征提取+分类器的分类模式在近些年的目标识别算法中更常被使用。利用一些具有旋转、尺度甚至仿射等不变性的特征，再配合适当的分类器进行分类，通常可以大大提高分类算法的正确率。Fleyeh等先将待分类图像缩放至固定尺寸，再用PC A(Principal Component Analysis)算法提取待分类图像的特征值，组成特征向量送入分类器(具体分类器文中未提及)，获得了较高的识别率。由于PCA对旋转敏感，导致该算法同样需要配准输入图像。此外，当交通标志被局部遮挡时，该方法的识别率下降较多。一些算法提取待分类图像的SIFT(Scale-invariant Feature Transform)特征，并送入多层神经网络分类。SIFT特征通过多尺度分析提取输入图像中在各尺度下均显著的点作为特征点，从而具备了平移、旋转、尺度的不变性。然而，由于SIFT特征对图像的质量要求较高，当输入图像分辨率较低(如视频图像)时，SIFT特征提取的精度严重下降，影响分类正确率。 Doubille用不同分辨率的Gabor小波作为特征训练神经网络，可抵抗复杂背景和形变的情况，不仅得到了较高的分类正确率，且处理速度较快。中南大学的谷明琴等同样采用Gabor小波作为特征，但以线性支持向量机作为分类器，也取得了较好的分类结果。Maldonado等利用Dt Bs特征获得了旋转和尺度的不变性，用线性支持向量机判断待分类图形的形状，再将形状内的点组成特征向量送入一个高斯核支持向量机作最终分类。该方法具有平移、旋转及尺度的不变性，且可以抵抗一定程度的局部遮挡，但速度较慢，达不到实时处理的要求。Adaboost 算法是一种分类器增强方法，通过训练多个级联分类器实现分类性能的增强。浙江大学的何耀平等融合Adaboost 算法与支持向量机分类器，实现了较高的分类正确率及较快的分类速度。上述算法的分类结果多数来自于未公开的数据库，导致无法对各算法的性能进行直接比较。六、 实验结果及分析我们的程序简单实现了对限制标志的检测，采用基于颜色的路标检测方法，在图像分割后，再采用几何的方式，提取轮廓。以下分情况说一下实验结果：1. 简单背景原图颜色分割边缘检测轮廓检测输出结果2. 正常背景3. 晚上4. 复杂背景5. 连体实验结果分析：由上几组实验结果可以看出，程序对于处理简单背景时，颜色分割效果还是不错，对于复杂背景和夜晚时处理效果差。颜色分割提取轮廓之后，对于形状以及轮廓的分析时，程序效果差，不能够准确分析圆形、三角形等几何图形。七、 总结与展望程序简单实现了对于路标的检测，但存在着以下问题：1) 只能单独分离红色，不能同时处理蓝色和黄色等其他颜色；2) 对于复杂背景、夜晚，颜色分割效果不佳，分割算法需要改进；3) 轮廓检测算法未能有效准确分析几何图形，需要改进；4) 分离红色的HSV阈值，需要通过实验确定具体数值；5) 对于识别模块的算法和特殊天气下的情况还未实现。对于路标的检测，国内外已进行深入的研究，但是由于技术细节未公开，根据论文实现还存在困难。纵观国内外的学术论文，还未存在漏检率低、误检率低同时具有高实时性的算法，对于路标的检测还存在着很大的发展和探索空间。参考文献1Land E.The RetinexJ.American Scientific,1964,52(2):247-264.2C hen X,Yan X,Chu X.Fast Algorithms for Foggy Image Enhancement Based on ConvolutionC. International Symposium on Computational Intelligence and Design,2008:165-168.3芮义斌,李鹏,孙锦涛.一种图像去薄雾方法J.计算机应用,2006,26(1):3.4艾明晶,戴隆忠,曹庆华.雾天环境下自适应图像增强去雾方法研究J.计算机仿真,2009(07):244-247.5郭璠,蔡自兴,谢斌,et al.图像去雾技术研究综述与展望J.计算机应用,2010,30(9):2417-2421.6Eriksson B.Automatic image de-weathering using curvelet-based vanishing point detectionEB/O L.2010.7禹晶,徐东彬,廖庆敏.图像去雾技术研究进展J.中国图象图形学报,2011(09):1561-1576.8董涛,董慧颖.基于大气调制传递函数的天气退化图像复原方法研究J.沈阳理工大学学报,2006,25(5):4.9王挥,刘晓阳.利用大气调制传递函数复原天气退化图像J.沈阳航空工业学院学报,2006,23(5):3.10Tarel J P,Hautiere N.Fast visibility restoration fro m a single color or gray level imageC.Proceedings of t he IEEE Inter national Conference on Computer Vision,2009:2201-2208.11V. Andrey and J. Kang-Hyun, “Automatic detection and recognition of traffic signs using geometric structure analysis,” in Proc. SICE-ICASE Int.Joint Conf., 2006, pp. 14511456.12T. Ueta, Y. Sumi, N. Yabuki, and S. Matsumae, “A study on contour line and internal area extraction method by using the self-organization map,”in Proc. Int. Symp. Intell. Signal Process. Commun. Syst., Tottori, Japan,2006, pp. 685688.13R. Belaroussi and J. Tarel, “Angle vertex and bisector geometric model for triangular road sign detection,” in Proc. Workshop Appl. Comput. Vis.,2009, pp. 17.14G. Loy and N. Barnes, “Fast shape-based road sign detection for a driver assistance system,” in Proc. IEEE Conf. Int. Robots Syst., 2004,pp. 7075.15M. Benallal and J. Meunier, “Real-time color segmentation of road signs,”in Proc. IEEE Can. Conf. Elect. Comput. Eng., 2003, pp. 18231826.16A. Broggi, P. Cerri, P. Medici, P. Porta, and G. Ghisio, “Real time road signs recognition,” in Proc. IEEE Intell. Vehicles Symp., 2007,pp. 981986.17A. Escalera and L. Moreno, “Road traffic sign detection and classification,” IEEE Trans. Ind. Electron., vol. 44, no. 6, pp. 847859, Dec. 1997.18V.Andrey and J.Kang-Hyun,“Automatic detection and recognition oftraffic signs using geometric structure analysis,”in Proc.SICE-ICASE Int.Joint Conf.,2006,pp.14511456.19202122151515151515