多目标人脸检测方法研究.docx

摘要随着信息技术的飞速发展，人脸检测是计算机机器视觉的重要研究领域，视频安全监控系统中通常需要针对多个目标的人脸图像进行检测，所以社会发展生产生活离不开多目标人脸检测技术。多目标人脸检测技术在生物检测识别技术迅猛发展的今天，应用尤为广泛。多目标人脸检测是指输入图像内包含多个人脸图像，基于人脸图像进行人脸特征点定位构造几何特征向量进行人脸图像的进一步验证和匹配识别。人脸的几何特征可用于人脸检测，是一种稳定的面部特征，对于多目标的人脸检测技术具有实用的价值和研究意义。本文针对多目标人脸检测方法进行深入研究，基于视频序列图像研究人脸检测，人脸特征点定位，几何特征向量的人脸匹配识别的方法。首先基于视频序列的连续帧图像采用AdaBoost检测算法实现多目标人脸图像的粗定位，包括个数、位置及大小，分析人脸检测算法适用的人脸图像的分辨率、左右旋转角度、上下仰俯角度以及视频序列人脸图像的漏检与误检情况；其次基于灰度统计和面部结构的分布规律进行人脸的特征点定位，包含眼睛、鼻子及嘴等特征点，特征点定位进一步验证人脸检测的准确性；最后根据特征点间连线的距离值构造几何特征向量，特征向量能够全面反映人脸的比例关系以及器官属性，通过计算人脸几何特征向量的加权欧氏距离进行身份识别。采用多目标人脸检测技术在视频图像进行实验，可以达到良好的多目标检测效果。实验表明，多目标人脸检测方法可以有效的对视频序列中不同光照、姿态、表情的人脸图像进行检测，对连续帧图像的多目标人脸图像进行动态分析，有较高的检测率和较好的鲁棒性。关键词：多目标，人脸检测，特征点定位，几何特征向量，相似度判断IAbstractWith the rapid development of information technology, face detection is the important research field of computer vision, video security monitoring system usually need to detect multi-face images. So the development of society production and living inseparable from multi-face detection technology. The multi-face detection technology in the biometric identification technology rapid development today, is widely applied. Multi-face detection refers to contain more than one face image within the input face image, based on the facial feature points location and geometric eigenvectors of face image further verification recognition and matching. Facial feature information and geometrical characteristics can be used for face detection, is a stable facial features. The geometrical characteristics of the human face for multi-face detection technology has the practical value and significance.This paper makes a deep research for multi-face detection, involved in face detection and facial feature points localization and the recognition of the facial geometric eigenvectors based on video sequence. First, this paper presents the face detection based on AdaBoost algorithm to detect many faces, include the size and location information. Through lots of face images in video sequence,it can find that AdaBoost face detection algorithm is effective to detect the facial images with the resolution ,rotation angle in left and right side, pitching angle and so on. As well as analysis of face detection algorithm the most suitable occasion. Secondly,the feature points positioning based on gray statistic and the distribution of face, realize the facial eye and nose and mouth feature location.Facial feature points location results directly verify the accuracy of face detection. Finally, the geometric eigenvectors composed of the distance between the facial feature points, it can comprehensive reflect the facial proportion relationship between organs and properties. By calculating weighted Euclidean distance between the facial geometric eigenvectors, it is used to identify the multi-face images of video sequence.To experiment on video image with multi-face detection method discussed above, achieved a good multi-face detection. Extensive experiences and analysis illustrates that these methods can be applied different expressions and rotation angle and size of face detection, realize the dynamic analysis of successive frames multi-face image. Multi-face detection can be effectively realized face detection with high detection rate, speed, strong robustness.Key Words: Multi-objective, Face detection, Facial feature points localization, Geometric eigenvectors, Similarity judgmentIIII目录摘要IAbstractII第1章 绪论11.1 人脸检测方法研究的目的及意义11.2 多目标人脸检测方法研究动态21.2.1 多目标人脸检测的研究现状21.2.2 多目标人脸检测研究内容41.3 本文工作概述和结构5第2章 基于AdaBoost人脸检测方法研究72.1 AdaBoost人脸检测算法原理72.1.1 积分图与矩形特征82.1.2 分类器的设计102.2 人脸检测算法分析112.2.1 人脸检测算法适用条件112.2.2 视频序列人脸检测算法漏检与误检分析142.3 基于AdaBoost算法人脸图像的粗定位152.4 本章小结19第3章 人脸特征点定位方法研究203.1 人脸特征点的选取203.2 眼睛特征点定位213.3 鼻子特征点定位243.4 嘴的特征点定位253.5 人脸特征点定位结果与分析263.6 本章小结30第4章 人脸几何特征向量的匹配识别314.1 人脸几何特征向量的构造314.2 特征向量相似度的计算324.3 特征向量的相似度分析374.4 本章小结39第5章 视频序列多目标人脸检测实验与结果分析405.1 基于视频序列多目标人脸检测405.2 视频序列多目标人脸检测结果与分析415.3 本章小结47第6章 结论48参考文献50在校研究成果53致谢54V第1章 绪论1.1 人脸检测方法研究的目的及意义人脸检测是生物检测技术的一个重要方向，因其操作简单、直观、非接触等特点作为选取生物特征主要考量的关键，信息系统的安全保障性主要利用人脸的视觉特征信息进行检测、识别以及分析，由于人脸图像蕴含着丰富的信息，所以多年来一直受到研究者的青睐，投入大量的精力深入探索。人们日常的生活生产以及社会的发展离不开学科技术对人脸图像的研究，尤其随着对人脸检测技术的研究不断深入，提取和处理简单环境和复杂环境下的人脸图像成为计算机视觉系统中重要的研究领域1。单目标的人脸检测系统是最初的应用领域，以往单目标的人脸检测是模式识别以及图像处理领域的主流研究课题2。单目标的人脸检测(Face Detection)即判断图像中人脸的存在，确定人脸的数量，位置及大小，并从背景中分离出来。人脸的唯一性决定人脸检测技术在隐私性、安全性强的邻域有着更为广泛的应用，与其他的生物特征相比，例如掌纹、指纹、静脉、虹膜等生物特征人脸具有非接触性的强大优势，更易于被各领域所接受3。访问限制、司法领域、电子商务、视频监控等都在个人身份识别应用范围之内4。随着技术的不断深入改革，单目标的人脸图像检测无法满足社会科技的发展，单目标已无法满足科研者的需要，多目标的人脸检测技术更是成为研究的热点。多目标人脸检测成为一个亟待深入挖掘的生物检测领域，多目标的人脸检测技术不仅应用在国际公共安全防护系统；在日常身份验证、公安抓捕罪犯、金融持卡人安全防护等重要的各个领域中有着极其现实的应用价值，多目标的人脸检测速率和准确率都是主要的研究方向。多目标的人脸检测是指待检测的图像中包含多幅人脸图像，将检测出的人脸部分提取出来，与此同时人脸图像检测的结果与提取图像的质量直接关系到人脸检测技术的整体水平5。其次，基于人脸部分的检测结果进行人脸特征点定位检验，特征点定位能够展现面部的特征信息。人脸的特征点定位不仅可以应用在人脸姿态与表情分析，还可以对图像中的人脸实时跟踪6。最后利用提取的几何特征信息进行匹配识别，对人脸图像的特征数据进行变换找到能够反映本质的特征。由人脸检测、人脸特征点定位以及人脸几何特征向量匹配结合的多目标人脸检测方法，不仅系统有着易于大众接受、操作方便、方便进行检查与验证等优点，同时还可以实现视频序列中多目标的人脸图像的动态分析。总体来说，多目标的人脸检测技术将图像处理、模式识别、计算机视觉以及数学等诸多学科融为一体，具备十分广泛的应用价值。由此可见，通过大量的资料研究得出多目标的人脸检测方法的研究课题具有现实的研究意义、必要的技术研究、学术价值以及无限的前景，必将成为信息技术发展炙手可热的研究课题，因此多目标人脸检测方法的研究题目的选择具有研究的价值和必要性。1.2 多目标人脸检测方法研究动态1.2.1 多目标人脸检测的研究现状多目标的人脸检测的方法研究中，人脸检测是首要的技术步骤也是人脸图像处理、人脸识别、人脸特征提取、人脸追踪的必要工作，检测技术可以作为单独的一项研究也可以与识别、跟踪相结合应用7。多目标人脸检测是实现单目标人脸检测的并行计算。人脸检测方法的研究蓬勃发展于20世纪90年代，在人脸检测领域取得了卓越的学术成果8。该技术主要是利用计算机对人脸图像进行分析并提取人脸的位置、姿态等信息，利用不同的提取特征的方法深入分析生物特性。随着计算机硬件和软件水平整体提高，人脸检测系统中鲁棒性这一性能成为技术发展的关键之举9。20世纪90年代以来，人脸图像的整体检测和部件单独分析相结合的研究方法成为各研究人员关注的热点，主要利用人脸的各类特征信息，结合人脸的结构特征、分布规律、统计规律等等提出众多新的人脸检测的算法10。M.H11采用稀疏逼近的窗口网络的学习方法、Sung采用特征矢量训练出判断人脸的方法、S.C等人基于二维离散余弦变换的方法实现人脸检测。在2001年人脸检测技术开始向现实领域拓展，将人脸检测的领域不断应用在实际的生产生活中12。目前多目标的人脸检测领域主要有两个研究方向：第一种是1991年Turk 和Alex Pent-land13采用 K-L变换的方法提取人脸的整体生物特性，将主成分分析（Principal Component Analysis）引入到人脸检测系统中14。PCA主要是对矩阵做变换和投影提取人脸的代数特征。如Bledsoe15提出了一种基于人脸特征间距、比例的半自动下的人脸检测和识别系统。Sung 等提出了人脸图像样本到各类中心距离训练的学习方法；第二种是基于特征分析，描述脸部特征的形状参数或者类别参数等组成人脸检测与识别向量，能够保留人脸图像之间的拓扑关系。通过对部件分析提取局部特征信息以及灰度统计规律，实现部件的检测16。基于部件特征提取局部的轮廓和灰度信息的算法不断推陈出新。Lam 17提出一种基于整体分析与局部分析相结合的人脸检测方法。针对视频序列的多目标人脸检测是视频监控对图像序列的视觉分析过程，主要的任务是分析视频序列中目标的行为特征。视频序列的多目标人脸检测的方法可以有很多种类，介绍3种基于视频序列的多目标人脸检测方法，主要分为光流法、背景减差法、帧差法18。（1） 光流法光流法是传统的视频序列连续目标的检测算法之一，由于视频序列是连续帧的静态图像，人脸图像在每一帧图像上不断的运动，相应的人脸亮度模式也在变化。光流法的检测原理基于变化的人脸图像随时间变化的光流特性，利用位移向量的光流场定位人脸的外部轮廓，基于外部轮廓实现多目标的人脸检测。基于光流法的多目标检测打破视频帧间的运动干扰，能够处理间隔很大的位移，不过光流法的计算量很大，比较复杂同时噪声影响很大，无法实现多目标的实时检测。（2） 背景减差法静止背景下的多目标检测的常用方法是背景减差法。背景减差法的核心思想是将帧图像与背景作差，选取阈值判断差分的图像是否是运动目标，检测出多目标的位置、大小及形状特征信息。背景减差法的优点在于操作简单、计算量较低、检测速度比较快，然而却容易受到光照的影响，降低检测率。所以，背景减差法对背景的更新机制有更为严格的要求。（3） 帧差法帧差法最直接的应用是检测视频序列中连续帧之间多目标图像变化情况。帧差法采用计算两帧图像之间对应像素点间的灰度差分，计算阈值提取目标。三帧差法改进了帧差法中检测目标过大的现象，将第k帧图像与第k-1帧、第k+1图像与第k帧图像分别作差用二值差分图像。帧差法实现视频序列的多目标检测对场景的光照情况不敏感，有较好的鲁棒性，检测效果稳定，但是无法提取具体的特征像素，容易产生空洞现象，尤其图像之间间隔过大，目标运动速度过快会造成检测不准确。多目标人脸检测技术应用广泛，针对多目标下各种姿态都能够实现快速有效的实时人脸检测。目前针对多目标人脸检测方面的研究国内外学者取得大量的研究成果。在现实的应用方面，现今流行一些数码产品，例如相机、手机等可以再拍摄过程自动实现人脸进行对焦，美国Visionics 公司提出了一整套基于局部特征分析（Local Feature Analysis）算法的人脸检测系统；Visage Gallery身份验证系统；国外手机操作系统基于Eigenface技术推出手机人脸解锁的功能。在国内研究学者的不懈努力下，我国在多目标人脸检测技术的研究领域也取得巨大的成就。2013年辽宁省大连市使用人脸识别技术作为机场安检防护手段、公安部采用人脸识别技术作为追捕逃犯、防止恐怖势力和维护国家安全的重要手段；同时在学术研究方面，以北京大学、清华大学和中科院为首的许多科研人员都在从事人脸检测研究，关于图像处理、计算机模式识别、生物识别的国际高质量的论文发表情况也是令人自豪的19。1.2.2 多目标人脸检测研究内容多目标的人脸检测方法的研究主要包括如下内容：（1）人脸检测目前以不同视角和背景下的人脸检测为主流研究课题，人脸检测主要是受光照、姿态、表情的影响，人脸检测的精确度是研究过程中的重要指标，研究者提出各类算法的最终目的是提高人脸检测精度。从人脸检测技术的发展方向来看，大致可将检测技术分为基于特征的方法和基于图像的方法两大类20。人脸的肤色、对称性、结构特性都是人脸模式特征的主要因素，肤色特征是能够迅速定位到人脸的一种方法，不考虑人脸面部的细节特征，从而对面部表情的多姿态变化有着更好的鲁棒性，高斯肤色模型、混合高斯肤色模型21以及直方图肤色模型是建立肤色模型的主要三种肤色模型，还包括基于神经网络的肤色模型、基于贝叶斯的方法肤色模型，肤色模型与色彩空间息息相关；另一方面基于图像的方法进行人脸检测，检测的实质是统计模型的建立，通过选取不同的统计方法进行二分类，基本思路是采用小窗口扫描搜索人脸区域22。无论是基于特征还是图像都有各自的优点或缺点，基于特征的方法有较好的检测速度，而基于图像的方法更为可靠。基于人脸检测的发展之下，Govindaraju等提出基于检测椭圆来进行人脸检测，通过边缘检测、提取边缘曲线特征和评估人脸曲线来检测人脸；Lee等利用建立肤色模型将人脸从复杂的背景中检测和分离出来；Zabrodsky等基于检测圆形区域的方法提出对称连续检测23，判断人脸的存在与否；Marques采用分割投影实现人脸检测；P.Viola提出的AdaBoost人脸检测算法是目前人脸检测研究的关键，应用最为广泛。（2）人脸特征点定位基于人脸准确检测之下，提取人脸的特征主要包括几何特征、代数特征提取方法。几何特征能够反映人脸器官几何联系和器官的本身属性，人脸特征点之间的欧氏距离、长度、面积、角度以及曲率都是几何特征主要参数。针对人脸的局部特征点定位包括基于轮廓检测的眼睛定位算法24、基于区域投影的人眼精确定位算法25、基于改进型抛物线Hough变换的眼睛特征点定位等等26，主要涉及双眼定位、眼睛区域分割、人眼特征提取三个方面，一种彩色空间分布的嘴巴定位，基于纹理分布特征的虹膜识别算法以及基于Gabor小波的人脸特征提取等等，由于局部定位是针对部分人脸器官，所以人脸特征点的数量有限，不能全面的满足人们对特征点的需求。全局的特征点定位方法可以定位多个特征点，将输入的人脸图像视作整体的变量，通过分析建模提取目标特征信息，包括人工神经网络（ANN）、支持向量机(SVM)等统计模型算法，但是一般此类方法的缺点是计算量大、系统耗时长。Kanada27最早提出对二值图像使用积分投影函数提取人脸指定的特征点，Poggio和Brunelli28又对算法进行了改进，使算法对光照的适应性增强；Feng等提出利用特征方向上的像素灰度值方差提取特征，算法对复杂背景下的人脸特征提取鲁棒性增强；Mohamed Rizon采用边缘信息、色度和谷算子进行人眼定位，但是受光照和速度的影响很大，不够稳定，运算量比较大。（3）人脸识别人脸识别技术的应用范围很宽阔，包括表情识别、姿态分析、脸部合成、人脸融合等方面，人们提出不同的算法提取出的人脸特征信息，按照一定的分类策略与各个人脸的特征信息进行对比29。人脸识别的种类也是多种多样的，包括复杂背景和简单背景、静态动态图像、彩色灰色图像等等。人脸识别是人脸图像处理的复杂任务，起始于20世纪60年代涌现出许多人脸识别的方法和思路，发展阶段历经人脸正面的识别过程、多表情多姿态的识别、动态跟踪人脸识别、人脸的三维识别30。Zhao H T提出一种改进的优化子空间的线性判别分析方法，在人脸数据库中进行测试取得较好的识别率31；Cottrell等使用级联BP(Back Propagation)神经网络对受损的人脸图像、光照影响严重的人脸图像进行人脸识别；Jonsson提出支持向量机分类能够识别不同的人脸，但支持向量机方法求解过程复杂、耗时无法预测甚至无法执行程序32；Lai将小波变化、傅里叶变换以及平面几何变换相结合的方法识别人脸。随着现代计算机视觉技术不断成熟和完善，人脸识别技术已向三维方向发展，由此人脸技术的发展空间很大33。目前人脸识别方法的实现常常需要训练人脸样本，但是样本的采集和建立都是复杂的过程，耗费大量的时间和精力。随着信息技术的不断发展，多目标的人脸检测基于选取的图像作为模板，大大的缩短了时间，是人脸识别的重要研究方向之一。1.3 本文工作概述和结构本文主要针对多目标人脸检测方法的研究。首先将视频序列转换为一帧帧连续的静态图像，对选取的第一帧图像进行人脸的粗定位，包括位置及大小，基于第一帧的人脸图像作为多目标人脸检测的模板；其次利用灰度统计和五官分布规律结合的方法定位双眼瞳孔、眼角点、鼻尖、嘴角点以及嘴中线点等10个特征点提取人脸的特征信息构造特征向量；最后基于几何特征向量的人脸识别方法构造7个人脸几何特征向量，计算该图像的几何特征向量与模板人脸图像特征向量之间的加权欧氏距离，选取最优阈值作为匹配的依据，对后面输入图像中的人脸图像进行检测以及定位。本文结构安排如下：第一章介绍多目标人脸检测方法研究的目的、意义以及国内外研究动态，介绍了多目标人脸检测研究内容包括人脸检测、人脸特征点定位以及人脸匹配识别的研究方法进行分析，最后介绍了本文的研究内容和结构安排。第二章介绍基于AdaBoost算法实现多目标人脸检测的粗定位。首先介绍AdaBoost算法以矩形特征为基础分类器的构造；其次针对视频序列的人脸图像对AdaBoost检测算法进行分析，分析检测人脸图像的适用条件以及视频序列人脸检测出现的漏检与误检分析；最后结合视频序列对多目标人脸图像的检测结果与分析。第三章介绍基于人脸图像粗定位基础之上，实现人脸的特征点定位。首先基于AdaBoost实现人脸图像的粗定位，人脸特征点的选取；其次介绍眼睛、鼻子以及嘴特征点定位的方法以及结果，并且基于特征点定位的结果进行验证与分析；最后结合ORL人脸数据库与视频序列图像给出人脸特征点定位的检测结果。第四章介绍基于人脸几何特征向量的匹配识别方法。首先介绍人脸几何特征向量的构造方法以及选取理由；其次对几何特征向量的相似度进行计算与分析；最后通过计算几何特征向量间的加权欧氏距离，结合人脸数据库选取最优阈值实现多目标人脸匹配结果。第五章基于视频序列多目标人脸检测的实验结果与分析。通过拍摄的视频序列，结合人脸检测的粗定位、人脸特征点定位、几何特征向量的匹配识别，整体运行多目标的人脸检测的算法，对目标人物进行动态分析，对人脸图像在视频序列中的检测及定位给出准确的结果。采用多目标人脸检测方法给出的实验结果，证明方法的有效性。第六章对论文整体工作进行总结。53第2章 基于AdaBoost人脸检测方法研究第2章 基于AdaBoost人脸检测方法研究随着人脸检测算法的不断成熟，人脸检测所涉及的范围十分广泛，能够提出一系列的检测算法。多目标的人脸检测方法指输入图像中包含若干个人脸图像，提取人脸图像部分进行人脸的特征点定位，构造几何特征向量用于多目标的人脸图像的匹配识别，多目标人脸检测方法研究的领域涉及多个方面。多目标人脸检测的整体流程图如图2.1所示。图2.1 多目标人脸检测流程图Fig. 2.1 Flow chart of multi-face detection如图2.1多目标人脸检测的流程图所示，人脸图像的粗定位作为多目标人脸检测的首要步骤，同时多目标人脸检测的结果直接影响后续特征点定位以及几何特征向量的构造，所以本文采用AdaBoost人脸检测算法判断图像中存在人脸的位置、大小、个数等，这是人脸检测所需要的必要数据。AdaBoost算法的提出使人脸检测的研究更加深入，高效率和高性能等优势成为在人脸检测领域最前沿的方法之一。Freund和Schapire提出AdaBoost算法的实质是通过迭代方法不断调整样本的权重实现的34-36。本章将对人脸检测算法的原理、人脸检测算法适用条件以及基于视频序列图像进行人脸检测结果的分析。2.1 AdaBoost人脸检测算法原理为了区分人脸和非人脸，AdaBoost人脸检测算法的关键在于采用积分图的计算方法，积分图能够快速计算矩形特征。由于矩形特征是作为分类的基础，所以计算矩形特征的方法成为关键。积分图在样本集中提取矩形特征，一个弱分类器表示一个矩形特征，不同的矩形特征产生了不同的弱分类器，人脸检测算法的目的在于弱分类器组合成强分类器，同时级联强分类器用于人脸的精确检测。2.1.1 积分图与矩形特征矩形特征（Haar-like特征）37是由Papagcorgiou提出用于区分人脸与非人脸，可以描述人脸的特征信息。有人脸灰度分布规律可知，眼睛周围区域的颜色比眼睛浅、鼻子的颜色比鼻子两侧周围浅、嘴唇周围区域的颜色同样浅于嘴唇等等。人脸检测的核心问题在于提取矩形特征，矩形特征的形式如图2.2所示。 a 2-矩形特征 b 3-矩形特征 c 4-矩形特征图2.2 矩形特征Fig. 2.2 Features of rectangular由图2.2可以看出，矩形特征都是由形状大小相同的矩形组成的，能够反映人脸图像的特征信息。主要包括2-矩形特征、3-矩形特征、4-矩形特征这三种类型的矩形特征。2-矩形特征：由2个大小形状相同的矩形组成，有相邻和垂直两种形式代表图像的边缘特征信息。3-矩形特征：明显的由3个相同的水平或者垂直放置矩形组成，与2-矩形特征不同的是它代表着线性特征。4-矩形特征：由4个大小相同矩阵组成，包含对角线特征。所谓矩形特征的特征值将白色矩形内的所有像素灰度值减去黑色矩形内的所有像素灰度值。如图2.2中的三种矩形特征，2-矩形的特征值是两个大小相同的黑色和白色矩形的像素值之和作差；3-矩形特征特征值是两个白色矩形的所有像素值之和与黑色矩形的所有像素值之和作差；4-矩形特征值是对角线上两个矩形内部所有像素和与另外一条对角线上两个矩形内部的所有像素和作差值得到的。对于不同大小的检测窗口来说，检测窗口越大，相应的特征矩形的数量就越庞大，计算量就越大。不同大小检测窗口中对应的矩形特征的数量如表2.1所示。表2.1 检测窗口大小与矩形特征对应关系Tab.2.1 The number of rectangle feature in different detection-window检测窗口大小16×1620×2024×2430×3036×36矩形特征3238478460162336394725816264由上述表2.1可以看出，对于一个30×30大小的检测窗口来说，包含394725个矩形特征，远远大于检测窗口中的像素个数。因此快速计算特征值成为人脸检测的核心问题。Voila等人提出用积分图来解决矩形特征的计算问题，提升了检测窗口的运行速度如图2.3所示。AAA a 像素点A的积分值 b 矩形区域的积分计算图2.3 像素点A和矩形区域的积分图像值Fig.2.3 Compute the integral value for the region and point A积分图的思想：计算图像中任意一点的图像积分等效于图像上该点左上方所有像素灰度值的和。特征点的积分值直接决定矩形特征值的大小，与其他任何因素无关。计算像素点的积分值就可以很快的计算矩形区域的积分图像值。如图2.3a所示，图中黑色阴影部分代表A的积分值，即点A左上方区域所有像素灰度值进行求和。图2.3b中的矩形区域的积分图像值求解方法为：点1的积分图像值(f1)=矩形A区域像素灰度值之和；点2的积分图像值(f2)=矩形A区域像素灰度值总和+矩形B区域像素灰度值总和；点3的积分图像值(f3)=矩形A区像素域灰度值总和+矩形C区域像素灰度值总和；点4的积分图像值(f4)=矩形A+B+C+D区域所有像素灰度值总和；由此可见，矩形区域D的积分图像值=f4+f1-f2-f3即可。采用积分图的思路计算矩形特征的方法使人脸检测迈向新的阶梯，主要的贡献是提高计算速度，可以有效的避免重复计算。人脸检测主要是结合矩形特征的一些信息，矩形特征可以存在人脸图像的任意区域，大小一定不能超过人脸图像的尺寸，开始时设置较小的矩形特征的初始值，遍历整个图像过程中不断放大，直到检测出人脸图像的位置及大小之后结束检测。如图2.4所示，人脸图像中眼睛的亮度低于鼻梁和脸颊的亮度；鼻梁的亮度低于两侧的脸颊亮度；嘴的亮度低于周围区域的亮度，上述的矩形特征充分反映出人脸的灰度分布特点。检测人脸的过程需要大量的不同大小、类型、位置的矩形特征，总体得出结论，检测人脸的关键点在于寻找图像中的矩形特征。图2.4 矩形特征与人脸结合Fig.2.4 The integration of Haar feature and face2.1.2 分类器的设计采用矩形特征的人脸检测方法核心是AdaBoost算法，目的是将分类能力一般的弱分类器通过特定的方法叠加变成分类能力强的级联分类器。弱分类器的构建与矩形特征密不可分，每个矩形特征代表着一个弱分类器，弱分类器的分类效果（最强分类效果为1）略大于0.5，在弱分类器的基础之上按照一定的规则组合成一个分类精度高的强分类器。弱分类器主要考虑矩形特征值、阈值、指示不等号因素的影响，具体定义公式为： （2.1）其中fi(x)代表检测窗口x的第i个特征值；Pi代表指示不等号即决定不等号的方向；为分类器的阈值。首先选取人脸图像和非人脸图像作为训练样本，对其权重初始化、归一化处理；其次对积分图中计算出的特征值构建弱分类器，选取误差最小化的阈值和指示不等号；最后最优弱分类器重新更新样本权重使错误样本的权值逐渐增大，将非人脸图像凸显出来。弱分类器的目标是选取误差率最低矩形特征。多个弱分类器构成强分类器，人脸与非人脸样本的分类效果明显增强。强分类器将多次迭代训练的弱分类器，对错误率最小的最优弱分类器加权求和，构造出强分类器，强分类器的表达式如2.2所示。 （2.2）充分考虑到人脸检测方法需要更强的实时性，所以级联分类器的提出大大的提升人脸检测的精确度和速度。例如设计一个20组的分类器，每组包含10分类器，这样就可以有效的取代由200个分类器。级联分类器由AdaBoost算法训练出来的强分类器组合而成，待检测的图像需要需要经过层层筛选，任何一个强分类器判断为非人脸窗口，就无法送至下一层强分类器，只有通过全部的强分类器最终判定为人脸窗口38。级联分类器的设计重点在于赋予前几层的较少的弱分类器而后面几层较多的弱分类器，这样设计可以加快非人脸窗口图像的排除、提升检测精确度、给予后面检测窗口更精密的检测，输入图像的检测过程如图2.5所示。图2.5 级联分类器 Fig. 2.5 Cascade classifier structure通过级联分类器可以看出，在多层分类器的共同作用下有效的区分人脸图像和非人脸图像，如果结果为YES直接传递给下一层分类器；如果判定结果为NO直接作为淘汰检测窗口。同样最终的误检率和检测率与每一层分类器的误检率、检测率相关。通过测试可以改变每一层分类器的检测率、误检率，使最终的检测检测率达到99%以上即可停止运算。一个包括M层的级联分类器是由M个强分类器组成的，最终的检测率等于每一个强分类器的检测率的累积，同样误检率也是M个强分类器的误检率的累积，由此可见，级联分类器的作用就是提高检测率、降低误检率、加快运行速度。2.2 人脸检测算法分析2.2.1 人脸检测算法适用条件输入的人脸图像中包括的人脸个数从1个到14个不等，最少的人脸图像中包含1个人脸而最多的人脸图像中包含14个人脸；随着人脸的数量不断增加导致人脸的分辨率逐渐减小，这样导致人脸检测算法无法从复杂背景中提取人脸图像，针对AdaBoost人脸检测算法从光照因素、人脸分辨率、人脸左右旋转角度、上下仰俯角度以及水平旋转角度方面分析检测效果。分别选取四组不同的人脸图像进行人脸检测，第一组选取视频拍摄图像大小为320×240的包含不同光线照射的人脸图像，检测结果如a图所示；第二组选取ASM人脸数据640×480大小，包含人脸左右不同旋转角度的人脸图像，检测结果如图b所示；第三组同样选取ASM人脸数据库640×480大小的包含人脸上下仰俯角度的人脸图像，检测结果如图c所示；第四组选取720×480大小的人脸图像，包含不同尺度的人脸检测结果如图d所示；基于AdaBoost人脸检测算法在不同条件下检测人脸的整体结果如图2.6所示。 a 不同光照b 不同旋转角度 c 不同仰俯角度 d 不同分辨率 图2.6 不同条件下人脸检测结果 Fig. 2.6 The detection results in different condition基于视频序列图像和ASM人脸数据库中人脸图像进行人脸检测，如图2.6a所示，在正常光照下可以实现较高的检测率，图2.6可以检测人脸有一定的左右旋转角度，图2.6c能够检测人脸有一定的水平旋转角度，图2.6d可以看出人脸检测算法可以检测不同分辨率大小的人脸图像，解决了人脸图像在视频序列中由于距离拍摄镜头的远近造成的人脸图像的多尺度的问题。人脸检测算法的矩形特征使得检测结果对光照不敏感；在光照条件昏暗时，人脸图像中的眼睛、鼻子灰度值与周围区域差异变小，特征值不明显导致强分类器的分类能力减弱，出现漏检、误检的情况，通过不断的测试可以找到人脸检测图像的基本属性。人脸检测的基本条件如下：（1）检测人脸图像分辨率要大于或者等于20×20；（2）检测人脸图像左右侧面旋转角度小于或者等于20度；