毕业设计（论文）基于核化MMC的人脸识别系统.doc

基于核化MMC的人脸识别系统摘 要人脸识别是模式识别研究领域中一个较为热的研究方向。在实际应用中，人脸往往看成高维数据，因此会遇到维数灾难问题，此时需要通过数据降维进行特征提取，即将原始数据对应的高维空间数据映射到低维空间中，并尽可能地保持数据间的判别信息，以利于分类问题。论文首先对人脸识别进行简单介绍和概述，将众多人脸识别分为几类，基于核化最大间距准则算法（KMMC）采用非线性映射将原始数据由数据空间映射到高维特征空间，然后再在特征空间中进行了相应的线性操作，该特征提取方法消除了核鉴别矢量间的统计相关性，提高了特征提取的有效性，通过在ORL人脸库上进行试验，结果表明提出的特征提取方法在人脸识别中的有效性。关键词：人脸识别；降维；KMMCKernel MMC Based Face Recognition Algorithms SystemAbstractFace recognition is one of the hottest research topics in pattern recognition. In practical applications, the faces image are high-dimensional, which will encounter the curse of dimensionality, and in such cases, there is a great need to use dimensionality reduction method to extract features. That is to say, the high dimensional data are mapped into lower dimensional ones, meanwhile the discriminant information are preserved as much as possible, which helps for classification.Firstly, some basics about face recognition are introduced and surveyed. The kernel maximum margin criterion(KMMC) algorithm is non-linear mapping to the original data from the data space is mapped into high dimensional feature space, Then in the feature space corresponding linear operation, the method is powerful in eliminating the statistical correlation between feature vectors and improving efficiency of feature extraction in the high dimensional feature space. The experimental results on Olivetti Research Laboratory(ORL) face database show that the new method of feature extraction method in face recognition is effective.Keywords：Face recognition; Dimension reduction; kernel maximum margin criterion(KMMC)目 录引 言1第1章 绪论21.1 人脸识别的研究意义21.2 人脸识别的研究现状21.3 人脸识别的应用31.4 人脸识别的研究内容31.5 人脸识别存在的问题41.6 本文的研究内容及组织结构5第2章 人脸识别概述62.1 基于几何特征的人脸识别62.2 基于弹性图匹配的人脸识别62.3 基于神经网络的人脸识别62.4 基于模板匹配的方法72.5 基于隐马尔可夫方法72.6 基于贝叶斯网络的人脸识别72.7 基于核方法的人脸识别82.8 本章小结9第3章 数据降维算法概述103.1 线性降维算法103.1.1 主成分分析103.1.2 线性判别分析113.2 非线性降维算法123.2.1 等度映射123.2.2 局部线性嵌入133.2.3 拉普拉斯映射133.2.4 基于核技巧的非线性降维算法143.3 流行学习算法的几个线性化算法143.4 本章小结15第4章 基于核方法的最大间距准则算法164.1 引言164.2 算法推导164.2.1 KPCA算法164.2.2 MMC方法184.2.3 KMMC算法204.3 系统功能及实现224.3.1 系统基本功能流程224.3.2 系统演示说明254.4 计算机仿真算法描述与实验结果294.4.1 实验参数描述294.4.2 算法描述294.4.3 实验与实验结果304.5 本章小结34结论与展望35致 谢36参考文献37附 录A 外文文献及译文38附 录B 参考文献的题录及摘要51附 录C 程序源代码55插图清单图 1-1 人脸自动识别系统的主要环节4图 3-1 欧式距离（虚线），测地线距离和最短路径距离比较12图 4-1 二维空间中的四个类及其边缘距离19图 4-2 人脸识别模块流程图23图 4-3 人脸检测模块流程图24图 4-4 系统总体流程图25图 4-5 系统启动画面26图 4-6 人脸识别功能图126图 4-7 人脸识别功能图227图 4-8 人脸识别功能图327图 4-9 人脸识别功能图428图 4-10 人脸检测功能图128图 4-11 人脸检测功能图229图 4-12 人脸库部分图像29图 4-13 基于核最大间距准则的算法框图30图 4-14 主分量数对识别性能的影响31图 4-15 主分量数对识别时间的影响31图 4-15 x=5时识别率与降维关系图33图 4-16 x=7时识别率与降维关系图34表格清单表 4-1 x=5时识别率与降维关系表32表 4-2 x=7时识别率与降维关系表33表 4-3 KMMC，KPCA两种方法所达最佳的识别率34引 言人脸识别是生物特征识别技术的一种，生物特征识别是根据生物体自身特征利用计算机进行身份识别的一种技术。常用的生物特征有，DNA、虹膜、指纹、掌纹、语音、人脸等。与其它生物特征相比，人脸具有很强的自身稳定性和个体差异性，人脸识别更为直接、友好、符合人类认知习惯、容易被人接受，因此有着广阔的应用前景。人脸识别是计算机视觉和模式识别领域中的一个难题，它涉及到信号处理、图像处理、模式识别、神经网络、认知科学、心理学和生理学等诸多学科，在过去的十多年中受到研究人员的广泛重视，研究也越来越深入，但是由于人脸识不同于一般的目标识别，其难度极大，人脸识别技术还不够完善，应用工作还处于尝试阶段。人脸识别的困难行表项在：人脸结构大体相同，所不同的是一些细节上的差异；人脸不是纯粹的刚体，具有复杂而丰富的表情（喜怒哀乐等）；人脸随着年龄增长会呈现出很大的不同；由于外界环境的影响，例如眼镜、光照条件、成像角度、以及成像距离等因素的影响，使得同一个人的人脸图像在不同的条件下呈现出很大的差异。目前尚没有很好的描述人脸的三维模型。诸多因素使得人脸识别成为计算机视觉领域一个富有挑战性的课题。论文对目前比较流行的降维算法进行了介绍，主要从两方面出发：1）线性化算法、比如 PCA; 2）非线性化算法，主要是基于核技巧的算法，比如KPCA 。在这些基础上，学习和研究了基于核化最大间距准则算法，并通过实验仿真验证了算法的正确性和有效性，实验表明比经典算法 PCA、KPCA 和MMC有更高的识别率。第1章 绪论1.1 人脸识别的研究意义近几年来，随着计算机网络技术的高速发展和信息化进程的日益加快，信息安全和公共安全越来越显示出其前所未有的重要性，成为了许多信息系统要首先考虑的问题。人脸识别作为一种非接触、隐蔽性较好的生物特征识别技术而受到极大的关注。在公安部门、海关部门、视频会议、小区和银行监控等领域有着很高的应用价值。并且人脸识别是一项复杂的工作，涉及到模式识别、图像处理、计算机视觉、认知学等领域，因此对人脸识别的研究有助于其它领域的发展，具有重要的学术价值。1.2 人脸识别的研究现状人脸识别最早可以追溯到十九世纪八十年代年，但人脸识别的真正研究起始于二十世纪六十年代末，Bledsoe 等人以人脸特征点的间距、比率等参数为特征，建成了一个半自动化的人脸识别系统，但因受到技术条件限制发展缓慢。从二十世纪六十年代末至今，人脸识别算法技术的发展大体可以分为如下四个阶段:1)基于简单背景的人脸识别阶段：这是人脸识别研究的初级阶段，它从二十世纪六十年代开始，通常利用人脸器官的局部特征来描述人脸，但是由于人脸器官没有显著的边缘且比较易受到表情的影响，因此它仅限于正面人脸(变形很小)的识别。2)基于多姿态/表情的人脸识别阶段：这是人脸识别研究的发展阶段，它从二十世纪七十年代开始末，但到九十年代年代初才被人们真正关注并进行专门研究，并得到较快发展。3)动态跟踪人脸识别阶段：这是人脸识别研究的实用化阶段，从二十世纪九十年代末开始，特别是”9.11”事件促进了动态人脸跟踪技术的快速发展，同时也促进了其他生物特征识别技术的发展。4)三维人脸识别阶段：为了获得更多的特征信息，直接就利用二维人脸图像来合成三维人脸模型进行识别，也成为该领域的一个主要研究方向，现有研究将两维图像重构三维图像，这也是一个研究方向。当前，虽然人脸识别技术的应用还没有能够做到“普及”，但是不能否认的是，它已经在开始影响着我们的生活。近几年来，国内外学者对人脸识别技术做了大量研究。在国际上，主要有北美的一些研究机构、一些欧洲国家、日本等，著名的研究机构有美国 MIT 的多媒体实验室，人工智能实验室，CMU 的人机交互机构，微软研究远，英国剑桥大学的工程学院等。综合有关文献，目前的人脸识别方法主要集中在以下几个方面: 基于几何特征的人脸识别，基于子空间的人脸识别，基于弹性图匹配的人脸识别，基于神经网络方面的人脸识别，基于模板匹配方面的人脸识别方法，基于隐马尔可夫方面的人脸识别方法以及基于贝叶斯网路的人脸识别算法。国内的研究者关于人脸自动识别的研究始于 20 世纪八十年代，主要的研究单位有南京理工大学、清华大学，哈尔滨工业大学，香港理工大学、中科院计算所，中科院自动化所，中科大等，并都取得了一定的成果。1.3 人脸识别的应用随着人脸识别技术的发展以及人脸识别技术应用范围空间的不断拓宽，人脸识别技术在各个领域上的应用空间己经越来越广泛，归纳起来，人脸识别技术的应用大体上可以分为以下几类:1.证件验证在许多场合，证件验证是检验某个人身份的一种常用手段，而身份证、驾驶执照以及其他很多证件上都有照片，那么这项工作就可以交给机器完成，用以实现自动化智能管理。2.刑侦破案公安部门通常在档案系统中存储有嫌疑犯的照片，可以从数据库里迅速查找确认，这就大大提高了刑侦破案的准确性和效率。3.视频监视在许多银行、公司、公共场所等处都装有视频监视系统。当出现异常的时候需要对采集到的图像进行具体分析，就要用到人脸的检测、跟踪和识别技术。4.入口控制入口控制的范围比较广泛，它可能是设在需要的地方进行安全检查，也可能是计算机系统或情报系统的入口控制。5.另外，人脸识别在医学、人机交互系统等方面也具有巨大的应用前景。以上所说的应用基本又可以分为两类:静态(非视频)匹配和动态(视频)匹配。嫌疑犯查找是静态匹配中的最常见的应用。很显然，在嫌疑犯照片的拍摄过程中，一般来说可以控制照相的背景、光照的条件、摄像机的分辨率以及摄像机与被拍照人之间的距离、角度等等，获得到多幅人脸正面图像和侧面图像。在这些条件约束下来获取图像，可简化人脸分割和识别算法。公众场合监控也就是典型的动态匹配应用。通过摄像机得到的视频图像质量一般都比较差，同时背景也比较杂乱，分割人脸也就相当困难，但是可以利用运动图像分析来分割运动者的人脸，也可以利用现有的人脸模型，在部分上重建人脸图像，在某种程度上会比静态匹配更方便容易解决。这方面应用的难点是需要实时处理。1.4 人脸识别的研究内容人脸识别的研究内容从广义上来讲大致上包括以下五个方面的内容：1人脸检测：要从各种不同的场景中检测出人脸的存在并确定其位置。这一任务主要受到光照、噪声、面部倾斜度以及各种各样遮挡等方面的影响。2人脸表征：通过采取某种表示方式表示检测出的人脸和数据库中的已知人脸。通常的表示法主要有几何特征(如欧氏距离、曲率、角度)、代数特征(如矩阵特征矢量)、固定特征模板、统计特征等。3人脸鉴别：通过将待识别的人脸与数据库中的己知人脸比较，得出比对信息。此过程通常也被称为人脸识别。4表情识别：通过对待识别人脸的表情或姿态信息进行分析，并对其加以归类。5生理分类：通过分析待识别人脸的生理特征，得出其年龄、性别等相关信息。图像从来源上来说分类包括静态图像和动态图像、单帧和多帧，以及受控背景和非受控背景等。同时人脸识别的技术难度，很大程度上就是取决于用于识别的图像来源和质量。一般来说，多帧、受控背景图像的识别要比单帧、非受控背景图像更容易得到一个比较好的识别结果。而进入实际应用的人脸识别系统如：银行的 ATM 自动提款机，各种证件的检验以及车场、仓库的管理等都上属于受控背景的一类。所以确切的来讲，人脸识别至少要包括两个方面的任务：复杂背景下人脸的定位和分割，以及人脸的鉴别。一个狭义的人脸自动识别系统通常包括三个主要技术环节，如图 1.1 所示：图 1-1 人脸自动识别系统的主要技术环节首先是人脸的检测以及定位。即检测图像中有没有人脸，并确定其在图像中的位置。普通证件照片上的头部占据了照片中央的大部分地方，定位也较容易。但是在另一些情况下，人脸在图像中的位置是事先未知的，因此检测和定位存在一些困难。然后是特征提取。特征提取之前一般需要进行预处理。比如对图像进行去噪工作，对图像进行增等等。使得对后续的工作有利。然后利用有效手段，提取出有效特征。最后一步就是决策分类。在人脸数据库里预先存放了己知的人脸图像或有关的特征值，决策分类的目的就是将待识别的图像或特征与库中的进行匹配。根据所输入图像的性质，可将人脸识别分为静态图像的人脸识别和动态图像序列的人脸识别两大类。前者主要是用静态图像，同时对这些图像进行识别；后者则是用摄像机的时间图像序列来进行识别。1.5 人脸识别存在的问题1、人脸检测与定位人脸检测是指在输入图像中确定是否存在着人脸，如果有的话则需要确定人脸的位置、大小、位姿的过程。人脸检测作为人脸识别中的一项关键技术，近年来也成为模式识别与计算机视觉领域内一项比较活跃的课题。同时由于人脸模式的多样性和图像获取过程中的不确定性，比如人脸是一类具有相当复杂的细节变化的自然结构目标，主要是：第一、人脸由于外貌、肤色、表情等方面不同，具有模式的可变性；第二、人脸可能存在眼镜、胡须等附属物；第三、作为三维物体的人脸的影像不可避免地受由光照产生的阴影的影响。因此，就需要找到解决这些问题的方法，并且能使用高级手段对复杂背景下的图像能检测出人脸，并且进行精确定位。2、特征选择与提取数字图像分析是图像处理中的高级阶段，它所研究的方面是使用及其分析和识别周围物体的图像，从而科得出结论性的判断。但是人类视觉系统可以认识的图像如何能让计算机系统也能识别呢? 其中的关键就在于找到目标的特征。人们必须寻找出算法，分析图像的特征，然后将其特征用数学的办法表示出来并且教会计算机也会懂得这些特征。这样，计算机也就拥有了认识或者识别图像的本论了。要让计算机具有识别的本领，首先要得到图像的各种特征，即图像特征提取。图像特征就是指图像的原始特征或属性。其中有些是说视觉直接感受到的自然特征，如区域的亮度、边缘的轮廓、图像的纹理等，有些则是需要通过变换或测量才能都得到的人为特征。图像特征提取工作的结果就给出了某一具体的图像中与其他图像相区别的特征。因此如何提取出有效的特征，如何对这些特征进行融合就成为今后的一个研究问题。3、人脸识别在进行人脸识别匹配时，不仅要考虑各种因素所导致的人脸微笑变形，而且在容忍变形的时候，同时还不能损害到人脸识别的有效性。另外，实用的识别系统还必须要考虑计算复杂度。由于每种识别方法各有优缺点，多种方法有效综合将是以后研究的一个趋势，如何融合其他生物特征的鉴别系统以提高识别效率也是热点研究方向。1.6 本文的研究内容及组织结构本文首先从国内外研究现状和目前主要集中的算法两方面对人脸识别进行简单介绍，接着对数据降维技术进行了综述，特别是基于子空间的特征提取技术进行了详细阐述。在这个基础上，学习和研究了两种算法：即基于路径相似度的判别保局算法以及基于核判别保局最大化边界算法。具体章节安排如下：第 1 章：首先介绍了论文的研究背景 、国内外研究现状和论文的章节安排。第 2 章: 对目前存在的人脸识别技术进行概述，主要从基于几何特征的人脸识别，基于子空间的人脸识别，基于弹性图匹配的人脸识别，基于神经网络的人脸识别，基于模板匹配的人脸识别方法，基于隐马尔可夫的人脸识别方法以及基于贝叶斯网路的人脸识别算法等方面出发。第 3 章: 对数据降维技术和特征提取技术进行了阐述，特别针对核化算法，做出了详细的阐述。第 4章: 学习和研究了基于核间距最大准则算法，分别从算法的思想和实验结果来进行说明。第2章 人脸识别概述计算机人脸识别的目的就是利用计算机来分析人脸图像，从中提取出来有效的识别信息，用来辨别身份，因此特征提取是人脸识别中的关键。目前，人脸识别主要有以下几类：基于几何特征的方法、基于弹性图方面匹配的方法、基于神经网络的方法、基于模板匹配的方法、基于隐马尔可夫方法、基于贝叶斯方法和基于子空间的方法。2.1 基于几何特征的人脸识别这类识别方法首先是将人脸用一个几何特征矢量来表示，然后再用模式识别中的层次聚类思想设计分类器对人脸进行识别。在这种基于几何特征的识别中，识别算法总体归为特征矢量之间的匹配问题，基于在欧氏距离的判决方法是最常用的识别方法。Brunelli 等利用改进的积分投影法提取出用欧氏距离表示的 35 维人脸特征矢量来进行人脸识别。Roeder 等对基于几何特征人脸识别方法的准确性和正确性进行了研究，对人脸特征定义了 12 个测量值来进行聚类分析。Kass 等和 Olstad 等提出采用活动轮廓模型来提取人脸眉毛和下巴的轮廓用于人脸识别。Yuile和 Jain 等利用可变形模板模型来提取眼睛和嘴巴的轮廓进行人脸识别。2.2 基于弹性图匹配的人脸识别弹性图匹配(Elastic Graph Matching，EGM)的理论基础是图匹配理论。用图来描述人脸，图的顶点表示人脸的局部特征，边则表示面部特征之间的拓扑链接关系。匹配测度同时考虑顶点和边之间的距离度量。它是一种以识别目标的局部特征点之间拓扑结构为对象的局部特征匹配方法。Buhmann，Lades等针对畸变不变性的物体识别提出了动态连接结构模型(Dynamic Link Architecture，DLA)，将物体的图像用稀疏网格来表达，通过局部能量谱的多分辨率描述来标注图形上的一些节点，用几何距离向量来标注连线。目标识别就是测试样本与训练样本的弹性匹配的过程，也就是通过匹配代价函数的随机优化过程来完成。Wiksott 等将人脸特征上的一些特征点作为基准点，强调了人脸特征点的重要性，这个结构称为弹性图。他们采用每个基准点存储一串具有代表性的特征矢量，大大减少了系统的存储量和计算量。Wurtz 等人只是使用正面人脸面部的特征，进一步来消除结构中的冗余信息和背景信息，同时使用一个多层的分级结构来实现。Gurdin 等人也采用分级结构的弹性图，通过用消减一些冗余节点从而形成稀疏的人脸描述结构。另一种方法就是 Nastar 等所提出的要将人脸图像表示为可变形的 3D 网格表面，将人脸匹配问题转换成为曲面匹配问题，利用有限元分析的方法来进行曲面变形，并且根据两幅图像之间变形匹配的程度识别人脸。2.3 基于神经网络的人脸识别基于神经网络的人脸识别方法就是利用神经网络的学习能力和分类能力对人脸执行特征提取、分类与识别。神经网络在人脸识别中存在一定的优势，因为对人脸识别的许多规律或规则进行描述是比较困难的，而神经网络方法则可以通过反复学习的过程对这些规则进行表达，它的使用性比较强，而且也比较容易实现。最早将人工神经网络技术用于人脸识别的是 Kohenen。 Cottrell 和 Fleming提出了一个解决方案，采用两个神经网络，第一个神经网络用来降维处理，第二个用来分类和判别。然而这种网络的识别效果并不是很理想。Lawrence等人提出采用卷积神经网络方法进行人脸识别，因为该方法在一定程度上具有对图像平移、旋转和局部变形的不变性，因此就可以得到比较好的识别性能和结果。Lin等人提出了基于概率决策机制的人工神经网络方法，并应用于人脸检测、眼睛定位以及人脸识别。从而得到较为理想的概率估计结果，并采用模块化的网络结构来加快网络的学习。Joo等人提出了一种多步骤方法，首先通过主成分分析 (PCA)方法进行降维，然后采用 RBF神经网络进行分类识别。2.4 基于模板匹配的方法Brunelli 采用了模板匹配的方法，实验结果表明在尺度、光照、旋转角度等各种条件稳定的情况下，模板匹配的效果优于其它方法，但是由于它对光照、旋转和表情变化比较敏感，这在一定程度上也就影响了它的性能和直接使用。可以将人脸分为眼睛模板、嘴巴模板、鼻子模板以及眉毛、下巴模板等。传统的边缘描述算法通常很难获得可靠度较高的连续边缘，即便获得了可靠度较高的边缘，也很难从中自动提出所需要的特征量。如果用弹性模板方法提取特征可以显示出其独到的优越性。弹性模板由一组根据一些先验知识调整了一些参数。Poggio 等人对基于几何特征的人脸识别方法和基于模板匹配的人脸识别方法进行了比较，并从实验结果得到：基于几何特征的人脸识别方法在识别速度上比较快，存储空间也比较小，但是在识别率并不高。2.5 基于隐马尔可夫方法数学上，关于隐马尔科夫模型（Hidden Markov Model,HMM）的研究开始于二十世纪六十年代末和七十年代初， 80 年代以后，得益于面向工程界的介绍性文章的发表，HMM 才能被更多的人理解并掌握，同时在语音识别以及印刷体识别等模式识别方面方面得到了更加广泛的应用。按照 HMM 的思想，用来表征人脸的特征量构成了一个观测序列，观测序列被认为是由若干个状态产生的，状态处于隐层，是不可观测的。算法采用了具有 5 个状态的左右型 HMM 模型。HMM 的训练就是要为每一个人确定出一组经过优化了的 HMM 参数和模型。将单幅或多幅图像进行训练。2.6 基于贝叶斯网络的人脸识别Moghaddam 等建立了一套完整的人脸统计模型，即建立出了两种概率模型：在第一种模型中，所用的人脸图像是在以特征脸为基的空间(为方便起见，简称为人脸空间)中的概率由一个高维高斯分布估计，而该人脸空间的补空间中说的概率也由一个高维高斯分布估计，最终的概率是由以上两个概率密度函数的乘积来确定。由于估计人脸补空间中的参数是比较困难的，同时为了让计算简便，他们就假设在该补空间中各个方向上的能量分布都是均匀的，同时给出了一个简单的概率计算公式，并求得了公式中参数的最优理论解。但是这个模型是假设了人脸图像的分布都是简单的单峰的分布。由于人脸图像和非人脸图像之间的差异比较大，这个假设在人脸检测时就可以成功应用，但是在人脸识别中，由于人脸具有着多样性，就存在了问题。在第二种模型中 ， 他 们 使 用 一 个 混 合 高 斯 分 布 模 型 (Mixture-of-Gaussians) ， 并 使 用EM(Expectation Maximazation)算法用来进行参数估计，并取得了一定的效果。Moghaddam 等提出了贝叶斯人脸识别方法，提出了一种基于概率的图像相似度的度量方法，他们将人脸图像之间的差异分成两类：类间差异(就是不同人的人脸图像之间的差异)和类内差异(就是同一个人的不同人脸图像之间的差异)。由于贝叶斯相似度的计算涉及到了复杂的非线性计算，Moghaddam 等人又提出了一种线性的快速计算方法。这种人脸识别方法目前在美国 DAPAR 组织的 FERET 人脸测试中的效果是最好的。目前贝叶斯算法的主要问题存在于类间差异的训练图像较难选取和识别算法的效率不是很高，这在使用大型人脸图像库的时候就尤为突出。2.7 基于核方法的人脸识别 20世纪80年代，模式分析领域几乎同时引入了后向传播多层神经网络算法和决策树学习算法，第一次使得检测非线性模式成为可能。然而这些非线性算法是建立在梯度下降法或贪心启发式法的基础上的，受到局部极小化的限制；又由于没有很好地理解它们在统计上的行为，人们在利用这些算法时还经常会遇到过度拟合的问题，这些不足都限制了上述非线性算法的发展。 20世纪90年代中期，随着支持向量机Vapnik 1995的提出，出现了一种新的被称为基于核的非线性模式分析方法，简称为核方法。核方法通过非线性嵌入映射，能将许多线性算法优美地非线性泛化，从而能够高效地分析图像空间中的非线性关系，而这种高效率原先只有线性算法才能够达到。正因为如此，核方法常被认为是一种非线性技巧，称为“核技巧”。人脸识别作为模式识别的一个研究方向,因其在安全验证系统、智能人机接口、视频会议等方面有着巨大的应用前景成为当前的一个研究热点。Turk等人提出了经典的特征脸,利用主元分析(PCA)进行人脸特征提取,并取得了较好的效果。但是,PCA法只考虑了图像数据中的二阶统计信息,未能利用数据中的高阶统计信息,忽略了多个像素间的非线性相关性。研究表明,一幅图像的高阶统计往往包含了图像边缘或曲线的多个像素间的非线性关系。实际上，人脸图像中的表情、光照、姿态和阻挡物的变化都是及其复杂而且是非线性的。线性子空间方法实际上就是将这些非线性的变化进行了线性简化。随着非线性的核方法技术在支持向量机(Support Vector Machine, SVM)上的广泛和成功的应用，非线性子空间方法便受到广泛关注。核方法的最主要思想就是利用一个非线性映射，把原来空间的数据映射到了一个隐性高维特征空间，然后在这个隐性高维特征空间中对数据进行全面分析。在计算上并不需要明确计算此非线性变换，只需要通过一个内积核函数用来计算在隐性特征空间中两两向量之间的内积即可以了。目前己经是成功应用于人脸识别领域方面的有核主成分分析(KPCA)、核线性判别分析(KLDA)等方法。Yang等人将 KPCA 和 Eigenface、ICA 进行了比较，结果表明 KPCA 算法能更有地效描述人脸的复杂变化，具有一定的优越性。在人脸图像识别领域存在着大量的典型的小样本问题，在该类问题中，类内散布矩阵通常是奇异的。这是因为待识别图像矢量的维数较高，而在实际问题中难以找到或根本不可能找到足够多的训练样本来保证类内散布矩阵的可逆性。为了避免模式识别中的小样本问题，Li 等人提出了一种基于最大间距准则(maximum margin criterion, MMC)的特征抽取方法，并且用核方法拓广到非线性情形。本文主要采用KPCA来提取人脸图像的特征，然后基于这些特征通过利用MMC方法来实现人脸的识别，并且取得了很好地效果。2.8 本章小结本章对人脸识别技术作了简单的概述，分别从基于几何特征的方法、基于弹性图匹配的方法、基于神经网络的方法和基于子空间的方法四大类进行了介绍，由于子空间算法的一些优点，特别对基于核方法的人脸识别技术进行详细说明。第3章 数据降维算法概述在当今世界上，人们越来越多的接触到高维数据，这些数据的特点是：高数据量、高维数、高数据增长率和非结构化。一方面它们能为人们提供出更完整的信息，另一方面它们会导致维数灾难问题，即所处理的样本数要随着维数的增加呈指数方式增长，这就给人们进行数据处理带来了很大困难，因此需要对原始数据进行降维，提取有效特征。降维就是将高维数据根据一定的目标和准则寻找一个变换： (0-1)把原始数据 X 变换为低维子空间中的点y,其中 d<<D。可以从不同角度将降维算法分类：有监督学习和非监督学习，线性和非线性算法，全局和局部算法。非监督学习输入的只有数据，通过特定的准则来实现数据降维，比如主成分分析 PCA 以最小化重建误差为准则。而在有监督学习中，输入数据之外，还有一个类别信息，在降维时，利用提供出的类别信息，使得同类的样本聚类地更加接近，而不同类的样本分得越开， 如线性判别分析 LDA。线性方法，指的是变换 f 是线性的，它假设数据分布在一个线性子空间中，通过训练可以得到该子空间的一组基向量，从而将数据投影到了低维子空间中。但是在实际应用中遇到的往往又是高维非线性对象，比如人脸，因此寻找有效的非线性方法成了迫切的问题，非线性方法的最大特点就是没有显式的降维变换。全局算法，指的是算法的考虑点要从全局出发，比如 PCA 和 LDA，它们所考虑的是所有数据点之间的关系。而局部算法只考虑某一领域内数据之间的关系，具体可以通过 K 近邻KNN 和 半圆法，大多数的流形算法都是局部算法，比如等度映射和局部线性嵌入算法。本章主要对目前所存在的降维技术进行简单介绍。3.1 线性降维算法线性降维方法就是寻找高维数据中的线性变换，具有计算简单，易理解，处理线性结构的数据时非常有效。3.1.1 主成分分析在信号处理中，所谓的 K-L 变换实际上说就是 PCA。PCA 的基本思想就是：将数量众多的原始上的相关变量转换为数量较少的不相关变量。通常的做法就是将原始变量进行线性组合使之成为若干综合变量，同时这些综合变量之间相互独立，并且尽可能表示出原始变量包含的信息，选取其中最大的几个主成分进行分析。这样就可以在尽可能少损失原有信息数据的基础之上，降低数据的维度，提高运算的效率。考 虑 数 据 空 间 中 的 样 本 ，均值，协 方 差 矩 阵 为，通过特征值分解为，其中U是正交矩阵；是由的特征值构成的对角阵，。主成分变换为：(0-2)得到了一个新的数据集，它的均值为 0，协方差矩阵即为对角阵这样就直接去除掉了原来变量间的相关性。丢掉那些方差较小的分量，就是要将原数据投影到由前d 个最大的主成分张成的线性子空间上，从而来降低数据的维数。即(0-3)其中是矩阵U中对应于里最大d个特征值的特征向量，为低维空间中的数据表达。基于在特征值分解的 PCA 的另外一个性质就是数据总体方差等于协方差矩阵特征值的总和，即(0-4)(0-5)其中在（3-5）给出了前d 个主成分中所包含的方差占据原始数据中所有方差总和的比例，通过绘制式（3-5）中计算的累计比例，就可以选择适当数目的主成分来保留出一定原始数据的总体方差信息数据。3.1.2 线性判别分析PCA 就是无监督的降维方法，所寻求的是在线性重构误差最小意义下计算的最优子空间。对于分类问题方面，我们希望找到某个投影方向，使得不同类的数据样本能够尽量分开,即 LDA。分类问题可描述为：给定分别属于 J 类的n个数据样本，表示第 j 类元素构成的集合，表示属于 j 类的元素的个数，用表示第j 类的均值， 表示整体样本的均值。对于二类问题，希望投影后得到的能够使得如下最大：(0-6)其中别是正、负类样本在投影方向的均值，和就是正负类样本在投影方向上的方差。同时可将其推广到多类问题上，此时希望找到的优化投影方向就是使得在低维空间中同类数据能够尽量靠近，不同的类数据要能够尽量分离，从而保留下丰富的辨别信息，使投影后的数据能够具有最大的可分性。此时，Fisher 准则可修正为：(0-7)其中，(0-8)(0-9)这里就是对应于矩阵的前d 个最大特征值的特征向量，求解出下面的特征值问题就可以求出最优投影方向：(0-10)求出特征向量之后，测试样本在这些特征向量上的投影系数也就是对测试样本所提取出的特征向量，即低维嵌入坐标。LDA 算法也就是求出一个线性子空间，使得所有样本在这个子空间中，类内样本散度能够最小，类间样本的散度能够最大，因此 LDA 降维后得到的低维嵌入坐标非常有利于进行样本的分类。3.2 非线性降维算法现实生活中，人们遇到的数据往往是非线性的，因此如何能有效处理非线性数据给人们带来了巨大的挑战，本节对一些著名的非线性降维算法进行介绍。3.2.1 等度映射Tenenbaum 和 Silva 于 2000 年提出了等距映射(ISOMAP)算法。算法是建立在了经典的 MDS 算法基础上，其目标就是使降维后的数据能够尽量保持在降维前的数据间的距离关系，如图 3-1 所示。图 3-1 欧式距离（虚线），测地线距离和最短路径距离比较算法分成以下两种情况来处理：(l)当两个样本点之间离得很近(k 近邻或为 邻域)时，直接用它们的欧氏距离近似测地距离。(2)当两个样本点之间离得比较远时，用它们在由样本点形成的近邻图上的最短路径来逼近测地距离。经过数学的推导，算法将低维嵌入坐标的求解转化成为矩阵的特征值方面的问题。ISOMAP 算法的步骤如下：Step1：建立出加权邻接图G 。主要有以下两种方法确定邻接图的边，邻域和k近邻，并且用以数据点间的欧氏距离作为边上的权重。Step2：同时利用图论中的 Dijkstra 算法或 Floyd 算法计算出图G 中每两点间的最短的路径，记下得到的距离矩阵为。Step3：然后用 MDS 求低维嵌入坐标，记(0-11)则所求出的d 维嵌入坐标由的最大的d个特征值所一一对应的特征向量就给出了。ISOMAP 算法的一个优点就是对于单一流形结构来说，与传统 MDS 一样，可以使用距离来保持的程度用来判断数据的内在维数。在发现人脸数据集和手势数据集的内在维数方面上，ISOMAP 算法均取得了一定的成果。3.2.2 局部线性嵌入2000 年 Roweis 在 Science 上提出了 LLE 算法，算法就是假定数据集所在的低维流形和从低维流形到高维观测空间之间的光滑嵌入映射在局部都是线性的。从而使得低维流形在观测空间中的像在局部也就是线性的，观测空间中的每个数据点都是可以用它的近邻点来进行