表情识别课件.ppt
导师 ：胡正平 教授学生 ：孙哲专业 ：电子科学与技术,基于解耦空间特征学习的稀疏表示表情识别算法研究,2,0,1,8,CONTENTS,目录,国内外研究现状,技术路线,研究内容,研究目的和意义,创新点,1,2,3,4,5,研究不足与展望,6,研究目的和意义, 第一部分 ,研究目的和意义,表情识别优势：所谓相由心生，人类对事物的喜恶，最直观的表现就是表情。方便友好、易于接受、不易伪造等应用：智能交通、辅助医疗、远程教育、卫生保健、监视系统、驾驶员安全、测谎、互动游戏、社交机器人等,表情自动拍照,表情驾驶系统监控,表情测谎,研究目的和意义,理论意义和应用价值：1. 利用新的理论工具，有望取得新的突破2. 为解决实际生活场景中复杂的表情识别问题奠定基础；例如：多个体表情识别3. 推动基于动态的表情分析等相关问题发展；例如有效跟踪用户情绪变化，可以很方便的为静态图片/实时视频流中人脸加情绪标签4. 扩展表情识别应用范围，例如：人脸表情交互、营销辅助,多个体表情识别,动态的表情分析,人脸表情交互,国内外研究现状, 第二部分 ,特征提取方法,几何结构特征人脸运动编码系统 浅层特征 Gabor 特征局部纹理特征 LBP子空间表示 PCA,深度子空间特征PCANet LDANet深度特征 CNN RNN,分类方法,概率协同表示分类方法ProCRC,技术挑战,欠完备采样面部表情示例图,面部表情的易变性：人脸身份、观察角度、光照、年龄等。训练样本欠完备：实际中能得到的样本只是对表情图像空间中的一个极小部分的采样，而标注信息完备的样本少。,技术路线, 第三部分 ,整体思路,本文从特征提取角度入手，针对欠完备数据融合人脸身份和表情特征的特点，构建一系列基于解耦空间特征学习的稀疏表示表情识别算法并利用计算机仿真分析这些算法的性能。 一方面，本文从基于先验知识的解耦思想出发，利用浅层学习提取解耦空间的表情特征来提高面部表情识别性能；另一方面，本文从自学习解耦思想出发，利用深度子空间模型优异的特征提取能力结合稀疏表示来提高面部表情的识别性能。,技术路线,研究内容, 第四部分 ,为解决表情数据受人脸、小样本、光照等影响，提出两种基于解耦空间浅层特征学习算法,针对训练样本中缺少中性表情集导致无法借助此表情集构造表情字典，提出一种基于低秩稀疏误差字典的概率协同表示识别算法,研究内容,从面向数据角度出发，提出一种基于像素差值表示的区分性特征学习识别算法,鉴于深度子空间模型优异的特征提取能力及运行时间上的优势，提出两种基于解耦空间深层学习算法,本文针对欠完备数据融合人脸身份和表情特征的特点，构建了基于解耦空间特征学习识别模型并利用计算机仿真对算法性能进行分析，具体研究内容如下：,研究内容框图,基于独立人脸身份的协同表示识别算法,1,基于字典学习特征空间的稀疏表示识别算法,2,基于低秩稀疏误差字典的概率协同表示识别算法,3,基于像素差值表示的区分性特征学习识别算法,4,基于深度子空间特诊核映射的稀疏表示识别算法,5,基于深度子空间特征的二步表示分类识别算法,6,特征提取,训练样本集,测试样本,分类结果,实验方案一,1,基于独立人脸身份的协同表示识别算法,基于字典学习特征空间的稀疏表示识别算法,基于低秩稀疏误差字典的概率协同表示识别算法,基于像素差值表示的区分性特征学习识别算法,2,3,4,基于深度子空间特征的二步表示识别算法,6,基于深度子空间特征核映射的稀疏表示识别算法,5,算法一整体框架,实验验证：JAFFE、KDEF数据集,实验设计与结果分析,表1-1 JAFFE数据集上不同算法的识别率,表1-2 KDEF数据集上不同算法的识别率,本节将实验提出算法与五种算法进行对比，识别结果如右表所示。对于JAFFE数据集，如表1-1可示，当参数g=0.5，h=0.5时，实验提出算法可取得62.29%的平均识别率，而对比算法CRC也仅获得60.98%的识别结果。对于KDEF数据集，IFRC算法同样优于其他对比算法。例如：当参数g=0.6，h=0.4时，IFRC算法取得最佳识别率为77.98%。,（1）不同算法对比,实验设计与结果分析,为进一步验证本算法有效性，本节选取每个人每类表情的前N张图像作为训练样本。右表给出了两个数据集中不同训练样本数量在不同对比算法下的识别结果。由表可知，无论N取1或2时，IFRC算法识别结果均优于对比算法。,表1-4 KDEF数据集上不同训练样本数在不同算法中的平均识别率,表1-3 JAFFE数据集上不同训练样本数在不同算法中的平均识别率,（2）不同训练样本数对比,本节提出的IFRC算法具有以下优点：IFRC算法利用差分字典 (通过从原始空间减去人脸身份信息) 来表征表情变化特征，缓解了人脸身份对表情特征的影响；本算法利用对称性将差分字典扩展得到虚拟差分字典，该字典扩大了训练样本数量，从而弥补了欠完备样本对识别产生的影响；该算法通过适当融合差分测试样本在两个差分字典上的类残差提高了表情识别的性能。,算法总结,实验方案二,1,基于独立人脸身份的协同表示识别算法,基于字典学习特征空间的稀疏表示识别算法,基于低秩稀疏误差字典的概率协同表示识别算法,基于像素差值表示的区分性特征学习识别算法,2,3,4,基于深度子空间特征的二步表示识别算法,6,基于深度子空间特征核映射的稀疏表示识别算法,5,算法二整体框架,首先，将原始空间映射到表情空间。 其次，利用表情图像的近似对称结构对表情字典进行学习并采用主成分分析进行降维，以进一步突出表情特征。 最后，利用稀疏表示分类对测试样本进行分类。,实验设计与结果分析,（1）不同特征方法对比,表2-1 不同特征方法在不同数据集上的平均识别率及运行时间,本节分别将实验提出特征方法与四种特征方法进行对比。从下表可以看出，实验提出DLFS特征方法可达到的识别率高于其他算法，LBP特征方法识别效率次之。此外，实验提出DLFS特征在每个测试样本上的运行时间虽然不是最低的，但相对LBP和LPQ特征方法仍有明显的优势。,实验验证：JAFFE、CK+、KDEF、AR数据集,实验设计与结果分析,（2）不同数量训练样本对比,本节选取AR数据集中不同数量的训练样本进行实验。实验分别选取每人每类表情的1、2张图像作为训练样本，同样选取PCA方法降维。实验提出算法DLFS+PCA与对比算法DD+PCA的平均识别率随特征维数变化的曲线如图2-3所示。,(a),(b),图 2-3 不同样本数在不同维数下的平均识别率 (a)每人一张训练样本数和(b)每人两张训练样本数,算法总结,实验提出DLFS_SRC算法具有以下优势：通过字典学习产生的最佳差分字典不仅缓解了人脸身份对表情特征的影响，而且确保面部图像中的表情更符合真实的表情类别信息；本算法简单易操作，还可用于图像恢复；最佳差分字典有利于增加同一表情类中图像之间的相似性，从而提高了不同表情类之间的差异性。,算法总结,上述两种算法均从表情空间入手，通过从原始空间减去人脸身份空间得到相对独立的表情空间，均在一定程度上缓解了人脸身份对表情识别的影响，从而提高面部表情识别性能。然而上述算法均依赖于中性表情训练集，但当样本中无中性表情训练集时则算法不适用。为此，下面从低秩子空间映射入手，提出基于低秩稀疏误差字典的概率协同表示识别算法，以此提高表情识别鲁棒性。,实验方案三,1,基于独立人脸身份的协同表示识别算法,基于字典学习特征空间的稀疏表示识别算法,基于低秩稀疏误差字典的概率协同表示识别算法,基于像素差值表示的区分性特征学习识别算法,2,3,4,基于深度子空间特征的二步表示识别算法,6,基于深度子空间特征核映射的稀疏表示识别算法,5,算法三整体框架,该算法尝试将原样本空间映射到表情空间进而利用概率协同表示原理进行分类得到最终的识别结果。,实验设计与结果分析,（1）不同特征方法对比,(a),(c),(d),图 3-2 五种特征方法分别在(a)JAFFE(b) KDEF (c) CAS-PEAL和(d) CK+ 数据集上的识别率,(b),实验验证：JAFFE、CK+、KDEF、CAS-PEAL,由右图可知，实验提出LRSE特征在每类表情识别率和平均识别率上均优于其他对比特征提取方法，原因在于低秩分解方法将原始字典分解成与人脸身份相关的低秩共同字典以及与表情相关的稀疏误差字典，而稀疏误差字典有更好的表情表征力。,实验设计与结果分析,（2）不同分类方法对比,本节进一步讨论实验提出特征空间LRSE结合ProCRC及对比分类方法 的识别结果。下列出不同分类方法在5个表情数据集上的结果表明，ProCRC优于其它分类方法。原因在于本算法中的ProCRC利用概率协同表示计算测试样本所属每个表情类的概率值，它有效利用了所有类中的训练样本来决定测试样本标签。,表 3-1 不同分类算法在五个数据集上的识别率,算法总结,本节的算法利用低秩矩阵分解方法将原始字典分解为低秩共同字典及稀疏误差字典，而稀疏误差字典则具有区分性的表情特征，因此本算法进一步利用稀疏误差字典提取表情特征。分类阶段，本算法利用ProCRC通过计算测试样本属于各个表情类别协同子空间的概率进行分类，提高了识别准确性。,算法总结,以上两章均是基于图像全局表示，第五章将从面向数据的局部角度分析如何提高表情特征的表征能力，进而提高表情识别鲁棒性。,实验方案四,1,基于独立人脸身份的协同表示识别算法,基于字典学习特征空间的稀疏表示识别算法,基于低秩稀疏误差字典的概率协同表示识别算法,基于像素差值表示的区分性特征学习识别算法,2,3,4,基于深度子空间特征的二步表示识别算法,6,基于深度子空间特征核映射的稀疏表示识别算法,5,算法四整体框架,本算法尝试利用一种区分性的特征描述符提高面部表情的表示能力。首先，对于任一训练样本构建基于像素差值表示的区分性特征矩阵进而获得区分性特征词典；其次，利用垂直二维线性判别方法分析找到一个最佳映射矩阵使得区分性特征字典的类间散度与类内散度比最大；最后，利用最简单的近邻分类器来判决测试样本的标签。,实验设计与结果分析,（1）不同参数对比,为验证实验提出方法的有效性，本节在CK+、KDEF和CMU Multi-PIE数据集上进行实验，且本算法采用LOSO和LOESO 两种交叉验证方法。下表列出三个数据集在不同参数下的识别结果。由表中数据可知，当维数d为20到40之间实验结果相对稳定。,表4-3 CMU Multi-PIE数据集分别在两种场景下随不同参数下变化的识别率,表4-1 CK+数据集分别在两种场景下随不同参数下变化的识别率,表4-2 KDEF数据集分别在两种场景下随不同参数下变化的识别率,实验设计与结果分析,（2）不同算法对比,表4-4至表4-6给出了不同算法在不同数据集上的平均识别结果和测试阶段的运行时间。从这些表中可以看出，实验提出算法在LOSO和LOESO两种场景下对所有数据集均取得了最佳识别结果。此外，实验提出方法在运行时间上优于其他对比算法。,表4-4 两种场景中CK+数据集在不同算法中的平均识别率和运行时间,表4-5 两种场景中KDEF数据集在不同算法中的平均识别率和运行时间,表4-6 两种场景中CMU Multi-PIE数据集在不同算法中的平均识别率和运行时间,算法总结,本节算法优势的在于以下两点: 区分性特征字典能够表示表情特征的局部变化，因此对识别更具鲁棒性；V-2DLDA不仅保护了DFD中区分性表情特征，同时降低了矩阵维数，有利于缩短运行时间。,算法总结,以上算法均从解耦空间浅层特征角度对表情识别进行研究，且多个数据集上的实验验证了其有效性。第六章则从深层特征入手，利用深度子空间模型充分挖掘图像优异的抽象表征用于表情识别。,实验方案五,1,基于独立人脸身份的协同表示识别算法,基于字典学习特征空间的稀疏表示识别算法,基于低秩稀疏误差字典的概率协同表示识别算法,基于像素差值表示的区分性特征学习识别算法,2,3,4,基于深度子空间特征的二步表示识别算法,6,基于深度子空间特征核映射的稀疏表示识别算法,5,算法五整体框架,由于深度子空间模型提取的数据深层特征忽略了特征间的非线性关系，因此本章引入核映射思想，将深层特征映射到核空间使得特征高度可分，提出一种基于深度子空间特征核映射的稀疏表示识别算法。,实验设计与结果分析,（1）不同算法对比,表 5-2 CK+数据集在不同算法上的识别率,表 5-4 CMU Multi-PIE数据集在不同算法上的识别率,表 5-3 KDEF数据集在不同算法上的识别率,表 5-1 JAFFE数据集在不同算法上的识别率,实验设计与结果分析,（2）不同块遮挡率对比,(a),(b),(c),(d),图 5-2 不同算法在(a)JAFFE (b)CK+ (c)KDEF和(d)CMU Multi-PIE数据集上的平均识别率对比,由图可知，识别率都随遮挡率的增加而下降，原因在于遮挡部位越多，辨别性信息越少，稀疏度越差。而实验提出算法仍然优于其他对比算法，进一步验证了本算法对遮挡表情的鲁棒性。,算法总结,本节提出一种基于深度子空间特征核映射的识别算法。本算法有以下优势：深度子空间学习通过级联的PCA/LDA、二进制哈希编码及直方图分块来处理输入图像，当滤波器 固定时，即可简单高效的训练出样本的深层特征； 本节提出算法通过将深层特征映射到核空间以此捕获这些特征间的非线性相似性使得不同类别间样本特征高度可分；最后利用l2范数表示分类方法对测试样本进行分类，考虑了实际应用中的时间复杂度。,算法总结,实验方案六,1,基于独立人脸身份的协同表示识别算法,基于字典学习特征空间的稀疏表示识别算法,基于低秩稀疏误差字典的概率协同表示识别算法,基于像素差值表示的区分性特征学习识别算法,2,3,4,基于深度子空间特征二步表示识别算法,6,基于深度子空间特征核映射的稀疏表示识别算法,5,算法六整体框架,本节从特征选择角度入手，提出一种基于深度子空间特征二步表示识别算法。,对于任一测试样本，其深层特征矢量可表示为,其中，,为前,最佳TSFs，,表示系数,可利用下式求解,随后，每个表情类中的最佳TSFs对测试样本特征表示及分类,最后，测试样本被分类到最小的残差类中：,实验设计与结果分析,（1）不同参数对比,本节在不同参数设置下验证算法有效性，实验结果如下表所示。由表可知，实验提出算法在不同参数下均能取得较好的识别结果，同时也说明字典中并不是所有的训练样本均有利于表示及分类。,表示最佳训练样本占所有训练样本的比例,表6-1 四个数据集在不同参数下的识别结果,实验设计与结果分析,（2）不同块遮挡率对比,(a),(b),(c),(d),图 6-2 四种数据集分别在不同算法下的平均识别率对比,如右图可知，识别率都随遮挡率的增加而下降，原因同样在于遮挡部位越多，辨别性信息越少，稀疏度越差。然而基于PCANet特征在不同块遮挡率下取得的识别结果均优于其他对比算法。,算法总结,本文最后一章提出两种基于自学习的识别算法利用深度子空间模型提取图像的深层抽象特征， 上述两种算法对于遮挡的测试样本具有更高的识别效率，原因在于遮挡样本经过模型每层PCA/LDA滤波后，被遮挡部位的贡献会被忽略，且不会传递到模型的输出层，从而使得算法对遮挡表情识别更具鲁棒性。,算法总结,创新点, 第五部分 ,创新点,研究不足与展望, 第六部分 ,研究不足与展望,本文的实验样本均为静态的面部表情图像，实际上表情是实时变化的，动态视频序列能有效的表现表情的变化过程，因此后续会对动态视频序列进行研究。,本文分别从浅层特征和深层特征角度考虑面部表情识别问题，虽然识别性能得到了不同程度的提升，但未考虑将不同区域的判别信息进行融合，因此后续可从多区域融合角度出发，提出更具判别性的特征提取算法。,博士期间研究成果,已发表及录用SCI论文8篇：,1 Sun Zhe, Hu Zhengping, Wang Meng, Zhao Shuhuan, Individual-free representation based classification for facial expression recognition, Signal Image and Video Processing, 2017, 11(4): 597-604. (SCI)2 Sun Zhe, Hu Zhengping, Wang Meng, Zhao Shuhuan, Adaptive joint block-weighted collaborative representation for facial expression recognition, TURKISH JOURNAL OF ELECTRICAL ENGINEERING &COMPUTER SCIENCES, 2017, 25(5): 3699-3712. (SCI)3 Sun Zhe, Hu Zhengping, Wang Meng, Zhao Shuhuan, Dictionary Learning Feature Space via Sparse Representation Classification for Facial Expression Recognition, Artificial Intelligent Review, 2017, 126(21): 1-18. (SCI)4 Sun Zhe, Hu Zhengping, Wang Meng, Zhao Shuhuan, Robust facial expression recognition with low-rank sparse error dictionary based probabilistic collaborative representation classification, International Journal on artificial intelligence tools, 2017, 26(04):1750017. (SCI)5 Sun Zhe, Hu Zhengping, Wang Meng, Zhao Shuhuan, Discriminative Feature Learning based Pixel Difference Representation for Facial Expression Recognition, IET Computer Vision, 2017. (SCI已录用)6 Sun Zhe, Hu Zhengping, Meng Wang. Influenced Factors Reduction for Robust Facial Expression Recognition J. Multimedia Tools and Application, 2017: 1-17. (SCI)7 Sun Zhe, Hu Zhengping, Raymond Chiong, Wang Meng, He Wei, Kernel Collaboration Representation combined Deep Subspace Learning for Facial Expression Recognition, Journal of Circuits, Systems, and Computers, 2017. (SCI已录用)8 Sun Zhe, Hu Zhengping, Raymond Chiong, Meng Wang. An adaptive weighted fusion model with two subspaces for facial expression recognition . Signal Image and Video Processing, 2017. (SCI已录用),博士期间研究成果,51,主持及参与项目,1 解耦空间结合稀疏深度学习的表情识别技术研究，主持 （河北省研究生创新资助项目）2多源观测图像集空间Lp,q范数约束的投影与表示深层学习模型研究，参与 （国家自然科学基金面上项目）3 观测空间中张量耦合距离度量学习扩展稀疏分类模型研究，参与 （河北省自然科学基金面上项目）,52,52,谢谢!,恳请各位老师指正！,
