基于对称变换的瞳孔定位方法.doc

第 27卷 第 3期2009年 5月吉 林 大 学 学 报 (信 息 科 学 版 )Jou rna l of J ilin U n ive rsity ( Info rm a tion Sc ience Ed ition)Vo l. 27 No. 3M ay 2009文章编号 : 1671 25896 ( 2009 ) 0320268205基于对称变换的瞳孔定位方法张勇忠 1 , 刘富2 , 孙令明2 , 唐超2( 1. 长春汽车工业高等专科学校 机电工程系 , 长春 130011; 2. 吉林大学 通信工程学院 , 长春 130022 )摘要 : 为解决瞳孔检测中眼镜反光 、眼帘遮盖 、闭眼等问题 , 提出了一种基于改进对称变换的瞳孔定位方法 。根据人脸的梯度信息、人眼瞳孔区域与眼镜反光区域梯度方向不同的现象 , 改进对称变换算法 , 以提高定位 准确性 , 采用自评估算法对定位进行评估 , 并利用自采集的图像和图库中的图像进行了实验 。结果表明 , 改 进的对称变换算法能对瞳孔进行精确定位 。关键词 : 对称变换 ; 瞳孔定位 ; 自评估中图分类号 : TP391141文献标识码 : APup il P rec ise Loca liza tion M e thod B a sed on Symm e try Tran sfo rmZHAN G Yong2zhong1 , L IU Fu2 , SUN L ing2m ing2 , TAN G Chao2( 1. D ep a rtm en t of M echan ic and E lec tron ic Eaginee ring, Changchun A u tomob ile Indu stry In stitu te, Changchun 130011 , Ch ina;2. Co llege of Comm un ica tion Enginee ring, J ilin U n ive rsity, Changchun 130022 , Ch ina)A b stra c t: B a sed on advanced symm e try tran sfo rm , a p up il loca liza tion m e thod wa s stud ied. In o rde r to so lvelow accu racy p rob lem of loca liza tion becau se of reflec tion of ligh t b ringing of gla sse s, ove rsp read of eye s and c lo sed eye s, e tc, the symm e try tran sfo rm m e thod wa s imp roved ba sed on d iffe ren t grad ien t info rm a tion be tween a rea of p up il and a rea of reflec ting ligh t of gla sse s. In o rde r to imp rove accu racy of loca liza tion, a se lf eva lua tion m e thod wa s app lied. Exp e rim en t re su lts of co llec ted p ic tu re s and p ic tu re s in lib ra ry showed tha t the m e thod can loca lize the situa tion of p up il p rec ise ly.Key word s: p up il loca liza tion; symm e try tran sfo rm; se lf2eva lua tion引言瞳孔检测最早作为人脸识别的一部分被提出 , 关于瞳孔检测方面 , 国内外的学者提出了很多不同方法 , 目前国外学者使用的主流方法有模板匹配方法 1 , 2 、基于小波变换方法 3 , 4 、对称性方法 5 、投影法 6 、“特征眼 ”法 7 和基于神经网络的方法 8 等 。刘文予等 9 将眼睛部分划分为圆形对称区和椭圆型对称区 , 该方法不能很好地解决瞳孔区域圆对 称性较差及眼镜反光所带来的问题 。彭进业等 10 采用圆环区域计算对称度 , 该方法对眼睛张开程度较 小或几乎没有张开的图像 , 定位准确性较差 。宋加涛等 11 提出了人脸图像中眼睛定位的改进方法 , 该 方法解决了二值化阈值步长的自适应选取问题。石跃祥等 12 提出了一种利用眼睛灰度变化梯度对特征 检测人脸的方法。周玉彬等 13 提出了用红外图像实时跟踪和监测眼睛的方法 , 该方法限定了人的活动 范围。笔者提出了一种改进的对称变换算法 , 以满足瞳孔定位的准确性和实时性要求。收稿日期 : 2009 202 217基金项目 :吉林省科技发展基金资助项目 ( SC0701028 )作者简介 :张勇忠 ( 1968 ) ,男 ,吉林汪清人 ,长春汽车工业高等专科学校讲师 , 主要从事自动控制技术研究 , ( Te l) 86 213944898791( E2m a il) zyz8720 126. com;刘富 ( 1968 ) ,男 ,吉林农安人 ,吉林大学教授 ,博士生导师 ,主要从事计算机视觉及生物识别技术研究 , ( Te l) 86 213610708679 ( E2m a il) liufu jlu. edu. cn。1 对称变换对称变换是针对梯度图像的局部算子 , 用来描述图像上各点的点对称性。记 pi , pj 为图像上的任意 两点 , 其连线与水平线的逆时针夹角为 ij , 考虑到两点的无序性 , 其取值范围为 0, 。定义所有以 p点为连线中心的对称点集合 ( p) 为环形区域 , 距离权重函数 (距离因子 ) 为 D ( i, j) 和相位权重函数 (方 向因子 ) 为 P ( i, j) , 且pi+ pj ( p) =( 1 )= p, p- p 2 r( i, j) |ij222 r + 1 1 exp( xi-xj ) + ( yi-yj )00,-202201| yi - yj | < 2 (0 + 1 )D ( i, j) =( 2 )22( xi - xj )( yi -yj ),其他expexp-2122222120 r 0 + 1| yi - yj | < 2 (0 + 1 )其他 co s (j - ij ) -co s (i - ij ) 1 - co s (i - j ) ,P ( i, j) =( 3 ) 1 - co s (i +j- 2ij ) 1 - co s (i - j ) ,其中 0 为瞳孔半径 , 1 为椭圆形模板的长轴 , 2 为椭圆形模板的短轴 , pi 和半径的圆形区域内 , 为边缘方向梯度角 。定义 pi , pj 的对称性贡献为C ( i, j) = D ( i, j) P ( i, j) ri rj则点 p的对称性大小 Sym ( p) 可定义为pj 处在以p为中心 ,r为( 4 )( i, j) ( p) C ( i, j) ,0 r 0 + 1Sym ( p) =( 5 )令 pi 为一 、二象限点 , 则其对称点 pj 落在第三、四象限;( xi , yi ) 和 ( xj , yj ) 分别为 pi , pj 点坐22标 , 2 r =( xi - xj ) + ( yi - yj ) 。在采用对称变换进行人眼定位时 , 选择不同尺度因子 0 ,会导致检测的强对称中心点不同 , 只有在合适的 0 时 , 才能有效地检测出人眼中心点 。而这个尺度因子与要检测的对称物体大小有关 , 用于人眼定位时 , 它与瞳孔的大小有关 , 如果对瞳孔的尺度未知 , 则所有人脸定位的方法一般需要在较大范 围内对尺度进行计算 , 计算量非常惊人。如果能对尺度因子进行比较准确的估计 , 就能大大降低定位方法的计算量 , 从而增强方法的实用性。在实验中 , 根据人脸的生理特征和人脸的宽度可估计出瞳孔的大小 , 进而确定尺度因子 。一般来 说 , 尺度因子 0 是人脸宽度的 1 / 10 左右。由于将尺度因子值缩小到很小的范围 , 所需进行对称变换的 次数可大大减少。在对大量图像进行分析后 , 发现灰度图像在眼球低灰度区域内常常存在少数高灰度像素 (如反 光 ) , 以至于瞳孔区域内的圆对称性较差 , 但瞳孔区域边缘却呈现很强的圆环对称性 (见图 1 ) , 所以改 用圆环对应瞳孔区域更加合理 , 眼帘之内依然采用椭圆模型 , | yi - yj | < 2 (0 + 1 ) 限制是考虑到眼球常 常被上下眼帘覆盖的情况。广义对称变换中 , P ( i, j) 的第一项因子为 1 - co s (i +j - 2ij ) , 在 pi 和 pj 的梯度方向处于相反或 相对时 , (i - ij ) + (j - ij ) =, 该因子取得最大值 2。由图 2的眼镜反光与眼球梯度方向简化模型会 发现 , 该因子在眼镜反光高灰度区域也将取得最大值 , 所以 , 广义对称变换无法有效解决眼镜反光问 题。由图 2可知 , 眼球边缘的梯度方向为收敛型 , 眼镜反光区域梯度方向为辐射型 , 由于梯度方向由低 灰度区域指向高灰度区域 , 因此 , 把 P ( i, j) 的第一项因子修改成 co s (j - ij ) - co s (i - ij ) , 该因子只有在 pi , pj 的梯度向量相对时 , 才取得最大值( 3 ) 可以看出 , 由于限制条件 0 r 0 + 1, |2, 在眼镜反光高灰度局部区域 , 该因子为负数 。由式yi - yj | < 2 (0 + 1 ) , 该因子只在一个类似于环形的区270吉 林 大 学 学 报 (信 息 科 学 版 )第 27卷见 ,这种改进的方法能较好地解决一般状态人脸的定位问题。图 1 人眼灰度图象F ig11 Eye grad ien t图 2 反光梯度图F ig12 Grad ien t of reflec t ligh t自评估算法及定位规则2211 自评估算法在瞳孔定位的过程中 , 常会出现定位不准确的情况 , 为了能进一步准确定位 ,法。笔者采用了自评估算所谓自评估 , 是指按照某种规则 , 评估第一次定位的结果是否符合要求。即在第一次定位中被判为正确的一定是正确的 ; 对第一次定位中被判为不正确的再进行第二次定位 , 以提高定位的准确性。 笔者分别进行相似度试验和角度一致性试验 , 试验中评估阈值 t1 , t2 和 t3 可以设置不同的值 , 以满足不同的定位精度要求 。阈值越大 , 定位准确度越高 , 但运算耗时也相应增加 ; 阈值很小时 , 相当于对眼睛进行一次定位。212 定位规则将候选点按照对称强度从大到小排列 , 记第一个候选点为 P1 。第一步 : 到 P1 距离小于 80 归入 a 组 , 并将第一个不属于 a 组的点记为 P2 , 归入 b组; 以 P1 和P2 为参考点 , 按照距离 80 进行分组 , 最多可得到 a, b, c 3 组 , c组为不属于 a、 b两组的候选点集合 , 将各组的第一候选点分别记为 P1 , P2 和 P3 。第二步 : 考虑到眉毛上很有可能被定位为第一候选点 , 因此 , 筛选出 a 组中第一个位置低于 P1 , 且与 P1 垂直方向距离大于 1140 的候选点 , 记为 P11 ; 按照同样规则可筛选出 b组中满足条件的候选点 P21 。此后的自评估以及二次定位将按照不同的筛选结果进行分类处理 。1 ) 所有候选点属于 a 组。这种情况为只准确定位一只眼睛 , 由于正常情况下图像旋转角度不会很 大 , 而且两眼距离范围约为 80 200 , 所以可在一个大致的区域选择 4 个候选点 , 从中选出与 P1 相似度最大的点作为另一只眼睛的定位结果。2) 候选点分别属于 a、 b、c 组 。这种情况下往往 c组出现在嘴部或嘴巴与鼻子之间 , 可利用相对 位置关系筛选出定位于眼睛的候选点; 否则 , 计算 P1 , P2 和 P3 相互之间的相似度 , 以相似度最大的一 对作为定位结果。3 ) 候选点分别属于 a、 b 组。可分为两种情况。 P11或 P21存在。很可能眼睛闭合或眉毛浓密 , 这种情况下对称变换模型已经不能很好地描述眼 睛。可认为 P11或 P21为定位准确的一只眼睛 , 然后按照第一种情况 (所有候选点属于 a 组 ) 处理。 P11和 P21都不存在 。按照快速自评估过程判断是否定位准确 , 若准确 , 则跳过二次定位 , 直接 输出一次定位结果; 否则 , 计算方向对称度 , 若 sym ( P1 ) 114 sym ( P2 ) , 则 P2 定位准确 , 否则 P1 定位准确 , 然后按照所有候选点属于 a 组处理。3 实验结果及分析实验采用 ORL ( Jou rna l fo r O to2R h ino2L a rgngo logy) 人脸图像库 ( 40 人 , 每人 10 幅 , 共 400 幅 ) ,图像大小为 112 ×92。实验中对所有图像选择对称强度最大的 10个点作为候选点。取 0 = 3, = 30 ,12= 1160 , 选取阈值 t1 = 01547, t2 = 0147, t3 = 01626。实验认为标定位置在虹膜区域 1 / 2 以内为定位准确 , 用该算法一次定位准确率为 87 % , 二次定位准确率为 9415 % 。通过实验证明 , 该方法通过有效区域选取减少了计算量 , 并较好地解决了眼睛闭合、眼镜反光、瞳孔区域不完整如图 3所示 。(被眼帘遮盖 )所带来的问题 ,二次定位也大大提高了定位的准确性 。瞳孔定位效果图图 3 定位效果图F ig13 R e su lts of som e p up il loca liza tion结语4272吉 林 大 学 学 报 (信 息 科 学 版 )第 27卷波、梯度变换、改进的对称变换的瞳孔定位的新方法 , 并进行了实验研究。对瞳孔进行精确定位 , 进一步准确地测定人的注视点位置 , 不仅可用于研究人眼的运动规律 , 而且 对于智能控制 , 研究人脑的生理功能或进行心理分析都具有一定意义 。瞳孔定位方法的研究在自动控制、安全保障、交通安全、医疗 、刑侦等领域的需求越来越迫切。考 虑到作为人脸检测、识别与跟踪技术的基础以及其广泛的应用前景 , 其研究价值是显而易见的。参考文献 : 1 D EN GAND J , LA I F. R egion2B a sed Temp la te D efo rm a tion and M a sk ing fo r Eye2Fea tu re Extrac tion and D e sc rip tion J .Pa tte rn R ecogn ition, 1997 , 30 ( 3 ) : 4032419. 2 X IE X, SUDHA KAR R , ZHUAN G H. O n Imp roving Eye Fea tu re Extrac tion U sing D efo rm ab le Temp la te s J . Pa tte rnR ecogn ition, 1994, 27 ( 6) : 791 2799. 3 HUAN G Chung2lin, CH EN Ch ing2wen. H um an Fac ia l Fea tu re Extrac tion fo r Face In te r2P re ta tion and R ecogn ition J . Pa t2te rn R ecogn ition, 1992 , 25 ( 12 ) : 143521444. 4 XU Zh i2fe i, SH I Peng2fe i. A Robu st and A ccu ra te M e thod fo r Pup il Fea tu re s Extra C 18 th In te rna tiona l Confe rence onPa tte rn R ecogn ition. Hong Kong: IEEE Comp u te r Soc ie ty, 2006: 437 2440. 5 J EN K IN S C, WAN J , HOLD EN E J , e t a l. App lica tion of R ad ia l Symm e try fo r Ca lde ra D e tec tion C D igita l Im ageComp u ting: Techn ique s and App lica tion s. Canbe rra: ACT, 2008: 142 2147. 6 CHOW G, L I X iao2bo. Towa rd s a System fo r A u tom a tic Fac ia l Fea tu re D e tec tion J . Pa tte rn R ecogn ition, 1993 , 26 ( 12) : 1739 21755. 7 LON G X in2d ian, TON GU Z O K, K ID ERNAN A. R ea l Tim e Pup il Size Mon ito ring a s a Sc reen ing M e thod fo r D iabe tic R e ti2nop a thy C IEEE B iom ed ica l C ircu its and System s Confe rence. Mon trea l, Q ue: IEEE, 2007: 2152218. 8 L EE J C, K IM J E, PAR K K M , e t a l. Eva lua tion of the M e thod s fo r Pup il Size E stim a tion: O n the Pe rsp ec tive of A u tonom 2ic A c tivity C 26 th A nnua l In te rna tiona l Confe rence of the IEEE Enginee ring in M ed ic ine and B io logy Soc ie ty. San F ran2c isco, CA: s. n. , 2004: 150121504. 9 刘文予 , 潘峰. 离散对称变换在人脸图像眼睛定位中的应用 J . 红外与毫米波学报 ,2001 , 20 ( 5 ) : 375 2380.L IU W en2yu, PAN Feng. App lica tion of D isc re te Symm e try Tran sfo rm in Eye s Im age Fea tu re s Loca tion J . Jou rna l of In2fra red and M illim e te r W ave s, 2001 , 20 ( 5 ) : 375 2380. 10 彭进业 , 俞卞章 , 王大凯 , 等. 多尺度对称变换及其应用于定位人脸特征点 J . 电子学报 , 2002, 30 ( 3 ) : 3632366.PEN G J in2ye, YU B ian2zhang, WAN G D a2ka i, e t a l. M u lti2Sca le Symm e try Tran sfo rm w ith App lica tion to Loca tion of Fea2tu re Po in ts on H um an Face Im age J . A c ta E lec tron ica Sin ica, 2002 , 30 ( 3 ) : 363 2366. 11 宋加涛 , 刘济林 , 池哲儒 , 等. 人脸正面图像中眼睛的精确定位 J . 计算机辅助设计与图形学学报 , 2005 , 17 ( 3 ) : 5402545.SON G J ia2tao, L IU J i2lin, CH I Zhe2ru, e t a l. P rec ise ly Loca ting H um an Eye s from F ron t2V iew Face Im age s J . Jou rna l of Comp u te r A ided D e sign & Comp u te r Grap h ic s, 2005, 17 ( 3 ) : 5402545. 12 石跃祥 , 蔡自兴 , B ENHAB IB B , 等. 基于眼睛梯度对特征的人脸检测方法 J . 计算机工程与应用 , 2005 , 41( 26 ) : 27229.SH I Yue2xiang, CA I Zi2xing, B ENHAB IB B , e t a l. Face D e tec ting B a sed on Grad s Coup le Fea tu re of Eye s J . Comp u te rEnginee ring and App lica tion s, 2005 , 41 ( 26 ) : 27 229. 13 周玉彬 , 俞梦孙. 用红外图像实时跟踪和监测眼睛的方法 J . 北京生物医学工程 , 2003, 22 ( 2 ) : 1042108.ZHOU Yu2b in, YU M eng2sun. M e thod of R ea l2Tim e Eye Track ing and Mon ito ring U sing Infra red Im age J . B e ijing B io2(责任编辑 : 张洁 )m ed ica l Enginee ring, 2003 , 22 ( 2 ) : 104 2108.