手势识别技术毕业设计.doc
《手势识别技术毕业设计.doc》由会员分享,可在线阅读,更多相关《手势识别技术毕业设计.doc(59页珍藏版)》请在三一办公上搜索。
1、摘 要社会的进步和科技的发展使人们急需一种可靠、简便、快捷的手势识别技术。近些年来手势识别由于其具有非接触的识别方式、快速的识别过程和稳定的识别系统等优点受到了人们广泛的关注。本文基于MATLAB,设计并实现了一种基于MATLAB的手势识别系统。首先,文章介绍了研究手势识别技术的意义和目的。其次,由于手势图像的尺寸、角度、清晰度等问题对手势识别有非常大的影响,所以我们先对其进行图像预处理。本文提供的预处理方法非常丰富。最后,重点讲述了本文应用的手势识别算法。并且在MATLAB上对手势识别算法进行仿真。对仿真结果进行了详细地分析。关键词;MATLAB;手势识别;图像预处理ABSTRACTThe
2、progress of the society and the development of science and technology make people urgently need a reliable, convenient and fast gesture recognition technology. Gesture recognition in recent years because of its identification with non-contact way, fast recognition process and the stability of the ad
3、vantages of recognition system has received the widespread attention. Based on MATLAB, this paper designs and realizes a kind of gesture recognition system based on MATLAB.First, this paper introduces the research meaning and purpose of gesture recognition technology. Secondly, as a result of gestur
4、e image problem such as dimension, Angle, and definition of gesture recognition has great influence, so we are on the first image preprocessing. This article provides pretreatment method is very rich. Finally, focuses on the application of gesture recognition algorithm in this paper. And gesture rec
5、ognition algorithm on MATLAB simulation. The simulation results are analyzed in detail.Keywords;MATLAB;Hand gesture recognition;Image prerocessing目录1 引言11.1 课题的背景和意义11.2 国内外研究现状12 手势识别研究综述42.1 手势的定义42.2 手势识别的意义42.3 手势识别的主要内容42.4 手势识别的方法53 手势图像的格式及基本操作63.1 手势图像格式63.1.1 数字图像的表示63.1.2 数字图像的灰度图63.1.3 TI
6、FF与BMP图像格式73.2 通用的图像操作93.2.1 图像的剪切93.2.2 图像的缩放93.2.3 图像的亮度调整104 手势图像的预处理114.1 图像平滑114.1.1 局部平均法114.1.2 中值滤波法124.1.3 频域平滑技术124.2 图像二值化124.2.1 p-参数法134.2.2 模式法134.2.3 可变阀值法135 MATLAB介绍145.1 MATLAB概述145.2 MATLAB的功能165.3 MATLAB语言特点165.4 MATLAB语言的优势185.5 MATLAB数组与矩阵205.6 MATLAB函数216 基于MATLAB的手势识别实现方法236.
7、1 手势表现特征分析236.2 特征提取236.3 MATLAB中手势识别的仿真256.3.1 输入待识别手势图片266.3.2 判断输赢27结 论29致 谢30参考文献31附录A 源代码35附录B 英文原文文献38附录B 中文翻译481 引言1.1 课题的背景和意义人与计算机的交互活动越来越成为人们口常生活的一个重要组成部分。特别是最近几年,随着计算机技术的迅猛发展,研究符合人机交流习惯的新颖人机交互技术变得异常活跃,也取得了可喜的进步。这些研究包括手势识别、面部表情识别、唇读、头部运动跟踪、凝视跟踪、人脸识别、以及体势识别等等。总的来说,人机交互技术己经从以计算机为中心逐步转移到以人为中心
8、,是多种媒体、多种模式的交互技术。基于MATLAB的手势识别研究正是顺应了这一潮流。手势是一种自然、直观、易于学习的人机交互手段。以人手直接作为计算机的输入设备,人机之间的通讯将不再需要中间媒体,用户可以简单地定义一种适当的手势来对周围的机器进行控制。以人手直接作为输入手段与其他输入方法相比较,具有自然性、简洁性,和丰富性、直接性的特点,因此用计算机来识别手势提供了一个更自然的人机接口。但是由于手势本身具有的多样性、多义性以及时间和空间上的差异性等特点,加之人手是复杂变形体以及视觉本身的不适定性,因此基于MATLAB的手势识别是一个多学科交叉的、富有挑战性的研究课题。为了寻找突破口,必须研究人
9、机交流中的手势用法,从而确定合理的研究范围。手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面,同时也有助于改善和提高聋哑人的生活学习和工作条件,为他们供更好的服务;另外,手势的研究涉及到教学、计算机图形学、机器人运动学、医学等多学科。因此,手势识别的研究是一个非常有意义的课题。手势输入在人机交互中应用的精髓不在于用来独立的用作空间指点,而是作为语言、视线、唇语等交互通道提供空间的或其它约束信息,以消除在单通道输入时存在的歧义,这样就可以以充分性取代精确性。1.2 国内外研究现状在新的人机交互领域,国际上己
10、经出现付诸应用的人机交互系统,2003年12月,美国密歇根州的Cybernet系统公司开发出一套名为手势风暴的系统,是公司针对天气预报节目开发的,主持人可以通过简单的手势来控制预报的进程;美国加州圣何塞的Canesta公司在2004年末推出一种新的设备,它可以使个人数字助理(PDA)具备手势识别功能。该设备会通过PDA内部透镜在桌面等平面上投射出键盘的影像。与此同时,它还会向该“键盘”的上方区域射出一束红外光。通过检测红外光脉冲从离开发射器、经用户手指反弹后最终回到PDA内传感器的时间,该设备可以精确感知用户手指在任一时刻的位置。光脉冲的来回程时间对应于特定的距离,根据这些不同的距离可以得出手
11、指在键盘上位置的三维图像,这样PDA就可以准确地采集用户在虚拟键盘上的操作信息;美国佐治亚理工学院有一项用手势识别减少汽车事故的研究课题,该校的研究小组开发了名为“手势面板”的设备来取代汽车上通常使用的仪表板控制设备,司机只需要在指定区域做出某个手势,即可调整车内的温度或音响的音量,而不需要转移对路面的注意力。在基于视觉手势识别方面,具有代表性的研究成果包括:1991年富士通实验室完成了对46个手语符号的识别工作;J.Davis和M.Shah将戴上尖具有高亮标记的视觉手套的手势作为系统的输入,可识别7种手势;Starner等在对美国手语中带有词性的40个词汇随机组成的短句子识别率达到99.2%
12、;K.Grobel和M.Assam从视频录像中提取特征,采用HMM技术识别262个孤立词,正确率为91.3%;此外,Vogler6与Metaxas将两种方法结合用于美国手语识别,交互采用一个位置跟踪器及三个互相垂直的摄像机作为手语输入设备,完成了53个孤立词的识别,识别率为89.9% 。利用数据手套等典型传感设备的方法中,CMU的Christopher Lee和Xu在1995年完成了一个操纵机器人的手势控制系统;M.W.Kadous用PowerGloves作为手语输入设备,识别由95个孤立词构成的词汇集,正确率为80% 。面对如此多的新型用户接口,有分析家指出:简便性和直观性是其是否成功的关键
13、标准在我国,哈尔滨工业大学的吴江琴、高文等给出了ANN与HMM的混合方法作为手语的训练识别方法,以增加识别方法的分类特性和减少模型的估计参数的个数,将ANN-HMM混合方法应用于有18个传感器的CyberGlove型号数据手套的中国手语识别系统中,孤立词识别率为90%,简单语句级识别率为92%。接下来高文等又选取Cyberglove型号数据手套作为手语输入设备,并采用了DGMM(ynamic Gaussian Mixture Mode)为系统的识别技术,即利用一个随时间变化的具有M个分量的混合Gaussian N一元混合密度来模型化手语信号,可识别中国手语字典中274个词条,识别率为98.2%
14、。与基于HMM的识别系统比较,这种模型的识别精度与HMM模型的识别精度相当,其训练和识别速度比HMM的训练与识别速度有明显的改善。他们为了进一步提高识别速度,识别模块中选取了多层识别器,可识别中国手语字典中的274个词条,识别率为97.4%。与基于单个DGMM的识别系统比较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的识别速度有明显的提高。2000年在国际上他们首次实现了5000词以上的连续中国手语识别系统。另外,清华大学祝远新、徐光裕等给出了一种基于视觉的动态孤立手势识别技术,借助于图像运动的变阶参数模型和鲁棒回归分析,提出一种基于运动分割的图像运动估
15、计方法,基于图像运动参数,构造了两种表现变化模型分别作为手势的表现特征,利用最大最小优化算法来创建手势参考模板,并利用基于模板的分类技术进行识别,对12种手势的识别率超过90%;在进一步研究中,他们又给出了有关连续动态手势的识别,融合手势运动信息和皮肤颜色信息,进行复杂背景下的手势分割,通过结合手势的时序信息、运动表现及形状表现,提出动态手势的时空表现模型,并提出基于颜色、运行以及形状等多模式信息的分层融合策略抽取时空表观模型的参数。最后,提出动态时空规整算法用于手势识别,对12种手势,平均识别率高达97%。台湾大学的Liang等人利用单个VPL数据手套作为手语输入设备,可识别台湾手语课本中的
16、250个基本词条,识别率为90.5% 。2 手势识别研究综述2.1 手势的定义由于手势(gesture)本身具有多样性和多义性,具有在时间空间上的差异性加上不同文化背景的影响对手势的定义是不同的。这里把手势定义为:手势是人手或者手和臂结合所产生的各种姿势和动作,它包括静态手势(指姿态,单个手形)和动态手势(指动作,由一系列姿态组成)。静态手势对应模型参数空间里的一个点,而动态手势对应着模型参数空间里的一条轨迹,需要使用随时间变化的空间特征来表述。手势和姿势(posture)的主要区别在于姿势更为强调手和身体的形态和状态而手势更为强调手的运动。2.2 手势识别的意义 目前,手势识别技术的应用在当
17、前是比较热门的研究课题,已经有了相当丰富的手势识别理论研究,并有不少的应用实践。由于人们的研究目的需求不同,在具体的处理方面就产生了不同的处理技术。将计算机手势识别技术应用于图书馆虚拟现实导航系统之中,使用户能够身临其境的以自然的方式,在虚拟的场景中获得真实的感受成为一种可能。用手势进行人机交互十分自然、高效。以人手直接作为输入手段与其它输入方法相比较,具有自然性、简洁性和丰富性、直接性的特点。因此,用计算机来识别手势提供了一个更自然的人机接口。使用计算机手势识别技术去识别用户输入的手势动作,并根据其识别的结果去驱动图书馆虚拟现实导航系统,用户将摆脱诸多外部硬件设备的限制,解放身体,自由的在空
18、间中以简单的手势动作驱动应用。因此,研究手势识别技术的实现,并使用计算机手势去操作图书馆虚拟现实导航系统具有现实意义。2.3 手势识别的主要内容(1) 针对手势输入技术和方法的研究,采用基于计算机视觉的手势输入方 法,识别自然手势,使人机交互更加灵活、方便。(2) 逐一分析手势识别各环节的技术,对手势图像进行处理、分割、特征 提取、匹配,选取合适技术,设计图书馆虚拟现实导航系统方案。(3) 结合以上各项研究成果,应用VC+开发工具,构建图书馆虚拟现实导航 系统。实验以上研究的各项关键技术,并进行评测和验证。2.4 手势识别的方法在基于形状特征的识别算法中,我们在边界图像的基础上根据手势区域的形
19、状特征对手势图像进行粗分类,按照手势图像中手指的方向及数目把手势图像分成向上、向右、向下等类别,然后分别在边界图像和二值图像的中提取手势图像面积、周长、重心距等特征,构成s维特征向量,最后采用类似度进行模板匹配,实现对字母手势的细分类;在基于傅立叶描述子的识别算法中。首先采用八邻域搜索法对二值化的手势图像进行边缘检测,得到连通的手势外轮廓,然后计算边界点序列的傅立叶系数得到傅立叶描述子,并将傅立叶描述子进行归一化,构建手势图像的特征向量,最后通过计算输入手势的特征向量与样本库中每一图像的特征向量的欧式距离,判定输入图像与样本图像间的匹配程度,我们把待识输入图像归为距离最小的那一类。实验对中国手
20、语中字母手势进行识别,取得了较好的效果。本文采用的识别流程如图2.1:图片预处理特征提取手势识别输入图片图2.1 手势识别流程图3 手势图像的格式及基本操作为了使计算机能够对各种现象进行分类识别,要用计算机可以运算的符号来表示所研究的对象。通常输入对象的信息有三种类型:(1) 二维图像如文字、指纹、地图、照片这类对象。(2) 一维波形如脑电图、心电图、机械振动波形等。(3) 物理参量和逻辑值前者如在疾病诊断中病人的体温及各种化验数据等;后者如对某参量正常与否的判断或对症状有无的描述,如疼与不疼,可用逻辑值0和1来表示。在引入模糊逻辑的系统中,这些值还可以包括模糊逻辑值,比如很大、大、比较大等。
21、在手势识别中,处理的对象是手势的照片,我们提取数据的目标就是将手势的图像用一个特征向量来表示出来。在本文中所处理的图片主要有TIFF与BMP两种格式,TIFF格式相对来说要复杂一些,可以存储的图像也要丰富得多,它可以存储多张图片,还可以存储多种压缩格式的图片,而BMP格式的图片简单、通用,一般在应用程序中可以方便的显示。因此我们的工作除了熟悉多种格式的图像文件以外,还包括实现多种格式图像文件之间的相互转换,并最终提取出表示图像的特征向量。3.1 手势图像格式3.1.1 数字图像的表示数字图像的表示方式可以分为两类:位图方式和矢量方式。位图方式该方式将一副图像划分为一张栅格,格中每一部分(像素)
22、或色彩单独记录,位图中的一个数据点的位置决定了该数据点所代表的像素,即数据点与图像对应,“位图”由此而来,位图适用于色彩、阴影或形状变化负责的图像,如照片、绘画或数字化视频等。矢量方式这种方式用一系列线段或其他造型描述一副图像,它适合与线型图等简鱼的国戒成图像。3.1.2 数字图像的灰度图灰度又称为“Graysacle,它代表像素的亮度值。在一副黑白照片中,不是简单的非黑即白,而是逐步过渡的,他们可区分为不同的亮度等级即灰度级。灰度划分越细,越能准确的再现图像。目前普遍采用的是256灰度级,即每个像素的灰度用一个字节(a位)表示,其中0表示全黑,256表示全白。3.1.3 TIFF与BMP图像
23、格式TIFF图像文件主要由三种数据组合而成:表头、标识信息区和图像数据区。表头信息指出了标识信息区在文件中的地址,而标识信息区由一组标志信息组成,它们表示出了TIFF图像所有的属性并且指明了图像数据区的地址,图像数据区将图像的像素数据以自上而下,自左到右的顺序依次存放。它们的关系如图3.1所示:标识信息区图像数据区TIFF表头数据图3.1 关系图若标识信息区末端的标志参数不为0,那么该参数就表示下一个标识信息区的地址,在TIFF图像中,每一个标识信息区和一个图像数据区就表示一幅图像,因此若文件中含有多个标识信息区就表明该文件中存储了多幅图像。BMP图像文件也分为三部分:表头、调色板和图像数据。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 手势 识别 技术 毕业设计
链接地址:https://www.31ppt.com/p-3943712.html