模式识别课件v0.ppt

模式识别Pattern Recognition主讲教师：陶青川(副教授）13330996961,使用教材：孙即祥等编著，现代模式识别，长沙，国防科技大学出版社，,第一讲 绪论,第一部分 相关知识介绍与课程内容第二部分 模式识别学科介绍,信息行业的基本需求-美国NII计划,不分地域地、有效地获得与传输信息。不分地域地、有效地共享硬软资源。有效地利用信息，以提高生产率。保证信息安全。,相关知识介绍与课程内容,在过去的十年中，做了什么？,以浏览器等网络为核心技术的“有效获得信息”的研究取得了预期效果。人们已可以从不同地域有效地获得信息。但是，,大型信息化系统-重庆防汛抗旱系统,信息采集、计算机网络、数据汇集与应用支撑平台、防汛抗旱管理等应用四个子系统。,提高信息使用率,以人工智能、模式识别、机器学习、机器视觉、数据挖掘为理论基础的各种方法，是提高信息使用率的有效途径之一。应用计算机，以人类智慧的机理和实现作为研究目标的工作，称为“人工智能”包括学习、推理、判断、分析等,模式识别的基本定义 模式(pattern)-存在于时间，空间中可观察 的事物，具有时间或空间分布的信息。模式识别(Pattern Recognition)-用计算机（机器系统）实现人对各种事物或现象的分析,描述,判断,识别。（广义的）模式识别与图象识别，图象处理的关系,模式识别是模拟人的某些功能 模拟人的视觉:计算机+光学系统 模拟人的听觉:计算机+声音传感器 模拟人的嗅觉和触觉:计算机+传感器,模式识别？,模式(样本)表示方法,1.向量表示:假设一个样本有n个变量(特征)=(X1,X2,Xn)T 2.矩阵表示:N个样本，n个变量(特征),3 几何表示 一维表示 X1=1.5 X2=3 二维表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三维表示 X1=(x1,x2,x3)T=(1,1,0)T X2=(x1,x2,x3)T=(1,0,1)T,4 基元（链码）表示：在右侧的图中八个基元分别表0,1,2,3,4,5,6,7,八个方向和基元线段长度。则右侧样本可以表示为X1=006666。这种方法将在句法模式识别中用到。,基于统计方法的模式识别系统组成,信息获取,预处理,特征提取和选取,分类器设计,分类决策,一些应用,（1）、信息获取,二维图象 如文字、指纹、地图、照片一维波形 如脑电图、心电图、机械震动波形物理参量和逻辑值,通过测量、采样和量化，可以用矩阵或向量表示二维图象或一维波形,（2）、预处理,目的：去除噪声，加强有用信息，复原信息预处理：包括AD,二值化，图象的平滑，变换，增强，恢复，滤波等,主要指图象处理。,（3）、特征提取和选取,特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征 测量空间：原始数据组成的空间 特征空间：分类识别赖以进行的空间 模式表示：维数较高的测量空间-维数较低的特征空间例如，一幅64x64的图象可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征。,（4）、分类决策,在特征空间中用统计方法把被识别对象归为某一类别基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类时所造成的错误识别率最小或引起的损失最小（统计模式识别）,机器学习计算的说明,令W是这个给定世界的有限或无限所有对象的集合，由于我们观察能力的限制，我们只能获得这个世界的一个有限的子集QW。模式识别、机器学习的任务就是根据这个世界的对象子集Q，推算这个世界的一个模型，使它近可能为真。,模式识别与机器学习三个需要解决的问题,一致性假设：机器学习任务的本质。对样本空间的划分：决定对样本的有效性。泛化能力：决定对世界的有效性。,模式识别的发展史,1929年 G.Tauschek发明阅读机，能够阅读0-9的数字。30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。50年代 Noam Chemsky 提出形式语言理论,美籍华人付京荪 提出句法结构模式识别。60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。,教学要求及目的 模式识别是控制科学与工程一级学科所包含的所有硕士点硕士研究生必修的学位课程，也是通信与信息系统、信号与信息处理、电路与系统等专业研究生的必修课或选修课。模式识别是现代高科技研究和应用的重要领域，它为21世纪人类进入智能化奠定了基础。本课程的目的就是系统地介绍模式识别的基本理论、基本技术和基本方法。为研究生掌握和应用这门高新技术奠定坚实的基础。要求学生熟练地掌握统计模式识别技术、句法模式识别技术、模糊模式识别技术和智能模式识别技术的基本原理与方法。,教学方法,着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合科研项目与大试验避免引用过多的、繁琐的数学推导。使初步具备科研的能力,作业：科研题目、上机作业题考试：开卷考试,主要参考文献1边肇祺等，模式识别（第二版），北京，清华大学出版社，2000年1月.2杨光正等，模式识别，合肥，中国科技大学出版社，2001年3(美)Richard O.Duda Peter E.Hart Dovid G.Stork著 李宏东 姚天翔等译，模式分类（第二版）（attern Classification Second Edition）北京，机械工业出版、中信出版社（中英两种版本）2003.,4(希腊)Theodoridis.(西奥多里蒂斯)等著，模式识别(第三版)（Pattern Recognition Second Edition）英文影印版北京，机械工业出版社，.中译版李晶皎等译，北京电子工业出版社，（英）ndrew R.Webb著，王萍等译统计模式识别（第二版）（tatistical Pattern Recognition Second Edition）北京，电子工业出版社，.6沈青等，模式识别导论，国防科技大学出版社，1991年5月,7J.T.Tou&R.C.Gonzalez.Patte Recognition Principles,Addison-Wesley Publishing Company,London,19748J.Sklansky,G.N.Wassel.Patten Classification and Trainable Machines,Springer-Verlag,New York,1981,主要期刊,IEEE Trans.On PAMI,NN Pattern Recognition Pattern Recognition Letter Machine Learning Neural Computation 模式识别与人工智能,1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会-“IAPR”，每2年召开一次国际学术会议。1977年 IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议。国内的组织有电子学会，通信学会，自动化协会，中文信息学会.。CVPR:IEEE Conf on Comp Vision and Pattern Recognition(0.96)ICML:Intl Conf on Machine Learning(0.95)ICPR:Intl Conf on Pattern Recognition(0.76),关于模式识别的学术组织和重要会议,当务之急！,模式识别与人工智能需要更多的数学知识。简单的写程序的工作，将逐渐变为软件工人的事情。信息科学面临来自数学家与物理学家的严重生存挑战。补充数学也许是信息科学研究者的当务之急。尽管数学不是万能的，但是没有数学是万万不能的！,课程主要内容一、引论 模式识别的基本概念；模式识别系统；模式识别理论与技术；模式识别的发展和应用；二、统计模式识别1聚类分析：聚类分析的概念；模式相似性测度及聚类准则函数；谱系聚类算法；动态聚类算法；最小张树分类法；聚类有效性评价。,2线性判别函数 线性判别函数；Fisher线性判别；感知准则函数和梯度下降法；最小均方误差准则函数及算法；广义线性判别函数；二次判别函数；非线性分类器及分类方法。3统计决策 最小错误率的Bayes决策；最小风险的Bayes决策；正态分布时的统计决策；最小最大损失决策；N-P（Neyman-Pearson）决策；Fisher准则判别,4概率密度函数的估计 统计推断概述；参数估计；非参数估计；错误率测试；平均损失及最小误判概率的估计方法；经验风险设计；隐马尔可夫模型。5近邻法 最近邻法：K近邻法；剪辑近邻法；引入拒绝决策的近邻法；近邻法中最佳距离及其实际计算。,6特征提取与选择基本概念：类别可分性判据；基于可分性判据的特征提取和选择；基于KL变换的特征提取与选择；特征选择的新方法（模拟退火算法、Tabu搜索算法、遗传算法）三、模糊模式识别 模糊集合论基础；基于识别算法的模糊模式识别；模糊关系与模糊聚类分析；统计模糊方法,四、句法模式识别 概述；形式语言；高维文法与随机文法；模式的描述；句法分析；文法推断,五、智能模式识别 智能模式识别概述；知识表示方法；基于知识的推理；知识获取；人工神经网络概述；前馈神经网络及其主要算法；Hopfield网络及其在模式识别中的应用；支持向量机。六、模式识别应用1语音识别技术及应用 2图象识别技术3汉字识别及应用。,模式识别智能科学的基础,第二部分 模式识别学科介绍,一、智能科学人类的梦想 1.1001夜的故事：芝麻开门 2.好莱坞大导演斯皮尔博格的大片：人工智能新版铁臂阿童木的故事 3.1997年美国微软总裁比尔盖茨在清华大学演讲时播放的录相电脑识别人体语言 4.2001年中国电子工业博览会（大连）：女机器人“温文雅”。,模式识别（Pattern Recognition）是20世纪60年代初迅速发展起来的、与高新技术研究开发密切相关的一门新兴学科。它所研究的理论与方法在很多科学和技术领域中得到了广泛应用，取得了一系列重大成果，为人类迈进智能时代奠定了基础。其研究方兴未艾，前景诱人！,二、人工智能 1.定义（人工智能）：使机器具有人类智能活动的学科,2.分类（1）专家系统：是使计算机具有某种专门知识或若干常识，并能综合运用这些知识，以便在某些特定领域内代替或帮助专家从事某项工作的知识系统。,(2)模式识别：20世纪60年代开始，美国科学家G.Tauschek提出光学模板匹配：,20世纪60年代：数学发展统计决策理论，计算机技术发展，模式识别；代表人物：(美)付京荪、黄煦涛20世纪80年代：中国模式识别开始（3）机器人：,三、模式识别技术 1.模式：人类能用其感官直接或间接接收到的外界信息。可用本质属性（特征）或结构信息（基元）表示。2.模式识别：是研究人类识别机理和实现实别功能的科学。,例子1 步态（gait）识别介绍,步态识别是生物特征识别技术的一个新兴领域。它根据人走路的姿势的生物特征进行人的身份认证。,3.模式识别技术过程,步态识别系统示意图,步态特征提取,步态跟踪,步态数据库,识别结果,分类器,摄像机,步态序列图,步态检测,背景模型,监控区域,步态序列,MIT数据库,步态序列,MIT数据库,基于静态特征的快速身份步态识别,Johnson和Bobick提出了一种不依赖于角度的静态参数步态识别算法。实验结果的识别率可以达到70。因此，我们在静态身体参数的基础上，提出了5个与步态特征有关的参数：,基于静态参数的步态识别实验,(a)d1(b)d2,(c)d3(d)d4,(e)d5MIT第1个人步态特征数据曲线,静态参数曲线,(a)d1(b)d2,(c)d3(d)d4,(e)d5MIT第6个人步态特征数据曲线,MIT库中不同人的静态特征值表,从前面的曲线和表可以看出，不同人的步态特征区别明显。我们使用USF数据集中21人、41人，71人步态序列进行算法测试，识别率如下：,应用：重要场所人物监视检测，如银行、武器库、海关等进入/离开某个重要场所的人物、人数，如商场、车站、码头等身份认证，如门禁、公安侦破等主要方面：人脸检测人脸识别,例2 人脸人像识别,人脸人像识别人脸检测：16路界面,人脸人像识别人脸检测：实例,场景 人物进入场景 人脸检测,人脸检测定位1 人脸检测定位2 人脸检测定位3,人脸人像识别人脸识别：,主要流程,人脸人像识别人脸识别：,特征检测,灰度分布特征特征模板,人脸人像识人脸识别应用：通缉犯自动查询系统,四川大学天思智能系统研究所,例3 字符识别,例4 身份识别 例5 目标识别 模式识别系统组成框图,4.模式识别理论（1）统计模式识别技术 定义：以统计决策理论为基础，通过对表征模式本质属性的特征提取，把模式表为n维特征向量，再通过变换降低特征维数，从而将模式表为特征空间的一个点，运用统计决策理论的各种方法，给出一个特征空间的划分，使每个区域对应一类模式，从而达到识别目的。这种方法也叫几何模式识别。,（2）句法模式识别技术定义：将模式的结构信息分解为基元及其关系（符号串、树或关系图），导出各类形式语言的模式文法，然后应用形式语言学理论对模式进行分类识别。这种方式又叫结构模式识别。,（3）模糊模式识别技术 定义：以模糊数学为基础，把人类大脑的感觉、分析、推理、分类识别和理解的能力，用计算机来模拟实现。,（4）智能模式识别技术,定义：引入人工智能的理论与技术（主要是学习、知识表示、推理等技术），对模式进行分类识别与理解的方法叫智能模式识别。通常有两种方法：基于逻辑推理的智能模式识别基于人工神经网络的智能模式识别,5.模式识别技术应用（1）人的身份识别 1990年日本人像识别机，1秒内从3500人中找出你要找的人 1997年 中国武汉市应用指纹识别系统成功破案 美国日本已建立上千万人指纹档案，世界上最快指 纹识别系统可在0.1秒查证一个人的资料。人脸识别 声纹识别 步态识别,（2）文字识别 模块字典库：印刷体文字，电脑可一目十行 手写体字识别：（3）图像与景物识别（4）语音识别 1997年IBM公司在中国开发了汉语语音识别系统，1998年又开发了上海话、四川话、广东话等地方口语的语音识别系统，具有65000词汇和纠错功能，平均识别率95%,清华大学语音识别系统，可识别普通话、四川话、识别率98.73%电话语音识别，通过自动语音交互应答，自动识别用户的付费方式，美国AT&T电话公司每年可节药1亿美元人工服务费。语音产品1998年国际市场有80多种，产值1.3亿美元，2002年仅电话语音产品一项可达10.6亿美元。,（5）生物医学（6）地球资源勘察（7）工业自动化（8）国防,结 束 语 智能科学的明天是绚丽多彩的，只有奠定今天电子信息技术坚实的基础，才能创造明天的辉煌。书山有路勤为径，学海无涯苦作舟，勤奋学习，追求卓越，一定能成功！,