哈工大模式识别-绪论.ppt
模式识别基础,宿 富 林哈尔滨工业大学电子与信息工程学院 信息工程系86403225，主楼1201,本门课的教学目的,掌握模式识别的基本概念、原理和方法 模式识别对不同领域都极为重要，所以必须了解和掌握模式识别技术了解术语含义、了解模式识别系统基本结构、了解模式识别中关键问题掌握具体的模式识别方法理解各种算法原理,教材和参考书,教材模式识别（第2版），清华大学出版社，边肇祺、张学工参考书Pattern Classification,Richard O.Duda,etc.Pattern Recognition,Sergios Theodoridis,etc.模式识别 李晶皎 赵丽红等 电子工业出版社,成绩,卷面成绩：60%平时成绩：20%实验成绩：20%,课件下载,密码：hit123456,第 一 章,绪 论,本章学习目的,什么是模式识别？模式识别有什么用？哪里可以应用？机器自动学习的最基本原理是什么？,本章重点,模式识别的含义，模式的概念模式的描述方法模式识别系统的组成模式识别利用训练样本设计分类器的原理(学习),本章难点,模式的向量表示与结构表示利用向量表示进行分类的基本原理训练和学习的概念、算法，分类器设计是如何利用训练样本数据提供的信息的模式识别系统的组成，特征选择与提取的含义和重要性相似性的度量方法,学习指南,学习本章着重要了解几个最基本的概念，即模式识别就是机器自动识别与分类；为了实现自动识别对所要识别事物要进行度量，以及用相应方法表示；着重弄清特征向量是什么意思？通过一些例题与习题了解其定义及用途，弄清分类的最基本方法，弄清为什么要用分界面来实现机器自动识别与分类。,1.1 模式识别和模式的概念,日常生活中的模式识别陌生、但密切相关语音、图像、气味寻找教室、查找资料、医生看病见惯不惊,模式识别是六十年代初迅速发展的一门学科。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能技术及图像处理、信号处理、计算机视觉、多媒体技术等多种学科的发展，扩大了计算机应用的领域。,什么是模式识别？,模式识别：Pattern Recognition通俗一点讲就是机器识别，计算机识别，或机器自动识别。模式识别针对让计算机来判断事物而提出的 该学科研究的内容是使机器能做以前只能由人类才能做的事，具备人所具有的、对各种事物与现象进行分析、描述与判断的部分能力。,机器与人类识别事物的比较,人类：具有提取抽象概念的能力 人们在学习与认识事物中会总结出规律，并把这些规律性的东西抽象成“概念”。人之所以能“抽象出概念”，关键能分析事物中哪些是本质，哪些是表面现象，或由偶然因素引起的。机器：目前的抽象能力是很差的。对样本辨别事物的最基本方法是计算。要让机器准确地把握事物的本质，弄清分辨事物的关键，从而正确辨别事物，实质上是要使人能够研究出好的方法，提出好的算法，从而构造出好的系统，使机器辨别事物的本领更强。,机器辨别事物的最基本方法是计算,让机器辨别事物的最基本方法是计算，原则上讲是对计算机要分析的事物与作为标准的称之为“模板”的相似程度进行计算。譬如说脑子里有没有瘤，就要与标准的脑图像以及有瘤图像做比较，看跟哪个更相似。要识别一个具体数字，就要将它与从0到9的样板做比较，看跟哪个模板最相似，或最接近。因此首先要能从度量中看出不同事物之间的差异，才能分辨当前要识别的事物(称为测试样本)跟哪类事物更接近。因此找到有效地度量不同类事物的差异的方法是最关键的。,模式类与模式,模式类与模式：所见到的具体事物称为模式，而将他们的归属类别称为模式类。样本与模式(模式类)：所见到的具体事物称为样本，而他们所属的事物类别，代表着这些事物的“概念”是模式。模式与样本在集合论中是子集与元素之间的关系 模式识别：将某一具体事物（样本）正确地归入某一（模式）类别。,模式的描述方法,一种是对事物的属性进行度量，属于定量的表示方法。另一种则是对事务所包含的成分进行分析，称为定性的描述或结构性描述,定量的表示方法,特征：模式就是用它们所具有的特征(Feature)（反映事物的本质属性）描述的。特征向量：对一种模式与它们的样本来说，将描述它们的所有特征用一特征集表示:例如对水果进行分类：用水果的重量，近似球体直径表示水果:一只苹果重0.3斤，直径10厘米,则可表示成(0.3,1.0),特征空间,特征空间中的一个样本点,时域信号的向量表示法,语音信号这种随时间变化的信号，属于时域信号。此时，元素之间的时间先后顺序很重要，因此可用向量的形式将它们排列起来。说的严格一些，对语音信号进行采样，然后将在不同时刻采样值排列起来，组成向量。,图像的表示方法,数字图像：它由排列整齐的二维网格组成，分为若干行与若干列，相当于一个二维数组，或称矩阵。每个元素称为像素。图像的运算是向量运算。,结构性描述方法,结构性描述方法：由事物组成成分与相互关系表示的表示方法。常用的有串、树、图等。例如一幅景色图像中的房屋用向量描述就不一定方便，对房屋而言，它有屋顶、墙、门窗等组成，各种成分之间又有相互关系，则墙在屋顶之下，门与窗都在墙上等。,统计模式识别,统计模式识别 在特征空间与特征向量这种表示模式的方法前提下，讨论模式识别的基本理论与基本方法。结构模式识别 基于结构性描述方法。,1.2 模式识别系统,对样本进行分类，执行模式识别的计算机系统称为模式识别系统。模式识别系统的基本构成一般由数据获取，预处理，特征提取与选择、分类器设计及分类决策五部分组成。,例子：鲈鱼和鲑鱼的分类及识别,光学手段，架设相机，拍摄鱼的照片，识别这两类鱼。两种鱼有在一些物理特性上差异明显：长度、宽度、光泽、鳍的数目和形状、嘴的位置。（特征）可用于分类识别。预处理：图像受到光照的影响、鱼在传送带上的位置、摄像机电子线路的干扰。,两种鱼的长度的分布（只用长度分类）不存在一个阈值能分开两类鱼。任何阈值都会存在错分。最佳阈值：l，错分类数目最小。,鲑鱼,鲈鱼,鲑鱼,鲈鱼,两种鱼的光泽度的分布（只用光泽度分类）不存在一个阈值能分开两类鱼。任何阈值都会存在错分。最佳阈值：x，错分类数目最小。,两个特征（光泽度和宽度）分类，线性分类器中间斜线是分界线，误差别前述两种效果好，但仍有一些错误。,复杂的决策曲线。对训练样本可得无错分样本。但，推广能力很差。如。新的点“？”，更像是“鲑鱼”，但分为“鲈鱼”,判决曲线：分类性能和分界面复杂度的一个最优折中。对新的样本的分类性能也很好,典型的模式识别系统,数据获取,预处理,特征提取与选择,分类器设计,分类决策,分类器参数,分类结果,训练过程,识别过程,一、数据获取,数据获取环节主要是由不同形式的传感器构成，实现信息获取与信息在不同媒体之间的转换。在现阶段计算机都只能处理某种形式的电信号，而待识别的样本大都是非电信息，需要转换成电信号。-话筒将声音信号转换成电信号-景物信息在摄像机靶面成像并转换成二维的象素矩阵,二、预处理,预处理主要是指去除所获取信息中的噪声，增强有用的信息，及一切必要的使信息纯化的处理过程。如图象处理：二值化，图象的平滑，变换，增强，恢复，滤波等,三、特征选择和提取,将所获取的原始量测数据转换成能反映事物本质，并将其最有效分类的特征表示。输入：原始的量测数据(经过必要的预处理)。输出：将原始量测数据转换成有效方式表示的信息，从而使分类器能根据这些信息决定样本的类别。,对所获取的信息实现从测量空间（原始数据组成的空间）到特征空间（分类识别赖以进行的空间）的转换。测量空间原始数据是由所使用的量测仪器或传感器获取的，这些数据组成的空间叫测量空间。特征空间 待识别的样本及模式都是用特征进行描述的，识别与训练都是在特征空间中进行的。,例：印刷体数字识别,向量表示 一个数字往往用一个NM的数组表示。如果N5，M7，则一个数字就用57共35个网格是黑是白来表示。如令黑为“1”，白为“0”，一个数字就可用35维的二进制向量表示。优点：简单。缺点：稳定性差。这种表示与网格的大小、字的笔划粗细、以及字在网格中的位置及转向有关。,结构（笔划）表示,也就是将它分成一横加上一斜杠表示。这种表示方法属于结构表示法范畴。没有前一种方法的缺点。提取这种结构信息也不是一件容易方便的事,四、分类器设计与分类决策,模式识别系统工作的两种方式训练方式和分类决策方式,分类器设计：将该特征空间划分成由各类占据的子空间，确定相应的决策分界。分类决策：是指分类器在分界形式及其具体参数都确定后，对待分类样本进行分类决策的过程。,例：汽车车牌识别,从摄像头取得彩色的包含车牌的图像。车牌定位和抽取。字符分割与识别。,1.3 模式识别的一些基本问题,一、学习 二、模式的紧致性三、相似性度量,一、学习,人的学习过程 在日常生活中进行模式识别的活动从学习过程中掌握了很强的分辨事物的能力。机器的学习过程 使用包含各种类别的训练样本 勾画出各类事物在特征空间分布的规律性 确定使用分类的具体数学公式及其参数,例：两类训练样本圆形分布,分类函数类型的确定：圆形的分布与线性方程。一般来说，决定使用什么类型的分类函数往往是人为决定的。,数学式子中参数的确定,是一种学习过程。如果当前采用的分类函数会造成分类错误，利用错误提供应如何纠错的信息，纠正分类函数。,分类器设计：求解优化问题的过程,模式识别中的学习与训练是从训练样本提供的数据中找出某种数学式子的最优解，这个最优解使分类器得到一组参数，按这种参数设计的分类器使人们设计的某种准则达到极值。分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。,二、模式的紧致性,分类器设计难易程度与模式在特征空间的分布方式有密切关系,临界点：处于两类的边界上的点为临界点。内点：非临界点。,临界点与内点,紧致集，具有下列性质：,(1)临界点的数量与总的点数相比很少。(2)集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。(3)每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点。形象说法：不要混迭，分界面干净利索,影响数据紧致性的因素,数据本身特性-如手写体数字 数据描述方法-印刷体数字的网格表示,特征提取：改善数据紧致性,许多问题在测量空间上不满足紧致性。若可分：通过某种变换，使其在特征空间中可分。具有紧致性特征提取的任务就是找到这样一种变换。,三、相似性度量,在特征空间中用特征向量描述样本的属性，就是把相似性度量用距度离量表示。同类样本应具有聚类性，或紧致性好不同类别样本应在特征空间中显示出具有较大的距离。统计模式识别各种方法实际上都是直接或间接以距离度量为基础的。,两个样本xi，xj之间的相似度量满足以下要求：应为非负值 样本本身相似性度量应最大 度量应满足对称性 在满足紧致性的条件下，相似性应该是点间距离的单调函数,常用的距离度量,欧氏距离差的绝对值总和向量夹角,模式识别发展历史,1929年 G.Tauschek发明阅读机，能够阅读0-9的数字。30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。,模式识别发展历史,50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。60年代 提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。90年代 小样本学习理论，支持向量机也受到了很大的重视。,关于模式识别的国内、国际学术组织,1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会-“IAPR”，每2年召开一次国际学术会议。1977年 IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议。国内的组织有电子学会，通信学会，自动化协会，中文信息学会.。,模式识别的应用领域,机器视觉指纹识别人脸识别检测污染分析：大气，水源，环境监测自动检测：产品质量自动检测，产品自动分类条形码识别：一维条形码识别，二维条形码识别射频识别纸币识别机器人足球汽车自动驾驶,模式识别的应用领域,字符识别种类:印刷体字符的识别;手写体字符的识别脱机识别;联机识别应用信函自动分拣车牌自动识别银行票据识别系统文本自动处理文本输入,模式识别的应用领域,语音识别说话人识别：语音锁:电子锁，语音确认等小词汇量语音识别：人名识别，语音拨号大词汇量语音识别医疗诊断细胞识别：红细胞识别、白细胞识别、癌细胞识别染色体识别疾病诊断：肝炎专家系统,模式识别的应用领域,目标识别（雷达、可见光、红外等）：巡航导弹，拦截导弹舰船、飞机等电子侦察对对抗：频率、带宽、脉宽等识别遥感：资源卫星照片，气象卫星照片处理，包括雷达（SAR、ISAR）图像、光学图像（可见光、红外、高光谱）等。信息安全：网络入侵检测,需要区分不同类型的冰盖，将冰分成坚固冰（滑）或有某种程度或方式形变的冰 右下图是加拿大北冰洋上一小区域的分类，左图是原始的雷达图像,蓝色:开阔水域黄色:坚固冰绿色:有某种程度形变的冰红色:严重形变的冰.,章节安排,第2章 贝叶斯决策理论第3章 判别函数及分类器的设计第4章 特征选择与提取方法 第5章 非监督学习方法,
