模式识别与图像.ppt

模式识别与图像处理,熊卫华 15#222,引 言,与模式识别相关的学科,统计学概率论线性代数（矩阵计算）形式语言机器学习人工智能图像处理计算机视觉,教学方法,着重讲述模式识别的基本概念、基本方法。介绍图像处理的相关知识。,教学目标,掌握模式识别的基本概念和方法为研究新的模式识别的理论和方法打下基础,参考文献,R.Duda,P.Hart,D.Stork,Pattern Classification,second edition,2000（有中译本）.边肇祺，模式识别（第二版），清华大学出版社，2000。蔡元龙，模式识别，西北电讯工程学院出版社，1986。,机构、会议、刊物,1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”（此后两年一次），成立了国际模式识别协会-“IAPR”1977年IEEE成立PAMI委员会，创立IEEE Trans.on PAMI，并支持ICCV,CVPR两个会议世界计算机视觉和模式识别领域顶尖期刊IEEE PAMI，全称IEEE Transactions on Pattern Analysis and Machine Intelligence,国际计算机视觉大会ICCV，全称International Conference on Computer Vision世界计算机视觉和模式识别领域顶级国际会议CVPR全称IEEE Conference on Computer Vision and Pattern Recognition,其它刊物Pattern Recognition(PR)Pattern Recognition Letters(PRL)Pattern Analysis and Application(PAA)International Journal of Pattern Recognition and Artificial Intelligence(IJPRAI)模式识别的国内学术组织国内的组织有电子学会，通信学会，自动化协会，中文信息学会.。,第 1 章 绪论,1.1 模式识别和模式的概念,什么是模式（Pattern）？,什么是模式？,广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。模式的直观特性:可观察性可区分性相似性,模式识别的概念,模式识别（Pattern Recognition）直观，无所不在，“人以类聚，物以群分”周围物体的认知：桌子、椅子人的识别：张三、李四声音的辨别：汽车、火车，狗叫、人语气味的分辨：炸带鱼、红烧肉用计算机实现人对各种事物或现象的分析,描述,判断,识别。人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。,模式识别的研究,目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。Y=F(X)X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法,模式识别简史,1929年 G.Tauschek发明阅读机，能够阅读0-9的数字。30年代 Fisher（Ronald Aylmer Fisher）提出统计分类理论，奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。,50年代 Noam Chemsky 提出形式语言理论 美籍华人傅京荪 提出句法结构模式识别。60年代 提出了模糊集理论，模糊模式识别方法得以发展和应用。80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。,模式识别的应用,1.字符识别：包括印刷体字符的识别；手写体字符的识别（脱机），各种OCR设备例如信函分拣、文件处理、卡片输入、支票查对、自动排板、期刊阅读、稿件输入；在线手写字符的识别（联机），各种书写输入板。2.医疗诊断：心电图，脑电图，染色体，癌细胞识别，疾病诊断，例如关幼波肝炎专家系统。3.遥感：资源卫星照片，气象卫星照片处理，数字化地球，图象分辨率可以达到1米。,模式识别的应用,4.指纹识别 脸形识别5.检测污染分析，大气，水源，环境监测。6.自动检测：产品质量自动检测7.语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断。8.军事应用,模式识别方法,模式识别系统的目标：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。解释空间：将c个类别表示为其中 为所属类别的集合，称为解释空间。,假说的两种获得方法,监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定假说（通常为一个判别函数），只有在判别函数确定之后才能用它对未知的模式进行分类；对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。,假说的两种获得方法（续）,非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况；如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类；这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果。,模式分类的主要方法,数据聚类统计分类结构模式识别神经网络,数据聚类,目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。是一种非监督学习的方法，解决方案是数据驱动的。,统计分类,基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法，分类器是概念驱动的。,结构模式识别,该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。识别采用结构匹配的形式，通过计算一个匹配程度值（matching score）来评估一个未知的对象或未知对象某些部分与某种典型模式的关系如何。当成功地制定出了一组可以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法 句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。,神经网络,神经网络是受人脑组织的生理学启发而创立的。由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分类。,1.2 模式识别系统,模式识别系统的基本构成,数据获取,特征提取和选择,预处理,分类决策,分类器设计,模式识别系统组成单元,数据获取：用计算机可以运算的符号来表示所研究的对象二维图像：文字、指纹、地图、照片等一维波形：脑电图、心电图、季节震动波形等物理参量和逻辑值：体温、化验数据、参量正常与否的描述预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原,模式识别系统组成单元,特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征测量空间：原始数据组成的空间特征空间：分类识别赖以进行的空间模式表示：维数较高的测量空间-维数较低的特征空间分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小,模式识别过程实例,在传送带上用光学传感器件对鱼按品种分类鲈鱼(Seabass)品种鲑鱼(Salmon),识别过程,数据获取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开,识别过程,特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等 分类决策：把特征送入决策分类器,1.3 模式识别的基本问题,一.模式(样本)表示方法向量表示:假设一个样本有n个变量(特征)=(X1,X2,Xn)T2.矩阵表示:N个样本，n个变量(特征),3.几何表示 一维表示 X1=1.5 X2=3 二维表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三维表示 X1=(x1,x2,x3)T=(1,1,0)T X2=(x1,x2,x3)T=(1,0,1)T,4.基元（链码）表示：在右侧的图中八个基元分别表示0，1，2，3，4，5，6，7，八个方向和基元线段长度。则右侧样本可以表示为 X1=006666这种方法将在句法模式识别中用到。,二.模式类的紧致性,1.紧致集：同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称紧致集。,2.临界点(样本)：在多类样本中，某些样本的值有微小变化时就变成另一类样本称为临界样本（点）。3.紧致集的性质 要求临界点很少 集合内的任意两点的连线,在线上的点属于同 一集合 集合内的每一个点都有足够大的邻域,在邻域内只包含同一集合的点4.模式识别的要求:满足紧致集，才能很好的分类；如果不满足紧致集，就要采取变换的方法,满足紧致集.,三.相似与分类,1.两个样本xi，xj之间的相似度量满足以下要求：应为非负值 样本本身相似性度量应最大 度量应满足对称性 在满足紧致性的条件下，相似性应该是点间距离的 单调函数 2.用各种距离表示相似性：绝对值距离 已知两个样本 xi=(xi1,xi2,xi3,xin)T xj=(xj1,xj2,xj3,xjn)T,欧几里德距离明考夫斯基距离 其中当q=1时为绝对值距离，当q=2时为欧氏距离,切比雪夫距离 q趋向无穷大时明氏距离的极限情况 马哈拉诺比斯距离 其中xi，xj为特征向量，为协方差。使用的条件是 样 本符合正态分布,夹角余弦 为xi xj的均值 即样本间夹角小的为一类，具有相似性例：x1,x2,x3的夹角如图：因为x1,x2 的夹角小，所以x1,x2 最相似。,x1,x2,x1,x2,x3,相关系数 为xi xj的均值注意：在求相关系数之前，要将数据标准化3.分类的主观性和客观性 分类带有主观性：目的不同，分类不同。例如：鲸鱼，牛，马从生物学的角度来讲都属于哺乳类，但是从产业角度来讲鲸鱼属于水产业，牛和马属于畜牧业。分类的客观性：科学性 判断分类必须有客观标准，因此分类是追求客观性的，但主观性也很难避免，这就是分类的复杂性。,四.特征的生成 1.低层特征：无序尺度：有明确的数量和数值。有序尺度：有先后、好坏的次序关系，如酒 分为上，中，下三个等级。名义尺度：无数量、无次序关系，如有红，黄两种颜色 2.中层特征：经过计算，变换得到的特征 3.高层特征：在中层特征的基础上有目的的经过运 算形成例如：椅子的重量=体积*比重 体积与长，宽，高有关；比重与材料，纹理，颜色有关。这里低、中、高三层特征都有了。,五.数据的标准化 1.极差标准化，一批样本中，每个特征的最大值与最小值之差。极差 极差标准化 2.方差标准化 Si 为方差标准化的方法很多，原始数据是否应该标准化，应采用什么方法标准化，都要根据具体情况来定。,1.4 本门课程的主要内容,第一章 绪论第二章 统计判别第三章 判别函数第四章 特征选择和提取第五章神经网络第六章图像处理,相关数学概念,随机向量及其分布随机向量如果一个对象的特征观察值为x1,x2,xn，它可构成一个n维的特征向量值x，即 x=(x1,x2,xn)T 式中，x1,x2,xn为特征向量x的各个分量。一个特征可以看作n维空间中的向量或点，此空间称为模式的特征空间Rn。,相关数学概念,随机向量及其分布随机向量在模式识别过程中，要对许多具体对象进行测量，以获得许多次观测值。每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随机变量，即许多对象的特征向量在n维空间中呈随机性分布，称为随机向量。,相关数学概念,随机向量及其分布随机向量的参数数学期望和方差协方差矩阵例：求随机变量的数学期望和协方差矩阵,相关数学概念,正态分布一维正态密度函数,相关数学概念,正态分布多维正态密度函数,小结,模式和模式识别的概念模式识别的发展简史和应用模式识别的主要方法模式识别的系统几个相关的数学概念,谢 谢！,