《模式识别原理》PPT课件.ppt

,模式识别原理 3学分 60学时(连自学和考试时间）一 课本1数字图象处理与模式识别 余英林编著，华南理工大学出版社，（1990）第九章以后2模式识别 边肇祺著 清华大学出版社 1988 2000第二版 14章 6章3.句法模式识别傅京荪著,二 参考书1数字处理处理 Kenneth R Castleman 清华大学出版社“pattern recongnition”2句法模式识别 R。C Gonzalaz3.Satosi Watanabe：“Pattern Recognition”Human&Machanical”(1995年)4.模式识别与图象处理 戚飞虎等译 上海交大出版社（1989）全面浏览和备忘手册，还有各种识别应用语言，字符、地震，水声5.计算机文字识别技术 胡家忠著 气象出版社 1994文字识别是PR一个重要分支，研究得较为充分，有许多行之有效得识别方法，应用越来越广泛，作者是第一线的干将。,6 语音处理与识别胡光锐著 上海科技文献出版社 1994 语音处理手册，有些基本的程序。有关的现成工作不需自己去搞，省下的时间可用于探索新事物。7神经网络在模式识别中的应用 张立明著 复旦大学出版社 1993识别工作日新月异地发展，各种识别方法层出不穷，不断完善，要不断学习。8 自适应模式识别与神经网络 包约翰 有英文本，中译本 kohonen极力推荐 在美国颇受欢迎地研究生教材阐述模式识别与神经网络地基本概念、原理与准则,内容：模式性质统计PR模糊集合理论及方法非数值特征的PR神经网络简介BP算法联想存贮及Hopfield网自组织网络及用神经网络实用自适应PR的若干方法内容编排与国内教材很不相同（上课还是按既定方针）,三 课程安排统计PR 1 简介2 贝叶斯法决策理论 近似步骤，计算负荷（训练）检验 神经网络分类器 常规分类器决策规则 分类器设计 几种贝叶斯分类、最小分类、最邻近分类3 概率密度函数估计密度估计分类器错误率估计4 判别函数 线性判别函数 线性可分性 准则函数 感知准则5 特征选择与提取,6 聚类分析7 句法模式识别源模式选择和模式文法（描述，化简，推断）自动机实现识别 8 模式分析系统结构中控制模块数学模型，结构表示AI问题求解模型及搜索技术在理解目标内容模式分类和表达中的应用，对感兴趣目标进行检测，测量，获得客观信，建立其描述 9 神经网络在PR中的应用用前馈网络实现任意分界面 线性 RBF网络 BP网应用联想记忆自适应谐振理论（ART）,10 其他 a Fukushima 神经认知机b 最优算法：遗传算法，进化算法等c 模糊P.R（上下文有关分类），隐马尔可夫模型，Viterbi算法等用于（信号处理中有）,Chap 1 基本知识一 基本数学方法1 集合论几个关系 模式识别是模式从模式空间到类别隶属空间的正确映射模式集合 元素为模式值 模式集中元素数nP（x）具有性质P的x 某种逻辑性质或物理性质 具有P的那些x的集合幂集 所有子集（含空集）P（x）有个元素可表示为 所有被包含于X的集合的集合。模式集间映射运算 若有（定义域），则（值域）；值域（从模式集X到模式集Y的关系）若映射运算，且有 则 为特征函数,集合A为具有某个性质的元素集合，则X的元素x到集合A的映射的取值为：某个元素x不属于该集合时（不具有某个性质），取值0某个元素x属于该集合时（具有某个性质），取值1,2 参考估计给定模式样本 随机过程样本，可估计其统计参量，估值为不同逼近方法，不同逼近条件，如何逼近真值？不同估计兼容估计（Consistent estimate）若有，则 为 的兼容估计，样本数极多时，以概率逼近无偏估计（unbiased estimate）n任意给定（即n可有限），期望值，为 的无偏估计渐近无偏估计 n有限时，不成立，但，则为 的渐近无偏估计,有效估计最有效估计（most efficient estimate）与真值 的方差（平均 D 方差）讨论 的下限R，以便看 本身与 的距离而不只是平均意义下的距离不同如果存在估计，使 方差到达最小下限，且，则 称为 的最有效估计 渐近最有效估计估计 的有效度定义（模式样本数n为一定时）,（b）置信区间 真值落在区间的概率很大，在区间外概率很小，（大小的定义可用某个门限值作参考），则称此区间为的置信区间。,3 熵函数（1）基于类似的概率依赖性的概念，观察样本x并计算其后验概念以确定从此实验中获得多少信息。观察一个样本，如果对所有类有相同的后验概率，则模式等获得的信息最小或不确定性（熵）最大。这样熵度量能用来估计模式向量x与类别之间的依赖性。（2）以下熵度量已由 度广义熵导出，定义：a b 香农c 贝叶斯距离（2次）,（三次）熵函数测度模式样本的分布的无规则程度，某一样本，事件的不确定性，输出信息的随机性。,模式识别中使系统熵最小的理论：定义：结构函数J部分熵之和总体熵（系统熵）理解：两部分之间关系清楚，相关性很大，意味着系统有结构存在，可用其中一部分知识去推测另一部分情况。如1与2有唯一关系，则总体熵为0。2个部分组成：（n个部分，每个部分情况有可能从其余部分推出）N个部分组成,a)如果系统杂乱无章，没有结构b)如系统结构非常确定 系统结构性强，则较易被分类和分析，其总体熵小，总的模式结构已经知道得很清楚，总体熵为0。要对一个系统实行模式分类和分析，就是要找一个分类方法使系统结构尽量清楚，使系统熵最小。,二 概况、术语、研究方法1）概况 50年代起步，前2页已提到，60年代发展相当迅速，70年代近代数理统计理论、信息论、控制论、系统论、计算机技术等得发展，形成近代模式识别。2）术语模式（Pattern）所研究系统表现出来得一些有规则得典型结构特征（反义词是：杂乱无章）模式样本（Pattern Samples）表示各种模式的有意义的测量数据。如：水果 大小、颜色、甜度 模式 样本值测量值模式样本值，挑最合适、最重要的测量值作模式样本值。,数字矩阵 模式需要几个样本值来充分表征其各种特征，此模式样本是一个n维向量，采集了m个样本（测量m次）。特征值 Feature 性质值 Properties上面表征模式特征的n个量称为该模式样本的特征值、性质值。,特征空间（Feature Space）n个特征值组成一个n维特征向量或性质向量。建立一个n维空间，各坐标轴对应于，每个样本为空间中一个点，称之为特征空间，性质空间。特征向量 特征提取过程，从测量值中抽取特征值。简单模式与复杂模式简单模式组成、子模式类别、构成规则 分类模式分析模式识别的对象只要求并属于何种类别（模式分类）。,3 模式识别问题可解决的先决条件代表性给定模式样本充分代表所研究模式的各方面性质要求抽样足够密所得结论要能推广到其他样本 说明性对简单模式，必须能找到说明它属于何类的参数。可分性：同类模式，有几乎差不多得特征值 不同类模式，特征值差得远 唯一性：假定结构规律，各个子模式复杂模式,4 研究方法 模式：有规则得特征得数据结构：特征名称，特征值，特征间关系 识别：被识别目标事件类别（事物，现象）观察者感知认知器官去映射（人类映射不透明）用计算机语言去精确地选择描速目标事件特征（使映射从不透明变透明）并模仿人对各种事物，现象地判断能力来对其加以识别。模式识别两阶段，方向内容，模式分类：事物是什么东西 分析：要选择最好地方法，能适应改变的条件。模式分类：与模式表达方式选择有关 两个传统领域：统计模式 句法PR统计PR 运用统计分类和决策估计理论解决问题。用到：参量估计、分类、类别分析,原理框图：,句法PR 逻辑关系，结构关系数字语言技术和计算机语言用于识别分类（模式文法，产生规则，文法推理）模式句子分类过程分析句子，看是否满足某一文法（该文法表某一类）复合模式模式原（最简单的已被认识的）是限于前后关系的方法，对更一般结构，复杂结构无能为力。,B 模式分析 谱系结构、树形结构表示，按最小代价路径来搜索结合人工智能，有自适应性、有选择最好方法的能力。C 模糊数学法 模糊分类法，按最大隶属度原则分类 赋予特征模糊性。三 一个简单的统计分类器工作模式样本给定 类别集合问题:从模式统计样本，求分类准则设 出现在 类的概率为（先验概率）,据Bayes公式 模式样本 属于 类的后验概率特殊，若令每类出现的等概率。则 这时只需看前验概率 不管x属于哪一类，为const值。据最大似然准则（max likelihood）作出分类判别准若 判,等先验概率时，所以 若,即为 的充要条件进一步 设 取对数化简，得函数可见 的临界面为上述式子（设为）为0即判别函数为，鉴别第I类与第j类若只有第I类和第j类，则,Chap2 贝叶斯决策理论PR分类：根据识别对象特征某个类别分类问题基本理论之一统计决策理论（模式分析分类器设计）基本方法之一 贝叶斯决策理论贝叶斯分类要求各类别总体概率分布已知（各类别；先验，类条件要决策的类别数已知（类别数一定且已知，K类）问题归结为：n维向量空间类别集合若特征空间已观察到某一向量（n维特征空间中某一个点）x分到哪一类最合理？以哪些决策规则来分类？分类错误率又如何？,一 几种常用决策规则1 基于最小错误率的贝叶斯决策目标：尽量减少分类错误e 方法：利用贝叶斯公式，使分类错误率减少，至例：癌细胞的识别，细胞预处理后抽出n各特征条件n个特征n维空间向量x类别：细胞状态 概率分布：看作随机变量，所以某状态出现的概率可以估计（如据医院病理检查的大量统计资料可获得正、异常比例）从而得状态先验概率,A 状态先验概率 正常状态概率 异常状态概率 且只依靠先验会得出全属于某一类的结论，分不开要利用病理分析，观测更多信息，如正常状态下细胞特征观察的。B 类条件概率密度具备上述，条件后分类 利用贝叶斯公式后验概率实质:通过观察x把先验概率转化为状态后验概率，再进行分类。,规则基于最小错误率的贝叶斯决策规则为（2类）推广多类合理的决策为等价公式,两类问题则 似然比阈值的似然比两端为计算方便，取负对数 则,错误率分析：指平均错误率，定义在整个n维特征空间上积分 两类别问题（难），此时把x分为第2类时，x条件错误概率为,分界点t处地两类别概率等，但也可能与实际不符,最小错误率规则实则是对每个样本x都使 取小，平均错误率 也达到最小，这就说明最小错误率贝叶斯决策规则的确使平均错误率最小。多类别决策中，特征空间分成K个区域，每个区域记为，可能错分的情况很多，平均错误率将有 项。K类，每类有K1项错分，但落在分类的第j个区域。很难算，但可从正确率入手，,2 基于最小风险的贝叶斯决策上述分类使，这实际上是假设所有错误的重要性一样，但不同错误风险不同。但有时要考虑比错误率更广泛的概念风险。风险又与损失紧密相连。如：对细胞分类，固然尽可能正确判断，但把“正常判成异常判成正常”两种错判造成的后果，损失大小都有不同，后者损失更大。正常异常，增加精神负担。异常正常，失去进一步检查治疗的机会。最小风险贝叶斯决策，即对各种错误造成损失会有不同而提出的一种决策规则,决策：采取的决定，又称行动，不同错误率惩罚不同，每决策有相应代价。决策空间（行动空间）可能采取的各种决策组成的集合。每个决策或行动都将带来一定的损失，通常是决策和自然状态的函数。其关系可表示成决策表，亦可均为风险矩阵，损失矩阵,观察量x，为一个n维随机向量，状态空间，K个自然状态（k类），决策空间A，a个决策，a不一定等于K，比如拒绝决策时，损失函数 表示：真实状态为，决策为，所带来的损失。,考虑到错判所成的损失各有不同，就不能只根据后验概率 某一个大小来作决策，而应使损失最小。给定的x，采用决策2i时（某一决策时），X可能属于任一类别决策条件期望损失x随机变量，有不同的观察值。,同一 不同x条件风险大小不同 采取的决策与观察到的x值有关，（对每一个x的最佳决策函数）即：决策 是随机向量x的函数，记为 是随机变量，有期望风险R n维特征空间积分元 体积元条件风险 对某一个x的取值采取决策所带来的风险,期望风险 整个特征空间上所有x的取值采取相应的决策所带来的平均风险。最小风险贝叶斯决策，对系数的决策，使期望风险在采取每一个决策时，均使其条件风险最小，则对所有x作出决策时，其期望风险也必然最小，所以，选择分界域，使平均风险最小风险贝叶斯决策规则为：若,实际决策步骤：据，和某一样本大识别的x据贝叶斯公式计算后验概率：x不知是哪类,比较a个条件风险 决策：取风险最小值对应的为最小风险贝叶斯期望0例：试对x进行分类解：计算后验概率,按最小错误率分类结果 正常按最小风险分类结果：条件风险：,所以 应取 决策，两方法分类结果相反，因为 影响决策结果的因素有结论。如何选取，比较关键 错误分类决策会有较大的惩罚 正确决策给予较小的注意力等式约束条件下的优化算法，基本思想：将等式约束向转化为无约束问题约束条件，在此条件下目标函数 的极值。,