模式识别导论(五).ppt
《模式识别导论(五).ppt》由会员分享,可在线阅读,更多相关《模式识别导论(五).ppt(49页珍藏版)》请在三一办公上搜索。
1、第五章 参数估计与非参数估计,参数估计与监督学习 参数估计理论非参数估计理论,5-1 参数估计与监督学习贝叶斯分类器中只要知道先验概率,条件概率或后验概概率 P(i),P(x/i),P(i/x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(i),P(x/i),P(i/x)一参数估计与非参数估计参数估计:先假定研究的问题具有某种数学模型,如 正态分布,二项分布,再用已知类别的学习 样本估计里面的参数。非参数估计:不假定数学模型,直接用已知类别的学习 样本的先验知识直接估计数学模型。,二监督学习与无监督学习监督学习:在已知类别样本指导下的学习和训练,参数估计和非参数估计都属于监督
2、学习。无监督学习:不知道样本类别,只知道样本的某些 信息去估计,如:聚类分析。,5-2参数估计理论 一最大似然估计假定:待估参数是确定的未知量 按类别把样本分成M类X1,X2,X3,XM 其中第i类的样本共N个 Xi=(X1,X2,XN)T 并且是独立从总体中抽取的 Xi中的样本不包含(ij)的信息,所以可以对每一 类样本独立进行处理。第i类的待估参数根据以上四条假定,我们下边就可以只利用第i类学习样本来估计第i类的概率密度,其它类的概率密度由其它类的学习样本来估计。,1.一般原则:第i类样本的类条件概率密度:P(Xi/i)=P(Xi/ii)=P(Xi/i)原属于i类的学习样本为Xi=(X1,
3、X2,XN,)T i=1,2,M求i的最大似然估计就是把P(Xi/i)看成i的函数,求出使它最大时的i值。学习样本独立从总体样本集中抽取的 N个学习样本出现概率的乘积取对数:,对i求导,并令它为0:有时上式是多解的,上图有5个解,只有一个解最大即.,P(Xi/i),2.多维正态分布情况 已知,未知,估计 服从正态分布所以在正态分布时,代入上式得,所以这说明未知均值的最大似然估计正好是训练样本的算术平均。,,均未知 A.一维情况:n=1对于每个学习样本只有一个特征的简单情况:(n=1)由上式得 即学习样本的算术平均 样本方差,讨论:1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总
4、体方差的最大似然估计与样本的方差不同,当N较大的时候,二者的差别不大。B多维情况:n个特征(学生可以自行推出下式)估计值:结论:的估计即为学习样本的算术平均 估计的协方差矩阵是矩阵 的算术 平均(nn阵列,nn个值),二.贝叶斯估计 最大似然估计是把待估的参数看作固定的未知量,而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量,通过对第i类学习样本Xi的观察,使概率密度分布P(Xi/)转化为后验概率P(/Xi),再求贝叶斯估计。估计步骤:确定的先验分布P(),待估参数为随机变量。用第i类样本xi=(x1,x2,.xN)T求出样本的联合概率密度分布P(xi|),它是的函数。利用贝叶斯公式
5、,求的后验概率,下面以正态分布的均值估计为例说明贝叶斯估计的过程 一维正态分布:已知2,估计 假设概率密度服从正态分布 P(X|)=N(,2),P()=N(0,02)第i类学习样本xi=(x1,x2,.xN)T,i=1,2,M 第i类概率密度P(x|i,xi)=P(x|xi)所以后验概率(贝叶斯公式),因为N个样本是独立抽取的,所以上式可以写成 其中 为比例因子,只与x有关,与无关 P(Xk|)=N(,2),P(u)=N(0,02)其中a,a包含了所有与无关的因子,P(|xi)是u的二次函数的指数函数P(|xi)仍然是一个正态函数,P(|Xi)=N(N,N2)另外后验概率可以直接写成正态形式:
6、比较以上两个式子,对应的系数应该相等,解以上两式得 将N,N2代入P(|Xi)可以得到后验概率,再用公式,对的估计为 若令P()=N(0,02)=N(0,1)与最大似然估计相似,只是分母不同,三贝叶斯学习1.贝叶斯学习的概念:求出的后验概率之后,直接去推导总体分布即当观察一个样本时,N=1就会有一个的估计值的修正值当观察N=4时,对进行修正,向真正的靠近当观察N=9时,对进行修正,向真正的靠的更近当N,N就反映了观察到N个样本后对的最好推测,而N2反映了这种推测的不确定性,N,N2,N2 随观察样本增加而单调减小,且当N,N2 0 当N,P(|xi)越来越尖峰突起N,P(|xi)函数,这个过程
7、成为贝叶斯学习。,2类概率密度的估计 在求出u的后验概率P(|xi)后,可以直接利用式 推断类条件概率密度。即P(x|xi)P(x|i,xi)一维正态:已知2,未知的后验概率为,结论:把第i类的先验概率P(i)与第i类概率密度P(x|xi)相乘可以 得到第i类的后验概率P(i/x),根据后验概率可以分类。对于正态分布P(x|xi),用样本估计出来的N代替原来的 用 代替原来的方差 即可。把估计值N作为的实际值,那么使方差由原来的 变 为,使方差增大,多维正态(已知,估计)设P(x|)=N(,)P()=N(0,0).根据Bayes公式,仿上面步骤可以得到:N,N 有以下关系,其中a与无关,这就是
8、在多维情况下,对的估计,5-3非参数估计 参数估计要求密度函数的形式已知,但这种假定有时并不成立,常见的一些函数形式很难拟合实际的概率密度,经典的密度函数都是单峰的,而在许多实际情况中却是多峰的,因此用非参数估计。非参数估计:直接用已知类别样本去估计总体密度分布,方法有:用样本直接去估计类概率密度p(x/i)以此来设计分类器,如窗口估计 用学习样本直接估计后验概率p(i/x)作为分类准则 来设计分类器如k近邻法.1.密度估计:一个随机变量X落在区域R的概率为P P(X)为P(X)在R内的变化值,P(X)就是要求的总体概率密度,R,P(x),假设有N个样本X=(X1,X2,XN)T都是按照P(X
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 导论
![提示](https://www.31ppt.com/images/bang_tan.gif)
链接地址:https://www.31ppt.com/p-5361111.html