概率密度函数估计课件.ppt

,第四章概率密度函数的估计概率密度估计的基础知识参数估计理论极大似然估计(MLE)贝叶斯估计(或称最大后验估计)贝叶斯学习非参数估计理论密度估计Parzen窗估计K近邻估计(KNE),4-1概率密度估计的基础知识贝叶斯分类器中只要知道先验概率、条件概率或后验概概率P(),P(x/o,P(1/x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(),P(x/(o2),P(o3/x)参数估计与非参数估计参数估计:先假定硏究的问题具有某种数学模型如正态分布,二项分布,再用已知类别的学习样本佔计里面的参数。非参数估计:不假定数学模型,直接用已知类别的学习样本的先验知识直接估计数学模型。,二.监督参数估计与非监督参数估计监督参数估计:样本所属的类别及类条件总体概率概率密度函数的形式已知,而表征概率密度函数的某些参数是未知的。目的在于:由已知类别的样本集对总体分布的某些参数进行统计推断,此种情况下的估计问题称为监督参数估计非监督参数估计:已知总体概率密度函数形式但未知样本所属类别,要求推断出概率密度函数的某些参数,称这种推断方法为非监督情况卜的参数估计注:监督与非监督是针对样本所属类别是已知还是未知而言的。,参数估计的基本概念1.统计量:样本中包含着总体的信息,总希望通过样本集把有关信息抽取出来。也就是说,针对不同要求构造出样本的某种函数,该函数称为统计量。2.参数空间:在参数估计中,总假设总体概率密度函数的形式已知,而未知的仅是分布中的参数,将未知参数记为,于是将总体分布未知参数b的全部可容许值组成的集合称为参数空间,记为3.点估计、估计量和估计值:点估计问题就是构造一个统计量d(x1,L,x)堆作为参数0的估计,在统计学中称0为0的估计量。若x,L,x是属于类别O的几个样本观察值,代入统计量d就得到对于第类的的具体数值,该数值就称为0的估计值,4.区间估计:除点估计外,还有另一类估计问题,要求用区间(d1,d2)作为O可能取值范围得一种估计,此区间称为置信区间,该类估计问题称为区间估计参数估计方法:参数估计是统计学的经典问题,解决方法很多,在此只考虑两种常用方法:一种是最大似然估计方法种是贝叶斯估计方法(1)最大似然估计:把参数看作是确定而未知的,最好的估计值是在获得实际观察样本的最大的条件下得到的(2)贝叶斯估计:把未知的参数当作具有某种分布的随机变量,样本的观察结果使先验分布转化为后验分布,再根据后验分布修正原先对参数的估计6.参数估计的评价:评价一个估计的“好坏”,不能按次抽样结果得到的估计值与参数真偾的偏差大小来确定,而必须从平均和方差的角度出发进行分析,即关于估计量性质的定义,