概率密度函数的估计参数估计.ppt
模 式 识 别,第3章 概率密度函数的估计,为什么需要概率密度函数的估计,贝叶斯决策需要的已知信息贝叶斯分类器中只要知道先验概率，条件概率P(i),P(x|i),就可以设计分类器了存在问题:未知概率密度函数未知类条件概率密度未知先验概率密度有一些训练数据,需要研究的问题,研究如何用已知训练样本的信息去估计P(i),P(x|i)分类器设计的步骤:第一步:利用样本集估计概率密度函数第二步:利用概率密度函数进行分类决策,学习,训练,分类,贝叶斯决策理论设计分类器步骤,概率密度函数估计中的三个问题,如何利用样本估计概率密度函数估计量的性质如何利用样本集估计错误率的方法,几种估计类型,概率密度函数的形式是否已知参数估计非参数估计训练样本的类别是否已知非监督参数估计非参数估计,几种估计类型,参数估计与非参数估计参数估计已知研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习 样本估计里面的参数。非参数估计未知数学模型，用已知类别的学习样本直接估计数学模型。,几种估计类型,监督学习与无监督学习监督学习在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。无监督学习不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。,几种估计类型,监督参数估计非监督参数估计非参数估计,统计模式识别,句法模式识别,参数估计的基本概念,基本概念统计量参数空间点估计估计量估计值区间估计,给定样本集合:x1,x2,xN,f(x1,x2,xN),未知参数,的容许值组成的集合,计算估计值的统计量d(x1,x2,xN),取值范围的估计(d1,d2),参数估计的基本概念,两种主要的点估计方法最大似然估计贝叶斯估计,最大似然估计,最大似然估计的特点通常，训练样本数目增加时具有很好的收敛性质一般，比其它方法简单，例如比贝叶斯方法简单,最大似然估计,问题假定：待估参数是确定的未知量按类别把样本分成C类X1,X2,X3,XM,其中第i类的样本共N个,Xi=(X1,X2,XN)T,并且是独立从总体中抽取的 Xi中的样本不包含j(ij)的信息，所以可以对每一类样本独立进行处理。第i类的条件概率的函数形式已知,根据以上假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。,最大似然估计,似然函数属于i类的学习样本有N个样本，即:Xi=(x1,x2,xN)T 采样到Xi样本的概率密度：p(Xi|i)=p(x1,x2,xN|i),N个随机变量x1,x2,xN的似然函数是N个随机变量的联合密度l(i)=p(Xi|i),这个i的函数l(i)就是似然函数,最大似然估计,p(Xi|i)和l(i)的区别p(Xi|i)和l(i)形式上相似，但含义不相同p(Xi|i)是Xi的函数，是概率密度函数l(i)是i的函数，不是概率密度函数,Gaussian分布，方差已知，均值未知,似然函数是均值的函数,样本越多，似然函数越尖锐,最大似然估计,最大似然估计的基本思想,求 i的最大似然估计就是把p(xi|i)看成 i的似然函数，求出使它最大时的 i值。,最大似然估计,最大似然估计的基本思想学习样本独立从总体样本集中抽取的 取对数：,N个学习样本出现概率的乘积,如何计算出使得似然函数l()取值最大的的估计值？,最大似然估计,最大似然估计的基本思想对i求导,并令它为0：,最大似然估计,最大似然估计的基本思想前式的解不一定唯一,只有取值最大的是最终的解。,最大似然估计,一维正态分布的参数估计总体的分布形式:有两个参数未知:和,最大似然估计,一维正态分布的参数估计有N个观测样本X=(x1,x2,xN)T 构造似然函数:,最大似然估计,一维正态分布的参数估计最大似然估计量的方程为:,最大似然估计,一维正态分布的参数估计最大似然估计量的方程为:,最大似然估计,一维正态分布的参数估计最大似然估计量的方程为:,无偏估计,有偏估计,最大似然估计,例:不规则硬币，正面概率u和背面概率1-u未知，且无先验知识。根据观测数据估计新的实验中出现正面还是背面。有道理？,有道理？,最大似然估计,最大似然估计的基本思想举例实验室的研究生录取分数不同实验室有个期望录取分数线受到往年录取成绩的影响假设只有两个真实取值:分数高vs分数低某实验室去年都是”分数低”同学A估计该实验室今年为分数高“同学B估计该实验室今年为分数低,哪一个更接近于最大似然估计方法?,贝叶斯估计,问题假定：待估参数是待估计的参数，是随机变量的概率分布概率已知学习样本x=(x1,x2,xN)T,独立同分布根据学习样本估计参数,贝叶斯估计,贝叶斯决策基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策在限定一类错误率条件下使另一类错误率为最小的两类别决策最小最大决策,贝叶斯估计,贝叶斯估计的基本思想基于最小风险的贝叶斯决策希望决策方法使得风险最小化参数估计希望的估计数值尽可能的准确即:希望风险最小化需要构造一个衡量准确程度的函数,贝叶斯估计,风险损失函数:(,)待估参数和学习样本x=(x1,x2,xN)T是随机变量则，风险R为:,贝叶斯估计,风险整理得,贝叶斯估计,贝叶斯估计,贝叶斯估计,平方误差损失函数时的估计算法损失函数:(,)=(-)2定理:如果损失函数为二次函数，即(,)=(-)2，则的贝叶斯估计量是在给定x时的条件期望，即,贝叶斯估计,步骤 确定的先验分布p(),。用样本x=(x1,x2,.xN)T求出样本的联合概率密度分布p(x|)，它是的函数。利用贝叶斯公式,求的后验概率利用定理求贝叶斯估计量,贝叶斯估计,一维正态分布的参数估计总体的分布形式:未知，但概率分布已知,贝叶斯估计,一维正态分布的参数估计计算联合概率密度分布p(X|):计算求的后验概率p(|X):,贝叶斯估计,一维正态分布的参数估计计算求的后验概率p(|X):,利用待定系数法，即可求得两个参数的值,贝叶斯估计,一维正态分布的参数估计利用定理求贝叶斯估计量:计算求的后验概率p(|X):,贝叶斯估计,贝叶斯学习,参数估计存在的问题最大似然估计存在的问题贝叶斯估计的优点:避免过学习,贝叶斯学习,贝叶斯学习基本思想已知:样本X=(x1,x2,.xN)T问题:通过样本集推断总体分布p(x|X)总体分布形式已知问题转化为估计参数的估计问题，即:然后再利用p(|X)估计p(x|X),贝叶斯学习,贝叶斯学习基本思想,根据独立性假设,贝叶斯学习,例:一维随机变量x服从均匀分布未知，但分布概率已知给出一组观测值X=4,7,2,8，估计p(x|),贝叶斯学习,最大似然估计方法？似然函数的估计值X的分布函数贝叶斯学习的方法？,一组观测值X=4,7,2,8,取多少，lnl()最大？,最小能取多少？,贝叶斯学习,先观察随着N的增加，p(|X)的变化如果没有观测值(N=0)，则p(|X0)为:如果观测到一个x数值，x 1=4,则p(|X1)为:,N=1,贝叶斯学习,先观察随着N的增加，p(|X)的变化如果观测到2个x数值，x 2=7,则p(|X2)为:,N=2,贝叶斯学习,先观察随着N的增加，p(|X)的变化如果观测到3个x数值，x 3=2,则p(|X3)为:,N=3,贝叶斯学习,先观察随着N的增加，p(|X)的变化如果观测到4个x数值，x 4=8,则p(|X4)为:,N=4,贝叶斯学习,贝叶斯学习,最后，根据p(|X)和下式得到p(x|X),最大似然估计,正态分布的监督参数估计,监督参数估计监督不同类别的样本有不同的概率密度函数用每个类别自己的样本估计该类别的概率密度函数每个样本属于那个类别是已知的参数估计概率密度函数的总体分布形式已知某个或某些类别的参数未知,非监督参数估计,非监督参数估计非监督不同类别的样本有不同的概率密度函数用每个类别自己的样本估计该类别的概率密度函数每个样本属于那个类别是未知的参数估计概率密度函数的总体分布形式已知某个或某些类别的参数未知,非监督参数估计,问题假设样本来自类别数为c的各类中，但不知道每个样本究竟来自哪个类别每类的先验概率P(wj),j=1,，c已知;类条件概率密度的形式已知;未知的仅是c个参数向量=1,2的值,非监督参数估计,例:两类别正态分布情况下的非监督参数估计问题已知:c=2两个类别样本概率密度函数的形式是正态分布即c1类的概率密度函数:即c2类的概率密度函数:,非监督参数估计,例:两类别正态分布情况下的非监督参数估计问题已知:1和2已知非监督参数估计问题:利用训练样本估计1和2。难点:训练样本的类别未知,非监督参数估计,估计方法最大似然估计期望最大化（EM）贝叶斯估计斯学习,期望最大化（EM）,解决问题带缺失数据或者隐藏参数的参数估计问题基本思想样本数据分为标记样本和未标记样本按照统计的观点，对于每一个样本的产生，其背后都有一个模型，即样本生成模型。样本生成模型的参数先由标记样本确定，再通过标记样本和利用当前模型判断标记的未标记样本共同调整。,期望最大化（EM）,例:估计k个高斯分布的均值已知:数据D,由k个不同正态分布的混合所得分布而生成生成过程:1.随机选择k个正态分布中的一个2.随机变量xi按照该正态分布生成3.该过程不断重复，生成一组数据D,期望最大化（EM）,期望最大化（EM）,例:估计k个高斯分布的均值问题简化K=2正态分布的选择基于均匀概率进行正态分布的方差2已知，均值1,2未知学习任务输出:均值=的估计数值,期望最大化（EM）,步骤1:假定当前假设=成立，计算每个隐藏变量zij的期望zij表示第i个样本点是第j个高斯过程生成的概率步骤2:假定隐藏变量zij所取的值为第一步中得到的期望值Ezij,然后计算一个选的极大似然假设，用其替代原有参数,期望最大化（EM）,算法步骤初始参数估计，将未标记的样本按贝叶斯分类方法进行类标注。反复迭代E步骤和M步骤，直到收敛。E步骤：对于每个未标记的样本，按下式计算类标记的期望值。M步骤：利用E步骤计算出的期望值，按下式用已标记样本和未标记样本重新估计新的分类器参数。,期望最大化（EM）,EM算法的一般表述估计(E)步骤:使用当前假设和观察到的数据X来估计Y上的概率分布以计算Q(|)最大化(M)步骤:将假设替换为使Q函数最大化的假设,
