对贝叶斯估计的理解.docx

《对贝叶斯估计的理解.docx》由会员分享，可在线阅读，更多相关《对贝叶斯估计的理解.docx（11页珍藏版）》请在三一办公上搜索。

1、对贝叶斯估计的理解对贝叶斯定理及其在信号处理中的应用的理解 信号估计中的贝叶斯方法是对贝叶斯定理的应用，要理解贝叶斯估计首先要理解贝叶斯定理。 一、 贝叶斯定理： 1. 贝叶斯定理的简单推导过程 贝叶斯定理就是条件概率公式(贝叶斯公式)，所谓条件概率就是在事件A发生的条件下事件B发生的概率，常用P(B/A)表示。一般情况下P(B/A)与P(A/B)是不相等的。容易得到: P(B/A)=P(AIB)P(A),P(A/B)=P(AIB)P(B)所以 P(B/A)P(A)=P(A/B)P(B), 对上式变形得贝叶斯公式： P(A/B)=P(B/A)P(A)P(B)若A,A为样本空间的一个划分，可得全

2、概率公式： P(B)=P(B/A)P(A)+P(B/A)P(A)所以式可以改写为： P(A/B)=P(B/A)P(A)P(B/A)P(A)+P(B/A)P(A)如果A1，A2，.,An为样本空间的一个划分，由式可得条件概率P(Aj/B) P(Aj/B)=P(B/Aj)P(Aj)nP(B/A)P(A)iii=1式就是当样本空间的划分为n时的贝叶斯公式即贝叶斯定理。我们把其中的P(Ai)(i=1,.n)称为先验概率，即在B事件发生之前我们对Ai事件概率的一个判断。P(Aj/B)称为后验概率，即在B事件发生之后我们对Ai事件概率的重新评估。 2. 贝叶斯公式的事件形式 对于(3)式的得到，可不必要求

3、A1，A2，.,An为样本空间的一个划分。假定kkA1，A2，.,Ak是互不相容事件，只要他们之和UAii=1包含事件B，即BUA,ii=1则有 P(Aj/B)=P(B/AjP)A(jk) (4) )P(Bi=1/AiP)A(i(3)式和(4)式是贝叶斯公式的事件形式。可在对贝叶斯定理的应用中我们更多的使用贝叶斯公式的密度函数形式。 3贝叶斯公式的密度函数形式 在给出贝叶斯公式的密度函数形式之前，先了解一下贝叶斯学派的一些基本假设。 假设：随机变量X有一个密度函数p(x;q)，其中q是一个参数，不同的q对应不同的密度函数，故从贝叶斯观点看，p(x;q)是在给定q后的一个条件密度函数，因此记为p

4、(x/q)更恰当一些。这个条件密度能提供我们的有关的q信息就是总体信息。 假设：当给定q后，从总体p(x/q)中随机抽取一个样本X1,.,Xn,该样本中含有q的有关信息。这种信息就是样本信息。 假设：从贝叶斯观点来看，未知参数q是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用p(q)表示。 (1)先验分布 将总体中的未知参数qQ看成一取值于Q的随机变量，它有一概率分布，记为p(q)，称为参数q的先验分布。 (2)后验分布 在贝叶斯统计学中，把以上的三种信息(总体信息、样本信息、先验信息)归纳起来的最好形式是在总体分布基础上获得的样本X1,.,X

5、n,和参数的联合密度函数： h(x1,.,xn,q)=p(x1,.,xn/q)p(q)在这个联合密度函数中。当样本X1,.,Xn,给定之后，未知的仅是参数q了，我们关心的是样本给定后，q的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数： p(q/x1,.,xn)=h(x1,.,xn,q)m(x1,.,xn)=p(x1,.,xn/q)p(q)p(x,.,x1n/q)p(q)dq这就是贝叶斯公式的密度函数形式，其中p(q/x1,.,xn)称为q的后验密度函数，或后验分布。而: m(x1,L,xn)=Qp(x1,L,xnq)p(q)dq 是样本的边际分布，或称样本X1,.,Xn,的无条件

6、分布，它的积分区域就是参数q的取值范围，随具体情况而定。 现在对前面的分析总结如下：人们根据先验信息对参数q已有一个认识，这个认识就是先验分布p(q)。通过试验，获得样本。从而对q的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布p(q/x1,.,xn)。后验分布是三种信息的综合。获得后验分布使人们对q的认识又前进一步，可看出，获得样本的的效果是把我们对q的认识由p(q)调整到p(q/x1,.,xn)。所以对q的统计推断就应建立在后验分布p(q/x1,.,xn)的基础上。 二、 贝叶斯定理在信号估计中的应用 假设在表达式y=x+w中，y为我们接收到的含躁信号图像，x

7、为真实信号图像，w为与x相互独立但与x同分布的噪声。设x服从N(0,sx2)分布，w服从N(0,sw)分布。pX(x)为x的先验概率密度函数，pW(w)为w2的概率密度函数，从而 pW(w)=12psw.exp(-w222sw) 若我们采取最大后验概率法来估计真实信号x，即在接受到的信号y的条件%=arg下，求使得后验概率密度pX/Y(x/y)最大的x，记xmax(pxX/Y(x/y)则由贝叶斯公式的密度函数形式可得： %x=argmax(xpY/X(y/x)pX(x)pY(y) (6) (6)式等价于 %x=argmax(pxY/X(y/x)pX(x)， (7) 又因为由关系式y=x+w，可

8、得： pY/X(y/x)=pW(y-x) (8) 将式代入式得： %x=argmax(pW(y-x).pX(x) (9) x由(5)有: 2pW(y-x)=12ps.exp(-(y-x)w2s2) w将(10)代入(9)再利用等价得： 2x%=argmax(exp(-(y-x)2x2s2).exp(-xw2s2)x2x%=argmax(ln(exp(-(y-x)x22).exp(-x2sw2s2)xy-x)2x%=argmax(-(-x2 x2s2+w2s2) x将(11)式的右边对x求导并令为0得： y-x%xs2-%ws2=0x所以求解得到： x%=s2xs22w+sy x(10) (11)