计算机信息与编码第三章.ppt

《计算机信息与编码第三章.ppt》由会员分享，可在线阅读，更多相关《计算机信息与编码第三章.ppt（29页珍藏版）》请在三一办公上搜索。

1、单符号离散信道的数学模型交互信息量后验概率与交互信息量的关系自信息量两种含义的由来平均交互信息量,第三章 单符号离散信道,要规定一个单符号离散信道，必须确定一个信道的主要参数：输入随机变量X的符号集X：a1,a2,ar输出随机变量Y的符号集Y：b1,b2,bs信道的传递作用，集中体现为随机噪声的干扰作用。利用信道的传递概率（转移概率）,返回,第一节 单符号离散信道的数学模型,单符号离散信道是最简单的离散信道，此信道容许输入一个离散随机变量X，相应输出一个离散随机变量Y。,X：a1,a2,ar，Y：b1,b2,bs，P（YX）。,信道输入X的某一可能取值ai，由于随机噪声的干扰，信产只能以一定的

2、概率出现某一符号bj。这个概率用“出现ai的前提下，出现bj”的条件概率P(bjai)来表示。用（r*s)个条件概率P(bjai)按输入、输出符号的对应关系排志一个矩阵。P称为：信道矩阵”，有时也称为“随机干扰矩阵”。,返回,例一：二进制对称信道,这是一种很重要的矩阵，输入符号集X：0，1，输出符号集合0，1。p=,0,1,0,1,1-p,p,p,1-p,例二：二时制删除信道,此信道的输入符号集X：0,1，输出符号集Y:0,?,1,传递概率为：p=,0,1,0,1,0,1-p,1-p,0,p,p,？,这是通信工程中的一种实际使用的信道。信道的输入是以正、负方波信号分别代表符号“0”、“1”。由

3、于受信道中随机噪声的干扰，信道的输出端，是受干扰后的方波信号。,0,1,0,1,变换后的信号，以R(t)表示，I=R(t)dt来判断发送的信号是“0”还是“1”。如果I是正值，且大于某一限平值，则判断发送的是“0”，若小于某一限平值，则判断发送的是“1”，若I的绝对值很小，不能作出是“0”还是“1”的确切判断，便认为接受的是特殊符号？,如果p(1/0)=p(0/1)=0,即表明此信产的干扰不很严重。即“1”“0”或“0”“1”的可能性非常小。将“1”“0”或“0”“1”两种绝对错误删除。只有“1”“?”或“0”“?”两种非绝对错误。当输出端出现？，说明信道传输出错。即把“?”删除。不会将错误地

4、将“0”当作“1”或“1”当作“0”,1、“输入符号ai，输出符号bj”的联合概率,加深概念,PX=ai,Y=bj=p(ai,bj)=p(ai)*p(bj|ai)=p(bj)*p(ai|bj),先验概率,后验概率,前向概率,、“输入符号bj”的概率PY=bj=p(bj)P(ai,bj),I=1,r,3、输出（信宿收到）符号bj合，推测输入（信源发送）符号ai“的合验概率P(X=ai|Y=bj)=P(ai|bj)=p(aibj)/p(bj),第二节 交互信息量,信息流通的根本问题，计算信宿收到信道输出的某一符号bj后，从bj中获取关于信源某一符号ai的信息量。,解决：信宿收到信道输出的某一符号b

5、j后，从bj中获取关于信道某输入符号ai的信息量I(ai,bj):=信宿在收到bj前，对于信道输入符号ai的先验不确定度I(ai)-I(ai|bj)=通信前后对信道输入ai的不定度的消除。I(ai,bj)=I(bj,ai),由信息理论的基本假设导出的交互信息量的计算公式:交互信息量等于后验概率与先验概率的比值的对数,即:I(ai,bj)=logP(ai|bj)/P(ai)。由于先验概率是先验已知或事先测定的。因此，交互信息量实际上取决于由信道统计特性决定的后验概率。,讨论当后验概率P(ai|bj)在(0,1区间内取不同值时，对交互信息量I(ai,bj)的不同影响。,后验概率与交互信息量的关系,

6、几个概念,先验概率：信源X的概率空间P(xi)后验概率：通过信宿可以计算各消息的条件概率P(xi|yi)互信息量：后验概率与先验概率的比值的对数。,互信息量的性质：1对称性I(xi,yj)=I(yj,xi)2当xi和yj相互独立时，互信息量为零。3互信息量可正也可为负,问题：信源发出某一符号ai（I=1,2,，r）后，它提供多少信息量？,1、P(ai|bj)=1 I(ai,bj)=I(ai)。（当收到输出符号bj，推测输入符号ai的概率为1）时，收到bj即可确切无误地收到输入符号，消除对ai的全部不定态,2、P(ai)0。这表明，收到bj后推测信源发ai的概率大于收到bj前推测信源发ai的概率

7、。这意味着，收到bj后对信源发ai的不确定有所减少，所以接收者从bj中获取的关于信源符号ai的信息量I(ai,bj)0,3、P(ai|bj)=P(ai)I(ai,bj)=logP(ai|bj)/P(ai)=log1=0 这表明，从bj中获取不到关于ai的信息量,I(ai)=收到ai前，收信者对信源ai的不确定性。信源符号ai的自信息量，在数量上等于信源发符号ai的不确定性。,4、0P(ai|bj)P(ai)I(ai,bj)=logP(ai|bj)/P(ai)0 这表明，收到bj后对信源发ai的不定度反而增加。,自信息量两种含义的由来,(一)、I(ai,bj)=I(ai)(二)、I(ai,bj)

8、=I(bj)自信息量只不过是交互信息量在后验概率P(ai|bj)或P(bj|ai)=1这一特定情况下的特例。交互信息理论体现信息理论关于信息测度的完整观点。,例：表中列出的是某信源发出消息的先验概率以及与信源消息一一对应的码字。根据消息的先验概率和无失真信源编码的规定，可计算出“输出“0”后消息的后验概率,例子,1、取ai=a4;bj=011.因为无失真信源编码的一一对应性，所以认为有p(ai|bj)=p(a4|011)=1.这时码字bj=011和消息2a4之间的交互信息量，就是消息a4的自信息量。I(a4,011)=I(a4)=log(1/p(a4)=log(1/(1/8)=3,2、取ai=

9、a4;但取bj为码字“011”中的第一个码符号“0”。因为无失真信源编码的一一对应性，所以认为有p(bj|ai)=p(0|a4)=1.发消息a4就意味着确切无误地出现bj=“0”。这时，从a4中获取关于第一个码符号“0”的信息量就是“0”的自信息量：I(bj,a4)=log(P(0|a4)/p(0)=log(1/(1/8)=3,I(a4,bjcldk)=I(a4;011)=log(P(a4|011)/P(a4)=log(P(a4|011)P(a4|0)P(a4|01)/(P(a4)P(a4|0)P(a4|01)=log(P(a4|0)/P(a4)+log(P(a4|01)/P(a4|0)+lo

10、g(P(a4|011)/P(a4|01)=I(a4,0)+I(a4;01/0)+I(a4;011/01),I(a4,0)=log(P(a4|0)/P(a4)P(a4|0)=P(011|0)=P(011)/P(0)P(0)=1/4+1/4+1/8+1/8=3/4P(011)=1/8 so P(a4|0)=(1/8)/(3/4)=1/6I(a4,0)=log(1/6)/(1/8)=log4/3,I(a4,1/0)=logP(a4/01)/P(a4/0)=log(1/2)/(1/6)=log3P(a4/01)=p(011/01)=p(011)/p(01)=(1/8)/(1/4)=1/2P(01)=p

11、(010)+p(011)=1/8+1/8=1/4,I(a4,1/01)=logP(a4/011)/P(a4/01)=log(1/(1/2)=log2,I(a4,011)=I(a4;0)+I(a4,1/0)+I(a4,1/01)=log4/3+log3+log2=log8=3,平均交互信息量,交互信息是定量地研究信息流通问题的重要基础。但只能定量地描述输入随机变量X发某一具体符号ai，输出随机变量Y出现某一具体符号bi时，流经信道X,P(X|Y),Y的信息量。再则，因信道“输入ai，输出bj”是一个概率为P(ai,bj)的随机事件。则I(ai,bj)也是一个不确定的，概率为P(ai,bj)的随机

12、量。,平均交互信息，则是从整体的角度，在平均的意义上度量每通过一个符号流经信道的平均信息量。,I(X|bj)=P(ai|bj)I(ai,bj)=P(ai|bj)log(P(ai|bj)/p(ai)0,I=1,r,r,I=1,只有当对一切I=1,2,r,都有P(ai|bj)=P(ai)时，才有I(x,bj)=0.,同样，从另一角度来讲，I(Y,ai)0,把已知信源X.P接到给定信道X，P(X|Y),Y后，从平均的意义上说，从每一个输出符号中获得关于每一个输入符号的信息量，也就是信道每通过一个符号所传递的平均信息量，应该是交互信息量I(ai,bj)在联合概率空间P(XY)中的统计平均值。,I(X,

13、Y)=P(ai,bj)I(ai,bj)=P(ai,bj)log(P(ai|bj)/p(ai)=P(ai,bj)log(P(bj|ai)/p(bj),r,r,r,t,t,t,J=1,J=1,I=1,I=1,I=1,J=1,平均交互信息的物理意义,信道的疑义度、噪声熵和联合熵平均交互信息量,1、I(X,Y)=P(ai,bj)log(P(ai|bj)/p(ai)=P(ai,bj)log(1/p(ai)-P(ai,bj)log(1/P(ai|bj)=H(X)-H(X|Y),其中H(Y|X)=-P(ai,bj)logP(bj|ai)表示发随机变量X后，对随机变量Y仍然存在的平均不确定度，通常称它为噪声熵

14、,2、I(X,Y)=P(ai,bj)log(P(bj|ai)/p(bj)=P(ai,bj)log(1/p(bj)-P(ai,bj)log(1/P(bj|ai)=H(Y)-H(Y|X),其中H(X|Y)=-P(ai,bj)logP(ai|bj)表示收到随机变量Y后，对随机变量X仍然存在的平均不确定度，通常称它为疑义度,3、I(X,Y)=P(ai,bj)log(P(ai.bj)/(p(ai).p(bj)=P(ai,bj)log(1/p(ai)+P(ai,bj)log(1/P(bj)-P(ai,bj)log(1/P(bj)=H(X)+H(Y)-H(XY),其中H(XY)=-P(aibj)logP(a

15、ibj)表示输入随机变量X后，输出随机变量Y（即通信后），整个系统仍然存在的平均不定度。通常称为联合熵。,综述,I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY),X,Y,以X为圆心的圆的面积表示H(X),以Y为圆心的圆的面积表示H(Y),两圆交叉部分面积表示平均交互信息量I(X,Y),H(X)-I(X|Y)=H(X|Y)H(Y)-I(Y|X)=H(Y|X),两圆交叉后所占的总面积H(XY),示例,把已知信源,X.P=,X:a1 a2,P(X):0.5 0.5,接到下图所示的信道X,P(Y|X),Y上，求在该信道上传输的平均交互信息量I(X,Y)、疑义

16、度H(X|Y)、噪声度H(Y|X)、联合熵。,a1,b2,a2,b1,0.02,0.20,0.80,0.98,P(aibj)=p(ai)*p(bj|ai),P(a1b1)=p(a1)p(b1|a1)=0.5*0.98=0.49,P(a1b2)=p(a1)p(b2|a1)=0.5*0.02=0.01,P(a2b1)=p(a2)p(b1|a2)=0.5*0.2=0.1,P(a2b2)=p(a2)p(b2|a2)=0.5*0.80=0.40,(1)根据P(aibj)=p(ai)*p(bj|ai)，得到各个联合概率。,（2）根据P(bj)=P(ai)P(bj|ai),I=1,r,P(b1)=P(ai)

17、P(b1|ai)=p(a1)*p(b1|a1)+p(a2)*p(b1|a2),I=1,2,=p(a1b1)+p(a2b1)=0.49+0.1=0.59,P(b2)=P(ai)P(b2|ai)=p(a1)*p(b2|a1)+p(a2)*p(b2|a2),=p(a1b2)+p(a2b2)=0.01+0.40=0.41,（3）根据P(ai|bj)=P(aibj)/P(bj),得到各后验概率：,P(a1|b1)=p(a1b1)/p(b1)=0.49/0.59=0.831,P(a2|b1)=p(a2b1)/p(b1)=0.10/0.59=0.169,P(a1|b2)=p(a1b2)/p(b2)=0.01

18、/0.41=0.024,P(a1|b1)=p(a1b1)/p(b1)=0.40/0.41=0.976,（4）H(X)=-P(ai)*log(P(ai)=-(0.5*log0.5+0.5*log0.5)=1H(Y)=-P(bj)*log(P(bj)=-(0.59*log0.59+0.41*log0.41=0.98H(XY)=-P(aibj)*log(P(aibj)=-(0.49*log0.49+0.01*log0.01+0.10log0.1+0.4*log0.4=1.43,(5)I(X,Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55,(6)疑义度H(X|Y)=-P(aib

19、j)*log(P(ai|bj)=-P(a1b1)*logP(a1|b1)+P(a2b1)*logP(a2b1)+P(a1b2)*logP(a1b2)+P(a2b2)*logP(a2b2)=0.45,(7)噪声熵H(Y|X)=-P(aibj)*log(P(aj|bi)=0.43,习题一,某二进制对称信道理，其信道矩阵是,p=,0.98,0.02,0.98,0.02,设该信道以1500个二进制符号秒的速度输入，现有一消息序列共有14000个二进制符号，并设在这个消息中p(0)=p(1)=1/2.问从信息角度来考虑，10秒种内能否将这消息序列无失真地传送完？,习题二,已知信源X的信源空间为,0.2,0.6,0.5,0.2,0.1,0.1,0.3,0.1,0.4,0.3,0.1,0.2,0.1,0.2,0.4,0.2,X.P=,X:a1 a2 a3 a4,P(X):0.1 0.3 0.2 0.4,某信道的信道矩阵为,试求：(1)“输入a3,输出b2的概率“（2）“输出b4”的概率（3）收到b2的条件下推测a2的概率？,