信息论习题答案第二章陈前斌.docx
信息论习题答案第二章陈前斌第2章习题 2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合的熵或平均信息量； (4) 两个点数之和(即 2，3，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。 解：PP+P1/18 Ilog2 4.1699bit。 Pl/36。Ilog25.1699bit。 相同点出现时有6种，概率1/36。 不同点出现时有15种，概率1/18。 H6*1/36*log2+15*1/18*log24.3366bit/事件。 i+j 2 3 4 5 6 7 8 9 10 11 12 P(i+j) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =3.2744bit/事件。 P1/36+5/36+5/3611/36。 Ilog21.7105bit/ 2-5 居住某地区的女孩中有25是大学生，在女大学生中有75身高为1.6m以 上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学 生”的消息，问获得多少信息量？、 解：P1/4；P=3/4；P1/2； PP/P 3/4*1/4*23/8 Ilog21.4150bit。 2-7两个实验X=x1,x2,x3和Y=y1,y2,y3，联合概率p(xiyj)=pij为 ép11êpê21êëp31p12p22p32p13ùé7/24úêp23=1/24úêp33úûêë01/241/41/24ùú1/24 ú7/24úû0如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ 在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解： P(x,y) x1 X x2 x3 .y 33Y y1 y2 y3 7/24 1/24 0 1/24 1/4 1/24 0 1/24 7/24 1/3 1/3 1/3 .x 1/3 1/3 1/3 H(X,Y)=-ååp(xi,yj)logP(xi,yj)i=1j=1 =2.301bit/symbol3H(Y)=-åp(yj)logp(yj)j=1 =1.5894bit/symbolH(X|Y)=H(X,Y)-H(Y) =2.301-1.5894 =0.7151bit/symbol211某一无记忆信源的符号集为0,1，已知p0=1/4，p1=3/4。 求信源符号的平均信息量； 由100个符号构成的序列，求某一特定序列的信息量的表达 计算中的序列熵。 解：因为信源是无记忆信源，所以符号的平均熵 3æ13ö1H(X)=Hç,÷=´2+´0.415=0.81bit/符号 4è44ø4某一特定序列出现的概率为 P(XL)=P(X1,X2,L,X100)=P(0)mP(1)100-mæ1öæ3ö=ç÷ç÷è4øè4øm100-m所以，自信息量为 I(X1,X2,L,X100)=-logPX3(L)m100-mìüïæ1öæ3öï=-logíç÷ç÷ý 44ïïèøèøîþ=200-(100-m)log2(bit)/序列 序列的熵 HX()=100H(X)=81bitL2-13 有一个马尔可夫信源，已知转移概率为 P(S1|S1)=23,P(S2|S1)=13,P(S1|S2)=1,P(S2|S2)=0。 试画出状态转移图，并求出信源熵。 解：由题意可得状态转移图 2/3 1/3 S1 S2 1 由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。 é2一步转移矩阵P=ê3ê1ë1ù3ú0úû由åWipij=Wj和åpij=1可得方程组 ij2ìW=ï13W1+W2ï1ï W=W1í23ïïW1+W2=1ïîìW1=3/4解方程组得到各状态的稳态分布概率í， W=1/4î2因为H(X/S1)=Hç,÷,è33øæ21öH(X/S2)=H(1,0)=0， 所以信源的熵 H¥(X)=åp(s)H(X/s)=iii3é21ù3Hê,ú=´0.92=0.69bit/符号 4ë33û42-14有一个一阶马尔可夫链X1,X2,L,Xr,L,各Xr取值于集A=a1,a2,L,aq，已知起始概率为p1=P(X1=x)= 12,p2=p3=14，其转移概率如下： j i 1 2 3 1 1/2 2/3 2/3 2 1/4 0 1/3 3 1/4 1/3 0 求X1X2X3的联合熵和平均符号熵； 求这个链的极限平均符号熵； 求H0、H1、H2和它们对应的冗余度。 解： 方法一、 因为P(x1x2x3)=P(x1)P(x2/x1)P(x3/x1x2)=P(x1)P(x2/x1)P(x3/x2) 可以计算得到 P(a1a1a1)=P(a1)P(a1/a1)P(a1/a1)=P(a1a1a2)=P(a1)P(a1/a1)P(a2/a1)=P(a1a1a3)=P(a1)P(a1/a1)P(a3/a1)=11212418,1P(a1a2a1)=112124,16116, P(a1a2a2)=0,P(a1a2a3)=,P(a1a3a1)=P(a1a3a2)=, P(a2a1a1)=112124124,P(a2a2a1)=0,P(a2a2a3)=0,P(a2a3a1)=118136, P(a2a1a2)=P(a2a1a3)=,P(a2a2a2)=0, P(a2a3a2)=P(a1a3a3)=0,P(a2a3a3)=0,P(a3a1a1)=112124124,P(a3a2a1)=118136,P(a3a3a1)=0, P(a3a1a2)=P(a3a1a3)=,P(a3a2a2)=0,P(a3a2a3)=, P(a3a3a2)=0, P(a3a3a3)=0,所以， HX1X2X3=-åX1()ååP(xX2X31x2x3)logP(x1x2x3)112´log12+6´124´log24+2´118log18+2´136´log36=18´log8+2´116´log16+4´=3.967bit/三个符号所以，平均符号熵H3(X3)=方法二、 13H(X1X2X3)=1.322bit/符号H(X1X2X3)=H(X1)+H(X2/X1)+H(X3/X2)=1.5+1.209+1.26=3.967bit/三个符号13所以，平均符号熵H3(X3)=H(X1X2X3)=1.322bit/符号因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布. é1ê2ê2由题意得到一步转移矩阵P=êê3ê2êë3ij140131ù4ú1úú 3úú0úû由åWipij=Wj和åpij=1可得方程组 ìïW1ïïWï2íïïW3ïïîW1=121414W1+W1+W1+231313W2+W3W223W3+W2+W3=1ìW1=4/7ï解方程组得到各状态的稳态分布概率íW2=3/14， ïW=3/14î3ìP(a1)=4/7ï所以信源平稳后的概率分布为íP(a2)=3/14 ïP(a)=3/143î因为信源为一阶马尔可夫信源，所以信源的熵 H¥(X)=H2=HX2/X14() 3é21ù3é21ùé111ù=Hê,ú+Hê,0,ú+Hê,0ú=1.251bit/符号7ë244û14ë33û14ë33ûH0=log3=1.585bit/符号 é433ùH1=Hê，ú=1.414bit/符号ë71414ûH2=H(X2/X1)=1.251bit/符号H¥=H(X2/X1)=1.251bit/符号对应的冗余度分别为 g0=1-g1=1-g2=1-H0H0H1H0H2H0=0=0.054=0.1452-16 一阶马尔可夫信源的状态如图所示，信源X的符号集为0,1,2。 求平稳后的信源的概率分布； 求信源熵H¥； 求当p=0和p=1时信源的熵，并说明其理由。 pp0 p1 pp2 p 解：由状态转移图可得状态一步转移矩阵 épêP=pêêë00pppùú0 úpúû由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。 由åWipij=Wj和åpij=1可得方程组 ijìW1ïïW2íïW3ïWî1=pW1+pW=pW2+pW23=pW1+pW3+W2+W3=1ìW1=1/3ï 解方程组得到各状态的稳态分布概率íW2=1/3， ïW=1/3î3ìp(0)=1/3ï所以信源平稳后的概率分布为íp(1)=1/3 ïp(2)=1/3î因为信源为一阶马尔可夫信源，所以信源的熵 H¥(X)=13åp(s)H(X/s)=p(0)H(X/0)+p(1)H(X/1)+p(2)H(X/2)iiiHp,0,p+13Hp,p,0+13H0,p,p=Hp,p=Hp当p=0或p=1时，信源的熵为0。因为此时它表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。 2-19设有一信源，它在开始时以P(a)=0.6,P(b)=0.3,P(c)=0.1的概率发出X1，如果X1为a时，则X2为a,b,c的概率为13；如果X1为b时，则X2为a,b,c的概率为1213；如果X1为c时，则X2为a,b概率为，为c的概率为0。而且后面发出Xi的概率只与有P(Xi|Xi-1)=P(X2|X1),i³3。试利用马尔可夫信源的图示法画出状Xi-1有关。态转移图，并且计算信源熵H¥。 解：由题目可知，这个信源为一阶马尔可夫信源，状态空间就等于信源符号集合a,b,c,其状态转移图为 1/3 a 1/3 1/3 1/3 1/2 1/3 由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。 é1ê3ê1一步转移矩阵P=êê3ê1êë2ij1/3 b 1/2 c 1313121ù3ú1úú 3úú0úû由åWipij=Wj和åpij=1可得方程组 ìïW1ïïWï2íïïW3ïïîW1=131313W1+W1+W1+131313W2+W2+W21212W3W3+W2+W3=1ìW1=3/8ï解方程组得到各状态的稳态分布概率íW2=3/8， ïW=1/4î3因为信源为一阶马尔可夫信源，所以信源的熵 H¥(X)=3åp(s)H(X/s)=p(a)H(X/a)+p(b)H(X/b)+p(c)H(X/c)iiié111ù3é111ù1é11ù=Hê,ú+Hê,ú+Hê,ú=1.439bit/符号8ë333û8ë333û4ë22û
