信息论与编码纠错第2章.ppt
《信息论与编码纠错第2章.ppt》由会员分享,可在线阅读,更多相关《信息论与编码纠错第2章.ppt(77页珍藏版)》请在三一办公上搜索。
1、第二章 信息的度量,根据香农对于信息的定义,信息是一个系统不确定性的度量,尤其在通信系统中,研究的是信息的处理、传输和存储,所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手,研究离散情况下各种信息的描述方法及定量计算,讨论它们的性质和相互关系。,内容提要,2.1 自信息量和互信息量,一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。,对于随机事件集X=x1,x2,xi,xI中的随机事件xi,其出现概率记为p(xi),将两个事件xi,yj同时出现的概率记为p(xi yj),则p(xi),p(xi yj)应满足:,且下列关系式成立,一自信息量和条件
2、自信息量,1自信息量,直观地看,自信息量的定义应满足以下四点:,(1)I(x)应该是p(x)的单调递减函数:概率小的事件一旦发生赋予的信息量大,概率大的事件如果发生则赋予的信息量小;(2)信息量应具有可加性:对于两个独立事件,其信息量应等于各事件自信息量之和;(3)当p(x)=1时,I(x)=0:表示确定事件发生得不到任何信息;(4)当p(x)=0时,I(x):表示不可能事件一旦发生,信息量将无穷大。,综合上述条件,将自信息量定义为:,【例】若盒中有6个电阻,阻值为1、2、3的分别为2个、1个、3个,将从盒子中取出阻值为i的电阻记为事件xi(i=1,2,3),则事件集X=x1,x2,x3,其概
3、率分布,计算出各事件的自信息量列表如下:,自信息量I(xi)代表两种含义:,事件xi发生以前,表示事件发生的先验不确定性。一个事件不常出现,它的概率就小,当该事件发生时收信者获得的信息量就多,或者说事件携带的信息量大,因此自信息量也可以说是随机事件的一个固有特征。当事件xi发生以后,表示事件xi所能提供的最大信息量。,【例】信源消息X0,1,信源等概率分布,计算出自信息量如表所示。,可以看出,1bit的信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。,【推广】二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为:,2条件自信息量,在已知事件yj条件下,随机事件xi发
4、生的概率为条件概率p(xi/yj),条件自信息量定义为:,【例】某住宅区共建有若干栋商品房,每栋有5个单元,每个单元住有12户,甲要到该住宅区找他的朋友乙,若,(1)甲只知道乙住在第5栋,找到乙的概率有多大?能得到多少信息?(2)甲除知道乙住在第5栋外,还知道乙住在第3单元,他找到乙的概率又有多大?他能得到多少信息?,【解】用xi代表单元数,yj代表户号:,二互信息量和条件互信息量,1互信息量,从通信的角度引出互信息量的概念。,信源符号:X=x1,x2,xI,xia1,a2,ak,i=1,2,I。,xi的概率分布p(xi)称为先验概率。,经过信道传输,信宿方接收到符号,信宿符号:Y=y1,y2
5、,yJ,yjb1,b2,bD,j=1,2,J。,接收到符号yj后,接收者重新估计xi发生的概率,记为条件概率p(xi/yj),也称为后验概率。,事件xi是否发生具有不确定性,用I(xi)度量。接收到符号yj后,事件xi是否发生仍保留有一定的不确定性,用I(xi/yj)度量。,观察事件前后,这两者之差就是通信过程中所获得的信息量,为事件xi和事件yj之间的互信息量。用I(xi;yj)表示:,根据概率互换公式 p(xi yj)=p(yj/xi)p(xi)=p(xi/yj)p(yj)互信息量I(xi;yj)有多种表达形式:,【推广】将事件互信息量的概念推广至多维空间。,在三维X Y Z联合集中,有:
6、,一对事件yjzk发生后,与事件xi之间的互信息量,等于事件yj与xi之间的互信息量加上在事件yj已知的条件下,事件xi与zk的之间的互信息量。,类似,在N维U1 U2 UN联合空间,有,2条件互信息量,三维X Y Z联合集中,在给定条件zk的情况下,xi,yj的互信息量I(xi;yj/zk)定义为:,3互信息量的性质,(1)互易性(对称性):,(2)可加性:,(3)当xi,yj统计独立时,互信息量及条件互信息量均等于零。,xi和yj相互独立,,表明之间不存在统计约束关系。,(4)互信息量I(xi;yj)可以是正数,也可以是负数。,(5)两个事件的互信息量不大于单个事件的自信息量,即有:,表2
7、-4为8个三位二进制数对应的各种概率。,【例2.8】信源包含8个消息x0,x1,x2,x3,x4,x5,x6,x7,信源编码器将其对应编成8个三位二进制数000,001,110。各消息的先验概率已知,在接收过程中,每收到一个数字,各消息的后验概率都相应地发生变化。考虑在接受100三个数字的过程中,各后验概率的变化,计算信息量I(x4;100)。,根据给定的先验概率,可算出:,将各种后验概率的计算结果列于表2-4中,再根据式(2-10)计算出互信息量:I(x4;100)=I(x4;1)+I(x4;01)+I(x4;010)=3(比特)也可直接计算出:(比特),P(x4100)=1,例:某地二月份
8、气候的概率空间为,则此四种天气状态的不确定性分别为:,假如有天气预报说“今天不是晴天”(作为收到的消息y1),收到y1后(假设y1是准确的),再去重新估计各种天气发生的概率。,它们之间的互信息量为:,收到消息y1之后,使得x2,x3,x4的不确定性各降低了1bit,这是由于互信息量的存在,使得不确定性减少。,自信息量减去互信息量是收到消息y1之后,x2,x3,x4仍存在的不确定性,因为不知道到底会发生哪件事情。,收到消息y1之后使得x1的不确定性降低了负无穷(增加了无穷大的不确定性),即收到y1之后,x1 基本不会再发生。,2.2 离散集的平均自信息量,一信 息 熵,1平均自信息量(熵),对于
9、无记忆信源,各个消息的出现概率是相互统计独立的,其平均自信息量定义为各消息自信息量的概率加权平均值(统计平均值),即平均自信息量H(X)定义为:,唯一确定事件xi所需要的信息量。,唯一确定集合X中任一事件xi所需要的平均信息量,它反映了X中事件xi出现的平均不确定度。,集合X的信息熵,简称熵,信息熵和平均自信息量两者在数值上相等,但含义并不相同。信息熵表征信源的平均不确定度,平均自信息量则表示消除不确定度所需要的信息的量度。,【例】计算下列信源的熵。,(1)信源一:,(比特/符号),(2)信源二:等概率信源,(3)信源三:等概率信源,(比特/符号),(比特/符号),(4)信源四:信源为确定事件
10、,(比特/符号),(5)信源五:一般情况下的二元信源,(比特/符号),2平均条件自信息量(条件熵),(1)定义:,若事件xi yj的联合分布概率为p(xi yj),给定yj条件下事件xi的条件自信息量为 I(xi/yj),则条件熵H(X/Y)定义为:,在联合符号集合XY上的条件自信息量的联合概率加权统计平均值。,当X,Y统计独立时,有p(xi yj)p(xi)p(yj),p(xi/yj)=p(xi),则,(2)物理含义:,从通信角度来看,若将X=x1,x2,xi,视为信源输出符号;Y=y1,y2,yj,视为信宿接收符号;I(xi/yj)可看作信宿收到yj后,关于发送的是否为xi仍然存在的不确定
11、性,则,反映了经过通信后,信宿符号yj(j=1,2,)关于信源符号xi(i=1,2,)的平均不确定性,称疑义度。,(3)条件熵H(YX),若给定xi条件下事件yj的条件自信息量为I(yj/xi),则H(Y/X)定义为:,当X,Y统计独立时,有p(xi yj)=p(xi)p(yj),p(yj/xi)=p(yj),有,从通信角度来看,H(Y/X)是发出确定消息xi后,由于信道干扰而使yj存在的平均不确定性,称H(Y/X)为噪声熵(散布度)。,3联合熵(共熵),联合熵H(XY)是定义在二维空间X Y上,对元素xi yj的自信息量的统计平均值,若记事件xi yj出现的概率为p(xi yj),其自信息量
12、为I(xi yj),则联合熵H(X Y)定义为:,4各种熵之间的关系,由熵、条件熵、联合熵的定义式可导出三者的关系式:,H(X Y)=H(X)+H(Y/X)=H(Y)+H(X/Y),上式反映了信息的可加性。当X,Y统计独立时,有,H(X Y)=H(X)+H(Y),1凸集合与凸函数简单介绍凸集和凸函数的概念。定义2.1 是n维实矢量空间集合R中任意两个n维矢量,对实数,0 1,有+(1-)R则称R为凸集合。,二熵函数的性质,从几何上来看,若,是集合R中的任意两点,+(1-)表示这两点间的连线,若该连线也在集合R中,则称R为凸集。下面给出了几个凸集和非凸集合的例子。,定义2.2设f(x)=f(x1
13、,x2,xn)为一个n元函数,若对任意f(x1),f(x2)f(x),任意正数,0 1,有f(x1)+(1-)f(x2)f x1+(1-)x2(2-23),x,则称f(x)为定义域上的型凸函数。一元型凸函数可用图2-4所示的几何图形表示。,定义2.3设f(x)=f(x1,x2,xn)为一个n元函数,若对任意f(x1),f(x2)f(x),任意正数,0 1,有f x1+(1-)x2 f(x1)+(1-)f(x2)(2-24),则称f(x)为定义域上的型凸函数,一元型凸函数可用图2-5所示的几何图形表示。,二熵函数的性质,1极大离散熵定理,设信源X中包含M个不同的符号,信源熵H(X)有,当且仅当X
14、中各个符号以等概率出现时,上式取等号。,2熵函数的性质,(1)对称性,集合X=x1,x2,xN 中的各元素x1,x2,xN任意改变其顺序时,熵只和分布(概率)有关,不关心某个具体事件对应哪个概率。,例:某二进制通信系统,信源符号集0,1,由于存在失真,传输时会产生误码,用符号表示下列条件:u0:发“0”;u1:发“1”;v0:收“0”;v1:收“1”。已知下列概率:,则此信道转移概率示意图为:,求:(1)已知发出符号“0”,收到一个符号所获得的平均信息量,(2)已知发出的符号,收到一个符号所获得的平均信息量,转移概率矩阵p(v/u),联合概率矩阵 p(uv),(3)已知发出和收到符号,所获得的
15、平均信息量,或可由定义式求:,联合概率矩阵 p(uv),(4)收到一个符号后又被告知发出的符号,所获得的平均信息量,联合概率矩阵 p(uv),先求接收符号的概率:,后验概率矩阵 p(u/v)=p(uv)/p(v),或者:,2.4 N维扩展信源的熵和平均互信息量,一各种离散信源的熵,信源输出序列为XN=x1 xi xN,xia0,a1,ak-1,记 XN=x1 x 2 xN的概率分布为p(XN),则信源熵为,(1)单符号无记忆信源,由于无记忆,则信源的熵为:,(2)N维扩展无记忆信源,H(XN)=H(X1)+H(X2X1)+H(X3X1X2)+H(XNX1X2XN-1),p(XN)=p(x1)p
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 纠错

链接地址:https://www.31ppt.com/p-6549790.html