条件熵、联合熵及熵的性质.ppt
信源及其信息熵,第二章,2.1.3 条件熵及联合熵,条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量Y的条件下，随机变量X的条件熵定义为：,要用联合概率加权,条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。,条件熵,联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。,联合熵,熵、条件熵、联合熵关系,一个二进信源X发出符号集0,1,经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”已知X的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：p(y0|x0)=3/4,p(y2|x0)=1/4 p(y1|x1)=1/2,p(y2|x1)=1/2，,X,Y,0,1,0,1,2,3/4,1/2,1/2,1/4,信源熵H(X),例题,得联合概率：p(x0y0)=p(x0)p(y0|x0)=2/33/4=1/2 p(x0y1)=p(x0)p(y1|x0)=0 p(x0y2)=p(x0)p(y2|x0)=2/31/4=1/6 p(x1y0)=p(x1)p(y0|x1)=0 p(x1y1)=p(x1)p(y1|x1)=1/31/2=1/6 p(x1y2)=p(x1)p(y2|x1)=1/31/2=1/6,由,例题,条件熵H(Y|X),联合熵H(XY)H(XY)H(X)H(Y|X)=1.8bit/符号,得 p(y0)=p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2 p(y1)=p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6 p(y2)=p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3,由,例题,信源输出熵H(Y),由,得,同理 p(x0|y1)=0；p(x1|y1)=1 p(x0|y2)=1/2；p(x1|y2)=1/2,条件熵H(X|Y),例题,或 H(X|Y)=H(XY)-H(Y)=1.8-1047=0.33bit/符号,2.1.4 熵的基本性质,熵的基本性质,概率矢量,非负性,非负性 H(X)0,由于0pk1,所以logpk0，-logpk0，则总有H(X)0。,对称性,根据加法交换律可以证明，当变量交换顺序时熵函数的值不变,即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。,对称性,确定性,当信源X的信源空间X，P中，任一概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。,确定性,这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。,扩展性,扩展性,可加性,证明:,可加性,极值性最大离散熵定理,信源X中包含K个不同离散消息时，信源熵，当且仅当X中各个消息出现的概率全相等时，上式取等号。,表明等概信源的不确定性最大，具有最大熵，为,极值性,定理：1.H(X/Y)H(X)（条件熵不大于无条件熵）2.H(XY)H(X)+H(Y),证明：,基本定理,基本定理推广,H(X/Y)H(X),H(XY)H(X)+H(Y),2.1.5 离散序列信源的熵,设信源输出的随机序列为 X=(X1X2XlXL)序列中的变量Xlx1,x2,xn,离散无记忆信源,离散无记忆:,离散无记忆信源的序列熵,信源的序列熵,进一步化简,平均符号熵,离散无记忆信源的序列熵,信源的序列熵,进一步化简,平均符号熵,离散无记忆信源的序列熵,例:有一个无记忆信源随机变量X(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:,即用 1比特就可表示该事件。如果以两个符号出现(L=2的序列)为一事件，则随机序列X(00,01,10,11)，信源的序列熵,即用2比特才能表示该事件。信源的符号熵,离散无记忆信源实例,例:有一离散平稳无记忆信源,求：二次扩展信源的熵,离散无记忆信源实例,信源熵为,信源的序列熵,离散无记忆信源实例,平均符号熵为,例:已知离散有记忆信源中各符号的概率为:,设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表,p(aj|ai),求离散信源的序列熵和平均每个符号的熵?,离散有记忆信源实例,由 p(ai,aj)=p(ai)p(aj|ai)计算得联合概率p(ai aj)如表,当考虑符号之间有依赖性时,计算得条件熵,离散有记忆信源实例,发二重符号序列的熵,H(X1,X2)表示平均每二个信源符号所携带的信息量,那么平均每一个信源符号携带的信息量近似为:,符号之间存在关联性,比较,有记忆信源实例,而信源X的信息熵为,H(X2|X1)H(X)，信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。,对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。对于由两个符号组成的联合信源,有下列结论:,当前后符号无依存关系时,有下列推论：,离散有记忆信源的序列熵,若信源输出一个L长序列,则信源的序列熵为,平均符号熵为：,极限熵:,离散有记忆信源的序列熵,（1）条件熵H(XL|XL-1)随L的增加非递增,离散有记忆信源特点,（3）平均符号熵HL(X)随L的增加非递增,H0(X)H1(X)H2(X)H(X),（2）L给定时,H L(X)H(XL|XL-1),（4）,2.1.6 冗余度,冗余度,表明信源的记忆长度越长,熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。,为了定量地描述信源的有效性,定义:,相对率,冗余度,由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。,
