离散信源及离散熵.ppt

《离散信源及离散熵.ppt》由会员分享，可在线阅读，更多相关《离散信源及离散熵.ppt（26页珍藏版）》请在三一办公上搜索。

1、2023/10/17,信源消息是多种多样的：如计算机网络节点输出的是二进制数据，模拟电视输出的是连续视频图像和伴音；又如抽牌，可以抽出后放回去再抽，也可以抽出后不放回去再抽。,信源的分类方法可以很多，但从本质上考虑，一方面将信源分为离散信源和连续信源(continuous source)，另一方面,第3章 离散信源及离散熵,2023/10/17,将信源分为无记忆信源(memoryless source)和有记忆信源(memory source)。,从一个离散信源的整体出发，它的信息量应该如何度量？,本章主要讨论离散无记忆信源。,2023/10/17,从最简单的单符号离散信源开始讨论：,1、单符

2、号离散信源的数学模型,一、单符号离散信源的离散熵,如果说自信息量反映的是一个随机事件出现各种结果所包含着的信息量，那么,2023/10/17,自信息量的数学期望(概率加权的统计平均值)所反映的是该随机事件出现所包含的平均自信息量。,如果将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的离散熵，也叫香农熵，离散熵的定义为：,离散熵的单位是比特/符号(bit/symbol)。,2、单符号离散信源的离散熵,2023/10/17,离散熵是从整体出发对一个离散信源信息量的度量。,需要注意，平均自信息量和离散熵虽然在数值上相同，但在含义上却有区别：,平均自信息量所反映的仅仅是信源输出X所包含的

3、平均自信息量，是消除信源不确定度所需要的信息的度量；,2023/10/17,换句话说，平均自信息量只有在信源输出时才有意义，而离散熵则不管信源输出与否都有意义。,离散熵则既反映了信源输出X所包含的平均自信息量，是消除信源不确定度所需要的信息的度量，同时又描述了信源的平均不确定度。,2023/10/17,3、离散熵的性质和定理,H(X)的非负性；,H(X)的上凸性；,H(X)的上凸性不作证明。,最大离散熵定理,2023/10/17,2023/10/17,2023/10/17,例1，求掷骰子这一信源的离散熵。,解：该信源的数学模型为,2023/10/17,解：该信源的数学模型为：,例2，求某一天简

4、单的天气气象这一信源的离散熵。,2023/10/17,例3，已知信源,求离散熵并作出p-H(p)曲线。,解：,2023/10/17,当p=0时，H(p)=0,p=0.25时，H(p)=0.811,p=0.5时，H(p)=1,p=0.75时，H(p)=0.811,p=1时，H(p)=0,2023/10/17,二、多符号离散信源及其离散熵,如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。,实际上，信源每次发出的消息是符号序列的情况更为普遍。,多符号离散信源的例子有电报、文字等。,2023/10/17,一般情况下，信源在不同时刻

5、发出符号的概率分布是不同的，即,将多符号离散信源发出的符号序列记为,并设序列中任一符号都取值于集合,这种情况分析起来比较困难，不作讨论。,2023/10/17,对于多符号离散信源发出的符号序列,1、离散平稳信源及其数学模型,如果任意两个不同时刻k和l，k=1,2,，l=1,2,，其概率分布相同，即,则称该多符号离散信源为一维离散平稳信源。,2023/10/17,如果不仅其概率分布相同，其二维联合概率分布也相同，即,则称该多符号离散信源为二维离散平稳信源。,同理，如果除概率分布相同外，直到N维的各维联合概率分布也都与时间起点无关，即,2023/10/17,则称该多符号离散信源为N维离散平稳信源。

6、,一般，可将N维离散平稳信源发出的符号序列看成长度为N的一段段符号序列，即,2023/10/17,N维离散平稳信源的数学模型：,其联合概率分布为,2023/10/17,2、离散平稳信源的离散熵,先讨论二维离散平稳信源的离散熵。,二维离散平稳信源的数学模型：,该信源的离散熵,2023/10/17,2023/10/17,式中，H(X2/X1)称为条件熵，是条件信息量在联合概率上的数学期望。,2023/10/17,与此相对应，将该信源的离散熵H(X1X2)称为联合熵，信源符号的离散熵H(X1)、H(X2)称为无条件熵。,2023/10/17,如果将该信源符号所提供的平均信息量记为H2(X1X2)并称其为平均符号熵，则,2023/10/17,2023/10/17,求该信源的联合熵和平均符号熵。,