《信息的度量》PPT课件.ppt

第2章 信息的度量,主要内容信源模型不确定性与信息熵与平均互信息扩展信源离散有记忆信源的熵离散信源的信息（速）率和信息含量效率连续随机变量下的熵和平均互信息量,各节内容,2.1 信源模型2.2（概率）信息的描述2.3 不确定性与信息2.4 离散熵2.5 联合熵和条件熵 2.6 平均互信息量及其性质 2.7 离散无记忆信源的扩展 2.8 离散有记忆信源的熵 2.9 离散信源的信息（速）率和信息含量效率 2.10 连续随机变量下的熵和平均互信息量,2.1 信源模型,信源模型的建立信源分类,1 实际信源,信源的性质由其输出完全确定。实际信源的输出各不相同，可能是汉字、英文、声音、图像等，统称为消息。信源发出消息的过程，等同于从一个基本消息集合取出基本消息的过程。,2 信源模型,对认识主体而言，信源在某一时刻输出什么符号是随机的。,3 信源分类（一）,根据参数集和值域是离散集合还是连续区间进行分类：,4 信源分类（二）,（2）平稳信源：序列的统计特性与时间的推移无关。,2.2（概率）信息的描述,离散无记忆信源（DMS）非理想观察模型,1 离散无记忆信源,DMS：Discrete Memoryless Source，离散无记忆信源。,：独立同分布随机变量序列。,离散无记忆信源（续）,先验概率：,先验概率集合：,DMS的概率空间：,概率的完备性条件：,有用的记号：,2 非理想观察模型,：先验概率集合：后验概率集合：转移概率集合,传递的信息先验不确定性后验不确定性,2.3 不确定性与信息,信息是不确定性的减少量。为度量信息，可从度量不确定性入手。不确定性的种类很多。未经统计平均的不确定性有：自信息量、条件自信息量和联合自信息量。统计平均意义下的不确定性有：熵、条件熵和联合熵。先介绍各种不确定性的度量方法，然后再引入信息的度量方法。,1 自信息量,注：自信息量与信息有联系，但不是信息，而 是符号的先验不确定性。,：的（先验）不确定性，也称为 的自信息量。,自信息量的单位,自信息量的单位与公式中对数底的选取有关。,自信息量的单位（续）,单位换算：,进制单位,为了强调是符号的不确定性，我们将单位写成：bit/符号 nat/符号 dit/符号 r进制单位/符号,自信息量单位的物理含义说明,意义：的不确定性可用2位二进制数字来度量或1位四进制数字来度量。,2 联合自信息量,多元联合符号的联合自信息量,3 条件自信息量,思考:,自信息量的物理解释,例1 甲在一88的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的。（1）在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？,解 棋格按顺序编号,棋格行号,4 自信息量的性质和相互关系,(1)概率为0时，相应的自信息量无意义。(2)非负性。三种自信息量均非负。,公式:,自信息量的性质和相互关系（续一）,公式:,联合概率、条件概率和边缘概率之间的乘法关系：,自信息量的可加性:,物理解释:教材第21页。,自信息量相互关系推广,自信息量的可加性:,自信息量可加性的链公式：,特殊情况下自信息量相互关系,公式:,自信息量的可加性:,当 和 统计独立时，概率之间的乘法关系：,可加性的链公式：,5 互信息量及其性质,的先验不确定性,从 中获得的关于 的信息 的先验不确定性 的后验不确定性,：互信息量，事件信息,实在信息,从 中得到了 的全部信息,含有的实在信息,在数值上等于,例2,甲在一88的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的。（1）若甲告知乙棋子落入方格的行号，这时乙得到了多少信息量？（2）若甲将棋子落入方格的行号和列号都告知乙，这时乙得到了多少信息量？,例2解,解 棋格按顺序编号,棋格行号,棋格列号,例2解（续一）,（1）告知行号，乙得到的信息量：,bit/符号,例2解（续二）,（2）既告知行号又告知列号，乙得到的信息量：,bit/符号,互信息量的性质,(1)互易性:,(4)互信息量不可能大于符号的自信息,(2)独立变量的互信息量为0:,若、相互独立，则,(3)互信息量可正可负,条件互信息量,记三元联合概率空间为,在 出现的条件之下，与 之间的互信息量为,2.4 离散熵,熵的定义熵的物理意义熵的性质,1 熵的定义,：的（先验）不确定性，也称为 的自信息量。,熵,熵 的物理意义:信源 的平均不确定性。,关于熵的几点说明,熵公式：,（1）熵公式中，只是一个记号，代表 的熵，不能把 看作函数的自变量。,（3）熵的单位与自信息量的单位相同，与熵公式中所用对数的底有关。,（4），规定“0log0=0”。因为,2 熵的性质,(1)对称性：,(2)可扩展性：加入零概率事件不会改变熵。,熵公式：,确定性概率分布,(3)非负性,熵公式：,(4)强可加性,“强可加性”证明,定义新函数：,则,于是,(5)可加性,“可加性”是“强可加性”的特殊情况，在“强可加性”中，令,就可得出可加性。,“可加性”证明,令,则,强可加性：,（6）渐化性,证明方法：利用熵公式，将右式展开再合并。,说明：概率分布越均匀，熵越大。,（7）凸状性,是上凸函数。,例（二元信源的熵)设二元信源的概率空间为,则熵为,二元熵图示,（8）极值性,记等概率分布为,则,二元熵图示,K=2时，熵的图形,信息论不等式,定理2.1(信息论不等式)对于任意实数，有不等式：当且仅当 时，等式成立。,-1,0,z,ln(z),z-1,1,图示,切线,香农不等式,证明:,“极值性”证明,极值性:,香农不等式:,例 三元熵,设三元信源为:,根据熵公式,有,三元熵图示,2.5 联合熵和条件熵,联合熵：联合自信息量的统计平均。条件熵：条件自信息量的统计平均各类熵之间的关系：与各类自信息量之间的关系对应。,1 联合熵,设联合概率空间为,联合符号 的先验不确定性称为联合自信息量:,联合熵,熵 的物理意义:信源 的平均不确定性。,2 条件熵,设联合概率空间为,条件自信息量:,条件熵,条件熵(续一),式中,解释:是另一种条件熵，它只对 求了统计平均,而未对 求统计平均，代表在给定条件 下有关 的（平均）不确定性。,条件熵(续二),3 各类熵之间的关系,同理,总之,熵的强可加性,推广,各类熵之间的关系(续),于是,因此，熵之间的关系简化：,熵的可加性,推广：,当 与 相互独立，则,统计独立时，有,2.6 平均互信息量及其性质,联合概率空间：,互信息量：,统计平均,平均互信息量,1 平均互信息量的定义,2 平均互信息量的物理解释,从 中获得的关于 的信息 的先验(平均)不确定性 的后验(平均)不确定性,3 公式推导,?,推导:,4 平均互信息量的性质,（1）互易性:,说明:,（2）非负性：,注意：可正可负。,条件熵不会大于无条件熵，增加条件只可能使不确定性减小，不会增大不确定性,推广：条件多的熵不会大于条件少的熵。即,（3）有界性：,简证：,5 各种熵以及平均互信息量之间的关系,2.7 离散无记忆信源的扩展,研究信源输出的单个符号的统计特性,研究信源输出的符号串的统计特性,单符号信源,的 次扩展信源,多符号信源,扩展信源的熵,因为是DMS，故 独立同分布，所以,例 扩展信源模型的求法,例 设有离散无记忆信源。（1）求 和；（2）当 时，计算。,解（1）求2次和3次扩展信源的符号表:,例 扩展信源模型的求法(续一),求概率：,根据信源的无记忆特性，有,同理可得：,例 扩展信源模型的求法(续二),（2）当 时，计算。有两种求法。,方法一：,Bit/符号,Bit/三元符号,方法二：,Bit/三元符号,2.8 离散有记忆信源的熵,Bit/N元符号,Bit/符号,极限熵：,Bit/符号,简单讨论,（1）是非增的、有界的。,：信源无记忆时的熵。,：信源无记忆且等概率分布时的熵，即最大熵。,信源内部有关联（也称有记忆）时，会使熵降低，当然实在信息也会跟着降低。,简单讨论（续）,（2）极限熵的另一种表达式：,（3）信源无记忆时，有,Bit/符号,（4）信源的实在信息在数值上等于其平均不确定性，因此，一般情况下恒有,2.9 离散信源的信息（速）率和信息含量效率,离散信源的信息率:平均一个符号所携带的信息量，也就是信源的实在信息，在数值上等于信源的极限熵。,Bit/符号,Bit/秒,信源的信息速率：信源单位时间内发出的平均信息量。,1 信息率,信源平均发出一个符号所需的时间,2 信息含量效率与冗余度,信源的信息含量效率：,信源的相对冗余度：,当且仅当信源是DMS且等概率分布（）时,例 设DMS为。求信源的信息含量效率和相对冗余度。,解：,2.10 连续随机变量下的熵和平均互信息量,连续随机变量下的熵：微分熵连续随机变量下的平均互信息量微分熵的极大化问题,本节讨论的主要问题：,1 连续随机变量下的熵,（1）连续信源的数学模型,（2）连续信源的离散化,将 的值域 等分为个子区间：,第 个子区间的概率：,离散化随机变量：,(3)连续信源的熵,微分熵,为无穷大,失去意义。,（4）微分熵,微分熵与离散熵在表示形式上具有相似性；微分熵只是实际熵的有限项，不能把微分熵式当作连续随机变量不确定性的度量公式；连续随机变量取值于连续区间，有无穷多个取值点，每一点的概率均为0，自信息量无意义，因此不能像离散熵那样把熵视为自信息量的统计平均；不具备非负性，可能出现负值；在比较熵的大小时，微分熵具有相对意义。,微分熵的一般表达式,例 均匀分布随机变量的熵,设连续随机变量服从均匀分布，即概率密度函数为：,由微分熵定义式，有,注意：,微分熵不具备非负性！,例 高斯分布随机变量的熵,求熵时要注意计算技巧，注意使用以下两式：,设连续随机变量服从高斯分布，即概率密度函数为：,由微分熵定义式，有,2 联合微分熵、条件微分熵,联合微分熵,条件微分熵,微分熵之间的关系:,3 平均互信息量,注：该式可用离散化取极限的方法严格推出，是精确的，并没有舍弃无穷大项取相对值。平均互信息量概念本身就具有相对意义，求平均互信息量时，实际连续熵中的无穷大项相互抵消了，只剩下有限值相减。连续情况下的平均互信息量有实际的物理意义，仍具有互易性和非负性,4 微分熵的极大化问题,（1）幅值受限 所谓幅值受限，即随机变量的取值受限于某个区间之内。由于幅值受限，所以峰值功率也受限了，二者是等价的。,定理 设 的取值受限于有限区间，则 服从均匀分布时，其熵达到最大。,（定理2.1），,均匀分布：,最大微分熵：,（2）方差受限,定理 设 的均值为，方差受限为，则 服从高斯分布时，其熵达到最大。,高斯分布：,最大熵：,则,