信息论信源与信息熵教学课件ppt.ppt

《信息论信源与信息熵教学课件ppt.ppt》由会员分享，可在线阅读，更多相关《信息论信源与信息熵教学课件ppt.ppt（39页珍藏版）》请在三一办公上搜索。

1、第2章 信源与信息熵(1),信息论与编码B,西安邮电大学 通信与信息工程学院,2013年9月,本章要求,重点掌握 信息的量度：信息量（自信息量、条件信息量、联合信息量）离散单符号信源熵、条件熵、联合熵平均互信息量 马尔可夫信源极限熵熵及平均互信息量的性质与物理意义,本章要求,一般掌握：离散序列熵、序列符号熵 连续信源相对熵及最大熵定理 冗余度的概念了解：数据处理中信息不增加性原理,本章目录,信源的数学模型及分类,离散信源熵和互信息,信息熵的性质,离散序列信源熵,信源的数学模型及分类,连续信源与互信息,信源的冗余度,2.1 信源的数学模型及分类,通信系统模型：,对信息论的学习可从信源开始;消息是

2、信息的载体。信息是抽象的，消息是具体的;要研究信息，还得从研究消息入手。,1.信源的定义：,什么是信源?信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。信源的基本特性:具有随机不确定性。,信源的分类：连续信源：取值于一个连续的区间。如:图像，声音等 离散信源：取值于一个离散集合。如:文字，数字等 离散信源的进一步分类：离散无记忆信源：发单符号 发符号序列特点：发出的各个符号之间是相互独立的，符号序列中 的各个符号之间也没有统计关联性。离散有记忆信源：无限长记信源 有限长记忆信源(马尔可夫信源)特点：信源在不同时刻

3、发出的符号之间是相互依赖的,发出的各个符号的概率是有关联,2.信源分类,3.信源的数学模型,离散信源的数学模型：离散信源发出的符号集合为：各符号的先验概率为概率空间(单符号),3.信源的数学模型,有记忆信源的数学模型（N=2）：,设离散信源发出的符号集合为：若它是有记忆的，且记忆长度为2时，此时信源则为X=X1X2,概率空间为,3.信源的数学模型,连续信源的数学模型：概率空间 为：,概率密度函数,4.信源举例（一个概率空间就是表示一个信源）,二进制信源的概率空间,例1,例2,例2,2.2 自信息量与信源熵,设某离散信源的数学模型如下:,问 题：（信息的度量问题）每个消息（符号）的出现携带多少信

4、息量?这样的信源平均能输出多少信息?,1.自信息量,消息 xi 的概率 p(xi)对数的负值，称为 xi 的自信息量，用 I(xi)表示。,定义,计算,一点说明,计算自信息量时，要注意有关事件发生概率的计算；自信息量的单位取决于对数的底；底为2，单位为“比特（bit,binary unit）”；底为e，单位为“奈特（nat,nature unit）”；底为10，单位为“哈特（hat,Hartley）”；根据换底公式得：,注意：一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略去不写。,1 nat=1.44bit,1 hat=3.32 bit；,例3,试求：该信源发出各消息的自信息

5、量。,已知某信源的概率空间为,解：,自信息量的计算公式是一个关于概率的函数。即：I(xi)f p(xi)函数 f p(xi)满足以下条件：（1）它应是先验概率p(xi)的单调递减函数，即当 p(x1)p(x2)时，有 f p(x1)f p(x2)；（2）当 p(xi)=1 时，f p(xi)=0（3）当 p(xi)=0 时，f p(xi)=（4）两个独立事件的联合信息量应等于它们分别的信息量之和。可以证明对数函数满足上述条件：,性质,自信息量的二种理解方式：,I(xi)代表两种含义(二种理解方式)：（1）当事件xi发生以前，表示事件xi发生的不确定性;（2）当事件xi发生以后，表示事件xi所提

6、供的信息量.,例1 P8例题2-1,自信息的计算。,例2 P10例题2-3,自信息的计算。,2.联合自信息与条件自信息,若有两个消息xi，yj 同时出现，则其自信息量定义为(联合自信息量)若xi，yj 相互独立，则若xi，yj 不相互独立，则要用条件概率 p(xi|yj)来表示，即在事件 yj 出现的条件下，事件 xi 发生的条件概率，其条件自信息量定义为,条件自信息量为：,3.信源熵（平均信息量）（本章重点）,设离散信源的为：,则信源中每个符号信息量的数学期望（平均自信息量），称为信源熵，记作H(X)。,说明：,由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“

7、熵”这个词，把H(X)称为信息“熵”；信息熵的单位由自信息量的单位决定，即取决于对数的底。,H(X)的单位：比特符号,有一布袋内放 l00 个球，其中 80 个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：,（1）如果被告知摸出的是红球，那么获得的信息量是：I(a1)log p(a1)log0.8=0.32（比特）（2）如被告知摸出来的是白球，所获得的信息量应为：I(a2)log p(a2)log0.2=2.32（比特）（3）平均摸取一次所能获得的平均信息量（熵）为：H(X)=p(a1)I(a1)+p(a2)I(a2)=0.72（比特/符号）,例：熵的计算,熵

8、的含义,熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。其三个物理含义如下：(1)在信源输出后，H(X)表示每个消息提供的平均信息量；(2)在信源输出前，H(X)表示信源 X 的平均不确定性；(3)H(X)表征了变量 X 的随机性。例如，有两信源X、Y，其概率空间分别,计算其熵，得：H(X)=0.08（bit/符号）H(Y)=1（bit/符号）H(Y)H(X)，因此信源Y比信源X的平均不确定性要大。,信息熵是信源概率空间的一种特殊矩函数。这个矩函数的大小，与信源的符号数及其概率分布有关。我们用概率矢量P来表示概率分布P(x)：,4、信息熵的基本性质,这样，信息熵H(X)是

9、概率矢量P或它的分量p1，p2，pq的q-1元函数(因各分量满足上述条件限制，所以独立变量只有q-1元)。一般 H(X)可写成：,熵函数,H(P)是概率矢量P的函数，称为熵函数。我们用下述表示方法：用H(x)表示以离散随机变量 x 描述的信源的信息熵；用H(P)或 H(p1,p2,pq)表示概率矢量为P=(p1,p2,pq)的 q 个符号信源的信息熵。熵函数H(P)是一种特殊函数，具有以下性质。,1、对称性：,H(P)的取值与分量 p1,p2,pq 的顺序无关。说明：从数学角度：H(P)=pi log pi 中的和式满足交换率；从随机变量的角度：熵只与随机变量的总体统计特性有关。一个例子：,H

10、(1,0)=H(1,0,0)=H(1,0,0,0)=0性质说明：在概率矢量P=(p1,p2,pq)中，只要有一个符号几乎的概率为1，则其它符号出现概率为0，那么，这个信源是一个确知信源，其熵等于零。(平均不确定度为0),2、确定性：,H(P)=H(p1,p2,pq)0说明：随机变量X的概率分布满足0pi1，当取对数的底大于1时，log(pi)0，-pilog(pi)0，即得到的熵为正值。式中等号只有在pi=1时才成立。这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。,非负性体现信息是非负的。,3、非负性：,对任意两个消息数相同的信源,4.

11、极值性(香农辅助定理),定理表明：对任意概率分布 pi，它对其他概率分布 qi 的自信息量对数学期望，必定大小或等于对 pi 本身的熵。,离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时，即pi1/M时，熵达到最大。,5、最大熵定理,也就是说：等概率信源具有最大熵，最大熵 H(X)max=logM,例4,信源的信息熵,例5,信源的信息熵,例：二进制信源,该信源符号只有二个，设为“0”和“1”。符号输出的概率分别为“”和“1-”，即信源的概率空间为：,它的熵为：H(X)=-log(1-)log(1-)=H(),即信息熵H(x)是的函数。取值于0，1区间，可画出熵函数H()的曲

12、线来，如右图所示。,熵函数H(P)是概率矢量P(p1，p2，pq)的严格型凸函数(或称上凸函数)。说 明：它表示：对任意概率矢量P1(p1,p2,pq)和P2(p1,p2,pq)，和任意的 01，有：H P1十(1-)P2 H(P1)十(1-)H(P2)因为熵函数具有上凸性，所以熵函数具有极值，其最大值存在。,6、上凸性,7.可加性,两个互相关联的信源 X 和 Y 的联合信源的熵等于信源 X的熵加上在 X 已知条件下信源 Y 的条件熵。H（XY）=H（X）+H（Y/X）,H（Y/X）表示信源 X 输出一符号的条件下，信源Y再输出一符号所能提供的平均信息量，称为条件熵。统计独立信源 X 和 Y 的联合信源的熵等于信源X和Y各自的熵之和。H(XY)=H(X)+H(Y),8.条件熵小于无条件熵,作业：,P32-33：2.1 2.2 2.3 2.5 2.6 2.7,谢谢！,