《单符号离散信源》PPT课件.ppt

《《单符号离散信源》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《单符号离散信源》PPT课件.ppt（62页珍藏版）》请在三一办公上搜索。

1、1,第2章 信源熵 并不是我们注意到的每一件事都重要，也不是每一件重要的事我们都注意到了。爱因斯坦（1879-1955）,2,信源的统计特性,在信息论中，确切的说，信源是产生消息（符号）、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，信源是产生随机变量、随机序列和随机过程的源。其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。,3,信源的分类讨论,首先讨论离散单个消息（符号）信源，又称单符号离散信源。它是最简单的，也是最基本的信源，是组成实际信源的基本单元。其次，讨论实际信源。实际信源不可能只发送单个消息（单符号离散信源）。对离散信源而言，发送的若是一组消息串（符号序

2、列），即一个随机序列（多符号离散信源）；对连续信源而言，发送的则是一随机过程（连续信源）。,4,连续信源,实际问题中，连续的模拟信源往往采用以下两种方法进行分析：一是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析；有三类最常用离散化方法：付氏级数对应的傅里叶变换取样函数K-L变换二是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。,5,第2章 信 源 熵,主要内容2.1单符号离散信源 2.2多符号离散平稳信源及熵 2.3连续信源及熵2.4离散无失真信源编码定理基本要求掌握信源的分类及对应的数学模型掌握熵和互信息量/平均互信息量的定义、性质掌握离散无

3、失真信源编码定理,6,2.1 单符号离散信源,单符号离散信源定义Def:（1）单符号离散信源：信源输出的消息是离散消息，且每个符号表示一条消息。用离散随机变量表示。记作：大写字母。（2）多符号离散信源：信源输出的消息是离散消息，且多个符号表示一条消息。用随机矢量表示。（3）连续信源：信源输出的消息是连续消息。用随机过程表示。,7,单符号离散信源的数学模型 离散型的概率空间,设信源输出集合为X,每个符号出现的概率记作：则其数学模型可以表示为注：大写字母：表示随机变量，指信源整体小写字母加下标：表示随机事件的某一结果，即信源的某个元素。,且满足,8,单符号离散信源数学模型举例,你开着一辆车。在一个

4、暴风雨的晚上。你经过一个车站。有三个人正在焦急的等公共汽车。一个是快要临死的老人，他需要马上去医院。一个是医生，他曾救过你的命，你做梦都想报答他。还有一个女人/男人，她/他是你做梦都想嫁/娶的人，也许错过就没有了。但你的车只能在坐下一个人，你会如何选择？所有的选择形成一个信源集合，记作X，请构造该信源的数学模型：,每种选择出现的概率记作,该信源的数学模型为：,9,信息量,自信息量联合自信息量条件自信息量互信息量,10,自信息量,自信息量def：离散信源符号集合X中某一符号 作为一条消息发出时，对外提供的信息量。自信息量的计算：某事件发生概率的对数的负值。I的单位取决于底数a,11,自信息量,1

5、 nat=log2e=1.433bit1 Hart=log210=3.322bit,熟记：,证明：,12,自信息量,自信息量的性质 非负性 说明：任何随机事件发生后，总能对接收者提供一些信息量，最少是零。：,13,自信息量,自信息量是事件发生概率的单调递减函数,14,自信息量,不确定度和自信息量的关系def：随机事件 发生以前具有不确定度，发生以后或者收到以后不确定度消失，但是对外提供了自信息量。所以自信息量 可以代表收到消息 后获得信息量。这是因为消除了不确定性，才获得了这么多的信息量。所以自信息量是用来消除不确定度的。二者等量。但一个处于接收前，另一个处于接收后。与概率都是反比关系。,15

6、,信息量,自信息量联合自信息量条件自信息量互信息量,16,联合自信息量def：两个事件同时发生时对外提供的信息量。定义为：二维联合集XY上的联合概率的对数负值。记作：X、Y相互独立时,证明：,即：两个随机事件相互独立时，同时发生得到的信息量，等于各自单独发生时得到的信息量之和。,17,信息量,自信息量联合自信息量条件自信息量互信息量,18,条件自信息量def：联合集XY中，事件 在 已经发生的情况下再发生时对外提供的自信息量。定义为：条件概率的对数负值。注意：,即：,注：,19,三种自信息量之间的关系：,20,信息量,自信息量联合自信息量条件自信息量互信息量,21,互信息量,互信息量def：信

7、源发,，信宿收,则定义：,22,互信息量,互信息量的各种表达形式及物理意义从输出端观察,23,例：,二本的录取分数线是500,24,互信息量,同理,25,互信息量的其他表达形式及各自的物理意义从输入端观察,26,互信息量,同理,由此可见：互信息量具有对称性。,即,27,互信息量的其他表达形式及各自的物理意义从整体通信系统观察,28,互信息量的基本性质（1）对称性（2）,实际意义：独立，说明收到的消息 中不包含任何有关 的信息，所以信道上没有传递任何有关信源 的信息。,29,.,实际意义：，说明收到的消息 就是发送的信源消息，说明信道将有关信源 的全部信息量都传到了信宿。,30,.,实际意义：说

8、明信道上传递的信息量不可能大于信源提供的信息量。,31,互信息量可正可负,二本的录取分数线是500,二本的录取分数线是540,1、,2、,32,例2.1.2,p12：信源信宿收到Y=”不是晴天”，求 分别与 之间的互信息量。解：,33,34,方法二：利用：,则：,35,熵,信源熵 条件熵 联合熵平均互信息量,36,信源熵,信源熵：信源熵的def：信源输出消息的平均不确定度。cf：平均自信息量：接收端收到消息后，平均每条消息对外提供的信息量。平均自信息量与信源熵，二者等量。信源熵：信源熵H是从整个信源的统计特性来考虑的，它从平均意义上表征信源总体特性。不同的信源因统计特性不同，熵也不同。因此无论

9、信源的消息是否接收，只要信源有统计特性，就存在平均不确定度，即熵。而平均自信息量只有在接收到消息后才能获得。,37,信源熵,信源熵的计算：自信息量的数学期望。即信源输出的消息被接收后获得的平均自信息量。也就是消除信源平均不确定度所需要的信息量。记作：H(X),单位,38,例：已知某信源的数学模型为：，求信源熵，并讨论H(X)随p的变化。解：,结论：H(X)是概率分布p的上凸函数，说明随信源分布的不同，信源熵有最大值。,媳妇和老妈掉河里，先救谁？,39,例：设某离散信源含26个英文字母，且每个字母等概出现，求该信源的信源熵。解：结论：若离散信源符号集中含有n个符号，且等概分布，则信源熵为 bit

10、/符号,40,最大离散熵定理：p17,设信源中有n个符号，则 H(X)=log2n，当且仅当等概时取等号。证明：要证H(X)=log2n 即证H(X)-log2n=0,得证。,41,易见：二进制码的每个符号等概出现时，对外提供的平均信息量最大，最大值为：推广：n进制码的每个符号等概出现时，对外提供的平均信息量最大，最大值为：,42,熵,信源熵 条件熵 联合熵平均互信息量,43,条件熵 def：条件自信息量的数学期望表示：收到Y后，信源X仍具有的平均不确定度。性质：X、Y独立，则H(X/Y)达到最大，且H(X/Y)max=H(X)证明：,44,H(X/Y)max=H(X),说明：X、Y独立时，信

11、宿收到的符号集合中不含任何有关信源的信息，此时信源的平均不确定度最大。故H(X/Y)叫信道疑义度。同理：.,说明：信宿收到Y后，若Y=X，则信源也就完全确定了，不再有任何平均不确定度。,45,熵,信源熵 条件熵 联合熵平均互信息量,46,联合熵def：联合自信息量的数学期望。,47,联合熵的可加性证明：,48,信源熵的性质：（1）非负性：H(X)=0。即任何一个离散信源不可能对外提供负信息量。（2）对称性：信源熵的值与 的顺序无关，只与信源的总体分布有关。（3）最大离散熵定理：设信源中有n个符号，则 H(X)=log2n，当且仅当等概时取等号。,49,例：设某信源只含“0”、“1”两个符号，且

12、他们以消息形式向外发送时均等概出现，画出该信源的数学模型并求他们各自的信息量和信源熵。解：该信源的数学模型为,50,（4）扩展性说明：某一事件出现概率很小时，虽然自信息量很大，但是对平均信息量的贡献却很小，可以忽略不计。,即：,彩票中大奖的概率很小，虽然一旦中大奖，获得的信息量巨大，但从平均意义上看，平均每次中奖的可能性很小，即因此它对每次中奖的贡献很小，可以忽略不计。,51,（5）确定性说明：任一信源，只要其中一个事件为确定事件，则其他事件为不可能事件，故熵为0。即H(1,0)=H(1,0,)=H(0,1,00.）=H(0,0,1,00)=0（6）极值性：H(X/Y)=H(X)H(Y/X)=

13、H(Y)H(XY)=H(X)+H(Y)当且仅当独立时，等号成立,52,（7）信源熵H(X)是 的严格上凸函数。加权熵：考虑除客观概率分布以外的主观因素，主观因素的权重记作：则加权熵为：,53,平均互信息量def：互信息量的数学期望平均互信息量的三种表达式（1）I(X;Y)=H(X)-H(X/Y)（2）I(X;Y)=H(Y)-H(Y/X)（3）I(X;Y)=H(X)+H(Y)-H(XY),54,证明：I(X;Y)=H(X)-H(X/Y)（式子1）物理意义：收到Y之前和之后，X平均不确定度减少的量。减少的这部分平均不确定度（信息量）是由收到的Y提供的（Y中含有的有关X的平均信息量），它是通过信道传

14、递过来的。也可看作信道传递的有关X的平均信息量。,证明：,55,(2)I(X;Y)=H(Y)-H(Y/X)物理意义：发送X之前和之后，Y的平均不确定度减少的量。也可看作X中含有的有关Y的平均不确定度（平均信息量）。(3)I(X;Y)=H(X)+H(Y)-H(XY)物理意义：通信之前和之后，整个系统平均不确定度减少的量。,56,特殊情况,（1）,（2）,57,例2.1.6,p33：已知信源含有2个符号：x1,x2,等概出现，将其通过如下信道传输，求I(X;Y),H(X/Y)，H(Y/X)和H(XY)。解：信道模型：左侧表示信源X发出的符号，右侧表示信宿Y收到的符号，箭头上的数字表示以何种概率接收

15、。,信源发0，接收端收的也是0的概率为q,信源发0，接收端收的是1的概率为1-q,信源发1，接收端收的是0的概率为1-q,信源发1，接收端收的也是1的概率为q,0,0,1,1,q,q,1-q,1-q,X,Y,图2.1 BSC信道（二元对称，Binary Symmetric Channel）,58,信道转移概率：,0,0,1,1,q,q,1-q,1-q,X,Y,59,根据熵的定义式代入得,60,平均互信息的性质（1）对称性：即I(X;Y)=I(Y；X)（2）非负性：I(X;Y)=0物理意义：信道上传递的平均信息量至少为0。（3）极值性：I(X;Y)=H(X)I(X;Y)=H(Y)说明：从平均意义上讲，从一个事件提取有关另一事件的平均信息量，至多是另一事件的熵那么多，不会超过另一事件本身所含的信息量。,61,(4)I(X;Y)是 的严格上凸函数；I(X;Y)是 的严格下凸函数。称：为信道转移概率或信道传递概率简略证明结论1：,62,Thank You!,