《离散信源》PPT课件.ppt

《《离散信源》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《离散信源》PPT课件.ppt（46页珍藏版）》请在三一办公上搜索。

1、本章需要掌握的内容：信源的分类离散平稳无记忆信源及扩展信源的特点和信息离散平稳有记忆信源的特点和信息马尔可夫信源的特点和信息信源的相关性和剩余度,第三章 离散信源及其信息测度,信息论对信源研究的主要内容由以下几个方面组成：（1）信源的建模（2）信源输出信号中携带信息量大小的计算（3）信源输出的有效表示,一、信源,第一节 信源的数学模型及分类,信源输出随机变量X，可能的取值,二、信源的数学模型,信息的来源信源,1.按信源发出的消息在时间上的分布划分：,有限长记忆信源(马尔可夫信源）,有记忆平稳信源,三.信源分类,离散信源,2.按信源发出的前后消息是否有关划分：,连续信源,无记忆信源,有记忆信源,

2、例题（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用,个像素和10个不同亮度的电平，设每秒传递30帧图像，所有象素是独立变化的，且所有亮度电平等概率出现,求传递此图像所需的信息率（比特/秒）（2）设某彩电系统，除了满足对黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率大约是黑白系统的传输信息率的2.5倍。,一.离散无记忆信源 1.概念 信源先后发出的一个个消息符号彼此独立。2.数学模型 信源输出随机变量X，可能的取值,第二节 离散无记忆信源及其扩展信源,3.信源输出的信息量,1.求N次扩展信源,首先看输出只有两个符号（0，1）的情况：,一次信源

3、X,数学模型为:,二.离散无记忆信源的扩展信源,二次信源,每个消息序列的概率：,三次扩展信源,每个消息序列的概率：,依次推出N次扩展信源,N次扩展信源,2、N次扩展信源的熵,例3-1:,例3-2：（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用,个像素和10个不同亮度的电平，设每秒要传递30帧图像，所有象素是独立变化的，且所有亮度电平等概率出现.求传递此图像所需的信息率（比特/秒）.（2）设某彩电系统，除了满足对黑白电视系统的上述要求外，还须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统信息率的2.5倍。,解：（1）每个象素亮度信源的概率空间为：,每个象素亮度含

4、有的信息量为：H(X)=log10=1哈特来/象素=3.32比特/象素,每帧图像含有的信息量为：,设每秒传送30帧图像，则传递此图像所需的信息率为：,每个象素色彩度含有的信息量为：H(Y)=log30=4.91比特/象素,亮度和色彩度同时出现，每个象素含有的信息量为：H(XY)=H(X)+H(Y)=log10+log30=8.23比特/象素,传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每象素含有的信息量与黑白系统每象素含有信息量之比，即：H(XY)/H(X)=2.5,则证明传输这彩色系统的信息率是传输黑白系统的信息率的2.5倍。,例3-3：每帧电视图像可以认为是由,个象素组成

5、的，所以象素都是独立变化的。且每一个象素又取128个不同的亮度电平，并设亮度电平等概率出现。若现有一个广播员在约10000个汉字的字集中选1000个字来口述此电视图像（设每个字是等概率分布的，并且彼此独立的）。试问广播员描述此图像所广播的信息量是多少？若要恰当描述此图像，广播员在口述中至少需用多少汉字？,解：（1）分析可知汉字字集是等概率分布的，则汉字字集信源为,得该汉字字集中每个汉字含有的信息量为：H(Y)=log10000=13.29比特/字,广播员描述此帧图像所广播的信息量为：,（2）分析可知每个象素的亮度信源为,每个象素亮度含有的信息量为：H(X)=log128=7比特/象素,每帧图像

6、含有的信息量为：,广播员口述此图像至少需用的汉字数为：,例3-4：对一最高频率分量为4kHz的模拟信号以奈奎斯特采样定理采样，已知抽样结果是一个独立的平稳随机序列。现将每个抽样值量化为5个离散电平之一，已知这5个电平构成的符号集X的概率特性为,求这个离散信源每秒传送的平均信息量。,信源发出的符号序列的概率分布与时间起点没有关系,但发出的符号之间有依赖关系。,第三节 离散平稳有记忆信源,一.平稳有记忆信源概念,二.离散平稳信源的熵,最简单的有记忆（N=2）平稳信源的概率空间：,熵H(X)可用联合熵表示：,条件熵为,可知：平稳信源输出一个符号i，则对输出下一个符号有影响，这个影响根据i而异。依赖关

7、系越强，对输出下一个符号的影响越大。,联合熵可表示离散平稳信源的熵,信源联合熵等于信源发出前一个符号的信息熵加上前一个符号已知时信源发出下一个符号的条件熵,前后序列没有依存关系，则：,平均每个序列携带的信息量,由N=2推广到N=信源序列的熵：,三.极限熵,平均每个符号携带的熵,当N,极限熵（信源的熵率）记作,注意：对于一般平稳信源，信源的极限熵一定存在。,熵率的计算很复杂，在实际应用中常采用有限N下的条件熵作为极限熵的近似值，即,信源输出信号所携带的信息利用极限熵来表示。,信源X提供的熵,平均每个符号携带的信息量：,结论：极限熵、条件熵都小于原始信源的熵原因：符号之间存在相关性,解：原始信源的

8、熵：,条件概率确定的条件熵：,第四节 马尔可夫信源及其熵,一.马尔可夫信源的概念,-信源在某一时刻发出某一个符号的概率仅与前面发出的m个符号有关，而与更早的无关，这样的有记忆信源称为m阶马尔可夫信源。,二.马尔可夫信源的状态转移图,例3-6：设有一个二进制一阶马尔可夫信源，其信源符号集为A=0,1,条件概率为 求状态转移矩阵。,解：信源符号个数q=2，k=1,故状态数,则令状态S1=0,状态S2=1,状态图：,根据状态图求状态转移概率：p(S1|S1)=0.25 p(S2|S1)=0.75 p(S1|S2)=0.50 p(S2|S2)=0.50,则状态转移矩阵为：,有一个二进制二阶马尔可夫信源

9、，其信源符号集为A=0,1,条件概率为：求状态转移矩阵。,例3-7：,由状态图可知转移矩阵：,则令：状态S1=00,状态S2=01，状态S3=10，状态S4=11,则状态图：,解：信源符号个数q=2，k=2,故状态数,1.遍历性的m阶马尔可夫信源的定义,三.遍历的马尔可夫信源的熵,提问：任何马尔可夫信源都具有稳态分布吗？,解：,由此判断：稳态分布存在,由WP=W以及各状态概率之和为1,得：,和,由平稳信源的熵率（实际熵、极限熵）可得遍历性的马尔可夫信源的熵为：,则m阶马尔可夫信源的熵：,2.遍历性的m阶马尔可夫信源的熵,注意：一般认为，当时间足够长时，遍历的m阶马尔可夫信源视作平稳有记忆信源。

10、,提问：为什么？,计算：,由遍历性的马尔可夫信源的概念可知，它的每一个状态完全由输出的符号集：A=a1,a2,ar唯一确定。,两端同时取对数，则：,两端对Sj和ak1akm+1取统计平均,然后取负值,则,求遍历性的m阶的马尔可夫信源熵的公式:,其中：是马尔可夫链的稳态分布,可利用：WP=W和 求解出。,_表示信源处于状态Sj时发出一个消息符号的平均不确定性,3.举例说明马尔可夫信源熵的计算方法,例3-9:,有一个二进制二阶马尔可夫信源，其信源符号集为A=0,1,条件概率为：求二阶马尔可夫信源的熵。,解:由例7可知状态转移矩阵为：,可知：此信源是遍历性的马尔可夫信源，稳态分布存在,设稳态分布为：

11、,则利用WP=W和 可知：,对于遍历性马尔可夫信源有,由,则有：,第五节 信源的相关性和剩余度,一.信源的相关性,信源输出符号之间的依赖关系,对于离散平稳信源有,当信源输出符号之间的相关程度越长，实际熵越小,二.信源熵的相对率,三.信源的剩余度,讨论：,从提高抗干扰能力角度出发:,希望减少或去掉剩余度,希望增加或保留信源的剩余度,因为:剩余度大的消息具有很强的抗干扰能力。当干扰使消息在传输过程中出现错误时，能从它的上下关联中纠正错误。,从提高信息传输的有效性观点出发:,原因是什么?,例3-10：黑白气象传真图的消息只有黑白两种颜色，即信源X=黑，白，且p(黑)=0.3，p(白)=0.7。（1）

12、假设图上黑白消息出现前后没有关系，求熵H(X)。（2）假设消息前后有关系，其依赖关系为p(白|白)=0.9，p(黑|白)=0.1，p(白|黑)=0.2，p(黑|黑)=0.8，求此一阶马尔可夫信源的熵H2。（3）分别求上述两种信源的剩余度，并比较H(X)和H2的大小，并说明其物理意义。,信源的信息熵,（2）分析得此信源为一阶马尔可夫信源，它的的状态集为：A=S1=黑，S2=白。则状态转移图：,解：（1）假设黑白气象传真图上黑白消息出现的前后没有关系，则等效于一个离散无记忆信源。信源概率空间为：,则其状态转移矩阵为：,由此可见：此马尔可夫信源是遍历的，稳态分布存在，则设W=(p(S1)p(S2),根据WP=W可得：,可以求出:,则此信源的熵为：,（3）黑白消息信源的剩余度,即,