《信息论与编码》PPT课件.ppt

,信息论与编码基础,信息论与编码基础,离散信道,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,离散信道,a、根据输入、输出信号的时间特性和取值特性,离散信道,连续信道,半离散或半连续信道,波形信道,信息论与编码基础,1、信道的分类,数字信道,b、根据输入集合与输出集合的个数,单用户信道,多用户信道,一对多、多对一,多对多,信息论与编码基础,离散信道,c、根据信道转移概率的性质,无噪信道,有噪信道,1、信道的分类,实际的通信信道几乎都是有扰信道,无记忆信道,有记忆信道,实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。,d、按信道统计特性,恒参信道,变参信道,卫星信道,短波信道,e、根据信道噪声的性质,高斯噪声信道,非高斯噪声信道,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,2、离散信道的数学模型,信道,无扰（无噪）信道,有扰信道,无记忆信道,有记忆信道,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,信道,3、单符号离散信道,例1 BSC信道,BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型,p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率,信息论与编码基础,离散信道,1）条件转移概率,2）转移矩阵,3）转移概率图,3、单符号离散信道,信息论与编码基础,离散信道,一定比例的bit被删除，并且接收者知道是那些bit已经被删除。,例2 二进制删除信道,3、单符号离散信道,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,1、信道疑义度,先验熵,后验熵,若信道中存在干扰时,信道疑义度,0H(X|Y)H(X),损失熵,2、互信息量和条件互信息量,互信息量 互信息的性质 条件互信息量,信息论与编码基础,离散信道,互信息量,互信息量定义举例互信息量的三种不同表达式,信息论与编码基础,离散信道,互信息量定义,X信源发出的离散消息集合；Y信宿收到的离散消息集合；信源通过有干扰的信道发出消息传递给信宿；信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一个结果；最简单的通信系统模型：信源X、信宿Y的数学模型为,信息论与编码基础,离散信道,先验概率：信源发出消息xi的概率p(xi)。后验概率：信宿收到yj后推测信源发出xi的概率p(xi/yj)。互信息量：yj对xi的互信息量定义为后验概率与先验概 率比值的对数。,信息论与编码基础,离散信道,举 例,某地二月份天气构成的信源为收到消息y1：“今天不是晴天”收到y1后：p(x1/y1)=0，p(x2/y1)=1/2，p(x3/y1)=1/4，p(x4/y1)=1/4,信息论与编码基础,离散信道,计算y1与各种天气之间的互信息量对天气x1，不必再考虑对天气x2，对天气x3,对天气x4结果表明从y1分别得到了各1比特的信息量；或者说y1 使x2，x3，x4的不确定度各减少量1比特。,信息论与编码基础,离散信道,互信息量的三种不同表达式,观察者站在输出端,信息论与编码基础,离散信道,？,理想情况：,互信息量的三种不同表达式,观察者站在输出端自信息量：对yj一无所知的情况下xi存在的不确定度；条件自信息量：已知yj 的条件下xi 仍然存在的不确定度；互信息量：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。实际是 从yj得到的关于xi的信息量。,信息论与编码基础,离散信道,观察者站在输入端,信息论与编码基础,离散信道,？,理想情况：,观察者站在输入端 站在输入端观察，观察者在输入端出现xi前、后对输出端出现yj的不确定度有变化，即从xi中也可提取关于yj的信息量。观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。,信息论与编码基础,离散信道,观察者站在通信系统总体立场上,信息论与编码基础,离散信道,通信前,观察通信系统：,观察者站在通信系统总体立场上,信息论与编码基础,离散信道,通信后,观察者站在通信系统总体立场上通信前：输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立：p(xi yj)=p(xi)p(yj)先验不确定度通信后：输入随机变量X和输出随机变量Y之间由信道的统计特性相联系，其联合概率密度：p(xi yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)后验不确定度通信后的互信息量，等于前后不确定度的差这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。,信息论与编码基础,离散信道,互信息的引出，使信息流通问题进入了定量分析的范畴，为信息流通的定量测量打下了坚实的基础，把信息理论发展到了一个更深的层次，可以认为是信息论发展的又一个里程碑。,信息论与编码基础,离散信道,互信息的性质,对称性相互独立时的X和Y互信息量可为正值或负值不大于其中任一事件的自信息量,信息论与编码基础,离散信道,对称性,I(xi;yj)=I(yj;xi)推导过程互信息量的对称性表明：两个随机事件的可能结果xi和yj之间的统计约束程度；从yj得到的关于xi的信息量I(xi;yj)与从xi得到的关于yj的信息量I(yj;xi)是一样的，只是观察的角度不同而已。,互信息量描述了两个随机事件xi、yj 之间的统计约束程度，假如先验概率确定了，其后验概率就决定了信息的流通。,信息论与编码基础,离散信道,相互独立时的X和Y,这时 p(xi yj)=p(xi)p(yj)互信息量为表明xi和yj之间不存在统计约束关系，从yj得不到关于xi的任何信息，反之亦然。,信息论与编码基础,离散信道,互信息量可为正值或负值,当后验概率大于先验概率时，互信息量为正。当后验概率小于先验概率时，互信息量为负。说明收信者未收到yj以前，对消息xi的是否出现的猜测难疑程度较小，但由于噪声的存在，接收到消息yj后对xi是否出现的猜测的难疑程度增加了，也就是收信者接收到消息yj后对xi出现的不确定性反而增加，所以获得的信息量为负值。当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。,信息论与编码基础,离散信道,互信息量可为正值或负值,值域为实数互信息量的值可为正数、负数或者0，取决于后验概率和先验概率的比值。考虑以下几种情况。（1）p(xi/yj)=1，I(xi；yj)=I(xi)。后验概率为1，说明收到yj后即可以完全消除对信源是否发xi的不确定度。其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。,信息论与编码基础,离散信道,互信息量可为正值或负值,（2）p(xi)I(xi/yj)，I(xi；yj)0后验概率大于先验概率，说明收到yj后对信源是否发xi所进行判断的正确程度，要大于xi在信源集合中的概率.或者说收到yj后多少还能消除一些对信源是否发xi的不确定度，因此yj获取了关于xi的信息量。I(xi；yj)越大，这种获取就越多。这正是实际通信时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。从这里隐约可以看到，只要I(xi；yj)0，就存在着能够通信的可能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。,信息论与编码基础,离散信道,互信息量可为正值或负值,（3）p(xi/yj)=p(xi)，即 I(xi)=I(xi/yj)，I(xi;yj)=0后验概率与先验概率相等，说明收到yj后对信源是否发xi所进行判断的正确程度，和xi在信源集合中的概率是一样的；因此，它一点也不能消除对信源是否发xi的不确定度，也就是说从yj中获取不到关于xi的信息量；事实上，假若xi 和yj 统计无关，即p(xi,yj)=p(xi)p(yj)，由贝叶斯公式容易推得I(xi；yj)=0；这种情况实际上是事件xi和事件yj统计无关，或者说信道使得事件xi和事件yj变成了两码事，信宿得到的信息仅仅是由信道特性给出的，与信源实际发出什么符号无关，因此完全没有信息的流通。,信息论与编码基础,离散信道,互信息量可为正值或负值,（4）0p(xi/yj)p(xi)，即 I(xi)I(xi/yj)，I(xi;yj)0后验概率小于先验概率，说明收到yj后对信源是否发xi所进行判断的正确程度，比xi在信源集合中的概率还要小，这时判断信源没有发xi似乎更合理些，但不能判断信源到底发了什么（特别是对应于信源有多个符号时）。这种情况事实上给出了信息量，但流通的不是关于xi的信息量，而是xi以外的事件的信息量。综上所述，只有p(xi/yj)=p(xi)，即I(xi;yj)=0 时，才没有信息的流通。,信息论与编码基础,离散信道,不大于其中任一事件的信息量,由于p(xi/yj)1，有I(xi；yj)log1/p(xi)=I(xi)同理，由p(yj/xi)1，有I(yj；xi)log1/P(yj)=I(yj)这一性质清楚地说明了互信息量是描述信息流通特性的物理量，流通量的数值当然不能大于被流通量的数值。某一事件的自信息量是任何其他事件所能提供的关于该事件的最大信息量。,信息论与编码基础,离散信道,条件互信息量,定义：消息xi与消息对yj zk之间的互信息量为条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。xi与yj zk的互信息量上式表明：一个联合事件yj zk发生后所提供的有关xi的信息量I(xi;yj zk)，等于zk发生后提供的有关xi的信息量I(xi;zk)与给定zk条件下再出现yj后所提供的有关xi的信息量I(xi;yj/zk)之和。,信息论与编码基础,离散信道,信息论与编码基础,离散信道,互信息,自信息,条件自信息,由于条件引入获得的信息量,1）对称性,I(ai;bj)=I(bj;ai),2）事件统计独立时I(ai;bj)=0,3）可正、可负,4）I(ai;bj)I(ai),信息论与编码基础,离散信道,2、平均互信息,定义3.2 令,为信道输入X与输出Y之间的平均互信息,接收到每个输出符号后获得的关于X的平均信息量,bit/sign,互信息,平均互信息量,自信息量熵互信息量平均互信息量定义-两个离散随机事件集合X和Y，若其任意两事件间的互信息量为I(xi；yj)，则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I(X；Y)表示。,信息论与编码基础,离散信道,(1)平均互信息量的定义,平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平均交互信息量/交互熵）。X对Y的平均互信息定义为,信息论与编码基础,离散信道,平均互信息的第三种定义平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。,信息论与编码基础,离散信道,(2)平均互信息量的物理含义,观察者站在输出端 观察者站在输入端 观察者站在通信系统总体立场上,信息论与编码基础,离散信道,观察者站在输出端,H(X/Y)信道疑义度/损失熵。Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。H(X)X的先验不确定度/无条件熵。I(X;Y)收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。,信息论与编码基础,离散信道,I(X;Y)=H(X)H(X/Y)平均互信息量为信源熵减掉一个条件熵。表明：以发送端（信源）的熵为参考，在接收端平均每收到一个符号所获得的信息量。信道上没有任何干扰或噪声：I(X;Y)=H(X)；信道存在干扰和噪声干扰和噪声“污染”被传输的信息到达接收端的平均信息量比信源熵少了一些少掉的部分就是条件熵H(X/Y)因此平均互信息量表征了对接收的每一个符号的正确性所产生怀疑的程度，故条件熵H(X/Y)又称之为疑义度。,观察者站在输出端,信息论与编码基础,离散信道,观察者站在输入端,H(Y/X)噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。I(Y;X)发出X前、后关于Y的先验不确定度减少的量。,信息论与编码基础,离散信道,观察者站在输入端,I(Y;X)=H(Y)H(Y/X)说明平均互信息量也可以用接收端（信宿）的熵为参考，且等于信宿熵减掉一个条件熵同样表征接收端平均每收到一个符号所获得的信息量。如果信道上没有任何干扰或噪声，则平均每收到一个符号所获得的信息量即是信宿熵，即I(X;Y)=H(Y)；但是，如果信道上存在着干扰或噪声，则平均每收到一个符号所获得的信息量，它比起信宿熵小了一个条件熵，这个条件熵H(Y/X)是由于信道的干扰或噪声给出的，因此它是唯一地确定信道噪声和干扰所需的平均信息量，故称之为噪声熵，也称为散布度（Degree of Diffusiveness）。,信息论与编码基础,离散信道,观察者站在通信系统总体立场上,H(XY)联合熵。表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。I(X;Y)通信前、后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。,信息论与编码基础,离散信道,I(X;Y)=H(X)+H(Y)H(XY)根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的量，其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量。,观察者站在通信系统总体立场上,信息论与编码基础,离散信道,结 论,以上三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。,I(X;Y)=H(X)H(X/Y)I(Y;X)=H(Y)H(Y/X)I(X;Y)=H(X)+H(Y)H(XY),信息论与编码基础,离散信道,举 例,例2.1.5 把已知信源 接到图2.17所示的信道上，求在该信道上传输的平均互信息量I(X;Y)，疑义度H(X/Y)，噪声熵H(Y/X)，联合熵H(XY)。,信息论与编码基础,离散信道,解：(1)求联合概率 p(xi yj)=p(xi)p(yj/xi)p(x1 y1)=p(x1)p(y1/x1)=0.50.98=0.49 p(x1 y2)=p(x1)p(y2/x1)=0.50.02=0.01 p(x2 y1)=p(x2)p(y1/x2)=0.50.20=0.10 p(x2 y2)=p(x2)p(y2/x2)=0.50.98=0.40(2)求Y的各消息概率(3)求X的各后验概率(4)求信源熵和联合熵,(5)平均互信息I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55比特/符号(6)疑义度(7)噪声熵,信息论与编码基础,离散信道,思考题,令X,Y1,Y2为二进制随机变量，1）如果I(X;Y1)=0 且 I(X;Y2)=0,可否推出I(X;Y1,Y2)=0?试举例说明。2）如果 I(X;Y1)=0 且I(X;Y2)=0，是否可推出 I(Y1;Y2)=0?请说明。,