通信原理课件第3讲信源编码：信息论部分.ppt

信源与信源编码,信源编码,信道编码,发送滤波器,接收滤波器,信道译码,信源解码,调制器,解调器,信源,信道,信宿,信息的度量方法：信息量与信息熵信息的编码方法：定长编码与变长编码信息率失真函数的意义信源的限失真编码（模拟信号数字信号）,一、信源的分类及其数学模型,信源从消息的表现形式上可以分为离散信源和连续信源1）离散信源：文字、电报等；单消息离散信源：2）连续信源：声音、图像单消息连续信源：其中p(x)表示具体取连续值x的概率密度,在实际中，消息多为连续的模拟消息：比如声音、图像长度为L个符号的消息序列信源的取值集合XL则此长度为L的离散信源可用一个长为L的随机矢量表示,用随机过程X(t)描述,由多个单消息组成，其中每个符号可随机取值形成随机序列,在一串时间点上对X(t)取值，形成一串离散序列,当消息序列中每个消息符号Xi 以概率P(xi)取随机值xi时，随机矢量X取得一个随机样值，表示为：随机矢量X取的样值x的概率表示为一个L维的联合概率：则对于离散消息序列信源可表示为：,二、信息量与信息熵,对于信息而言：1）最大的特征：不确定性或随机性 2）采用概率的方法进行度量度量信息的随机性 3）随机性越强，蕴含的信息量越大；随机性越弱，蕴含的信息量越小信息论的主要内容之一就是如何度量信息的随机性对于单信息，当X以概率P(xi)取值xi时，其信息量记为：则单消息信源的信息熵记为：即：取信息量的统计平均值,1）单消息离散信源的自信息量 若单消息X，它以极小的概率P(xi)取值xi，随机性强，则产生的信息量大，反之产生的信息量则小，那么：当P(xi)增大，IP(xi)减小；当P(xi)减小，IP(xi)增大即X=xi 所产生的信息量是其所对应概率的递减函数自信息量满足可加性：若两个单消息X，Y相互独立，则分别以概率P(xi)和P(yi)取xi和yi时所产生的信息量，应为二者之和：,2）两个单消息离散信源的联合自信息量若两个单消息X，Y有统计关联时，条件自信息量和两个消息的联合自信息量分别计算如下：,香农将信源输出一个符号所含的平均信息量H(X)定义为信源的信息熵，用于描述信源的平均不确定性，其计算公式如下：熵的最大值为：当且仅当：熵的单位取决于对数的底：1）若公式中的对数以 2为底时，熵的单位为比特（bit）；2）若公式中的对数以 e为底时，熵的单位为奈特（Nat）；3）若公式中的对数以10为底时，熵的单位为笛特（Det）三者之间的关系：,信源输出的消息具有多种可能性，信息的熵可理解为这信源所输出的具有多种可能性的消息的平均信息量,联合熵与条件熵的计算：这三者之间的关系：,在已知一个符号的前提下，另一个符号所产生的信息熵,两个符号共同产生的信息熵,信源冗余度：假设某个信源X可以输出L个符号X1、X2XL，这L个符号之间存在记忆，即相互关联，则信源熵可表示为：定义消息序列信源平均每发出一个符号所含的信息熵：当L时，则下式成立：,则多余的信息量为：信源的效率：信源的冗余度：信源的冗余度表明信源所发出的信息有多余分量，若不进行处理，在进行传送时，会占用信道资源，导致信道利用率的降低,信源的效率越低则冗余度越大,三、互信息,信源输出的平均信息量被接收端收到后的信息量称为互信息：I(X;Y),各种熵之间的关系：,四、无失真离散信源编码定理,信源编码：1）离散信源输出的是各种离散消息和符号；2）为了能将离散消息和符号在信道上传输，必须将这 些消息和符号进行数字化，即进行信源编码保证无失真的信源编码的两点要求：1）信息速率要小；2）接收端能够译码并从编码序列中恢复出原始信息,两种编码方法：1）等长编码：编码器输出的所有码字长度相同2）不等长编码：编码输出的码字长度不同这个编码器的要求：1）无失真：2）有效性：,若要保证完全意义上的无失真，即：对于等概离散信源可以采用等长编码方法对于不等概的离散信源：1）无需对每一个消息序列进行编码；2）只考虑大概率的消息序列 3）小概率的消息序列不进行编码因此在这个条件不能满足完全意义的无失真，此时的无失真是指近似的无失真,当不等概时，将消息序列集合按照概率大小分为两部分：,大概率消息序列集合,小概率消息序列集合,集合以近似于概率1出现,对于编码器的无失真要求：因此只要编码器输出的信息量为 时，编码器可以做到近似无失真此即为等长编码定理，定义编码器输出的信息率,利用等长编码定理：对于二进制编码：对于 表示平均每个信源符号的编码长度，其值与信源的信息熵有关，因此称为熵编码当采用变长编码时，必然存在一种编码方式使得信源的信息率 接近于信息熵,变长编码（非满树变长编码）：,码字的起点,码字,概率大的符号采用较短的编码，概率小的符号采用较长的编码,非延长性：将一许用码字延长，即在一许用码字之后添加数位也得不到许用码字,异前置性：将一许用码字的最后一位或几位去掉均得不到许用码字,许用码字：x1:0 x2:10 x3:110 x4:111若有一串编码：根据异前置性和非延长性可进行译码 0 110 0 10 0 0 0 111 10,Huffman编码,非延长性异前置性,则每个符号的码字为：x1:10 x2:11 x3:000 x4:001 x5:010 x6:0110 x7:0111 若收到一串序列：同样根据异前置性和非延长性进行译码 010 000 0110 11 001 000 0111 010,六、信息率失真函数,等长编码定理和变长编码定理均要保证信息的完全无失真和近似完全无失真，但在实际应用中，并不要求完全无失真的恢复信息，只要满足一定的条件，近似地恢复信源发出的消息即可：1）实际通信中，信源常常是连续的，信息率无限大；2）实际的信道带宽有限，所以信道容量有限；3）实际生活中并不要求获得完全无失真消息，通常只要求近似地再现原始消息，允许一定的是真,仙农定义了信息率失真函数R(D)，在允许一定失真度的情况下，信源输出的信息率可压缩到R(D)失真函数与平均失真设X表示单消息信源取值空间，Y表示单消息信宿取值空间，则失真函数：则平均失真为：,令D表示保真的最大失真程度，则D应为平均失真的上限：也可称之为保真度条件当信源确定时，即P(X)已知，允许的最大失真度D确定后，需要选择信道使得平均失真小于D，凡是满足要求的信道称之为D失真许可的实验信道，简称试验信道，这组试验信道的集合为：其中 称为信道的转移概率即选择那些转移概率能够保证平均失真不会超过上限D的信道,互信息可被理解为信源与信宿之间传送的信息量：性质1：互信息是先验概率P(xi)的上凸函数；性质2：互信息是转移概率P(yj|xi)的下凸函数,利用性质2，以及试验信道集合的表达式可知：1）在信源P(X)和最大失真度D给定后；2）确定了试验信道集合后，即满足条件的转移概率的集合；3）并且互信息是转移概率的下凸函数那么就一定能找到一个试验信道使得I(X;Y)达到最小，即某个转移概率P(yj|xi)使得I(X;Y)达到最小这个最小值R(D)称为信息率最小失真函数,信息率失真函数的物理意义：1）信息率失真函数是在满足保真度条件下，信宿必须获得的平均最小值，是信源必须输出的最小信息率；2）说明在保真条件下信源编码比无失真情况得到了压缩，同时R(D)是保真条件下对信源进行压缩的极限值，也就是信源信息率可压缩的最低限度,七、连续信源的限失真编码,模拟信号的数字传输：模拟信号的数字化（PCM）：1）抽样：对信号在时域上进行离散化；2）量化：是对信号在取值上进行离散化；3）编码：将离散的量化值进行编码，使其变成二进制序列,PCM抽样定理,抽样的过程：抽样定理：如果对一带宽有限的时间连续信号进行抽样，且抽样率达到一定数值时，那么根据这些抽样值就能准确地确定原信号1）低通抽样定理：对频带限定在（0，fH）内的信号2）带通抽样定理：对频带限定在（fL，fH）内的信号,低通抽样定理：一个频带限定在（0，fH）内的连续模拟信号x(t)，如果以 秒的间隔对其进行等间隔抽样，则x(t)将被所得到的抽样值完全确定脉冲序列信号：间隔为Ts的一串脉冲，即为一个周期信号,抽样序列：频域上：定理要求，若不满足则会发生频谱的混叠，导致混叠失真,将X(f)以kfs为单位在频率轴上延拓,信号的重建过程：采用一个截止频率为fH的理想低通滤波器，就可恢复出原始信号低通滤波器的传递函数及冲激响应：重建信号：,