无失真信源编码与香农第一定理ppt课件.pptx

1、无失真信源编码,(1)信源编码信源编码n次扩展信源到码表的映射,(2)码表及其模型码表n次扩展信源发出消息的码字为不等长的码元序列，码元序列中任何一个码元都随机取值于同一个二进制集合码表的模型不等长二进制离散型随机变量序列C1C2ClP(C1C2Cl)=P(X1X2Xn)不等长二进制随机变量序列C1C2Cl的取值 为信源发出消息 的码字 i1,i2,in=1,2,N k1,k2,kl=1,2,(3)平均码长与码率码长n次扩展信源发出消息xi的码字ck的长度，用l(ck)表示，简记为lk i,k=1,2,Nn（各码字的码长不一定相等）平均码长对应于各消息码字的码长的数学期望，用L表示,码率对应于各消息中每一个符号码字的平均码长，用R表示，R=L/n,二次扩展信源的某种信源编码,平均码长,码率R=L/n=1.29/2=0.645(bit),信源的某种信源编码,平均码长,码率R=L/n=1.3(bit),二次扩展信源的某种信源编码,平均码长,码率R=L/n=2.33/2=1.165(bit),问题：n次扩展信源各消息码字的码率，n越大，码率越小应该小到什么程度？,2、香农第一定理,离散信源的熵为H(X)，对n次扩展信源进行信源编码，对任意给定的0，只要码率RH(X)+，当n足够大，编码无失真反之，如果码率RH(X)-2，无论n多大，编码一定失真,正定理的证明,当n足够大，n次扩展信源产生接近等概率的典型序列，其数量不超过2n(H(X)+),设信源编码的码字数量为2L=2nR,只要保证2nR2n(H(X)+)，即RH(X)+,所有典型序列有对应的码字，其概率之和为译码正确（无失真）的概率1-Pe,逆定理的证明,如果RH(X)-,必然存在部分典型序列没有对应的码字,有对应码字的这部分典型序列，其概率之和为译码正确的概率1-Pe,香农第一定理表明熵H(X)是对应于n次扩展信源无失真信源编码码率R的下界香农界,例3：(1)利用香农第一定理验证例2中对应于信源和二次扩展信源的信源编码无失真(2)找例2中信源的另一种编码，利用香农第一定理验证其失真,(1)信源的熵,例2中信源的该种信源编码的码率R=1.3(bit)H(X)=1.157(bit),满足香农第一定理，例2中信源的该种信源编码无失真,例2中二次扩展信源的该种信源编码的码率R=1.165(bit)H(X)=1.157(bit),满足香农第一定理，例2中二次扩展信源的该种信源编码无失真,(2)例2中信源的另一种编码,平均码长,码率R=L/n=1.1(bit),例2中信源的另一种信源编码的码率R=1.1(bit)H(X)=1.157(bit),不满足香农第一定理，例2中信源的该种信源编码失真,