管理信息学第4章.ppt
2023/11/16,4.4.7 抗干扰信道编码定理,信道编码 抗干扰信道编码定理 抗干扰信道编码定理之逆定理,2023/11/16,由于信道中存在噪声，因而信道传输信息的质量必然会下降。噪声越严重，传输信息能力就会越差，当噪声严重到一定程度，传输信息就成为不可能。只要信息要在空间上从一点传向另一点，就必须经过信道，理想的信道，也就是无噪声的信道是不存在的。通常，在有噪声存在的信道上传输信息，难免会发生差错。但是在同样的噪声条件下，如果进行有效的信道编码，就可以改善信息传输的可靠性，减少接收到的信息的差错。,抗干扰信道编码定理：信道编码,2023/11/16,直观地看，在有噪声信道上，信息传输的可靠性与信息传输率之间是矛盾的，要提高可靠性就必须牺牲传输率。但只要选择合适的编码和译码方法，既可以使信道的信息传输率保持在一定水平上，又可以使最小平均错误译码概率达到尽可能小的程度。那么，信道信息传输率最高能达到什么样的水平？最小平均错误译码概率又能小到什么程度？香农第二编码定理就是针对这些问题的。,4.4.7 抗干扰信道编码定理：信道编码,2023/11/16,定理4.17 设有一离散无记忆平稳信道，该信道有 r个输入符号，s 个输出符号，其信道容量为 C，只要信息传输率 RC，则存在一种编码，当输入序列长度N足够大时，译码错误概率任意小。定理4.17被称为抗干扰信道编码定理,也称为香农第二编码定理。,4.4.7 抗干扰信道编码定理：抗干扰信道编码定理,2023/11/16,定理4.18 设有一离散无记忆平稳信道，其信道容量为C，若信息传输率 R C，则无论 N 取多大，也找不到一种编码，使平均译码错误概率任意小。,4.4.7 抗干扰信道编码定理：抗干扰信道编码逆定理,2023/11/16,总结 从香农定理可以看出，要做到有效和可靠地传输信息，我们可以将通信系统设计成二部分的组合，即信源编码和倍道编码二部分。首先，通过信源编码，用尽可能少的符号来表达信源，也就是对信源数据用最有效的表达方式表达，尽可能减少编妈后的数据的剩余度。然后，针对信道，对经过信源编码后的数据设计信道编码，也就是适当增加一些剩余度，使其能纠正和克服信道中引起的错误和干扰。,4.4.7 抗干扰信道编码定理,2023/11/16,4.5 限失真信源编码定理,信息传输率R：信道中平均每个符号所能传送的信息量；若传送单个符号需要的时间为t，则信道单位时间平均传输的信息量为R/t，称为信息传输速率。信道容量C：对于一个固定的信道，总存在一个最大的信息传输率R，称此最大的信息传输率为信道容量。无噪无损的二元信道：C=1 bit,2023/11/16,信息失真,当 R C 时就不能实现无失真传输。这时就必须减小信源的信息熵 H(X)使 R C 条件满足，因而产生信息失真。,4.5 限失真信源编码定理,2023/11/16,允许产生失真的原因,由于连续信源的信息熵为无限大，若要求无失真地传送连续信息，则C必须无限大；但固定信道的信道容量是有限的，因而不可能实现无失真传输连续信息；为了提高存储或传输效率，就必须对有待传送的信息进行压缩，也会出现失真；在实际生活中，人们并不要求完全无失真地恢复信息，且不同的使用环境，允许有不同的失真。在允许一定程度失真的条件下，如何能够快速地传输信源信息？(信息)率失真理论,4.5 限失真信源编码定理,例如在传送语音信号时，由于人耳接受的带宽和分辨率是有限的。我们就可以把频谱范围从20kHz一8kHz的语音信号去掉低端和高端的频率，看成带宽只有从300Hz3400Hz的信号。这样，即便使传输的语音信号有一些失真，但已满足语音信号传输的要求，所以这种失真是允许的。又如传送图像时，也并不需要全部精确地把图像传送到观察者。如电视信号每一像素的黑白灰度级只需分成256级，屏幕上的画面就已足够清晰悦目。,2023/11/16,信息压缩与保真度,如果预先定义的平均失真度为D*，则称信息压缩后的失真度D不大于D*的准则为保真度准则。信息压缩问题就是对于给定的信源，在满足保真度准则的前提下，寻找信息率的下限。（寻找再现信源消息所必须获得的最低平均信息量）信息率失真函数：在满足保真度准则的信道中，寻找一个信道，使给定的信源经过此信道传输时，其信息传输率达到最小，称此信息传输率R为(信息)率失真函数，记为R(D)。,4.5 限失真信源编码定理,2023/11/16,限失真信源编码定理(香农第三定理),定理4.19 设R(D)为一离散无记忆信源的信源率失真函数，并且有有限的失真测度。只要满足信息传输率 R R(D)，则对于任意小的 0，允许失真值D 0，以及任意足够长的码长 N，则一定存在一种信源编码C，使得译码的平均失真度 d(C)D+。反之，若R R(D)，则无论采用什么样的编码方法，都不能使译码的失真度 D+。,4.5 限失真信源编码定理,2023/11/16,讨论,在允许失真 D 确定后，总存在一种编码方法，使编码后的信息传输率大于 R(D)且可任意接近 R(D)，即在保真度准则下，不存在任何编码，使得其编码后的信息传输率小于 R(D)，R(D)是保真度准则下的极限。若存在某种编码，其编码后的信息传输率小于 R(D)，则该编码不可能满足保真度准则，即其失真将大于允许失真。如果信道容量 C R(D)，则总能以保真度D+再现信源的信息，反之，若 C R(D)，则不可能以保真度D的要求再现信源的信息。,4.5 限失真信源编码定理,2023/11/16,实际应用,在给定信源 S 和允许失真度 D 之后，可以求得率失真函数 R(D)。若将该信源在某容量为 C(R(D)的信道中传输，则我们可对给定信源 S 先进行信源压缩编码，使编码后的信息传输率 R 满足：C R R(D)然后将压缩后的信源输入信道传输。,4.5 限失真信源编码定理,2023/11/16,练习题,1.关于载体，下列描述最准确的是（）,A 载体既要能够在空间中转移，又要能够在时间上实现转移。B 载体既要能够在空间中转移，又要有能力表示所传输的信息。C 载体既要能够在时间上实现转移，又要有能力表示所传输的信息。D 载体既要能够在空间和时间上实现转移，又要有能力表示所传输的信息。,B,4.5 限失真信源编码定理,2023/11/16,A 最有效编码的平均码长不超过香农信息熵。B 并不总是存在有效编码方法。C 最有效编码的平均码长不小于香农信息熵。D 总是存在有效编码方法，但会引起失真。,2.根据香农第一编码定理，对于离散无记忆无噪声平稳信源（）,C,4.5 限失真信源编码定理,2023/11/16,3.某离散有限独立信源的概率空间满足：(X,P)=(x1,0.5),(x2,0.25),(x3,0.125),(x4,0.125)，则X最有效编码的平均码字长度为（）,A 1.25 B 1.50 C 1.75 D 2,C,4.5 限失真信源编码定理,
