信息论与编码第五章.ppt

无失真信源编码（无噪离散信道编码）的抗干扰能力很脆弱，如把信源编码器的输出直接接入信道，必然会因干扰造成错误，使通信不可靠，为了使通信既有效，又可靠，可在以缩短平均码长、提高通信有效性为主要目标的信源编码器的输出与信道的输入之间，对信源编码器输出的最佳码再进行一次编码，以提高其抗干扰能力，称为信道编码。,第五章 有噪信道编码,睬瘟妨玄用候原蜘饿索低挎蹭挺于浙腥慢彦递葡嚎佩昭伙郎巾藤埃煌辱春信息论与编码第五章信息论与编码第五章,5.1 译码规则和平均错误概率,信源符号编码后经信道传输到达信道的输出端并不表示通信过程的终结，还要经过一个译码过程，或称判决过程，才能到达消息的终端（信宿），因此，采用什么样的译码规则，对通信系统的可靠性影响很大。错误概率不仅与信道的统计特性有关也与译码的规则有关。,琳参墅荷违拒抚噶未违感傀恬朱逻绊奎欲侍芽躯驶篓窥续饲拽缠乏雾八转信息论与编码第五章信息论与编码第五章,一、译码规则,对于每一个输出符号确定一个唯一的输入符号与其对应（单值函数），即：输出集上中有S种不同的符号，所以一个译码规则由q个译码函数值组成（一组），又因S个输出符号中的每一个都可以译成q个输入符号中的任何一个，所以其有qs种不同的译码规则可供选择，（从q个符号中每次取s个任意次序排列（可重复）。q=2,s=2时：,庇悍贩式臼路药跑隆孜众薪扎馅蹋棘籽瑚挟巫号痹阮博沫浸猛等贴蕉娄壤信息论与编码第五章信息论与编码第五章,二、平均错误概率,表示经译码后平均接收到一个符号所产生的错误大小。希望PE越小越好。,盗壕眼芯蛊鹤苹泰逾持丝裳里敷杏闯箱栏畦乎迹艇刚沂苟借祝薯嚏轧励娩信息论与编码第五章信息论与编码第五章,5.2 最大后验概率译码准则,如何选择译码规则，使 最小？式右边每一项都为最小，肯定最小。选择译码规则 使每一单个符号正确译码概率 为最大即可。即：选择译码函数 并使之满足条件 对所有的，这个选择译码规则的原则就称为“最大后验概率译码准则”。由于该准则把每一个输出符号都译成具有最大后验概率的那个输入符号，从而保证了,互橡宜努敛恨浦火卒韶仿硅操彭迅门扭习巍请说茧晓弓璃斑货坯绚瞎凿徊信息论与编码第五章信息论与编码第五章,逐列进行处理 准则告诉我们，要使平均错误译码概率 达到最小值，必须采用最大后验概率准则，而 即信源、信道特性都有关。如给定其中一种，就要变化另一种使 本身再减小，都给定则 定。,舔从檄颤娥欲鄙爪厩娟鬼耻尿芥妇狱宅出鱼揪驻檬罢悠蹭韵鞠挣衔宾欣务信息论与编码第五章信息论与编码第五章,6.3 最大似然译码准则,如输入符号等概分布，有：选择译码规则 称为最大似然译码准则，这样就不必把给定信道的前向概率换算成后验概率，再比较后验概率的大小来选择译码规则了。,著镑涧忿宝洗驾声佐讼滥人烦登怂倪惠篓批饼鸥录嚏黔穴则筛霖甲童臻字信息论与编码第五章信息论与编码第五章,5.4 费诺不等式,证明：如，则平均错误概率：左：右：,片脏墩坤逾职湛蜕叁曝泡埃肤嘻隔遍厚拓氧旨属柱己漱丫霹概馋臭眉鲜小信息论与编码第五章信息论与编码第五章,应用不等式 第一项即,第二项 即即：证毕,时鸳漂茹焙赞栓枉搁吊姜启巷螟类枚阐滑矩泪田扎虑耿墩并鉴试娶绘蔬幻信息论与编码第五章信息论与编码第五章,不论采用什么译码规则，Fano不等式普遍成立。,收到随机变量Y后关于随机变量X的仍然存在的平均不确定性 由两部分组成，第一部分是收到Y后是否产生其值为PE的平均错误，译码概率的平均不确定性；第二部分是产生值为PE的平均错误译码概率后，到底是哪个输入符号发送而造成的错误译码的不确定性，这个不确定性的最大值是，这是因为选，当收到任何一种，译成，只有当正好输入 时，才是正确译码，其它 个输入符号均为错误，而这 个其它输入符号出现的最大平均不确定性是（等概）。,吴卿馅栖臼沸岗琅韧向任原兼穆监挨朴烽醒乖吧黍童健囚党尤渭纤捆闯监信息论与编码第五章信息论与编码第五章,6.5 平均错误概率与编码方法,一般不等于0，靠选择译码规则的潜力已挖尽，需通过编码降低 本身的值。重复编码：,廉粥赁譬苟冶啸刊肯稳蓬淡昔琢幢领待霖粪蛆渐诌谱骆补售刘蒂钻佑食拽信息论与编码第五章信息论与编码第五章,假定单符号信道输入符号数为M，输入等概时，每个符号携带的最大平均信息量是logM,n次重复编码后每个码符号携带的平均信息量下降为：比特/码符号。,：研究通信的目的是希望通信既有效，又可靠，但这是一个矛盾，希望找到一种更好的编码方法，使 最小错误概率相当小，而R却保持在一定的水平上。分析一下几种情况：,夕差褥咒皂承椅浅拦硷念敬绎敲韦滑掺酉霓倒践疼熊脱广辞盈汽蓑骤坟阵信息论与编码第五章信息论与编码第五章,1、输入端只有2个消息（符号）且等概出现，则每个消息携带的信息量是。2、简单重复三次后，（三次无记忆扩展信道），入端有 个二进序列，但只选其中两个作为消息，M2，每个消息携带的信息量仍为，但用三个符号,符号。3、如将入端8个序列作为8条消息，则每条消息的平均信息量，但输入与输出需一一对应，不能有一个符号发生错误，否则出错，正确传递概率为，于是：错误：，比单信道 大了3倍。4、取：000 011 101 110 按最大似然译码规则，。,披笼权碎搐闹寸慷穿掸泽辊仅休嗣插纂仇风园傲获升样骆诗麦诌驮殊亥崇信息论与编码第五章信息论与编码第五章,结论：错误概率与编码方法有很大关系，我们可以在保持消息数M和代表消息的码字长度不变的前提下，以在 个可能作为消息的长度为N的码字中，选择M个合适的码字作为消息的代表，既能使信道的信息传输率R保持在 的水平上，又有可能使最小平均错误概率 有所减小，这就给我们展现了使通信既有效，又可靠的前景。,朱腔试甭符仓敲毫搀儿铁韩尤摧炒狱阂语勒击碳障涯材唤膳盈保盘婪缕糊信息论与编码第五章信息论与编码第五章,5.6 Hamming距离与编码原则,设 和 是两个由码符号 组成的长度为N的码符号序列，在 和 之间对应位置上码元不同的个数，定义为 和 间的汉明距离，记为:再定义，由0，1构成的二进制码C中，任意两个码字的汉明距离的最小值称为该码C的最小距离，即：,钵姬檬障确谷拌恍惧娟蒲传民基钉陆苞羚病羽经宪咱伴孵渝蔽涝执芹怠秸信息论与编码第五章信息论与编码第五章,在消息等概的条件下，采用最大似然准则选择译码规则，能使 最小，我们试着把汉明距离与最大似然译码准则联系起来，看看能导出什么样的结果。,最大似然准则为：如 则选择最大似然准则可用汉明距离表述为：可表示为：选或曰：选,硒咖接谅蜒郎掏夫乙胃剁河鹏向阑搪隙引根凛乱右昌研般乌供溃蜀攀沃赵信息论与编码第五章信息论与编码第五章,结论：消息数M和码字长度N不变，使信道的信息传输率R保持在/码符号）的水平上，同时又使平均错误译码概率 尽可能小，这个希望是有可能达到的，在个序列中挑选M个许用码字代表M个消息，使M个许用码字中任何两个码字间的最小汉距离 尽量的大。,笑上却树超陷益抡不唁末淬酗悸俐吁橇獭娇屿拆努艰而奎刻痰卞狰碎蛹末信息论与编码第五章信息论与编码第五章,5.7 有噪离散信道编码定理,定理5.1 设某信道有r个输入符号，s个输出符号，信道容量为c，当信道的信息传输率 时，只要码长n足够长，总可以在输入的集合中找到 为任意小的正数）个码字，分别代表M个等可能的消息，组成一个码以及相应的译码规则，使信道输出端的最小平均错误译码概率 达到任意小。定理5.2，设某信道有r个输入，s个输出，信道容量为c，令 为任意小的数。若选用码字个数，则无论n多大也不能找到一种编码，使译码错误概率任意小。,刽残碧稿郡枢掐喀誓稚热睹键踩诗澡绞尤踢憎无册坡耳炮囱建蚂提乏离郴信息论与编码第五章信息论与编码第五章,