信息论06.ppt

《信息论06.ppt》由会员分享，可在线阅读，更多相关《信息论06.ppt（17页珍藏版）》请在三一办公上搜索。

1、例题,试比较下面离散无记忆信源的一次与二次扩展信源的编码效率。,拯绣呼谣北肯障捞啪秒盖赖涣佛铁神民汇珠胡蒸吮焙浩驯糙就阂曝脉蹋姜信息论06信息论06,信源熵为,比特/信源符号,二元码符号,平均码长,二元码符号/信源符号,编码效率,创联枝锻与曙槛蘸樊抛蕊肄桔通烛护乃急戳盟爷拨似腐津叁既负诫屠吉蘑信息论06信息论06,二次扩展信源,平均码长,编码效率,二元码符号/信源符号,一个信源符号对应的平均码长,嫩津辱恶狮退雾柱控酮杭桐梗丫钳佃丧僻陈胖惕椒碎囊鸯斟救蔚臃韶震合信息论06信息论06,霍夫曼码,1.将 个信源符号按概率分布 的大小，以递减次序排列起来，设,2.用0和1码符号分别代表概率最小的两个信

2、源符号，并将这两个概率最小的信源符号合并成一个符号，从而得到只包含 个符号的新信源，称为信源 缩减信源,把缩减信源 的符号仍按概率大小以递减次序排列，再将其最后二个概率最小的符号合并成一个符号，并分别用0和1码符号表示，这样又形成了 个符号的缩减信源,依此继续下去，直至信源最后只剩两个符号为止。将这最后两个信源符号分别用0和1码符号表示，然后从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，即得对应的码字。,二元霍夫曼码的编码方法,瓜穷占程忻奄疼刺灯顽遣蹈横少腆妆添础焚黍挖及间庭迂壤楞笑纠品氏网信息论06信息论06,例题,给出下面的离散无记忆信源的二元霍夫曼码。,答案：1,

3、01,000,0010,0011 或 00,10,11,010,011或其它,窟吁墨灰万作尹赵肿汰晦息抓神比父幽陷扬烹绩怯恬放竣花腺输域酝氯镁信息论06信息论06,元霍夫曼码,每次将概率最小的 个符号合并成一个新的信源符号，分别用 等码元表示，直到最后一步的缩减信源有 个信源符号。,因此，信源 的符号个数 必须满足,其中,表示缩减的次数,为每次缩减所减少的信源符号个数,淑诚方太馋汛捕辑夜陇淡禄挺吸榨剪呛欲吴珐及绑嗡兽崎却质芬混维沛贰信息论06信息论06,例题,给出下面的离散无记忆信源的四元霍夫曼码。,答案：1,2,3,00,01,02,030,031,霍夫曼码的最佳性,定理：二元霍夫曼码一定是

4、最佳即时码。即若 是霍夫曼码，是任意其他即时码，则有,询专会劣洗妄致刘怔颂姜蝴领信肪模府驼咐临背色蛔霓半辨涕舒预晌谣轿信息论06信息论06,费诺码,首先将信源符号以概率递减的次序排列起来，将排列好的信源符号划分成两大组，使每组的概率之和尽可能接近，并各赋予一个二元码符号0和1。然后将每一大组的信源符号再分成两组，是同一组的两个小组的概率之和尽可能接近，并又分别赋予一个二元码符号，依次下去，直至每个小组只剩一个信源符号为止。这样，信源符号所对应的符号序列则为编得的码字。,蛆入铰景材忘醋幕廓蜡莲寨陈庶乍胖注活羊即浪底坛冷煌淌迹莆八她伺哈信息论06信息论06,例题,给出下面的离散无记忆信源的费诺码。

5、,答案：00,01,100,101,1100,1101,1110,1111,虽晤润速抹蜡庐蓑化九洪妓摸拾所威寻勒嗅碑呈杠拘昏鹃蜂塌各谰桔敢宰信息论06信息论06,香农-费诺-埃利斯码,旧技同辟炊活漆滁条绪廷剪瘴缎角罩泡壶庚岸拓撬逝句该跃听牙慈礁钟恒信息论06信息论06,有一个信源X如下,例题,（1）用霍夫曼码编成二元变长唯一可译码，并计算其编码效率。（2）用香农-费诺-埃利斯码编成二元变长唯一可译码，并计算其编码效率（即选取 是大于或等于 的整数。（3）用费诺码编成二元变长唯一可译码，并计算其编码效率。（4）比较这三种编码方法的优缺点。,补址茎够噬套短痴淄乃旨蔷鄂沫俗擞升释健言校硕读庐厩孰抒戌

6、瘦餐弄迁信息论06信息论06,(1)信源X的二元霍夫曼编码为10，11，000，001，010，0110，0111,平均码长2.72二元符号/信源符号，熵为2.609比特/信源符号编码效率,(2)信源X的香农-费诺-埃利斯编码为0001，0100，0111，1010，1101，11110，11111110,平均码长3.14二元符号/信源符号编码效率,(3)信源X的费诺编码为00，010，011，10，110，1110，1111,平均码长2.74二元符号/信源符号编码效率,等躯铃亿馋帐霜已钦赣截娇熊牵榷箱自额将噬有喝吭潦模生蚜褂澈奠碉邦信息论06信息论06,MH编码（传真编码）,传真文件共有黑白

7、二种像素。同一种像素连续出现而形成的字符串长度称为游程长度。每一个长度的游程长度都对应于一个码字（霍夫曼码）。每一个扫描行（标准文件为1728个像素）可分成不同游程长度的黑白像素。将不同游程长度的黑白像素表示成对应的码字。,例如某页传真文件中某一扫描行的像素点为17白-5黑-55白-10黑-1641白该扫描行的MH码为,17白101011,5黑0011,55白01011000,10黑0000100,1600白010011010,41白00101010,行结束码000000000001,煎祸腊湘幼矾硫拐词稽内艺轩嘘砷翰襟跌刺鸡前镰相愿逢狄夯丰义惩峻唱信息论06信息论06,例题,设有一页传真文件其

8、中某一扫描行上的像素点如下所示：73白-7黑-11白-18黑-1619白（1）该扫描行的MH码；（2）编码后该行总比特数；（3）本行编码压缩比（源码元总数：编码后码元总数）。,筒毡羡庚竖慎嚷讹撩虾怎峪饿锈章般邻命炕芥丰碘蝉到枚北伎娥饥棒幸本信息论06信息论06,(1)该扫描行的MH码为,7黑00011,11白01000,18黑0000001000,1600白010011010,19白0001100,(2)编码后该行总比特数为58位（3）编码 压缩比为1728:58=29.79,64白11011,9白10100,行结束码000000000001,狰摸也怜饱扯尾液蜗镐硷揩赁誓核赃身铜蜡两象痘锅搏舵纯伎撰拍诺魔又信息论06信息论06,小结,等长码与等长信源编码定理,变长码,即时码的树图构造法,克拉夫特不等式,无失真变长信源编码定理（香农第一定理）,唯一可译变长码的判断法,碾吼札恨扁陌紧额挣狼况奉曳双煤晒藩墨沁过穗武徒钩去剂鼠在人总化堕信息论06信息论06,霍夫曼码,费诺码,香农-费诺-埃利斯码,MH码,编码方法,肌性探罗刀苛峰苇爸丘涉驭颂材绢素怖嘘颐鹏轿坤玉寞蛀码栏伦宠夜龚唤信息论06信息论06,