北京邮电大学通信工程专业通信原理课程ppt课件第七章信源与信源编码.ppt

第七章 信源与信源编码,彭涛,7.1 引言,信源编码：去掉信源输出中的冗余信息，提供有效性内容信源分类及其统计特性信息熵，信源剩余度互信息，各类熵与互信息的关系Huffman编码,7.2 信源分类及其统计特性描述,信源分类连续/模拟信源离散/数字信源重点研究,7.2 信源分类及其统计特性描述,单消息（符号）离散信源只输出一个离散符号统计特性描述,7.2 信源分类及其统计特性描述,离散消息（符号）序列信源输出一个离散消息（符号）序列统计特性描述,7.2 信源分类及其统计特性描述,离散消息（符号）序列信源离散无记忆序列信源：序列中前后符号相互统计独立离散有记忆序列信源：序列中前后符号不是相互统计独立的可用马尔可夫链表示,7.3 信息熵H(X),信息的基本特征：不确定性。因此信息应该是概率P的函数信息的两个特点随概率P的递减性：概率越大，信息量越小可加性：两个独立消息的总信息量应是两个消息的信息量的和满足这两个条件的表示信息量的函数只有一种可能：对数函数,7.3 信息熵H(X),单消息离散信源的信息度量自信息量：出现某个消息时的信息量理解：消息出现概率越小，信息量越大,7.3 信息熵H(X),单消息离散信源的信息度量两个单消息离散信源X,Y的联合信息量,7.3 信息熵H(X),单消息离散信源的信息熵前面定义的是一个具体消息的信息量，因为信源输出的消息有多种可能性，所以可以把信息熵理解为这个输出消息（考虑多种可能性）的平均信息量信息熵也可以理解为对信源的不确定性的平均度量在各种可能性等概时，信源的信息熵最大（图7.3.1）,7.3 信息熵H(X),信息量和熵的单位对数以2为底时，单位为比特(bit)对数以e为底时，单位为奈特(Nat)对数以10为底时，单位为笛特(Det)1bit=0.693Nat=0.301Det,7.3 信息熵H(X),两个单消息离散信源的联合熵和条件熵,7.3 信息熵H(X),联合熵和条件熵的一些性质,7.3 信息熵H(X),离散消息序列信源的信息熵、剩余度,7.3 信息熵H(X),离散消息序列信源的信息熵、剩余度,7.4 互信息I(X;Y),互信息的定义I(X;Y)及理解,7.4 互信息I(X;Y),各种信息熵的关系,Huffman编码,等长编码：对信源输出的各种出现概率的符号用等长的码字表示没有充分利用信源的统计特性变长编码：根据信源输出符号出现概率不同选择码字，出现概率大的用短码，出现概率小的用长码利用了信源的统计特性，其编码效率高于等长编码Huffman编码：Huffman提出的一种变长编码是单消息信源的最佳变长编码,Huffman编码,图解Huffman编码方法1.写出消息概率2.对最小的两概率编码（0/1）3.对这两概率合并4.重复3，直至结束5.自顶而下到达某消息即得编码,Huffman编码,确定了对信源符号的编码规则，可进行编译码这种特性得益于Huffman编码的非延长性和异前置性非延长性：把任一许用码组延长（添加数字）都得不到许用码字；异前置性：将任一许用码组的最后一位或几位去掉都得不到许用码组。这两种性质可以从Huffman编码的规则看出来,