[信息与通信]第五章信源编码.ppt
《[信息与通信]第五章信源编码.ppt》由会员分享,可在线阅读,更多相关《[信息与通信]第五章信源编码.ppt(113页珍藏版)》请在三一办公上搜索。
1、第1章:概述,第2章:信源熵,第3章:信道容量,第4章:信息率失真函数,第5章:信源编码,第6章:信道编码,第7章:密码体制的安全性测度,信源编码,信源编码是以提高通信的有效性为目的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。同样多的信息用较少的码率来传送,使单位时间内传送的平均信息量增加,从而提高通信的有效性。,信源编码的基本途径有两个:使序列中的各个符号尽可能地互相独立,即解除相关性;使编码中各个符号出现的概率尽可能地相等,即概率均匀化。,信源编码的基础是信息论中的两个编码定理:无失真编码定理 限失真编码定理 无失真编码只适用于离散信源。
2、对于连续信源,只能在失真受限制的情况下进行限失真编码。,5.1 离散信源编码,5.2 连续信源编码,5.3 相关信源编码,5.4 变换编码,5.1.4 赫夫曼编码,5.1.3 费诺编码,5.1.5 游程编码,5.1.6 冗余位编码,5.1.1 码字唯一可译的条件,5.1.2 香农编码,如何分离码字?,如果0,01都是码字,译码时如何分离?,?,判断以下码字是否可分离?,例2.4.1,对离散无记忆信源,消息长度为L,符号熵为H(X),对信源进行m元变长编码,一定存在无失真的信源编码方法,,5.1.4 赫夫曼编码,5.1.3 费诺编码,5.1.5 游程编码,5.1.6 冗余位编码,5.1.1 码字
3、唯一可译的条件,5.1.2 香农编码,5.1.2 香农编码,设有离散无记忆信源,1,2,3,4,香农编码方法的步骤,例,编码过程,(1),5.1.4 赫夫曼编码,5.1.3 费诺编码,5.1.5 游程编码,5.1.6 冗余位编码,5.1.1 码字唯一可译的条件,5.1.2 香农编码,5.1.3 费诺编码,对概率按m进行分组,使每组概率尽可能相等,给每个分组分配一个码元,对每个分组重复2、3步,直到不可分为止,1,2,3,4,例,编码过程,可以看出本例中费诺码有较高的编码效率。费诺码比较适合于每次分组概率都很接近的信源。,5.1.4 赫夫曼编码,5.1.3 费诺编码,5.1.5 游程编码,5.1
4、.6 冗余位编码,5.1.1 码字唯一可译的条件,5.1.2 香农编码,将信源符号按概率由大到小顺序排队。,给两个概率最小的符号各分配一个码位,将其概率相加后合并作为一个新的符号,与剩下的符号一起,再重新排队。,给缩减信源中概率最小的符号各分配一个码位。,重复步骤2、3直至概率和为1。,2,1,4,3,5.1.4 赫夫曼编码,例,编码过程,说明:Huffman码的编码方法不是唯一的。首先,每次对缩减信源两个最小的符号分配“0”和“1”码元试任意的,所以可得到不同的码字。只要在各次缩减信源中保持码元分配的一致性,即能得到可分离码字。不同的码元分配,得到的具体码字不同,但码长,平均码长都不变,所以
5、没有本质区别。其次,若合并后的新符号的概率与其他符号的概率相等,从编码的方法上来说,这几个符号的次序可任意排列,编出的码都是正确的,但得到的码字不同。不同的编法得到的码字长度也不尽相同。,对信源进行缩减时,两个概率最小的符号合并后的概率与其它信源符号的概率相同时,这两者在缩减信源中进行概率排序,其位置放置次序是可以任意的,故会得到不同的哈夫曼码。此时将影响码字的长度,一般将合并的概率放在上面,这样可获得较小的码方差。如下面的例子,例 设有离散无记忆信源,用两种不同的方法对其编二进制huffman码,方法一,方法二,两种不同的编码方法得到的码字和码长的对比,平均码长和编码效率,两种编码方法编出的
6、码字的码长方差比较,可以看出第二种编码方法的码长方差要小许多。这意味着第二种编码方法的码长变化较小,比较接近平均码长。由此可以得到一个结论(怎样得到码方差较小的huffman编码)。,结论:进行赫夫曼编码时,为得到码方差最小的码,应使合并的信源符号位于缩减信源序列尽可能高的位置上,以减少再次合并的次数,充分利用短码。,5.1.4 赫夫曼编码,5.1.3 费诺编码,5.1.5 游程编码,5.1.6 冗余位编码,5.1.1 码字唯一可译的条件,5.1.2 香农编码,游程序列,游程,5.1.5 游程编码,前面的几种编码方法主要时针对无记忆信源,对有记忆信源,这些编码方法的效率并不高,特别是对二元相关
7、信源,需要一些其它的方法。游程编码就是这样的方法,对相关信源的编码更有效。指数字序列中连续出现相同符号的一段。在二元信源中,连续的一段0称为一个0游程,0的个数称为此游程的长度,同样,也有1游程。用交替出现的0游程、1游程的长度,来表示任意二元序列而产生的一个新序列。它和二元序列是一个一一对应的变换。,二元序列:000101110010001,游程序列:31132131,若已知二元序列以0起始,从游程序列很容易恢复成原来的二元序列 游程序列是多元序列,各长度可按赫夫曼编码或其它方法处理以达到压缩码率的目的。,多元序列也存在相应的游程序列 多元序列变换成游程序列再进行压缩编码没有多大意义 游游程
8、编码只适用于二元序列,对于多元信源,一般不能直接利用游程编码,因为游程变换是一一对应的可逆变换,所以游程变换后,熵不变。,组合编码可获得较高的编码效率:,0:长度为1的“0”游程0000:长度为4的“0”游程 111:长度为3的“1”游程 长度为n的“1”游程,000101110010001,31132131,因为游程变换是一一对应的可逆变换,所以游程变换后,熵不变。,组合编码可获得较高的编码效率:,“0”、“1”的概率分别为p0、p1,长度i的“0”游程概率:,长度j的“1”游程概率:,例,“0”游程长度信源,二元序列:00010111001000011110011000101110,“1”
9、游程长度信源,0,1,0,0,1,1,00010111001000011110011000101110,010011100000111110010010011101,信号序列,码序列,5.1.4 赫夫曼编码,5.1.3 费诺编码,5.1.5 游程编码,5.1.6 冗余位编码,5.1.1 码字唯一可译的条件,5.1.2 香农编码,多元信源序列:,冗余位,上面二元1表示信息位,0表示冗余位,冗余位序列,游程编码,信息序列,赫夫曼编码,分帧传送冗余位序列的编码 方法。N个符号为一帧,编成一个L-D码字,每个码字含有两个数:Q和T。Q:本帧内信息位的数目。T:信息位的位置信息。,L-D编码,例,001
10、000000010000,N=15,编L-D码。,编码。,编码位数:,Q的位数,T的位数,1,00100101111,译码。,T=47,适用:冗余位和信息位数目相差较 大的情况。,2,5.1 离散信源编码,5.2 连续信源编码,5.3 相关信源编码,5.4 变换编码,对于连续信源输出的消息,首先要在时间上进行采样,然后在取值上进行量化并进而编码。,连续信源编码属于限失真编码,根据保真度准则下的信源编码定理,其编码效率受限于信息率失真函数。,在符合采样定理的条件下,采样所带来的信息失真可以忽略不计。,量化是用值域上有限个称为量化值中的一个来代替信号值,量化必然带来误差;如果量化后采用无失真编码,
11、那么连续信源编码中的信息失真就都来自量化过程。,5.2 连续信源编码,量化有多种方法:一种是将各个采样时刻的信号值逐个进行量化,称为标量量化;另一种是将个采样时刻的信号值组成一组,将其看作一个维矢量,将这些维矢量逐个进行量化,称为矢量量化。,脉冲编码调制(PCM,pulse code modulation)是研究最早、使用最广的一种最佳标量量化编码。,PCM的编码原理:,5.2.1 最佳标量量化,模拟信号 经过采样,成为时间离散的信号序列;将各个采样时刻的信号值逐个量化、编码,得到与取值也是离散的信号量化值序 列 相对应的二进制编码序列。,由于每个采样时刻的量化、编码过程相同,为方便,我们可去
12、掉时标。将量化、编码的输入信号值记为,量化、编码中的信号量化值记为,量化、编码的编码输出记为。,一、均匀量化,均匀量化是指在整个量化范围内的量化间隔都是相等的,均匀量化也称为线性量化,均匀量化的特性:,其中,(a)为中平量化,(b)为中升量化,主要以有无零量化值来加以区别。,(a),(b),以中平量化为例讨论均匀量化,引入四舍五入原则的中平量化特性:,由于均匀量化正反两个方向的对称性,可以将其分为极性判断和信号绝对值量化两个步骤。,由于归一化信号绝对值满足,如果信号绝对值的量化数目为,取,则量化间隔,相应。,当信号绝对值 及 时,将其量化为;当信号绝对值 时,将其量化为。,量化后,最常用的编码
13、是定长折叠二进制码,其码元安排为:最高位为极性码,用以表示信号极性,当信号值 时,极性码取1;时,极性码取0。次高位以下为量化码,用以表示 的量化值。,当 的量化间隔为 时,码长。,在编码电路或编码程序中,一般编码过程是:(1)对信号值进行极性判断,确定极性码;(2)通过信号绝对值与量化码各位权值组合的逐次比较,确定量化码;(3)将极性码和量化码组合起来,得到均匀量化编码。,【例5.2.1】已知某一采样时刻的归一化信号值,设量化间隔,求其均匀量化编码。,确定码长:;,确定极性码:由于信号值,所以极性码;,确定量化码:信号绝对值与量化码最高位权值比较,由于,所以;与量化码最高位和次高位权值之和比
14、较,由于,所 以;与量化码最高位和最低位权值之和比较,由 于,所以;,故量化码;,将其组合,归一化信号值 的均匀量化编码为,量化值与信号值之间由于四舍五入而产生的量化误差一般也称为量化噪声。,量化噪声与信号值一样,也是随机变量,记为,例如,例6.2.1的量化噪声。,均匀量化的量化噪声。,如果我们采用平方误差失真函数,则量化噪声直接反映了信息失真的程度;根据限失真编码的要求就可以决定均匀量化的量化噪声水平。,二、非均匀量化,只要在量化范围内的量化间隔不完全相等,就将其称为非均匀量化;非均匀量化也叫做非线性量化。,采用压扩技术的非线性量化原理:,在发送端,信号值首先通过一个电路或程序进行压缩,然后
15、再进行均匀量化、编码;而在接收端,译码后也需通过一个电路或程序进行扩张;只要压缩和扩张特性相互补偿,压扩过程就不会引入新的信息失真。,以语音信号为例,了解非线性量化的主要概念和方法。,目前,在语音信号的非线性量化编码中,采用了两种压缩特性:一种称为 律特性,另一种称为 律特性。,欧洲和中国大陆等地的数字电话通信中采用的 律特性:,式中:x为归一化信号值,当 时函数取正,否则取负,一般取。,为实现方便,大多采用13折线来逼近 律特性。,量化范围的13折线 律特性:,划分为8个不均匀的段落:其中第8段占 量化范围的,除第1段外,其余各段的宽度均按倍率 减小,即第7段占,第6段占,第2段占;第1段也
16、占。,每个段落再均匀地分为16份,每一份作为一个量化间隔。,这样,量化范围内共划分出了 个不均匀的量化间隔;如果将最小的量化间隔记为,则,相应最大的量化间隔为。,13折线 律非均匀量化编码也采用定长折叠二进制码,并将码长确定为8位;其8位码元安排如下:最高位 为极性码,用以表示信号极性,其准则与均匀量化相同;以下三位 为段落码,用以表示 落在正方向的第几个段落;最后四位 为段内码,用以表示 在段内落在第几个量化间隔。,在编码电路或编码程序中,13折线 律非均匀量化编码过程是:(1)对信号值进行极性判断,确定极性码;(2)通过段落码起始量化值的中位搜索,确定段落码;(3)信号绝对值与所确定段落起
17、始量化值之差通过与段内码各位权值组合的逐次比较,确定段内码;(4)组合起来即得到13折线 律非线性量化编码。,由于每个段落的宽度不同,每个段落内段内码各位的权值也不同。,【例5.2.2】已知某一采样时刻的归一化信号值 求其13折线 律非均匀量化编码。,确定极性码,由于信号值,;,确定段落码:取第1段与第8段的中位第5段进行比较,由于,所以;取第5段与第8段的中位第7段进行比较,由于,所以;取第7段与第5段的中位第6段进行比较,由于,所以;故段落码 即落在第6段;,确定段内码:第6段的起始量化值为,量化间隔为;,将其组合,归一化信号值 的13折线 律非线性量化编码为。,与段内码最高位权值比较,由
18、于,所以;与段内码次高位权值比较,由于,所以;与段内码第三位权值比较,由于,所以;与段内码第三位和最低位权值之和比较,由于,所以;故段内码;,由于每个段落的量化间隔不同,13折线 律非线性量化的量化噪声随着信号值落在不同段落而不同。,例如,例6.2.2的量化码所代表的量化值为,相应的量化噪声。,显然,信号绝对值越小,13折线 律非线性量化的量化噪声也越小,当信号绝对值落在第1段或第2段时,。,虽然当信号绝对值落在其他段落时,量化噪声会大于;但由于语音信号小信号出现的概率远大于大信号出现的概率,所以13折线 律非线性量化的量化噪声功率与码长为12的均匀量化的量化噪声功率相差并不太大。,换句话说,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息与通信 信息 通信 第五 信源 编码
链接地址:https://www.31ppt.com/p-5615651.html