《相关信源编码》PPT课件.ppt

第3章 相关信源编码,3.1 预测编码 3.2 变换编码,3.1 预 测 编 码,预测编码(Predictive Coding)是数据压缩三大经典技术(统计编码、预测编码、变换编码)之一。预测编码是建立在信号(语音、图像等)数据的相关性之上，较早用于信源编码的一种技术。它根据某一模型，利用以往的样本值对新样本进行预测，以减少数据在时间和空间上的相关性，达到压缩数据的目的。,但实际利用预测器时，并不是利用信源的某种数学模型，而是基于估计理论、现代统计学理论设计预测器，这是因为信源的数学模型的建立是十分困难的，有时无法得到其数学模型，例如,时变随机系统。利用信源输出产生的任何影响，并不直接涉及到信源本身，所以预测器可以独立进行工作。利用现代统计学和控制论的“时间序列分析”理论，可以较好地解决复杂系统的输出状态问题。预测器对样本的预测，通常是利用样值的线性或非线性函数关系预测现时的系统输出。,由于非线性的复杂性，大部分预测器均采用线性预测函数。科尔莫戈罗夫(Kolmogorov)、维纳(Wiener)、卡尔曼(Kalman)等人在20世纪40年代对线性预测理论就作出了杰出贡献，他们建立了以最小均方量化误差为准则的最优预测理论与方法，广泛应用于通信工程和航天航空飞行器的控制等方面，促进了数字技术的迅速发展，形成了用于数据压缩的预测编码理论。,3.1.1 预测编码的基本原理 对于有记忆信源，信源输出的各个分量之间是有统计关联的，这种统计关联性可以加以充分利用，预测编码就是基于这一思想的技术。它不直接对信源输出的信号进行编码，而是将信源输出信号通过预测变换后再对信源输出与被预测值的差值进行编码，其原理图如图3-1所示。,图31 预测编码原理图,设信源第i瞬间的输出值为ui，而根据信源ui的前k(ki)个样值，给出的预测值为,(31),式中：f（）预测函数。f可以是线性也可以是非线性函数。线性预测函数的实现比较简单，这时预测值为,（32）,式中：aj预测系数。则第i个样值的预测误差值为,（33）,根据信源编码定理，若直接对信源输出ui进行编码，则其平均码长 应趋于信源熵：,(34),若对预测变换后的误差值e进行编码，其平均码长 应趋于误差信号熵：,(35),显然，从信息论观点，预测编码能压缩信源数码率的必要条件为,(36),由于信息熵是概率分布的泛函数，故概率分布越均匀，熵越大；概率分布越不均匀，熵就越小，可以证明预测差值的概率分布比原始信号的概率分布要集中，所以H(E)H(U)，则式（36）成立。信源通过预测以后数据压缩(或连续时的频带压缩)倍数就越大。从预测编码原理可以看出，实现预测编码要进一步考虑三个方面的问题。首先是预测误差准则的选取，这个问题决定预测质量标准；其次是预测函数的选取；最后一个问题是预测器输入数据的选取。,后两个问题决定预测质量的好坏。关于预测函数的选取，一般是采用工程上比较容易实现的线性预测，一旦线性方程确定下来以后，预测的精度与k值大小有直接关系。k愈大，预测愈精确，但设备愈复杂；k愈小，精度愈差，但设备愈简化，所以k值大小要根据设计要求和实际效果而确定。关于预测器输入数据的选取，是指选取何处的原始数据作为预测器的输入依据。一般可分为开环、闭环和开环闭环两者的混合三类。开环直接从信源输出选取待测瞬间i的前k位，即i-1，i-2，i-k位作为预测器的输入依据，闭环则取误差函数的输出端反馈到预测器中的i位以前的k位作为预测器的主要输入依据。,关于预测误差准则的选取，是指预测误差所依据的标准。目前大致可采用四种类型准则，它们分别是最小均方误差(MMSE)准则、功率包络匹配(PSEM)准则、预测系数不变性(PCIV)准则和最大误差(ME)准则。其中最小均方误差准则是最基本、最常用的准则；而预测系数不变性的主要特点是，它预测系数与输入信号统计特性无关，因而能对多种混合信号进行有效的预测；最大误差准则主要用于遥测数据压缩。可以证明，在均方误差准则下，按条件期望值进行预测是最佳预测。,然而它必须已知ui的联合概率密度函数，这一般是很困难的。但是对于广义平稳正态过程，只要已知二阶矩相关函数就等效于已知ui的联合概率密度函数。这时，线性预测与最佳预测是等效的。因为对正态信源，线性无关与统计独立是完全等效的。所以，能完全解除线性相关性的信源，即是符合统计独立的无记忆信源。,3.1.2 预测方法 预测就是从已收到的符号来提取关于未收到的符号信息，从而预测其最可能的值作为预测值；并对它与实际值之差进行编码，达到进一步压缩码率的目的。由此可见，预测编码是利用信源的相关性来压缩码率的；对于独立信源，预测就没有可能，因而预测编码也就无用了。预测的理论基础主要是估计理论。估计就是用实验数据组成一个统计量，作为某一物理量的估值或预测值。,最常见的估计是利用某一物理量在干扰下测定的实验值，这些值是随机变量的样值，可根据随机量的概率分布得到一个统计量作为估值。若估值的数学期望等于原来的物理量，就称这种估计为无偏估计；若估值与原物理量之间的均方误差最小，就称之为最佳估计。用来预测时，这种估计就成为最小均方误差的预测，所以也就认为这种预测是最佳的。利用预测值编码的方法可分为两类。一类是对实际值与预测值之差进行编码。在连续信源的情况下，就是对此差值量化或取一组差值进行矢量量化。,由于相关性很强的信源可较精确地预测待编码的值，该差值的方差将远小于原来的值，在同样失真要求下，量化级数可明显地减小，从而较显著地压缩码率。对于离散信源也有类似的情况。另一类方法是根据差值的大小，决定是否需传送该信源符号。例如可规定某一可容许值，当差值小于它时可不传送。对于连续函数或相关性很强的信源序列，常有很长一串符号可以不传送而只需传送这串符号的个数，,这样,能大量压缩码率。在用外推法预测时，也可根据已知符号，通过预测规定一扇形区，在该扇形区内的实际值都可不传送。这类方法尚可提出一些其他形式，一般是按信宿要求设计的，也就是失真应能满足信宿需求。,1.线性预测 若样值和预测值之间呈线性关系,这种预测称为线性预测,否则称为非线性预测。常用的几种线性预测方案有：（1）前值预测，即。（2）一维预测，即用ur的前面已知的k个已知样值预测ur的值，预测公式如式（32）所示。（3）二维预测，也称为非线性预测，即预测值与样值之间为非线性关系。,在图像数据压缩中，一维预测就是用同一扫描行中的前几个已知的样值预测一个新值，而二维预测就是不但要用ur的同一扫描行以前的几个已知的采样值，还要用ur的前几行中的采样值来预测ur。,2.最优预测 最优线性预测就是按照某种准则,选择线性预测系数使得预测误差为最小。最基本、最常用的准则是均方误差(MSE,MeanSq uareError），换句话说就是使 2e=Ee2r为最小。假如信源u是平稳随机过程，预测系数am,m1，2，,k就是2e的变量,求2e=E e2r 对各个am的偏导数,并令其为零,就可求出 E e2r为极小值时的各个线性预测系数am。,（37）,于是得：,(38),由式(38)得:,（39）,式中:Eurjum为urj和um的协方差,记作 Rrj,m,m,j1,2,k。由式(39)得:Rr,m Ea1ur1uma2ur2umakurkum a1Rr1,ma2Rr2,makRrk,m,(310),3.自适应预测 当信源是一个平稳随机过程，可以使用固定参数预测器进行预测。当信源为非平稳过程，或总体平稳，但局部不平稳时，利用固定参数设计预测器，显然就不合理了。对这种信源应采用自适应预测编码的方法。所谓自适应预测就是预测器的预测系数不固定，随信源特性而有所变化。如果充分利用信源的统计特性及其变化，重新调整预测系数，,这样就使得预测器随着输入数据的变化而变化，从而得到较为理想的输出。有些信源的统计特性从整体上看是非平稳过程，但在一定的时间（或范围）内把它看作平稳过程，还是合理的，例如，图像的平坦区，语音信源的基音段。因此，可以把信源看成由多个平稳子过程构成的组合信源。可以证明组合信源模型的熵低于把非平稳信源作为单一平稳信源的熵，这样采用自适应预测可进一步减小预测误差和降低数码率。自适应预测方法很多，一般可分为线性自适应预测和非线性自适应预测两大类。,3.1.3 预测编码的基本类型 预测编码，特别是线性预测编码已在信息与通信系统的信息处理中被广泛地采用，吴伟陵总结出了其中最常用的四种。,1DPCM型 DPCM即差分脉码调制，其工作原理如图32所示。图32中，信源输出序列ui即为DPCM输入序列。ui与预测值 相减得误差值ei，再将ei量化成数字序列xi。经信道传输后变成yi序列。在接收端将接收到的yi与在接收端形成的预测值 相加，可得恢复后的信源序列,同时又将 反馈到接收端线性预测器,以求得下一瞬间的预测值。由于预测误差ei的熵(或者方差)远远低于输入序列ui的熵(或者差值)，所以经预测后可以很大程度地提高压缩信源的数码率。DPCM型编、译码原理及误差在3.1.4节中介绍。,图32 DPCM型原理图,2PCM型 PCM的工作原理如图33所示。PMC与DPCM主要区别有两点。一是，线性预测器输入的原始数据的选取不一样。PCM直接从输入序列即信源输出ui中选取，而DPCM则从量化器输出的xi中选取。另一个不同点是，量化器的位置不同，PCM在反馈环外，属开环型，DPCM则在环内，属闭环型。若仅从预测角度看，基本原理是一样的，都是由线性预测滤波器构成的。由于它没有DPCM的反馈预测环路，因而其实现比较简单。若将PCM型中的量化器改成一种霍夫曼编码器，则可更好地完成信源的数据压缩功能。,图33 PCM型原理图,3NFC型 噪声反馈编码(NFC)是PCM的改进型，其原理如图34所示。由于PCM型的量化器位于反馈环外，量化误差不能像DPCM那样进行反馈压减，那就不妨在PCM型的基础上加以改进。即把xi与ei相减后的量化误差q i，通过一加权滤波器再与diui 相减，这样通过增加一个反馈闭合环路可以将量化误差(噪声)纳入闭合环路内以达到压减量化误差的目的。,所以噪声反馈型实质上是上述DPCM与PCM的混合型，它采用类似于PCM的开环线性预测，同时又采用类似于DPCM型的闭环来压减量化误差。,图34 噪声反馈编码原理图,4预测误差门限型 设信源输出序列为u0u1u2uiui1,若使用前值预测，计算预测误差：|ei|ui-ui1|(311)若|ei|K，则不传送；若|ei|K，则传送。其中K为最大误差的门限值，它是误差容限值，即信宿可接受的最大误差值。信号间相关性越强，在一定的误差容限值K之下，传送的数据就越少；反之信号相关性越弱，传送的数据就越多。若选择的预测值不仅仅是前一个样值，,而是前N个样值的线性加权和，则可构成高阶预测误差门限型，其原理与上述零阶预测一致，但是由于这样引入了非线性的门限比较器，所以它实质上是一种非线性预测器。,3.1.4 DPCM编译码原理 在3.1.2节讨论的预测方法，力求从理论上达到预测误差最小或接近最小。这样往往使计算复杂，因而实现起来较困难，而且一般还需有精确的统计特性。所以实际上，常采用差值编码或前值预测编码来解除相关性以压缩码率。这在信源序列相关性很强和邻值间的相关系数接近1时是很有效的，也是最常被应用的方法。此时预测值是相邻两个符号值之差或者就是前一个符号的值，并对此预测值进行编码。这种方法不但可用于连续信源，也可用于离散信源。,差分脉码调制和增量调制这两种方法常用于语音编码，当然也能用于图像编码。语言和图像这两种常见的信源，邻值间的相关性一般都是相当强的，因为采样频率必须较高，才能保证质量。从采样定理可知，采样频率必须大于信号频带的两倍。对于语音信号，若频带过小，会丢失高频分量而影响音质。对于图像信号，频带意味着水平清晰度，频带不够就使图像模糊。采样频率足够高，相邻样值的时间间隔就小，相关系数就会接近1，适宜用差值编码。,差值编码中的差分脉码调制的工作原理已在3.1.3节中介绍过,下面介绍DPCM的编译码原理。最简单的DPCM是增量调制，又称为M。这时差值的量化级定为2。也就是当差值为正时，用“1”表示；差值为负时，用“0”代表。每个差值只需1比特。一般地说，要减少量化失真，则必须增加取样频率fm，即不能再采用常用的2fm，其中fm为信源上限频率。在译码时，为相反变换，即规定一个增量值，当收到“1”时在前一个值中加上一个值作译码输出；,收到“0”时，则在前一个值中减去一个值作为译码输出。其原理图如图35所示，编、译码器的输入、输出波形如图36所示。如果在信道中不传送预测误差ei，而是传送线性预测器中的各项系数(参量)ai，往往传送参数ai所需的数码率远远低于传送原始信源数据ui的数码率。在接收端可以采用一随机噪声序列代替原来接收到的序列yi，则在一定条件下也可再现原始信源输出序列ui。显然，它也是一种变型线性预测编码。在语音压缩中，称它为线性预测声码器(Vocoder)，可见，它是DPCM的一个特例。由于在DPCM型中，量化器位于反馈环内，故又称为闭环型，它可以使环内残存量化误差大为减少。,图35 DPCM增量调制编、译码原理,图36 DPCM增量调制编、译码器的输入、输出波形（a）编码器输入及编码输出;（b）译码器的恢复波形,由上述分析可见,估值和实际值之间存在着两类误差,一类是量化误差,另一类是过载误差。一般情况下，量化误差的绝对值小于。当阶梯曲线跟不上连续曲线的上升斜率（或下降斜率）时而产生的误差称为过载误差（或失真）。当所选的级差小时，易产生过载失真，此时的量化误差可较小；反之，大时，量化误差将增大，而过载误差就减少。过载误差与信号的斜率有关，斜率越大，越容易出现过载。下面讨论量化误差对系统的影响。由式(32)可知,线性预测器的响应为,其Z变换为,可见，线性预测器的响应为,（312）,（313）,（314）,式中：aj第j项加权系数；k预测阶次。,由图32中接收部分的框图可知：,（315）,（316）,式(316)表明，线性预测器为一全极点滤波器，故又称为全极点模型。DPCM预测误差信号为,(317),(318),式中：q i量化误差(或量化噪声)。,在接收端恢复后的重建信号为(无传输差错时)：,将式(317)、(318)代入式(319)得：,（319）,（320）,3.2 变 换 编 码,众所周知，信源序列往往具有很强的相关性，要提高信源的效率首先要解除信源的相关性。解除相关性可以在时域上进行(这就是上节中介绍的预测编码)，也可以在频域，甚至在广义频域内进行，这就是要在本节中介绍的域变换编码。,在信号分析中，对连续的模拟信号，如果它是周期性的,则可采用傅氏级数展开，若是非周期性的,则可采用傅氏积分(变换)来表示，但无论是级数还是积分,都属于一类正交变换，是从时域展开成频域的变换。同理,对离散的数据序列信号也可引入同样的离散傅氏变换。而且，还可以进一步将其推广为广义的频域变换。,在这一节中，首先从解除相关性的需求入手，寻求最佳的域变换。上一节讨论的在空间和时间域上压缩信源数据冗余量的预测编码的最大特点是直观、简洁、易于实现，特别是容易设计出具有实时性的硬件结构。但是预测编码的不足在于压缩能力有限。具有更高压缩能力的方法和目前最为成熟的方法是变换编码，特别是正交变换编码方法和目前尚处于研究阶段的小波变换编码，这两种方法都具有很强的数据压缩能力。,变换编码的基本原理就是将原来在空间域上描述的信号，通过一种数学变换(例如，傅里叶变换、正交变换等)变换到变换域(如频率域、正交矢量空间)中进行描述。简单地讲，即把信号由空间域变换到变换域中，用变换系数来描述。这些变换系数之间的相关性明显下降，并且能量常常集中于低频或低序系数区域中，这样就容易实现码率的压缩，而且还大大降低了实现的难度。,3.2.1 变换编码的基本原理 设信源输出为一个一维消息U(u1，u2，un)，经变换后输出为X(x1，x2，xn)，故有：XPU(321)由正交性 A T AA 1 AI，则有：UP 1XP T X(322)式中：P实正交变换矩阵；P T 矩阵P的转置矩阵；P 1矩阵P的逆矩阵；I单位矩阵。,如果经正交变换后，只传送M（Mn）个样值，而将余下的n-M个较小的样值丢弃。这时接收端恢复的信号为,(323),式中：,如何选择正交矩阵 P，使M值较小，且使被丢弃的nM个取值足够地小，以至于既能得到最大的信源压缩率，同时又使丢弃掉nM个取值以后，所产生的误差不超过允许的失真范围是我们关心的问题。因此，正交变换的主要问题可归结为在一定的误差准则下，寻找最佳或准最佳的正交变换，以达到最大限度地消除原消息源之间的相关性。正交变换为什么能解除相关性呢？下面讨论这个问题。,由矩阵代数理论可知：对于任意两个随机变量x,y间的相关性可以用x,y的协方差(相关距)表示。一个信源 U的各分量间的相关性可以用信源各分量间协方差矩阵U表示，其定义为,（324）,式中：U信源输出 U的协方差矩阵；E数学期望；ijui、uj协方差。可以证明 U的协方差矩阵 U是一个实对称矩阵，它能反映矢量 U各分量间的相关性。若各分量之间互不相关，则协方差矩阵 U只在主对角线上有非零元素。主对角线上的非零元素代表各分量间的方差，即自相关性；非对角线上的元素表示各分量之间的协方差，即互相关性。,由矩阵代数可知，对于一个实对称矩阵 A(AA T的矩阵)，必存在一个正交矩阵 P，使得：,（325）,式中：1,2,n实对称矩阵 A的n个特征根。,可见正交变换能解除相关性。信源 U经正交变换后的输出 X协方差矩阵可定义为 X E(X-E X)(X-E X)T E(PU-E PU)(PU-E PU)T=PE(U-EU)(U-EU)T P T=PUP T（326）,式中：X信源 U正交变换后的信号X的协方差矩阵；X信源U经正交变换后的矢量；P正交变换矩阵；P T正交变换矩阵 P的转置矩阵。,为了达到信源压缩的目的，希望通过矩阵 P的正交变换后，X只保留主对角线上的部分自相关值，即希望其值随i与j值的增大而迅速减小，从而只需取M（Mn）个数值。同时希望各互相关分量均为0，即最大限度地消除原来信源间的相关性。这也就是研究正交变换的主要指导思想。下面给出最佳正交变换和准最佳正交变换的概念。,所谓最佳是指在一定的条件（即准则）下的最佳，而这些准则有客观的也有主观的。这里是按照客观统计上的最小均方误差准则(MMSE)寻求最佳的正交变换。最佳变换是指变换后的协方差矩阵 X为理想对角线矩阵,这表明经正交交换后完全消除了互相关性。所谓准最佳变换,是指变换后的协方差矩阵X是近似对角形矩阵。由矩阵代数的相似变换理论可知，任何矩阵都可相似于约旦(Jordan)标准型所构成的矩阵。,而约旦标准型就是准对角形矩阵，即矩阵的主对角线上均为特征值i,i1，2，n，而在对角线下仅有若干个不为0的1值。所谓相似变换，是指总能找到一非奇异矩阵 P使得P1 APB，这时称A与B相似，如果P为正交矩阵，则有：P1 APP T APB(327)式(327)从理论上说明，总能找到对角化或准对角化的正交变换矩阵。根据矩阵代数理论，正交矩阵P不是惟一的。下面介绍几种常用的正交变换方法。,3.2.2 卡胡南列夫变换(KLT)设 X是一个n1的随机矢量，则 X的每个分量xi都是随机变量。X的平均矢量（均值）可以由L个样本矢量来估计：,(328),MX协方差矩阵估计值为,(329),协方差矩阵是实对称的，对角元素是单个随机变量的方差，非对角元素是它们的协方差。X向量经线性变换后产生一个新向量：YP(X-MX)（330）式中：P的各行是X的特征矢量。为了方便起见，以相应的特征值由大到小递减的顺序来排列各行，得到的 Y是期望值为零的随机向量，Y的协方差矩阵：,因为 P的各行是X的特征矢量，故 Y是一个对角阵，对角元素是 X特征值，也是 Y的特征值。这就是说，随机矢量 Y是由互不相关的随机变量组成的，因此线性变换 P起到了消除变量间相关性的作用。换言之，每个特征值都是变换后第i个变量yi的方差。,(331),通过变换向量 Y可以重构向量X：XP1 YP T Y(332)由此可知，要实现KLT变换，首先要求出矢量 X的协方差矩阵X,再求协方差矩阵 X的特征值i，然后求i对应的 X的特征向量，用 X特征向量构成正交矩阵 P。可见由特征矢量所构成的正交变换是最优的正交变换，又称它为卡胡南列夫(KarhunanLoeve)变换，简称为KLT变换。KLT变换不但可解除相关性，对正态过程还能使分量独立，以利于信源的压缩，而且还可以忽略一些高阶项，即从M1到n的项，而不至于过分影响误差，下面讨论这个问题。,由于KLT变换前后的向量分量个数是相同的，但变换后的各分量与变换前的各分量的值是不一样的，变换后出现了许多很小的值。若要压缩数据，就必须删除一些能量较小的分量。下面讨论这样做产生的误差。删除一些能量较小的分量后，对剩下的M个分量进行编码，译码也只能恢复M个分量，误差可表示为,其均方误差为,归一化正交得:,(333),(334),(335),若求2e的最小值,令,得:,(336),因正交矩阵,(337),式(336)变为,(338),代入式(335)得:,(339),(340),所以最小均方误差值为,通过改变i次序可得：1MM+1n（341）即丢弃的高阶项M+1至n是一些最小的项，故误差值最小。,KLT变换在均方误差准则下是最佳的正交变换，但是由于以下两个主要原因，实际很少被采用。首先，在KLT变换中，特征矢量与信源统计特性密切相关，即对不同的信源统计特性，协方差矩阵应该对应不同的特征值才能达到最佳化，这显然是不大现实的。其次，KLT变换运算很复杂，而且目前尚无快速算法，所以很少实际应用，通常仅作为理论上的参考。,正因为KLT变换的实现比较困难，实用意义不大，因而人们将眼光逐步转向寻找准最佳的有实用价值的正交变换。目前人们已寻找到不少这类准最佳正交变换，它们分别是离散傅里叶变换（DFT）、哈尔变换(HRT)、WalshHadamard变换(WHT)、斜变换(SLT)、离散余弦变换(DCT)、离散正弦变换(DST)等。相比较发现DCT和DST虽然在理论上不是最优，但是它们在去相关与能量集中性上仅次于KLT变换，而且均具有快速算法。,3.2.3 离散余弦(DCT)变换 使用KLT变换需要知道信源的协方差矩阵，再求出协方差矩阵的特征值和特征矢量，然后据此构造正交变换矩阵；但求特征值和特征矢量是相当困难的，特别是在高维信源情况下，甚至求不出来。即使借助于计算机求解，也难于满足实时处理的要求。DCT变换在压缩效率上略逊于KLT变换，但由于其算法的高效性及结构上的规律性，且有快速算法,它已经成为H.261、JPEG及MPEG等国际标准的主要环节。,下面介绍一维DCT定义及其算法。以求和形式表示的一维DCT定义为,(342),式中,（343）,其矢量形式为,式中：,离散余弦变换（DCT）形式为,离散余弦的反变换(IDCT)的求和形式为,(345),式中:,其矢量形式为,(346),离散余弦的反变换(IDCT)的形式为,(347),3.2.4 变换编码方法的特性 下面以图像信源为例，说明变换编码的特性。正交变换方法最重要的特点是能量主要集中分布在信号的低频或低序区域，使大多数变换系数为零或很小的数值。若在信源质量允许的条件下，可以舍弃能量较小的系数，或者分配其很少的比特，这就是正交变换能实现高压缩率的根本原因所在。虽然DPCM方法也能使变换系数出现很多的零或小幅值系数，但是它的这些幅值分布在全空间范围内，对每个系数均需要编码。正交变换方法按统计规律集中分布在一定的区域上，无需对每个系数编码。,可以证明二维Passevel定理成立，即对于二维酉变换下式成立：,(348),式中：变换前的信号；变换后的信号。,也就是说变换域中的能量与原来空间域中的信号能量保持不变。式(348)对于数据压缩的指导意义在于：只有当空间域信号能量全部转换到某个变换域后，有限个空间取样值才能完全由有限个变换系数对基矢量加权来恢复。正交变换可以使相关的空间样值变为不相关或弱相关的变换系数，即正交变换能消除存在相关性中的冗余度。实践已经证明正交变换能使矢量信号的各个分量互不相关，即变换域信号的协方差矩阵为对角线型；在一定条件下甚至可以使这些系数相互独立，这样就使有记忆信源变成了无记忆信源。,因为归一化正交变换的雅可比(Jacobin)行列式的值等于1，这说明经过正交变换不丢失信息，因此可以用传输变换系数来达到传输信息的目的。由于归一化正交变换具有熵不变性，因此可得到图像原始数据块的极限熵H，或接近于。这就保证了用正交变换对原图像作霍夫曼编码、DPCM编码将有更大的压缩能力。事实上，DPCM方法由于受到图像扫描因果关系的限制，采用m阶预测器一般得不到Hm1，这是因为图像并不是理想的马尔可夫链，只会与前几个像素或与周围的部分像素有关。若用正交变换，可对块内的全部数据进行变换(去相关性)，因此，可使变换域内的像素出现高阶熵，该高阶熵由数据块内的相关性决定。,根据信息熵知识：lbMH0H1H2HMH可知，高阶熵总是低于一阶熵，根据信息的率失真函数R(D)理论，数码率可降低。前面介绍的KLT算法在理论上是最佳的，因此可作为其他离散正交变换好坏的参照点。另外对KLT算法人们一直在寻找其特征值与特征矢量的快速算法，但进展不大。另一方面人们不断地探求一些其他变换方法，虽然它们不是“最佳”的方法，但是也有很好的去相关性与能量集中性，且实现方法方便、快速。下面简单介绍这些方法的优缺点。,离散傅里叶变换(DFT)不对信源本身编码，只对变换系数进行编码和传输，具有蝶形快速算法，但是DFT是一种复数变换，运算量大，实用困难大。WHT变换与DFT相比，运算量明显减少，这是因为WHT具有DFT的快速算法结构，且只有加、减运算而无乘法，但是实践证明经WHT变换后，其能量集中程度不如DFT。HRT变换具有比WHT更快的运算速度，但其能量集中的程度比WHT更差。DCTDST既具有运算速度较快(具有快速算法)，而且经DCTDST后的能量集中性仅次于KLT。,DCT的变换矩阵的基矢量近似于托伯利兹(Toeplitz)矩阵的特征矢量。由于托伯利兹矩阵能体现人类语音和图像信号的相关特性，因此，对于大多数相关性很强的图像数据，DCT是KLT目前最好的替代，所以称DCT为次最优正交变换。从变换后的能量集中程度的优劣来看，各种正交变换的由优至劣的顺序为 KLTDCTSLTDFTWHTHRT 若从运算量的大小，它们由小到大的顺序依次为 HRTWHTSLTDCTDFTKLT,下面介绍变换矩阵阶数的选择。在图像变换编码中，通常把图像数据分成若干个子数据块，然后对子数据块实施某种正交变换。因为若变换矩阵阶数取小，虽然便于自适应，计算速度快，实现简单，但方块效应严重。严重时会使恢复的图像出现“波纹”。若变换矩阵阶数取大，虽然去相关效果好(因为DFT、DCT、DST等正弦型变换均具有渐近最佳性，即当变换点数趋于无穷大时，其去相关性能将趋于KLT的，可把图像等数据的协方差矩阵对角化，但HRT，WHT等除外)，但渐趋饱和。若阶数太大，由于图像本身的相关性将很小，反而使其压缩效果不明显，却使运算的复杂性增加，造成变换的实时性差。因此子数据块取44，88，1616为好。,对变换后的系数,保留哪些用作编码和传输将直接影响信号恢复的质量。变换系数的选择原则是保留能量集中的、方差大的系数。系数选择方法通常有区域法和阈值控制系数选择法两种方法。区域法就是对设定形状区域内的变换系数进行量化编码，区域外的系数就被舍去。一般来说，变换后的系数值较大的都会集中在区域的左上部，低频率分量都集中在此部分，需要保留这一部分。其他部分的系数将被舍去，恢复信号时再对它们补以零。这样，由于保留了大部分信号能量，在恢复信号后，其质量不会产生显著变化。,研究表明，以均方误差为准则的最佳区域是所谓的最大方差区域。区域法编码的明显缺陷是高频分量完全丢失，由其恢复的图像的轮廓及细节模糊。克服这一缺陷的方法是,可以预先设定几个区域，根据实际系数分布的情况自动选取能量最大的区域。阈值控制系数选择法根据系数分布的实际情况设定阈值的大小，若变换系数超过该阈值，则保留这些系数进行编码传输，对于小于阈值的则补以零。这样，多数低频成分被编码输出，而且少数超过阈值的高频成分也将被保留下来进行编码输出，这在一定程度上弥补了区域法的不足。,但这种选择系数的方法有两个问题需要解决：一个是被保留下来进行编码的系数在矩阵中的位置是不确定的，因此，尚需增加“地址”编码比特数，其码率相对地要高一些；另一个问题是“阈值”需要通过实验来确定，当然也可以根据总比特数，进行自适应阈值选择，但这样做需要一定的技术，并且将增加编码的复杂程度。,3.2.5 子带编码 子带编码(SBC，Subband Coding)的基本概念是在1976年由RECrochiere等人作为语音编码算法提出来的。此后，这一方法在中比特率语音编码中得到了广泛的应用。子带编码的基本思想就是将信号的频带划分为不同的子带，对于每一个子带，可以选择适合其统计特性的编码器。子带编码有两个重要的优点：一是,一个子带编码产生的误差仅限于这个子带，而不会轻易地扩展至其他子带，这就避免了误差在整个频带内的扩散;二是,对各个子带可以实现不同编码比特率的分配。这对于实现可变比特率编码和动态分配带宽等都是很重要的。,1子带编码与滤波器组 子带编码的概念可以用图37来解释。信号X(Z)通过一组分析滤波器Hi(Z)，由于要减小带宽，各滤波器输出分量用一新的奈奎斯特频率重抽样，产生子带信号。各子带信号经过编码、传输，到达目的地进行译码。为了重构原信号，必须恢复原带宽。各子带信号按X(Z)的采样频率插入零值，再通过一组综合滤波器，将各综合滤波器输出的分量叠加形成重构信号。,图37 子带编码系统,由于信号通过不同频带的滤波器C，各子带信号具有不同的频率分量，在子带分析和综合中必须解决没有混叠和完全重构两个问题。无混叠的完全重构意味着在没有编码损失的情况下,系统是移位不变系统。在这种情况下，也可能完全消除幅度和相位失真，从而达到完全重构。子带编码系统要解决的问题可以归纳为：产生的子带信号通过插入零值和分量叠加后能否恢复原信号，即各个子带信号能否完全重构原信号；,不同频带的滤波器之间在频域上没有重叠，即各子带信号不会产生混叠现象，也即寻求各分析滤波器或综合滤波器之间的关系。,2.一维子带分解 模拟信号的数字传输必须包括采样和量化两个环节。其中量化是一个非线性操作，由它产生的失真散布在信号谱之中。对于语音信号，量化失真在不同频段的影响是不同的。将信号频谱分为窄的子带(Subband)，就有可能控制量化噪声，提高语音质量。语音信号的子带分解是一维的，即将语音信号在时间频率域分为不同的子带。子带分解是用一组带通滤波器实现的。设一维滤波器组由低通滤波器和高通滤波器组成，对语音信号作一次滤波，得到两个子带，分别代表了语音信号在时间频率域上的低频信息和高频信息。,这样，就可以针对低频子带和高频子带的统计特性采用不同的编码器。实际上，在对子带信号编码之前，通常要做一个低通变换。这一方面可以降低采样率，另一方面对低通信号进行编码有许多好处。低通变换的实现有三种方法。,1）余弦调制 如图38所示，第n个子带sn(t）由频带宽度为n的带通滤波器BPn将其检出。用余弦信号cos(1nt)对其进行调制，然后经过一个带宽为(0n)的低通滤波器LPn，采样后编码传输。在接收端，译码后经过解调、带通滤波，得到第n个子带的重建信号。根据Nyquist采样定律，信号rn(t)的采样频率为2n，相对于原子带显然是降低了。,值得注意的是，如果它已经是数字信号了，那么采样频率的减低可以通过抽取(decimation)来完成，而在接收端可以用零来插值。这是维持子带信号与原始信号数据量相等的关键所在。,图38 子带的低通变换以及编、解码和恢复,2)用复指数信号调制 将调制信号换为ejt，其中(1n+2n)2为第n个子带的中心频率，1n、2n分别为子带信号sn(t)的低频、高频截止频率。就可以放松余弦调制中对滤波器的要求。3)Integer-band采样技术 该技术是将原始信号作等带宽子带分解，然后选择二倍带宽作为采样频率，在接收端用带通滤波器恢复。这个方法采用亚采样技术，不需要信号调制。虽然原始的数字采样频率可以很高，但对数字滤波器的输出可以进行抽取，降低采样率。这样就减少了编码的数据量。在,接收端仍然用零插值完成重建。前面已经指出，如果子带信号已经是数字信号，那么这一低通变换就可以通过降采样(downsampling)或称抽取(decimation)的操作来完成，而在接收端可以用插值(interpolation)或称增采样(upsampling)的操作来恢复。这一操作是为了维持子带信号与原始信号的数据量相等。这里所说的“亚采样”(subsampling)表示以低于Nyq uist采样频率的采样频率对模拟信号数字化，而降采样表示对数字化信号的抽取。有关介绍详见有关文献。,