数字图像处理(冈萨雷斯)8 有损压缩ppt课件.ppt

第8章图像压缩,8.1基本概念8.2图像压缩模型8.3信息论基础8.4无损压缩8.5有损压缩8.6图像压缩标准8.7视频压缩标准,8.5 有损压缩,概述,牺牲图像复原的准确度以换取压缩能力的增加；如果产生的失真可以容忍，则压缩能力的增加是有效的；压缩率较大,有损压缩编码技术可达100：1压缩率，并且做到10：150：1之间，图像无本质区别（单色图像）；,8.5.1有损预测编码8.5.2变换编码,8.5.1 有损预测编码,在各类编码方法中，预测编码是比较易于实现的，如微分（差分）脉冲编码调制（DPCM）方法。在这种方法中，每一个象素灰度值，用先前扫描过的象素灰度值去减，求出他们的差值，此差值称为预测误差，预测误差被量化和编码与传送。接收端再将此差值与预测值相加，重建原始图像象素信号。由于量化和传送的仅是误差信号，根据一般扫描图像信号在空间及时间邻域内个象素的相关性，预测误差分布更加集中，即熵值比原来图象小，可用较少的单位象素比特率进行编码，使得图象数据得以压缩。,有损预测编码：直接对像素在图像空间进行操作,称为空域方法。与无损预测编码的不同之处在于：是否存在量化器。,8.5 有损压缩,预测编码器,量化器将预测误差映射成有限范围内的输出，确定了与有损预测编码相联系的压缩量和失真量。,8.5.1 有损预测编码,修正后的预测编码器,+,符号解码,预测器,解压缩图像,压缩图像,fn,预测解码器,8.5.1 有损预测编码,3.预测编码/解码步骤：编码步骤压缩头处理对每一个符号：，由前面的值，通过预测器，求出预测值求出预测误差 对误差 编码，作为压缩值。重复、步,解码步骤对头解压缩对每一个预测误差的编码解码，得到预测误差。由前面的值，得到预测值。误差，与预测值 相加，得到解码。重复、步,8.5.1 有损预测编码,例8.16Delta调制,预测器,量化器,这里：,颗粒噪声,斜率过载,8.5.1 有损预测编码,失真对所有有损预测编码都是很普遍的。失真的严重性取决于所使用的量化和预测方法之间互相作用。一般，预测器和量化器在设计中独立进行的。预测器在设计中认为量化器没有误差。而量化器在设计中则需要最小化自身的误差。,预测器,预测器基本思想：选择最小化均方预测误差作为预测的最佳准则,上述限制并不是必需的，但它们都极大地简化了分析，也减少了预测器的计算复杂性.基于上述条件的预测编码方法称为差值脉冲码调制法（DPCM）,8.5.1 有损预测编码,最优准则是最小化均方预测误差，设量化误差可以忽略（），并用m个先前像素的线性组合进行预测,差值脉冲码调制法（DPCM）,8.5.1 有损预测编码,就是选择m个预测系数以使上式最小化，对上式每个系数求导并令其等于0，并设 均值为0，方差为 得到：,可推导出，最优时，预测误差的方差为：,上述表达式形式简单，但要获得R，r所需的自相关计算需很困难。实际中逐幅图像计算预测系数的方法很少用，一般都假设1个简单的图像模型，并将其对应的自相关代入R，r，表达式中以计算全局（所有图）系数。,8.5.1 有损预测编码,例如：考虑1个具有可分离自相关函数的2-D马尔可夫信源：,其中 是图像的水平和垂直相关系数。,用4阶线性预测器：,来预测；则最优系数为：,减小DPCM解码器对输入噪声的敏感性是很重要的，因为单个差错会传播到所有以后的输出。这样，解码器的输出会变得不稳定,例8.17：预测技术的对比,预测器3：,预测器4：,预测器2：,最佳预测器：选择最小化均方预测误差为最佳准则,水平梯度,垂直梯度,考虑对单色图像进行DPCM编码产生的预测误差假设量化误差为0，定义下列4个线性预测器，并使用其中1个：,8.5.1 有损预测编码,预测器1：,例：预测技术的对比,1阶3阶结论：随着预测器阶数的增加误差减少了,2阶4阶,8.5.1 有损预测编码,量化器基本思想：减少数据量的最简单的办法是将图像量化成较少的灰度级，通过减少图像的灰度级来实现图像的压缩。这种量化是不可逆的，因而解码时图像有损失。,t=q(s)是s的奇函数断点定义了函数的不连续性，被称为量化器的判决和重构级,阶梯量化函数,量化器,8.5.1 有损预测编码,最优量化函数,量化器的设计就是要在给定优化准则和输入概率密度函数p(s)的条件下选择最优的si和ti。优化准则可以是统计的或心理视觉的准则,8.5.1 有损预测编码,如果用最小均方量化误差 作为准则，且p(s)是个偶函数，,那么最小误差条件为：,对于任意的L，满足上列公式的si和ti在均方误差意义下是最佳的；相应的量化器称为L层的Lloyd-Max（劳埃德马克斯）量化器,Lloyd_Max量化器,8.5.1 有损预测编码,1）要达到最小误差的条件有两个：,a）每个决策级si正好落在两个相邻重构级ti、ti+1的中点。,b）每个重构级 ti 落在两个相继决策级si区间的 p(s)（概率密度函数）的质心上。,2）以上两个条件构成一个方程组，必须通过迭代才能求解决策级si和重构级ti。3）对于任何满足两个最小误差条件有的L、si和ti，在均方误差意义上是最优的，相应的量化器被称为：L级 Lloyd_Max量化器4）由于对于多数p(s)，得到一个符合最优量化两个条件的解是困难的，因此这些解可通过数字来产生。,单位方差的拉普拉斯概率密度函数的劳埃德-马克斯量化器（2、4、8级）这三个量化器分别给出1、2、3bit/pixel固定输出率。,对于重建值方差 的情况，用表中给的数据乘以它们的概率密度函数的标准差即可。表中步长,8.5.1 有损预测编码,总结,最优量化,实际应用表明，2级量化器（例如：delta调制）所产生的由于斜率过载而造成的解码图中边缘模糊的程度比4级和8级量化器的程度要高具有步长的最优均匀量化器在具有相同输出可靠性的条件下能提供比固定长度编码的Lloyd-Max量化器更低的码率Lloyd-Max量化器和最优均匀量化器都不是自适应的，但如果根据图像局部性质调解量化值也能提供效率可以较细量化缓慢变化区域而较粗量化快速变化区域。这可同时减少颗粒噪声和斜率过载，且码率增加很少。这也会增加量化器的复杂性,例8.18 量化和重构的例子,DPCM结果图像,使用3阶预测器 f x,y 0.75f x,y10.75f x1,y0.5f x1,y1,2层Lloyd-Max量化器,4层Lloyd-Max量化器,8层Lloyd-Max量化器,2层自适应量化器,4层自适应量化器,8层自适应量化器,自适应量化方法：在4个可能的量化器中选择最好的一个,标定过的DPCM结果图像,例8.18 量化和重构的例子,表8.11给出了用预测器和量化器的不同组合对同一幅图像编码所得的均方根误差。,图a到f中差异图像的rms误差注明了不同的预测器和量化器2层自适应量化器的均方误差与4层Lloyd-Max量化器相近4层自适应量化器的均方误差小于8层Lloyd-Max量化器,8.5.2 变换编码,变换编码的基本原理是将原来在空域描述的图像信号，变换到另外一些正交空间中去，用变换系数来表示原始图像，并对变换系数进行编码。,8.5 有损压缩,预测编码技术直接对象素在图像空间进行操作，故也称为空域方法。,图像变换会使图象信号能量在空间重新分布，其中低频成分占据能量的绝大部分，而高频成分所占比重很小，根据统计编码的原理，能量分布集中，熵值最小，可实现平均码长最短。一般来说在变换域里描述要比在空域简单，因为图像的相关性明显下降。尽管变换本身并不带来数据压缩，但由于变换图像的能量大部分只集中于少数几个变换系数上，采用量化和熵编码则可以有效地压缩图像的编码比特率。,基于图像变换的编码方法。称为频域方法用可逆的线性变换（如傅里叶变换）将图像映射成1组变换系数，然后将这些系数量化和编码大多数图像变换得到的系数值都很小，这些系数可以较粗地量化，或忽略不计虽然失真很小，信息仍然不能完全复原，所以还是有损压缩,8.5 有损压缩,8.5.2 变换编码,变换编、解码系统模型：,对每子图像的象素进行解相关或用少量的系数包含尽量多的信息,原则：粗量化包含少量信息的系数,通常使用变长编码,8.5.2 变换编码,图像变换,8.5.2 变换编码,图像变换通常是一种二维正交变换。一般要求：1.正交变换必须是可逆的；2.正变换和反变换的算法不能太复杂；3.正交变换的特点是在变换域中图像能量将集中分布在低频率成分上，边缘、线状信息反映在高频率成分上，有利于图像处理因此正交变换广泛应用在图像增强、图像恢复、特征提取、图像压缩编码和形状分析等方面常用的变换编码所使用的正交变换有离散傅立叶变换（DFT)、离散余弦变换（DCT）和沃尔什-哈达马变换（WHT）。,变换后图象能量更加集中，在量化和编码时，结合人类视觉心理因素等，采用“区域取样”或“阈值取样”等方法，保留变换系数中幅值较大的元素，进行量化编码，而大多数幅值小或某些特定区域的变换系数将全部当作零处理。,变换选择,8.5.2 变换编码,定义：,8.5.2 变换编码,子图像F的均方误差：,总的均方近似误差就是所有截除的变换系数的方差之和。一个能把最多的信息集中在最少数上的变换所产生的重建误差最小。上式最后一步是依据基函数正交性和F中的像素是由0均值和已知协方差的随机过程产生的。,一幅NN图像的 个子图像的均方误差是相同的，所以NN图像的均方误差等于子图像的均方误差。,核函数：,8.5.2 变换编码,DFT变换（离散傅里叶变换的简化版本（M=N）,DCT变换,N=4时DCT基函数,核函数：,8.5.2 变换编码,WHT变换,例如：如果m=3，z=6（110）,N=4时Walsh-Hadamard基函数,WHT的重要意义：所有核的值均为+1或-1，实现上简单N=4时的核，每个块包括4416个子方块白色表示1，而黑色表示1,左上角的块：u=v=0,x,y=0,1,2,3时g(x,y,0,0)的值：1左上第二块：u=0,v=1,x,y=0,1,2,3时g(x,y,0,1)的值,8.5.2 变换编码,三种变换举例 例8.19,说明：512512大小的单色图像先将原图分割为88大小的子图像，然后用DFT,WHT和DCT的一种，表示每一个子图像将得到所有系数的50%去掉，即丢掉32个系数对截取的系数阵列进行逆变换，保留32个系数丢掉的32个系数，对复原图像质量的视觉影响很小产生的均方误差rmsDFTrmsWHTrmsDCT,8.5.2 变换编码,三种变换举例8.19,DFT还原图像WHT还原图像DCT还原图像,rmsDFT=1.28rmsWHT=0.86rmsDCT=0.68,均方误差近似等于被丢弃的变换系数的方差之和！,8.5.2 变换编码,注意，压缩并不是在变换步骤中取得的，而是在量化变换系数中取得的。对于一个给定的编码应用，如何选择变换取决于容许的重建误差和计算要求。变换具有将图像能量或信息集中于系数的能力，均方重建误差与所用变换的该性质直接相关。,8.5.2 变换编码,结论,理论上说，KLT是所有变换中信息集中最优的变换。但KLT与输入图像数据有关。计算量极大。故不实用。非正弦类变换，如WHT计算容易，但正弦类变换（如DFT、DCT）更接近KLT的信息集中能力。DCT的信息压缩能力比DFT和WHT的能力要强；DCT变换具有使用单一的集成电路就可以实现，可以将最多的信息包装在最少的系数之中；DCT在信息压缩能力和计算复杂性之间提供了很好的平衡，因此，应用广泛；DCT变换可使“块效应”（相邻子图像的边界可见）最小；,DFT的n点周期性造成边界中断，当DFT系数被截尾或量化时，边界值以分块噪声的形式出现，即相邻子图像之间的边界变得可见。而DCT变换不会产生固有的边界中断,子图像尺寸选择,8.5.2 变换编码,子图像尺寸是影响变换编码误差和计算复杂度的一个重要因素；,多数情况下，我们将图像分成尺寸满足以下两个条件的子图像:,相邻子图像之间的相关（冗余）减少到可接受的水平；子图像的长和宽都是2的整数次幂。这主要是为了简化对子图像变换的计算；,最常用的子图像尺寸是88和1616,把图像分割为nn的子图像(n=2,4,8,16和32),计算每幅子图像的变换，截取75的系数，对截取后的阵列进行反变换.,当图像尺寸大于88，WHT和DCT曲线变得比较平缓，而DFT曲线下降得较快。对更大的n值，DFT将穿过WHT并逼近DCT,当图像尺寸为22时，3条曲线交于同1点。此时各变换都只保留了4个系数中的1个（25），即直流分量,子图像尺寸选择一个试验例子8.20:子图像尺寸对编码误差的影响,子图像的大小影响变换编码误差和计算复杂性。大多数应用中，图像被进一步分割以便将相邻子图像之间的相关性减少到可接受程度。子图像增大，压缩水平增加，但计算复杂性增加。一般8*8，16*16,8.5.2 变换编码,a)8*8大小子图像压缩结果b)误差图像c)放大的局部图像d)2*2子图像e)4*4子图像f)8*8子图像,子图像尺寸选择一个试验例子8.20:子图像尺寸的影响,截断误差和2个因素有关：截除的变换系数的数量和相对重要性用来表示所保留系数的精度在大多数变换编码系统中，保留的系数是根据最大值方差进行选择，称为区域编码，或根据系数从大到小选择，称为门限编码。对变换后的系数进行截取、量化和编码的整个过程通常称为比特分配。,使用8*8DCT系数的12.5%对源图像进行近似的结果,比特分配,8.5.2 变换编码,a),c),e)门限编码（误差小）,b),d),f)区域编码,其基础是信息论中的不确定性原理，即：具有最大方差的变换系数携带着图像大部分信息并在编码处理的过程中应该保留下来。,区域取样：“选择要保留的系数”。进行的处理：每个T(u,v)与相应的区域模板中的元素相乘。,区域编码,最大方差的系数通常被定位在图像变换的原点周围。,方差计算：从个变换后的子图像获得；基于某个图像模型（如马尔科夫自相关函数）算子。,(a)典型的区域模板,具有最大方差的变换系数在编码处理的过程中保留下来。,保留系数的量化和编码：表示成对区域模板每个系数分配的编码比特数。,区域编码,(b)量化和编码（比特分配）,两种分配方案：给系数分配相同的比特数（常将系数用它们的均方差归一化，然后均匀量化）,此时，要对每个系数设计一个量化器（如Lloyd-Max量化器）。为构造量化器，将零阶或直流分量系数模型化为一个瑞利函数，其它系数模型化为拉普拉斯或高斯密度函数。（因为每个系数都是子图像中象素的线性组合，所以根据中心极限定理，随子图像尺寸的增大，系数趋于高斯分配，但直流不是这样（直流系数0）。,给系数不均匀地分配几个固定数目的比特数。,率失真定理指出，一个方差为 的高斯随机变量用至少 bit来表达（D：均方误差）。故分配给每个量化器的级数正比于。,本质上是自适应的，为各个子图像保留的变换系数的位置随子图像的不同而不同。对任何子图像,值最大的变换系数对重构子图像的品质具有最大的影响.因为不同子图像的最大系数的位置是变化的,所以通常将(u,v)T(u,v)的元素重新排列，构成一个1-D行程编码序列.,门限编码,有3种基本途径对一幅变换后的子图像取阈值（而产生）的方法(即生成子图像门限模板函数):,对所有的子图像使用单一的全局门限;在第一种方法中，压缩的程度随不同的图像而异，取决于超过全局阈值的系数的数量。对每幅图像使用不同的门限;第二种方法中，采用取N个最大的编码对每个子图像舍去相同数量的系数。此时码率是常数。门限随子图像中每个系数的位置函数的变化而变化.第三种方法与第一种方法相比，优点是可将取阈值和量化结合起来。,门限编码,取阈值,使用下式代替(u,v)T(u,v),将取阈值和量化结合起来,是 取阈值和量化近似，Z是变换的归一化矩阵,量化,门限编码,在归一化的变换子图像 被反变换以得到 前，需与 相乘，这样所得到的解除归一化的数组为,对 求取变换，即得到解压缩图像。,量化,门限编码,而当 时，此时变换系数完全被截掉。,图(a)给出了 的量化曲线。,成比例地压缩z的元素，而得到不同等级的压缩量，(b)为一个根据启发式知识确定的心理视觉重要性来对变换过的子图像的系数进行加权。,(a)一条门限编码量化曲线,(b)JPEG编码标准中的DCT量化步长矩阵Z,例8.22 门限编码结果比较,c)、d)差异图像,e)、f)放大后的,子带(subband)编码;小波编码;分形（fractal）编码;矢量量化(vector quantization)VQ编码;统计编码/熵编码;,8.5.2 变换编码,其它的变换编码方法,