图像与视频编码技术ppt课件.ppt

,图像与视频编码技术,目 录,第一章 图像与视频压缩技术概述 第二章 图像与视频信息的获取与表示 第三章 图像与视频数据压缩编码技术 第四章 图像与视频数据压缩编码标准 第五章 压缩编码硬件及软件系统结构,参考文献,1 钟玉琢、王琪、贺玉文编著基于对象的多媒体数据压缩编码国际标准，科学出版社 美Jerry D.Gibson著,李煜晖等译 多媒体数字压缩原理与标准, 电子工业出版社3 吴玲杨,老松杨,魏迎梅 编著 多媒体技术,电子工业出版社,第一章 图像与视频压缩技术概述,1.1 图像与视频压缩技术的形成和发展1.1.1图像与视频压缩技术概述1）图像与视频定义 图像是客观世界能量或状态以可视化形式在二维平面上的投影。 视频是沿时间轴连续采样得到的图像的有序序列。,2）图像与视频压缩的必要性和可能性,必要性：数据量大引起了存储容量和传输带宽存在瓶颈数字电视信号：（1） SIF格式NTSC制彩色4:4:4采样视频信号 每帧数据量：352X240X3=253KB 每秒数据量：253X30=7.603MB/s 一张CD-ROM存节目时间：650/7.603/60=1.42分（2）CCR格式PAL制彩色4:4:4采样视频信号 每帧数据量：720X576X3=1.24MB 每秒数据量：1.24X25=31.3MB/s 一张CD-ROM存节目时间：650/31.3/60=20.9秒陆地卫星Landsat-3 一幅图数据量：2340行X3240列X7位X4波段=212MB 每天图数据量：212MBX30幅/天=6.36Gb可能性：信源数据存在极强的相关性,1）初期的发展阶段 信息熵保持编码： 无失真，但压缩比低（几倍） 视觉保持的编码： 有失真，但压缩比高（几几十倍）2）技术标准化阶段 ISO和ITU组织对视频和图像编码技术研究的成果进行了收集、整理、综合和加工，形成了面向存储和传输的两大国际标准系列： ISO: JBIG（10:1）、JPEG MPEG-1， MPEG-2 1.5Mbps 2-15Mbps ITU: H.261、 H.263 64Kbps 低码率 这些标准的算法主要由四类技术混合构成，即运动补偿、正交变换、量化和熵编码，代表了20世纪90年代中前期视频和图像编码的研究水平。,1.1.2 图像与视频压缩技术的发展过程及应用,3）今后的新动向,20世纪90年代中后期，Internet迅猛发展，无线通信也迅速在全球普及。(1) 标准的发展 JPEG2000( ROI )、MJPEG MPEG-4（对象编码） 低带宽,主要应用于视频会议 H.264 + MPEG-4 AVC= JVT,AVS(2)应用的发展 视频和图像编码的目标从传统的面向存储变为现在的面向传输，面临的问题是误码问题和带宽变化问题。 可扩展性编码的方法就是将视频和图像数据压缩编码成多个流，其中一个可以独立解码，它称为基本层码流；其它的码流称为增强层，它们不可以单独解码，而只能与基本层和它以前的增强层联合在一起解码，用来提高观看效果。 可扩展性编码主要分为时域可扩展性编码、空域可扩展性编码和质量可扩展性编码。在这些策略中，编好的码流可以按层为单位截断，具有一定的网络带宽适应能力。,1.2 图像与视频压缩的基本技术,1）图像与视频压缩技术定义： 数据压缩就是一种研究如何通过计算机数据处理，去掉庞大数据中的冗余信息，即空域灰度冗余、时域灰度冗余、统计熵冗余、结构冗余和视觉敏感冗余等，保留相互独立的信息分量的一门技术。,2）图像与视频压缩技术的基础,（1）编码的熵冗余 适用范围是信源码字概率分布具有很强的不均匀性 典型的方法：Huffman编码、算术编码、行程编码（2）空域灰度冗余 适用范围是空域相邻像素灰度分布具有很强的相关性 典型的方法：预测编码、变换编码（3）时域灰度冗余 适用范围是时域相邻像素灰度分布具有很强的相关性 典型的方法：运动补偿编码（4）视觉敏感冗余 适用范围是像素灰度的变化不被视觉所察觉 典型的方法：系数量化,3）图像与视频压缩技术的分类与评价,（1）方法分类 无损压缩: 能无失真恢复原始数据 有损压缩: 能视觉近无失真恢复原始图像（2）评价指标 衡量数据压缩技术优劣的指标： 压缩比Cr: 原始数据比特数/压缩后数据比特数 恢复效果: PSNR、主观质量 处理速度：每秒能完成编解码处理的帧数 是否可实现： 在限定的体积、功耗、成本和工艺条件下，是否可行,1.3 图像与视频压缩系统的组成,1）计算与处理硬件系统 ASIC、DSP、CPU 2）图像与视频捕获硬件 输入接口、视频AD和解码器 3）图像与视频输出硬件 视频DA、编码器和输出接口 4）计算机操作系统软件 VxWork，Nuclus，Linux 5）图像与视频压缩软件 MPEG-2、MPEG-4、H.264、AVS,第二章 图像与视频信息的获取与表示,2.1 图像与视频表示2.1.1 图像数据格式2.1.2 视频采样格式2.1.3 视频信号制式2.2 视频传输格式(数字视频信号标准)2.2.1 CCIR-601视频信号标准2.2.2 CCIR-656视频信号标准2.2.3 ITU-656与ITU-601标准关系2.3 MPEG-4标准视频格式2.3.1 MPEG-4视频采样结构2.3.2 MPEG-4视频传输结构,2.1 图像与视频表示,2.1.1 图像数据格式1) 位图 又称点阵图，利用每个位置象素的颜色表示图像的方法2）矢量图 矢量图（图形）是指利用参数表示的直线、圆、圆弧、任意曲线和图表等画面,3) 矢量图与位图的比较,(1) 概念上： 矢量图（图形）一般指计算机绘制的画面，如直线、圆、圆弧、任意曲线和图表等 图像是指由输入设备捕捉的实际场景画面或以数字化形式存储的任意画面。,(2) 存储容量大小,图像是由一些排成行列的像素组成的，在计算机中的存储格式有BMP、TIF、GIFD等。一般数据量比较大。除了可以表达真实的相片，也可以表现复杂绘画的某些细节，具有灵活和富于创造力等特点。在打印输出和放大时，容易发生失真。,矢量图文件中只记录生成图的算法和图上的某些特征点，容易进行移动、缩放、旋转和扭曲等变换，主要用于表示线框型的图画、工程制图、美术字等。 常用的矢量图文件有3DS（用于3D造型）、DXF（用于CAD）、WMF（用于桌面出版）等。图形只保存算法和特征点，相对于位图的大数据量来说，它占用的存储空间也比较小。但是显示速度没有图像快，打印输出和放大时，质量较高不会发生很大失真。,2.1.2 视频采样格式,1）视频概述（1）视频信号： 由多个图形和图像平面按照时间顺序排列构成的有序图像序列。（2）视频制式与扫描方式 信号制式： PAL、NTSC、SECAM 扫描方式： 逐行/隔行（3）视频信号采样 Y:U:V（4:4:4, 4:2:2, 4:2:0） PAL 216Mbps, 162Mbps 162Mbps,YUV 4:2:2采样格式 YUV 4:1:1采样格式 YUV 4:2:0采样格式,2）视频信号采样,0 和255用于同步，1到154用于视频对于亮度： 16 = black, 235 = white 对于色度： 128 = no chrominance,视频采样结构:,3）数字视频信号,（1）PAL制信号（625 行/帧,25帧/秒,50场/秒 ）亮度信号: 864点/行,像素采样率为13.5Mhz色度信号： 432点/行,像素采样率为6.75Mhz（2）NTSC信号（525行/帧, 30帧/秒, 60场/秒 ）亮度信号: 858点/行,像素采样率为13.5Mhz色度信号： 429点/行,像素采样率为6.75Mhz,2.2 视频传输格式2.2.1 CCIR-601视频信号标准,ITU-601标准信号输出引脚定义,CCIR Rec. 601 数字电平,数字与模拟信号对应关系,EAV和SAV数据流定时,SAV和EAV数字同步信号结构,F = 0 for first field，1 for second field; V = 0 or 1 ( in VBI - vertical blanking interval)H = 0 in SAV, 1 in EAV; P0, P1, P2, P3 见下表,VBI内V和F,XY.0中的控制比特,2.2.2 CCIR-656视频信号标准,2.2.3 ITU-656与ITU-60标准关系,PAL 625/50视频系统H信号,NTSC 525/60视频系统H信号,SAV和EAV控制字节定义,SAV和EAV的状态字节定义,525/60视频系统有效视频和空闲分配图,625/50视频系统有效视频和空闲分配图,ITU-656数据和ITU-601数据对应表,PAL制信号(625行/50Hz) H信号,1)在第1场API有效视频期间（场有效V=0）H信号 2)在第1场VBI无效视频期间（场无效V=1） H信号 3)在第2场API有效视频期间（场有效V=0）H信号 4)在第2场VBI无效视频期间（场无效V=1）H信号,PAL信号场同步分布,对于NTSC制信号(525行/60Hz) H信号,1)在第1场API有效视频期间（场有效V=0）H信号 2)在第1场VBI无效视频期间（场无效V=1） H信号 3)在第2场API有效视频期间（场有效V=0）H信号 4)在第2场VBI无效视频期间（场无效V=1）H信号,NTSC信号场同步分布,2.3 MPEG-4标准视频格式 2.3.1 MPEG-4视频采样结构,4:2:0格式亮度和色度样本的位置,4:2:0格式隔行和逐行VOP采样结构,隔行VOP 隔行VOP 逐行VOP top_field_first=1 top_field_first=0,2.3.2 MPEG-4视频传输结构,编码输入端/显示端,编码输出/解码输入端,4:2:0格式宏块的结构,帧DCT编码时亮度宏块结构,场DCT编码时亮度宏块结构,第三章 图像与视频数据压缩编码技术,3.1、图像与视频压缩基础:1） 存在如下冗余：空域相关、时域相关、 视觉掩盖效应2） 基本对策： 数据变换：帧内预测、帧间预测、DCT变换、 KLT变换、DWT变换、ZigZag扫描 统计编码：行程编码、Huffman编码 和算术编码等,3.2、数据压缩技术评价方法,1）数据压缩比Cr = 压缩前比特数/压缩后比特数 2) 视频图像质量（1）残差图像统计特性分析（2）峰值信噪比PSNR（3）人的视觉主观评价方法3) 实现的实时性,3.3、数据压缩方法分类,压缩编码方法分： 无损压缩法：信息无损失 有损压缩法：信息有损失,3.4、统计编码方法,3.4.1信息量和信息熵1）事件的信息量： I(xj)=-log2P(xj) 2）信源的信息熵：3）信源信息熵性质 平均码长NH(X),3.4.2 Huffman编码,1)基本原理： 按信源符号出现的概率大小进行排序，出现概率大的分配短码，出现概率小的则分配长码。2)编码性质： 对统计独立信源达到最小平均码长的编码方法，具有唯一可译性。,3）编码过程,（1）将信源符号按概率递减顺序排列；（2）把两个最小的概率加起来，作为新符号的概率；（3）重复（1）和（2），直到概率和达到1为止；（4）在每次合并消息时，将被合并的消息赋予1和0或0和1；（5）寻找从每一信源符号到概率为1的路径，记录下路径上的1和0（6）对每一符号写出从码树的根到终结点1、0序列,信号符号 概率 第一步 第二步 第三步 第四步 第五步X1 00 0.35 00 0.35 00 0.35 00 0.35 1 0.40 0 0.60X2 10 0.20 10 0.20 10 0.20 01 0.25 00 0.35 1 0.40X3 010 0.15 010 0.15 11 0.20 10 0.20 01 0.25X4 011 0.10 011 0.10 010 0.15 11 0.20X5 110 0.10 110 0.10 011 0.10X6 1110 0.06 111 0.10X7 1111 0.04,Huffman编码示例,3.4.3、算术编码,1)基本原理： 算术编码是一种统计编码，每个符号对应0到1上的一段子区间，区间长度为该符号出现的概率。该方法将被编码的符号串（数值串）表示成实数0到1之间的一个区间。初始把它设为整个区间。当出现一个新的待编码符号，先把完整的0到1区间映射到上一次形成的区间，然后新区间取为0到1上的新符号对应区间所映成的像。解码时，根据区间的覆盖性来逐一解出原符号串。,在不考虑信源统计的情况下，只要监视一小段时间内码出现的频率，不管统计是平稳的或非平稳的，编码的码率总能趋近于信源熵值，每次迭代时的编码算法只处理一个数据符号，并且只有算术运算。,2）算术编码特点,3）算术编码算法,（1）步骤1： I1=l1，r1 ,L=l1,R=r1（2）步骤2,：,（3）比较uk和vk：若不等则转（4），否则发送uk , k+1-k,转（3）（4）读下一个符号 ，有,更新L、R后转（2）,3）算术编码示例,4）算术编码中注意的问题,（1）有限字长导致溢出问题 （2）译码器在收到所有位前不能译码（3）编码对错误很敏感的 （4）动态建模是确定压缩效率的关键,Huffman与算术编码比较,1、符号维数2、码表适应性,3.4.4 行程编码(RLC),表示方法 (RUN,level)基本原理 行程编码是建立在图像的统计特性基础上的。适用范围： 相邻行或列有很强相关性的图像。,3.5 预测编码,根据某一预测模型和以往的样本值对新样本值进行预测，然后将样本实际值与预测值的差值进行编码。如果预测模型足够好，且样本序列的时间相关性较强，那么误差信号的幅度将远小于原始信号，可以用较小的值对其差值量化，得到较好的压缩效果。 预测编码常用的是差分脉冲编码调制（DPCM）和自适应的差分脉冲编码调制（ADPCM）。,1)预测编码基本原理,从相邻像素之间有很强的相关性特点出发，利用已出现像素的灰度值对当前像素的灰度值进行预测估计，得到一个预测估计值，将预测值和实际值求差，对这个差值信号进行编码、传送，这种编码方法称为预测编码方法。 预测编码方法分:(1)线性预测编码方法（DPCM）(2)最佳线性预测编码方法(3)自适应预测编码方法(4)自适应帧间预测: 块匹配、参考图估计,变换编码不是直接对空域图像信号编码，而是首先把原始图像信号分成许多矩形块，利用图象内相邻象素之间的相关性，将空域图像信号映射变换成另一个正交矢量空间，产生一批变换系数，使变换域中各信号分量之间相关性很小或者互不相关。变换系数经滤波、量化、编码后输出，从而达到数据压缩的目的。,3.6 变换编码,3.6.1 KLT变换,KLT变换是将在空间域表示的图像信号，变换到KLT正交矢量空间域描述，使变换域中各信号分量之间相关性很小或者互不相关，从而达到数据压缩的目的。,变换矩阵为：,1) 求协方差矩阵；2) 求协方差矩阵的特征值；3) 求相应的特征向量;4) 用特征向量构成变换矩阵，求,K_L变换的计算步骤：,K-L变换的特点:,变换矩阵是变化的,与图像样本有关,3.6.2 次最佳正交变换-DCT变换,DCT变换是将在空间域表示的图像信号，变换到DCT正交矢量空间域描述，使变换域中各信号分量之间相关性很小或者互不相关，从而达到数据压缩的目的。,3.6.3 DWT变换,DWT变换是将在空间域表示的图像信号，变换到DWT正交矢量空间域描述，使变换域中各信号分量之间相关性很小或者互不相关，从而达到数据压缩的目的。,小波正变换的过程,小波逆变换的过程,图像二级小波分解示意图,3.6.4 量化编码,量化是一种用有限的离散量代替无限的连续模拟量的多对一的映射操作。数据压缩编码中的量化处理指以PCM码作为输入，经正交变换、差分或预处理后，熵编码之前，对连续的正交变换系数、差值或预测误差进行的离散化处理。 量化器设计的目标是在量化误差最小或视觉感知变化最小优化准则条件下，确定量化级和量化系数值，以期在不影响用户应用的同时达到最大的数据压缩比。,3.6.5 扫描变换,1）ZigZag扫描 根据图像与视频数据正交变换后的特点，ZigZag扫描将两维变换域的数据转换成一维的表示，以有利于行程编码得到更大的零块，提高数据压缩比。2）Peano扫描 根据图像与视频数据的特点，Peano扫描将两维变换域的数据转换成一维的表示，并保持图像与视频数据邻域的相关性，以利于通过一维的正交变换消除图像与视频邻域数据的相关性。,模型编码是指采用模型的方法对传输的图像进行参数估测。典型的有分形压缩编码方法。,3.7 模型编码,第四章 图像与视频数据压缩编码标准,4.1、JPEG静态图像压缩标准,4.2 小波图像压缩算法,4.2.1 EZW图像压缩算法 4.2.2 SPIHT图像压缩算法,4.4 MPEG动态图象压缩标准,MPEG语法、语义MPEG解码过程,4.5 JPEG和MPEG的差别,MPEG视频压缩技术是针对运动图像的数据压缩技术。为了提高压缩比，帧内图像数据和帧间图像数据压缩技术必须同时使用。MPEG通过帧运动补偿有效地压缩了数据的比特数，它采用了三种图像，帧内图、预测图和双向预测图。有效地减少了冗余信息。对于MPEG来说，帧间数据压缩、运动补偿和双向预测，这是和JPEG主要不同的地方。而JPEG和MPEG相同的地方均采用了DCT帧内图像数据压缩编码。,第五章 压缩编码硬件及软件系统结构,5.1 压缩编码系统开发过程的理解 问题定义 可行性研究 需求分析 总体设计 详细设计 实现编码（软件和硬件） 实现测试（软件和硬件） 运行和维护,5.1 各阶段的主要任务,1) 计划和成本估算 软件计划 成本估算,2) 设计与制作,程序设计方法 软件界面设计,3) 性能测试,测试方法 软件测试策略 测试的复审 排错技术,4）系统提交,软件质量度量模型 软件质量评价过程模型 软件具体评价 软件维护,