MPEG运动补偿算法.ppt

《MPEG运动补偿算法.ppt》由会员分享，可在线阅读，更多相关《MPEG运动补偿算法.ppt（74页珍藏版）》请在三一办公上搜索。

1、MTI,XIDIAN,国际视频压缩标准简介,多媒体技术,第七讲,2,主要内容,视频压缩标准发展历史H.26X系列压缩标准简介MPEG系列压缩标准简介,3,视频压缩标准发展历史,ITU:,ISO/IEC:,H.261,H.262,H.263H.263+,H.264,MPEG1,MPEG2,MPEG4(Part2),MPEG7,MPEG21,MPEG4(Part10),4,视频压缩标准对比,5,视频压缩标准对比（续）,6,视频压缩标准对比（续）,7,视频压缩标准对比（续）,8,视频压缩标准对比（续）,9,视频压缩标准对比（续）,10,MPEG-1视频压缩标准,MPEG-1标准号为ISO/IEC 1

2、1172，它由五部分组成：MPEG-1系统（MPEG-1 Systems）：规定视频数据、声音数据及其他相关数据的同步合成技术MPEG-1视频编码标准（MPEG-1 Video）MPEG-1音频编码标准（MPEG-1 Audio）MPEG-1一致性测试：详细说明如何测试比特数据流和解码器是否满足MPEG-1前3个部分(Part1，2和3)中所规定的要求。MPEG-1软件模拟：一个技术报告，给出了软件执行MPEG1前3个部分的运行结果。,11,MPEG-1视频压缩标准,输入、输出指标：,MPEG视频编码器,3522882581.5,3522403081.5,30Mb/s,1.15Mb/s,26:

3、1,12,MPEG1视频压缩算法,运动补偿帧间预测(temporal)DCT(spatial),13,Frame 1,14,Frame 2,15,Residual Frame,16,象素运动轨迹,17,Block-based Motion Estimation and Compensation,18,Block-based Motion Estimation and Compensation,19,1616 Block Size,20,88 Block Size,21,44 Block Size,22,Subpixel Motion Estimation and Compensation,子像

4、素运动估值与补偿,23,Subpixel Motion Estimation and Compensation,24,MPEG1视频编码器框架,25,MPEG1视频编码器框架,分块,26,MPEG1视频压缩算法,运动图像序列,图片组（GOP）,I,B,B,P,B,B,P,图片,条（Slice）,宏块Macro Block,16,16,块（Block）,8,8,分割：,27,MPEG1视频压缩算法,GOP的组成：,一个内帧是一个随机访问点。B图像不能作为其它图像的参考帧。,I：内帧P：单向预测帧B：双向预测帧,28,MPEG1视频压缩算法,为了在图像质量和数据速率之间作出调整，MPEG编码器允许

5、（1）选择内帧I的频率和位置，（2）选择I和P之间双向预测帧B的数目。,29,MPEG1视频压缩算法,运动补偿技术在宏块一级工作。宏块分为四类：帧内宏块，简称I块前向预测宏块，简称F块后向预测宏块，简称B块平均宏块，简称A块 I图像只包含I块，P图像只包含I块和F块，B图像可以包含4种类型的宏块。,30,MPEG1视频压缩算法,I图像帧的压缩算法：,在空间方向上（内帧），MPEG1压缩采用JPEG压缩算法来去掉冗余信息。,31,MPEG1视频压缩算法,P图像帧的压缩算法：,对于P宏块，MPEG1采用运动补偿帧间预测算法来去掉时间轴上的冗余信息。,32,MPEG1视频压缩算法,运动矢量的概念,3

6、3,MPEG1视频压缩算法,基于块的运动矢量估值算法块匹配法,34,MPEG1视频编码算法,块匹配法（Block Matching Algorithm）需要解决两个关键问题：（1）匹配准则（2）搜索算法,35,MPEG1视频编码算法,BMA中常用的匹配准则：,绝对值：,均方误差：,平均绝对帧差：,36,MPEG1视频编码算法,BMA常用搜索算法二维对数搜索法：,37,MPEG1视频编码算法,BMA常用搜索算法三步搜索法：,38,MPEG1视频编码算法,BMA常用搜索算法对偶搜索法：,39,MPEG1视频编码算法,B图像帧的压缩算法：,40,41,MPEG-1 音频压缩标准,输入、输出指标：,M

7、PEG音频编码器,32kHz,44.1kHz,48kHz,16位 PCM,32kb/s384kb/s,42,MPEG-1 音频压缩算法,听觉系统的感知特性：,听阈频率曲线,43,MPEG-1 音频压缩算法,听觉系统的感知特性：,一个强纯音会掩蔽在其附近同时发声的弱纯音，这种特性称为频域掩蔽，也称同时掩蔽,44,MPEG-1 音频压缩算法,听觉系统的感知特性：,一个强纯音会掩蔽在其附近同时发声的弱纯音，这种特性称为频域掩蔽，也称同时掩蔽,在时间上相邻的声音之间也有掩蔽现象，称为时域掩蔽。时域掩蔽又分为超前掩蔽和滞后掩蔽。,45,MPEG-1 音频压缩算法,感知子带压缩算法,算法以心理声学模型为基

8、础，主要利用了听觉阈值和听觉掩蔽特性,46,MPEG-1 音频压缩算法,感知子带压缩算法,1、将音频信号用滤波器组分成32个子带；2、用FFT将子带变换到频率域3、根据心理声学模型估计各个子带的感知阈值4、根据对感知阈值的估计对各个子带进行比特分配和量化。,MP3采用了与MP1、MP2不同的滤波器和心理声学模型。,47,MPEG-1 音频压缩算法,MPEG-1 Audio层1和层2编码器和解码器的结构,48,MPEG-1 音频压缩算法,MPEG-1 Audio层3编码器和解码器的结构,49,H.261概述,H.261也称P64，这是ITU-T（前身为CCITT）最早制定的关于视频编码的国际标准

9、。考虑到ISDN的传输码率以64kbps为单位，因此以p64kbps（p130）作为为H.261的标准码率。H.261标准主要用于电视电话和电视会议。它支持QCIF（p=1、2）、CIF（p2）两种图像输入格式。,50,H.261解决的问题,第一是编码算法问题。确立了一种合理的、保证图像质量且为各国图像编码专家所公认的统一的算法。算法必须能够实时操作，解码延时要短。第二是与PCM标准兼容的问题。编解码器以641920kbs的工作速率去覆盖N-ISDN或PCM一次群的通道。第三，解决电视制式不同的问题。为了使同一标准既能用于PAL（625）和NTSC（525）两种电视制式系统，源编码基于中间格式

10、CIF格式，所以输入输必须 经转换到CIF或QCIF格式再进行源编码。,51,视频编码图像格式一览表,52,H.261的信源编码框架,53,H.261的信源编码算法,一、将预测误差或输入图像划分成为8*8的象素块。进一步，将4个亮度像块和两个在空间位置上与之重叠的色差像块符合成一个16*16的宏块（MB）。二、对于帧序列中的第一副图像或景物变换后的第一副图像，采用帧内变换编码：利用8*8的DCT实现。各DCT系数经过线性量化、变长编码后进入缓冲器，根据缓冲器的上溢和下溢，来反馈调节量化器的量化步长，以控制视频编码位流使之与信倒速率相匹配。,54,H.261的信源编码算法,帧间预测采用混合方法：

11、利用运动补偿预测，当预测误差超过某个门限后，对误差做DCT、视觉加权量化及熵编码。运动矢量信息编码后也送到缓冲器中。DCT去除空间冗余度，而使用有运动补偿的帧间预测来去除时间上的冗余。这是一个典型的帧内帧间自适应预测加DCT变换的混合算法。,55,H.261的图像复用编码,H.261源编码后进行图像复用编码，实际上是把比特流分成图像(Picture)，像块组(GOB：Group of blocks)，宏块(MB：Macroblock)和像块(Block)，并附加相应的信息。按照CIF格式，每帧CIF图像包含12个GOB，每个GOB包含33个MB，每个MB包含4个亮度数据块和各1个Cb、Cr色度

12、块，每个B包含8*8象素。,56,H.261的图像复用编码,H.261 数据流结构,57,H.261视频压缩算法,利用二维DCT减少图像的空间域的冗余度；利用运动补偿预测减少图像的时间域冗余度；利用视觉加权量化减少图像灰度域的冗余度；利用熵编码来减少图像的频率域的冗余度。,58,H.261与MPEG-1的对比,59,MPEG-2 通用视频压缩标准,MPEG-2的标准号为ISO/IEC 13818，它主要由以下几部分组成：MPEG-2系统（MPEG-1 Systems）MPEG-2视频编码标准（MPEG-2 Video）MPEG-2音频编码标准（MPEG-2 Audio）MPEG-2高级音频编码

13、标准（MPEG-2 AAC）与MPEG-1一样，MPEG-2只规定了码流结构和解码器算法规则，而把实际编码器模型向设计者开放，以提供更多的选择性和自由度。,60,MPEG-2 Video,MPEG-2 Video与MPEG-1的基本编码算法相同，只是增加了如下功能：（1）能够在很宽的范围内对不同分辨率和不同输出比特率的图像信号有效的进行压缩。（2）处理隔行扫描的视频信号的能力。（3）多样化的取样模式：4:2:0，4:2:2，4:4:4（4）可伸缩（Scalable）的视频编码模式：编码时可以在图像质量和数据速率之间作出调整 解码时只对码流的一部分进行解码和对码流的全部进行解码能够分别获得不同质

14、量的重建图像。,61,可伸缩性编码模式,（1）信噪比伸缩性（Signal-to-Noise Scalability）（2）空间分辨率伸缩性（Spatial Scalability）（3）时间分辨率伸缩性（Temporal Scalability）,62,MPEG-2 Video,为了适应不同应用的需要，MPEG-2引入了配置（profiles）和等级（levels）的概念，每种配置定义一套新的算法，而每一个等级指定一套参数范围(如图像大小、帧速率和位速率)。,63,MPEG-2 Video,MPEG-2的配置,64,MPEG-2 Video,MPEG-2的等级,65,MPEG-2 Video,

15、MPEG-2的配置与等级的组合,66,MPEG-2 Audio,MPEG-2标准委员会定义了两种声音数据压缩格式：（1）MPEG-2 Audio，或者称为MPEG-2多通道(Multichannel)声音，它与MPEG-1 Audio是兼容的，所以又称为MPEG-2 BC(Backward Compatible)。（2）另一种称为MPEG-2 AAC(Advanced Audio Coding)，因为它与MPEG-1声音格式不兼容，因此通常称为非后向兼容MPEG-2 NBC(Non-Backward-Compatible)标准。,67,MPEG-2 BC Audio,(1)增加了16 kHz,

16、22.05 kHz和24 kHz采样频率(2)扩展了编码器的输出速率范围，由32384 kb/s扩展到8640 kb/s(3)增加了声道数，支持5.1声道和7.1声道的环绕声。(4)MPEG-2还支持Linear PCM(线性PCM)和Dolby AC-3(Audio Code Number 3)编码,MPEG-2 BC Audio和MPEG-1 Audio标准都使用相同种类的编译码器，层-1,-2和-3的结构也相同。MPEG-2声音标准与MPEG-1标准相比，MPEG-2做了如下扩充：,68,MPEG-2 AAC,AAC支持的采用频率可从8 kHz到96 kHz，AAC编码器的音源可以是单声

17、道的、立体声的和多声道的声音。AAC标准可支持48个主声道、16个低频音效加强通道LFE(low frequency effects)、16个配音声道(overdub channel)或者叫做多语言声道(multilingual channel)和16个数据流。MPEG-2 AAC在压缩比为11:1，即每个声道的数据率为(44.116)/11=64 kb/s，而5个声道的总数据率为320 kb/s的情况下，很难区分还原后的声音与原始声音之间的差别。与MPEG的层2相比，MPEG-2 AAC的压缩率可提高1倍，而且质量更高，与MPEG的层3相比，在质量相同的条件下数据率是它的70。,69,H.2

18、62 标准,ITU-T 于1990年成立了“ATM视频编码专家组”，负责制定适用于B-ISDN信道ATM编码传输标准。该专家组于1993年11月与ISO的MPEG专家组联合提出了H.262建议草案（MPEG-2），用于数字存储介质和数字视频通信中图像信息的编码表示和解码规定。该标准向下兼容，能够在很宽的范围内对不同分辨率和不同输出比特的图像信号有效的进行压缩。,70,H.263/H.263+/H.264,这些标准的编解码框架与H.261和MPEG-1类似，也是基于混合编码的方案，只是做了如下改进以大幅度降低码率：1、先进的帧内编码技术2、灵活的运动补偿技术：（1）匹配块尺寸可变（1616、168、816、88、84、48、44）（2）运动矢量可精确到1/2或者1/4象素（3）多参考帧预测（4）无约束运动矢量3、先进的去块滤波技术4、整数DCT变换。,71,MPEG-4 视频压缩标准,MPEG-4从1994年开始工作，目标是为视听(audio-visual)数据的编码和交互播放开发算法和工具，它是一个数据速率很低的多媒体通信标准。MPEG-4 算法的核心是支持基于内容的(content-based)的编码和解码功能，也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码。,72,MPEG-4 视频压缩标准,73,MPEG-4 视频压缩标准,MTI,XIDIAN,结束,