多媒体技术第章媒多体技术基础.ppt

,第2章 多媒体技术基础,数据压缩技术,2.1,数据压缩标准,2.2,数字音频技术,2.3,图形与图像处理,2.4,计算机动画技术基础,2.5,多媒体视频处理技术基础,2.6,2.1 数据压缩技术,2.1.1 数据压缩的基本原理,2.1.2 数据压缩方法的分类,2.1.3 数据压缩算法评价指标,2.1.1 数据压缩的基本原理,多媒体的数据量、信息量和冗余量数据压缩的对象是数据，数据是信息的载体，用来记录和传送信息。冗余是指信息存在的各种性质的多余度。信息量与数据量的关系可以表示为：数据量=信息量+数据冗余数据压缩的目的尽量减小数据冗余量，尽量保留主要信息量。,2.1.1 数据压缩的基本原理,多媒体数据压缩技术就是利用多媒体数据的冗余性来减少多媒体数据量的方法。常见多媒体数据冗余类型如下：,1.空间冗余,2.时间冗余,3.信息熵冗余,4.视觉冗余,5.结构冗余,6.知识冗余,空间冗余,一幅图像表面上各采样点的颜色之间往往存在着空间连贯性,图像数据中经常存在的一种冗余，如规则物体和规则背景（像素相关性强）。,视频和音频中存在的、在时间尺度上相关的一种冗余，如相邻帧之间像素的相关性；语音的连续和渐变过程。,时间冗余,信息熵冗余,称为编码冗余，是指数据所携带的信息量少于数据本身而反映出来的数据冗余。例如:自然界的很多状态不可能正好用2的整数次幂来表示,这样就会造成编码冗余。,视觉冗余,人类听觉的频率范围为20Hz20kHz；人类视觉的灰度分辨能力估计为26等级，而一般图像采用的是28灰度等级。人类的感觉系统由于受生理特性的限制，对于多媒体数据的某些变化（如失真）并不是都能感知的，这类冗余称为视/听觉冗余。,结构冗余,有些图像存在着非常强的纹理结构，我们称它们在结构上存在冗余。例如，布纹图像和草席图像。,图像的某个区域中存在着非常强的纹理结构。,2.1.2 数据压缩方法的分类,压缩处理由两个过程组成编码过程，即将原始数据经过编码进行压缩，以便 存储与传输；解码过程，此过程对编码数据进行解码，还原为可 以使用的数据。数据压缩分为两种类型：无损压缩和有损压缩。,2.1.2 数据压缩方法的分类,无损压缩（冗余压缩、熵编码）法：无损压缩法去掉或减少了数据中的冗余量，这些冗余量是可以重新恢复的;无损压缩是可逆的过程。例如：压缩软件WinRAR应用。注意：无损压缩特点是压缩比小。,无损压缩法不会产生失真，一般用于文本数据的压缩。其原理是统计压缩数据中的冗余(重复的数据)部分。,例如：RLE 编码是将数据流中连续出现的字符用单一记号表示。例如,字符串AAABCDDDDDDDDBBBBB可以压缩为3ABC8D5B。,RLE编码简单直观，编码/解码速度快，许多图形和视频文件，如.BMP.TIFF及AVI等格式文件的压缩均采用此方法.,无损压缩,有损压缩（熵压缩）法：有损压缩减少了信息量，而这些损失信息量是不能再恢复的;有损压缩法是不可逆的。注意：有损压缩特点是压缩比大，但不可逆。对图像、声音、动态视频等数据的压缩，压缩比将达到几十倍甚至上百倍。,2.1.2 数据压缩方法的分类,混合压缩,混合压缩是利用了各种单一压缩的长处，以求在压缩比、压缩效率及保真度之间取得最佳折衷。该方法在许多情况下被应用，如JPEG 和MPEG 标准就采用了混合编码的压缩方法。,2.1.3 数据压缩算法的综合评价指标,衡量一种数据压缩技术好坏的指标是：压缩比要大；实现压缩的算法要简单，压缩、解压速度快；恢复效果要好。1.压缩的倍数（压缩率）由压缩前后的总的数据量之比来表示。每个像素显示的比特数,2.1.3 数据压缩算法的综合评价指标,2.图像质量 3.压缩和解压缩的速度对称压缩：压缩和解压缩实时进行非对称压缩：解压缩是实时的压缩的计算量:通常压缩的计算量比解压缩的计算量大。如MPEG的压缩编码计算量约为解码的4倍。,2.2 数据压缩标准,2.2.1 静态图像压缩标准JPEG,2.2.2 动态图像压缩标准MPEG,2.2.3 视频会议压缩标准H26.X,2.2.4 数字音频/视频编/解码标准AVS,2.2.1 静止图像压缩编码标准(JPEG),“联合图像专家组”JPEG(joint photographic experts group)是“多灰度连续色调静态图像压缩编码”(简称JPEG标准)。适应于彩色和单色多灰度静止数字图像的压缩标准。,JPEG标准支持很高的图像分辨率和量化精度。它包含两部分：第一部分是无损压缩第二部分是有损压缩。通常压缩20-40倍。,2.2.1 静止图像压缩编码标准(JPEG),2.2.2 动态图像压缩标准MPEG,MPEG MPEG是活动图像专家组(Moving Picture Exports Group)英文的缩写。是为数字视/音频制定压缩标准的专家组。MPEG组织现在是制定“活动图像和音频编码”标准的组织。MPEG组织制定的各个标准都有不同的目标和应用，目前已提出MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21标准。,数字声像压缩标准(MPEG-1),MPEG-1 MPEG-1传输1.5Mbps数据传输率的运动图像及其伴音的编码。MPEG-1的应用：VCD和MP3。MPEG组织制定的第一个视频和音频有损压缩标准 MPEG-1是VCD的主要压缩标准，是目前实时视频压缩的主流。可适用于不同带宽的设备，如CD-ROM、Video-CD、CD-I。,MP3压缩技术 MP3的全名是MPEG Audio Layer-3，是一种声音文件的压缩格式。ISO/MPEG音频压缩标准按压缩质量(每Bit的声音效果)和编码方案的分为Layer1、Layer2、Layer3。这三层的编码采用的基本结构是相同的。,数字声像压缩标准(MPEG-1),第一层(Layer l)数据传输率为384kb/s，主要用于数字录音机。第二层(Layer 2)数据传输率为192-256kb/s，应用于数字广播、CD-ROM、CD-I和VCD的音频编码。第三层(Layer 3)数据传输率为64kb/s“mp3”就是指在MPEG-1 Audio Layer 3进行压缩的语音或音乐。,数字声像压缩标准(MPEG-1),MPEG的层次与压缩比率,数字声像压缩标准(MPEG-1),通用视频压缩编码标准(MPEG-2),MPEG-2压缩标准MPEG-2是通用视频压缩编码标准，向下兼容MPEG-1；MPEG-标准包括是运动图像及其伴音的通用编码国际标准；MPEG-2广泛应用于数字电视、HDTV、DVD、视频采集压缩卡等领域。,MPEG-4压缩标准 MPEG-4追求的不是高品质而是高压缩率以及适用于网络的交互能力。MPEG-4最突出的特点是基于内容的交互性；高压缩比，可应用在低带宽（64kbps）环境；灵活的存取方式，适合不同应用环境。主要面对移动通信或目前Internet上低带宽多媒体的应用、精彩的视频世界等方面。,低比特率音视频压缩编码标准(MPEG-4),MP4压缩技术MP4并不是MPEG-4或者MPEG-1 Layer4。由美国唱片行业联合会公布的一种新的网络下载和音乐播放格式。MP4使用的是MPEG-2 技术。其中，MPEG-2是MPEG于针对数码电视(数码影像)提出的。它的特点就是，音质更加完美而压缩比更加大(1:15)。,低比特率音视频压缩编码标准(MPEG-4),多媒体内容描述接口(MPEG-7),MPEG-7压缩标准MPEG-7标准被称为“多媒体内容描述接口”，为各类多媒体信息提供一种标准化的描述，MPEG-7的最终目的是把网上的多媒体内容变成象现在的文本内容一样，具有可搜索性。音视数据库的存储和检索；广播媒体的选择（广播、电视节目）；因特网上的个性化新闻服务；教育领域的应用（如数字多媒体图书馆等）；,2.3 数据音频技术,2.3.1 数字音频概述,2.3.2 声音的数字化,2.3.3 数字音频的质量和数据量,2.3.4 数字音频文件格式,2.3.5 合成音乐和MIDI,2.3.1 数字音频概述,模拟音频和数字音频 规则音频是一种连续变化的模拟信号,可用一条连续的曲线来表示，称为声波。用声音录制软件记录的英文单词“Hello”的语音实际波形。,2.3.1 数字音频概述,数字音频声音的A(Analog)/D(Digital)与D/A转换A/D转换就是把模拟信号转换成数字信号的过程，模拟信号变为由“0”和“1”组成的Bit信号。A/D转换的一个关键步骤是声音的采样和量化，得到数字音频信号，在时间上是不连续的离散信号。借助于A/D或D/A转换器，模拟信号和数字信号可以互相转换。,2.3.2 声音的数字化,音频的数字化 数字声音是一个数据序列。由外界声音经过采样、量化和编码后得到的。采样就是每隔一段时间就读一次声音信号的幅度，记录下来的原始模拟声波在某一时刻的状态，称之为样本；每秒钟抽取声波幅度样本的次数，称为采样频率；量化：把采样得到的声波幅度转化为数字值，也就是把某一幅度范围内的数据用一个数字表示。编码：按照一定格式记录采用和量化后的数字数据。,声音数字化过程图示,2.3.2 声音的数字化,声音数字化三要素,2.3.2 声音的数字化,声音数字化数据量计算公式 数据量（bit/s)采样频率(Hz)量化位数(bit)声道数例子：数字激光唱盘（CD-DA，红皮书标准）的标准采样频率为44.1KHZ，量化位数为16位，立体声（这就是所谓的CD音质CD-quality sound），可以几乎无失真地播出频率高达22KHZ的声音，这也是人耳所能听到的最高声音频率。1分钟CD-DA音乐所需的存储量为：（44.1100016260/8）B=10 584 000B,2.3.3 数字音频的质量与数据量,2.3.3 数字音频的质量与数据量,WAVE(Waveform Audio)波形音频文件 WAV是Microsoft/IBM共同开发的PC波形文件。因未经压缩，文件数据量很大。特点：声音层次丰富，还原音质好,MP3(MPEG音频压缩标准)压缩音频文件 MP3(MPEG Audio layer 3)是一种按MPEG标准的音频压缩技术制作的音频文件。必须经过解压缩，数据量小 特点：高压缩比(11:1)，优美音质,2.3.4 数字音频文件的格式,MIDI(Musical Instrument Digital Interface)乐器接口文件用于合成、游戏，记录音符时值、频率、音色特征，数据量小 MIDI是由一组声音或乐器符号的集合。特点：数据量很小，缺乏重现自然音,WMA文件 WMA(Windows Media Audio)是Windows Media格式中的一个子集(音频格式)。特点：压缩到MP3一半,2.3.4 数字音频文件的格式,RA(Real Audio)音频压缩格式,RA采用音频/视频流和同步回放技术来实现在互联网上提供优质的多媒体信息。压缩比可达96：1，在网上普遍使用。特点：可使用流媒体形式实现网上的实时播放,2.3.4 数字音频文件的格式,2.4 图形与图像处理,2.4.1 图形与图像处理概述,2.4.2 图像的数字化特征,2.4.3 图像文件的格式,2.4.4 图像素材的采集,2.4.5 采集图像素材的常用设备,2.4.1 图形与图像处理概述,图形与图像都是视觉媒体元素 色彩是人类视觉对可见光的感知结果，在可见光谱内不同波长的光会引起不同颜色感觉光的波长与颜色对照(单位：纳米),一.色彩空间表示,二、色彩的基本概念,1、色彩三要素：色调、饱和度、亮度,色调（色相）：就是色彩的相貌，表示颜色的种类，由可见光谱中各分量的波长来确定，如红、橙、黄、绿、蓝、紫等色彩饱和度表示颜色的纯净程度亮度指色彩所引起的人眼对明暗程度的感觉。,三基色原理：将红、绿、蓝三种颜色按照不同的比例进行组合，就可以引起人眼对自然界的全部颜色感觉。当三色都为最大值时将产生白色，也称为加色法原理。三基色的选择必须遵循一条规律：任一种颜色都不能由其他两种颜色合成。,2、三基色原理,如何理解色彩空间的概念？色彩空间是一种以数值来表现色彩的方式。,4、色彩空间模型,4、色彩空间模型,（1）RGB色彩空间计算机显示器采用R、G、B相加混色的模式。RGB是由三种基本颜色Red红、Green绿、Blue蓝组成，每种颜色的亮度大小用数字0-K表示（K与颜色深度有关，若颜色深度为8，则K=255）。,通过RGB三基色原理形成不同色光的表示方法，这种色彩的表示方法称为RGB色彩空间表示。RGB色彩空间是三基色以不同数值混合，形成各种不同的颜色，所以称为加色法原理。注意：当三基色分量都为0（最弱）时混合为?考虑：如何得到白色和灰色？,RGB色彩空间,（2）HSI色彩空间HSB模式是从人的视觉系统出发，用色调Hue、饱和度Saturation和亮度Brightness/Intensify来描述色彩。适合从事艺术绘画的人描述色彩的方法。色调由可见光谱中各分量的波长来确定。饱和度表示色彩的浓淡程度。亮度表示色彩的明亮程度。,4、色彩空间模型,(3)YUV色彩空间 YUV是电视系统中常用的颜色模式，其中：Y表示亮度信号，U、V表示色度信号，是构成色彩的两分量。YUV色彩空间和RGB色彩空间可以互相转换。,4、色彩空间模型,(4)CMYK色彩空间 CMY（K）的含义 油墨或颜料的三基色是青（Cyan）、品红（Magenta）和黄（Yellow），简称为CMY，K（Black）表示黑色。印刷或打印在纸张上的内容是不发光的，需要油墨或颜料反射光线来呈现色彩（从白色光中吸收某些色光而反射其它色光）。,4、色彩空间模型,以红、绿、蓝的补色青(cyan)、品红（magenta)、黄(yellow)为原色构成的CMY颜色系统，常用于从白光中滤去某种颜色，故称为减性原色系统。K表示Black黑色每种颜色用百分数0-100%来表示。C=M=Y=K=0%白色 C=M=Y=K=100%黑色,4、色彩空间模型,色彩空间转换？,5、色彩空间转换,结论 RGB，HSI，YUV，CMY(K)等不同的色彩空间只是对色彩的不同表示方法，可以通过数学公式的相互转换。例如，CMYK为相减混色，它与相加混色的RGB空间正好互补。实际应用中，一幅图像在计算机中用RGB空间显示；用RGB或HSI空间编辑处理；打印或印刷时要转换成CMY(K)空间。,5、色彩空间转换,位图（图像）图像的最小单位是像素点,用于表现自然影像。像素点由若干个二进制位进行描述，二进制位数代表像素点颜色的数量。,三、图形与图像,位图（图像）黑白图像：只有黑白两种颜色的图像。灰度图像：按照灰度等级的数目来划分，把白色与黑色之间按对数关系分为若干等级，称为灰度。灰度分为256阶。用灰度表示的图像称作灰度图。彩色图像：可以按照颜色的数目来划分，如256色图表示该图像中颜色的总数目不超过256种。,三、图形与图像,三、图形与图像,黑白图像,16色图像,三、图形与图像,256色图像,24位真彩色图像,三、图形与图像,三、图形与图像,矢量图图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合，在图形文件中只记录生成图的算法和图上的某些特征点，也称矢量图。图形的矢量化使得有可能对图中的各个部分分别进行控制（放大、缩小、旋转、变形、扭曲、移位等）,三、图形与图像,图形的主要特点适用于对画面要求不高的场合，如美术字、工程设计图等，图形文件存储占用空间小。图形通常是由矢量绘图工具制作。图形与分辨率无关，缩放、扭曲不变形。图形复杂时，耗时相对较长。,三、图形与图像,三、图形与图像,图形与图象的关系图形是矢量概念，图元；图象是位图概念，像素；图形显示图元顺序；图象显示像素顺序；图形变换无失真；图象变换有失真；图形以图元为单位修改属性、编辑；图象只能对象素或图块处理；图形是对图象的抽象，但在屏幕上两者无异,2.4.2 图像数字化的特征,1.分辨率 显示分辨率：确定屏幕显示图像的区域大小，单位：dpi（dot per inch）。图像分辨率：用来确定一幅图像的像素数目，是图像像素密度的度量方法，单位：ppi（pixel per inch）。像素分辨率：指像素的宽高比(1:1)，在像素分辨率不同的机器间传输图像会变形。,2.颜色深度 是指通常在RGB色彩空间下，图像中记录每个像素用多少位二进制数来表示颜色。彩色图像：图像可使用的最多颜色数目 灰度图像：图像可使用的亮度级别数目,真彩色 是指图像中的每个像素值都分成R、G、B三个基色分量，每基色分量用8bit二进制数来表示，三个基色分量共可表示224=1677万多色，这样能够反映原图的真实色彩，故称真彩色。,结论：图像的数字化特征可用图像分辨率和颜色深度来表达。,2.4.2 图像数字化的特征,图像数据量（Byte）=图像的总像素颜色深度/8,2.4.3 图像文件的保存格式,图像数据在存储媒体中存放的格式称为文件格式，常用的文件格式有：1）BMP格式 Windows操作系统中的标准图像文件格式。特点是包含的图像信息丰富，但文件占用存储空间大。BMP格式支持RGB颜色、索引颜色、灰度和单色位图颜色模式，但不支持Alpha通道。,2）JPEG格式 JPEG既是一种文件格式，又是一种压缩技术。JPEG作为一种先进的混合压缩技术，在获取较高的压缩率的同时，能够展现十分丰富生动的图像。JPEG应用非常广泛，大多数图像处理软件均支持此格式，目前各类浏览器也都支持JPEG这种图像格式，可为Web页提供精美的图像。,2.4.3 图像文件的保存格式,3）TIFF格式 TIFF（Tag Image File Format）是一种图形文件格式,现在Windows上主流的图像应用程序都支持该格式。其特点是图像格式复杂、存贮细微层次的信息较多，有利于原稿的复制，但占用存储空间大。TIFF格式文件被用来存储一些色彩绚丽、构思奇妙的贴图文件，它将3DSMAX、Photoshop有机地结合在一起。,2.4.3 图像文件的保存格式,4）PSD格式是图像处理软件Photoshop的专用格式(Photoshop Document，PSD)。它可以将所编辑的图像文件中的所有有关图层和通道的信息记录下来，便于今后的修改。在多种图像格式中，PSD的存取速度比其他格式快很多。但目前除Photoshop以外，很少为其他软件和工具所支持。,2.4.3 图像文件的保存格式,5）GIF格式 GIF（Graphics Interchange Format）是CompuServe公司开发的图像文件格式，它采用了压缩存储技术。GIF格式同时支持位图、灰度和索引图像，但最多支持256彩。GIF格式的特点是压缩比高、磁盘空间占用较少、下载速度快、可以存储简单的动画。Internet上的彩色图片、动画多采用此格式。,2.4.3 图像文件的保存格式,6）SWF格式 SWF(Shock wave Format)是利用Flash制作出的一种动画格式。SWF动画是基于矢量技术制作的，因此画面的随意缩放不会影响图像的质量。SWF格式已成为网页动画和网页图片设计制作的主流，并成为网上二维动画的事实标准。,2.4.3 图像文件的保存格式,7）PNG格式 PNG（Portable Network Graphics）是Macromedia公司的Fireworks软件的默认格式。PNG是目前保证最不失真的格式，它汲取了GIF和JPEG二者的优点。PNG用来存储彩色图像时其颜色深度可达48位，存储灰度图像时可达16位。并且具有很高的显示速度，所以也是一种新兴的网络图像格式。与GIF不同的是，PNG图像格式不支持动画。,2.4.3 图像文件的保存格式,结论：（1）图像格式是指计算机中存储图像文件的方法，它们代表不同的图像信息包括矢量图形和点阵图像。（2）图形图像处理软件通常会提供多种图像文件格式，每一种格式都有它的特点和用途。（3）在选择图像文件的输出格式时，应考虑图像的应用目的和应用环境。,2.4.3 图像文件的保存格式,2.4.4 图像素材的采集,图像数据的获取方法(1).使用扫描仪扫入图像(2).使用数字照相机拍摄图像(3).使用摄像机捕捉图像(4).利用绘图软件创建图像以及通过计算 机语言编程生成图像。(5).购买图像光盘。,2.5 计算机动画技术基础,2.5.1 动画概述,2.5.2 计算机动画基础,2.5.3 计算机动画的运行环境和存储方式,动画概述 运动的图画，实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续，即播放的相邻两幅图像之间内容相差不大。,2.5.1 动画概述,按照运动控制方式分类 实时动画：实时动画也称为算法动画，它是采用各种算法 来实现运动物体的运动控制。帧动画：在时间帧上逐帧绘制帧内容称为逐帧动画，由于是一 帧一帧的画，所以逐帧动画具有非常大的灵活性。按照视觉空间分类 二维动画 三维动画,2.5.2 计算机动画基础,FRAME 01 FRAME 02 FRAME 03 FRAME 04 FRAME 05 FRAME 06 FRAME 07,计算机动画计算机动画分为传统的位图动画和矢量动画。动画的存储方式分为：位图和矢量图。位图的制作工具：Adobe Photoshop矢量图的制作工具：Flash,2.5.2 计算机动画运行环境和存储方式,2.6 多媒体视频处理技术基础,2.6.1 视频的基本概念,2.6.2 视频信息的数字化,2.6.3 视频文件格式,视频概述 视频源于电视技术，它由连续的画面组成。这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉。动画和视频 动画：每一帧图像是人工或计算机产生；视频：每一帧图像是通过实时获取的自然景物；,2.6.1 视频基本概念,模拟视频和数字视频模拟视频：每一帧图像是实时获取的自然景物的真是图像信号。优点：成本低、还原性好；缺点：长期存放画面质量会降低；多次复制画面会失真；数字视频：基于数字技术记录视频信息。可以通过视频采集卡将模拟信号经AD转换成数字模拟信号，转换后的数字信号采用数字压缩技术存入计算机存储器中就成了数字视频。优点：可以不失真地多次复制；可以长期存放；可进行非线性编辑；数据量大，必须压缩编码；,2.6.1 视频基本概念,视频信息的获取 将模拟信号数字化 利用数字摄像机拍摄实际景物视频卡的分类 视频采集卡 压缩/解压缩卡 视频输出卡 电视接收卡,2.6.2 视频信息的数字化,视频文件格式 AVI格式 MOV格式：是QuickTime视频处理软件格式；MPEG格式 DAT格式：是VCD和CD数据扩展名，基于MPEG压缩；DivX格式：是MPEG-4编码标准；Microsoft流式视频格式：ASF和WMV RealVideo流式视频格式：RM和RMVB,2.6.3 视频文件格式,本章要点,1、数据压缩相关分类2、数据压缩标准：JPEG、MPEG3、媒体信息数字化的基本过程4、图像与图形之间的关系，数字化特征5、动画与视频之间的关系,