多媒体应用技术基础.ppt

1,第四章 多媒体技术基础,本章内容多媒体的概念声音处理图像处理动画处理视频处理,2,3.1 多媒体的概念,媒体(Media)是指承载或传递信息的载体。媒体具有多种形式：1.存储信息的实体载体，如纸张、磁盘等；2.表述信息的逻辑载体，如文字、声音、图形、图像等。,3,1、媒体的分类,根据CCITT的定义，媒体可分为五种：感觉媒体：例如声音、文字、图像及物质的质地、形状等。表示媒体：例如语言、图像、视频的编码方式。显示媒体：例如输入显示媒体（键盘等）和输出显示媒体（显示器等）。存储媒体：例如磁盘、光盘等。传输媒体：例如双绞线、光纤等。,4,2、多媒体与多媒体技术,通常人们将各种感觉媒体包括文字、声音、图形、图像、动画、视频称为多媒体。多媒体技术：以计算机为中心，把语音、图像和视频处理技术等集成在一起的技术。多媒体技术涉及：数字化信息处理技术、音频和视频技术、计算机软硬件技术、人工智能和模式识别技术、通信和网络技术。,5,3、多媒体计算机系统,多媒体计算机系统的组成：硬件系统软件系统（操作系统）多媒体API（应用程序接口）多媒体创作工具软件多媒体应用系统,6,4.2 声音处理基础,1、音频信号的类型音频信号可分为两类：语音信号和非语音信号。,规则音频是一种连续变化的模拟信号，可用一条连续的曲线来表示，这条曲线可分解成一系列正弦波的线性叠加。,7,2、音频的数字化过程,计算机要处理音频信息，首先要将模拟音频信号（如语音5.7 Internet的服务 与应用、音乐等）转变成数字信号，这个过程称之为模数转换（AD）。模拟信号数字化过程的三个步骤：采样、量化和编码。,8,1）采样,采样是指用每隔一定时间间隔，在模拟声音的波形上取一个幅度值，把时间上的连续信号变成时间上的离散信号。采样周期：即采样的时间间隔，（其倒数为采样频率）采样频率：每秒钟对模拟信号的采样次数目前最常用的三种采样频率分别为：电话效果（11 kHz）、FM电台效果（22 kHz）和CD效果（44.1 kHz）。,9,2）量化,量化：对声波波形幅度的数字化。量化位数：量化时采用的二进制位数，位数越多，精度也越高，音质越细腻。例如，用16个二进制位（bit）表示声音，可将声音强度分为216=65536级。每秒声音的数据量=采样频率量化位数声道数/8（字节）,10,采样率为2000Hz，量化等级为20的采样量化过程,在相同的采样频率下，量化位数愈高，声音的质量越好；在相同量化位数的情况下，采样频率越高，声音效果也就越好。,11,编码：是按照一定的格式，把量化后的值用二进制数字表示，并加入一些纠错、同步和控制的数据。常用的编码方式：脉冲编码调制（PCM），特点是抗干扰能力强、失真小、传输特性稳定。,3）编码,12,3、数字音频的文件格式,波形文件.wav WAV文件来源于对声音模拟波形的采样，并以不同的量化位数把这些采样点的值转换成二进制数，然后存入磁盘。WAV文件支持多种压缩算法，支持多种音频位数、采样频率和声道，但文件尺寸过大。,Microsoft公司,13,MPEG音频文件.mp1/.mp2/.mp3 这里的音频文件格式指的是MPEG标准中的音频部分（音频层）。根据压缩质量和编码处理的不同分为3层，分别对.mp1/.mp2/.mp3这3种声音文件。MPEG音频文件的压缩是一种有损压缩,其中MPEG3音频编码具有10：112：1的高压缩率，用.mp3格式来储存，一般只有.wav文件的1/10，而音质要次于CD格式或WAV格式的声音文件。使用Winamp播放。,14,RealAudio文件.RA/.RM/.RAM 一种新型流式音频（Streaming Audio）文件格式，使用Real Player播放。特点：可以实时传输音频信息，尤其是在网速较慢的情况下，仍然可以较为流畅地传送数据，因此RealAudio主要适用于网络上的在线播放。,RealNetworks公司出品,15,VOC文件 VOC文件是Creative公司的波形音频文件格式，也是声霸卡使用的音频文件.AIFF文件.AIF/.AIFF 苹果公司开发的声音文件格式，被Macintosh平台和应用程序所支持。CD音乐格式.CDA CD存储采用了音轨的形式，其取样频率为44.1kHz，16位量化位数，是一种近似无损的格式。,16,MIDI文件.MID/.RMI MIDI是数字乐器接口的国际标准，规定了使用数字编码来描述音乐乐谱的规范。计算机就是根据MIDI文件中存放的对MIDI设备的命令，即每个音符的频率、音量、通道号等指示信息进行音乐合成的。MID文件的优点是短小；缺点是播放效果因软、硬件而异。ASF文件.ASF/.WMA ASF和WMA都是微软公司针对Real公司开发的新一代网上流式数字音频压缩技术。这种压缩技术的特点是同时兼顾了保真度和网络传输需求，所以具有一定的先进性。可以利用WinAMP或媒体播放机播放。,17,4.3 图像处理基础,1、计算机图像处理的概念 图像处理就是对图像信息进行加工处理，以满足人的视觉和实际应用的要求。主要内容包括：图像数字化图像变换图像编码压缩图像增强与重构图像分割图像识别,图像来自客观世界，通常由扫描仪、数码相机或视频采集装置等设备获取。,18,2、图像的数字化过程,图像数字化过程分为：采样、量化和编码。1）图像采样是将二维空间上模拟的连续亮度或色彩信息，转化为一系列有限的离散数值。,像素,把图像分割成离散的小区域即像素。,一幅图像是MN个像素的集合，MN表示图像的分辨率。,19,2）图像量化是将采样值划分成各种等级，用一定位数的二进制数来表示采样的值。量化位数越大，则越能真实地反映原有图像的颜色。但得到的数字图像的容量也越大。3）图像编码是按一定的规则，将量化后的数据用二进制数据存储在文件中。位图文件（.bmp）：Microsoft Windows 中使用的一种非压缩图像文件格式。,20,常见的几种位图图像：黑白图像：每个像素点仅用1bit表示。灰度图像：每个点由从0(黑色)到2n(白色)的亮度值来表现，其中间的值来表现不同程度的灰。每个像素点用nbit表示。彩色图像：任何一种颜色均可台用红、绿、蓝三种原色调配出来。每种颜色用若干位来表示。,21,例：一张分辨率为800600的256色的图像需要多少的存储空间？,位图存储量=像素点个数*每像素占用空间,位转换为字节,800*600*8/8=480000Byte 480KB,像素点个数,256=28个不同的色彩，用 8位表示,22,3、位图与矢量图,计算机可以处理的图可以分成两类：数字图像和图形。数字图像：模拟图像经过采样，量化和编码得到的数字信号，以位图的形式存储；图形是由计算机软件生成或数学公式计算生成（形状、大小及色彩），以矢量图的形式存储。,23,1）位图位图(Bitmap)是由许多的像素组合而成的平面点阵图，其中每个像素的颜色、亮度和属性是用一组二进制像素值来表示的，因此数据量大，适合表现层次和色彩丰富，细致的图像。常用图像处理软件：画笔、Photoshop。,24,2）矢量图矢量图使用直线和曲线来描述图形，这些图形的元素是一些点、线、矩形、多边形、圆和弧线等等，它们都是通过数学公式计算获得的，因此矢量图形文件体积一般较小。矢量图形优点是无论放大、缩小或旋转等不会失真；缺点是难以表现色彩层次丰富的逼真图像效果。矢量图形设计软件：AutoCAD、CorelDRAW等,25,图形与图像的联系 在实际应用中，图形图像技术是相互关联的，二者结合可以使视觉效果和质量更完善。随着图形图像技术的发展，两者间相互交叉、相互渗透。,26,4、图像的压缩与编码,数据之所以能够压缩是基于原始信源的数据存在着很大的冗余度。图像压缩：采用编码技术来压缩图像信息的比特量。图像压缩分类：有损压缩和无损压缩。经典压缩编码方法：预测编码和变化编码。,27,5、图像文件格式,位图文件.bmp/.dib BMP(Bitmap)是Windows中的标准图像文件格式，可达24位全彩色模式，与设备无关，一般不压缩。JPEG文件.jpg/.jpeg JPEG压缩率高，并且最小化图像质量损失。它是数码照相时保存的格式,也可以用作网页图像。注意：由于采用有损压缩，一个太高的压缩率会导致图形质量变差。,28,GIF文件.gif GIF 图像色彩丰富，压缩率较高，GIF 格式还支持动画，它是网页图片的标准格式。TIFF文件.tiffPCX文件.pcxMAC PAINT.MPT/.MACPHOTOShop格式.PSD,29,4.5 视频处理,1、视频的定义 视频是其内容随时间变化的一组动态图像，所以视频又叫运动图像或活动图像。视频信号的特点：图像内容随时间变化 伴随有与画面动作同步的声音图像与视频的区别：静止的图片称为图像，视频是运动的图像；信源方式不同。,30,2、视频的分类,按照处理方式的不同：视频分为模拟视频和数字视频。模拟视频：是一种传输图像和声音的连续的变动电信号。数字视频(digital video-DV)：经过数字化的视频信号。,31,3、常见的数字视频文件：,1）AVI文件.AVI AVI是音频视频交错（Audio Video Interleaved）的英文缩写，它是Microsoft公司开发允许视频和音频交错在一起同步播放，AVI文件目前主要应用在多媒体光盘上，用来保存电影、电视等各种影像信息。,32,2）MPEG文件.MPEG/.MPG/.DATMPEG文件格式是运动图像压缩算法的国际标准，它包括MPEG视频、MPEG音频和MPEG系统(视频、音频同步)三个部分。MPEG的平均压缩比为501，最高可达2001，压缩效率非常高，同时图像和音响的质量也非常好。MPEG1是VCD的视频图像压缩标准；MPEG2是DVD的视频图像压缩标准；MPEG4是网络视频图像压缩标准之一，特点是压缩比高、成像清晰，数据的损失很小。主要应用于视像电话、视像电子邮件等，对传输速率要求较低。,33,3）RealVideo文件.RA/.RM/.RMVB RealVideo文件是RealNetworks公司开发的一种新型流式视频文件格式，主要用来在低速率的广域网上实时传输活动视频影像，可以根据网络数据传输速率的不同而采用不同的压缩比率（RMVB），从而实现影像数据的实时传送和实时播放。4）MICROSOFT流媒体文件.ASF/.WMV5）QuickTime文件.MOV Apple公司开发的QuickTime文件格式作为开发MPEG-4规范的统一数字媒体存储格式。,