数字媒体及其应用ne.ppt
中国药科大学计算机教研室,第5章 数字媒体及其应用,主要内容,5.0 多媒体技术的相关概念 5.1 多媒体技术的发展和应用 5.2 多媒体计算机的组成 5.3 多媒体数据采集和数字化 5.4 数据压缩技术 5.5*动画技术 5.6*图象技术,中国药科大学计算机教研室,要求,掌握多媒体、多媒体技术和表示媒体的概念，以及多媒体技术的基本特征了解多媒体技术的发展和应用了解多媒体计算机的软、硬件结构掌握多媒体数据的采集和数字化过程（声音、图象、视频）掌握常见的多媒体文件格式及其特点，了解常用多媒体播放软件了解数据压缩的相关概念及两大国际压缩标准,中国药科大学计算机教研室,5.0 多媒体技术的相关概念,中国药科大学计算机教研室,5.0.1 媒体的概念及分类,媒体的概念：媒体是信息的载体，如日常生活中的报纸电视、文本、图象、声音、视频等,中国药科大学计算机教研室,媒体的分类（5类）,感觉媒体（Perception Medium）：直接作用于感觉器官，使人产生感觉的媒体，如引起听觉反应的声音、视觉反应的图象等表示媒体（Representation Medium）：是指为传播或表达信息，按照一定信息编码规则建立的对象，常见的表示媒体有文本、声音、图片、视频和动画等表现媒体（Presentation Medium）：指用于信息输入和输出的设备，如键盘、扫描仪、显示器等存储媒体（Storage Medium）：如各种存储设备传输媒体（Transmission Medium）：指能够传送数据信息的物理介质，电缆、双绞线、光纤等,中国药科大学计算机教研室,多媒体的概念：就是将文本、声音、图形、图象、动画和视频等多种媒体有机的结合在一起综合而成的 信息的一种复杂的表示媒体相关的媒体从时效性上可分为：静态媒体：如文本，图形，静态图象时变媒体：如声音、动画、视频,5.0.2 多媒体,5.0.3 多媒体技术,多媒体技术（Multimedia Technique）就是计算机交互、综合处理多种媒体信息-文本、声音、图形、图象、视频和动画等，将多种媒体有机地结合在一起，通过计算机及其它电子设备进行处理和控制，并支持完成一系列交互操作的信息技术。该技术几乎包含了当今计算机领域内最新的硬件和软件技术。,5.0.4 多媒体技术的基本特征,多样性：即处理媒体的多样性，多种媒体信息-文本、声音、图形、图象、视频和动画等交互性：既用户对多媒体的可操控性，用户可控制播放内容、可检索所需信息、可提问和作答、录入与输出等实时性：展现在视频播放的连续性等方面集成性：一是指把不同的媒体设备集成在一起，形成多媒体系统，如多媒体计算机的软、硬件集成；二是指多种媒体信息集成在一起使用的便捷性：网络服务都使用了多媒体技术,5.0.5 多媒体计算机,多媒体计算机（Multimedia Personal Computer,MPC）一般来说指：能够对多种媒体进行综合处理，支持研制或播放多媒体产品的计算机多媒体计算机一般以基本计算机为基础，提高其处理多媒体的能力，如CPU中增加MMX（Multimedia Extension多媒体增强指令集），配备大容量的存储设备、安装支持多媒体功能的操作系统及多媒体处理用的相关软件、配置高质量显卡和显示器以及其它相关外围设备等,中国药科大学计算机教研室,5.1 多媒体技术的发展和应用,中国药科大学计算机教研室,5.1.1 多媒体技术的发展,初期阶段 Amiga是世界上第一台真正的多媒体计算机，1985年由美国Commodore公司推出；同年CD-ROM被Philips和Sony联合推出；1990年Microsoft的Windows3.0正式推出标准化阶段PMC-4.0标准（表5-1），主要是对高质量硬件的要求,中国药科大学计算机教研室,发展至今天：在许多技术上都得到了相当大的发展数据压缩技术：存储管理技术：1990年Informis的多媒体关联数据库Online就被提出了软件设计技术：可视化程序设计，OOP超媒体技术（HyperMedia Technique）：是多媒体信息的一种组织技术，支持跳转阅读，最好的例子就是WWW和帮助文件,中国药科大学计算机教研室,5.1.2 多媒体技术的应用,多媒体技术的应用十分广泛：如学习、教学、产品发布、形象设计、游戏、影视作品出版发行、网络服务等等,中国药科大学计算机教研室,5.2 多媒体计算机的组成,中国药科大学计算机教研室,5.2.1 多媒体计算机的硬件组成,硬件组成=基本配置+扩展设备,中国药科大学计算机教研室,5.2.2 多媒体计算机的软件组成,多媒体驱动软件：如声卡驱动程序、显卡 驱动程序、视频卡驱动程序等多媒体操作系统：其基本功能就是提供处理多媒体信息的各种基本操作和管理方法，使得各种媒体硬件和谐工作，支持实时同步播放。Windows就是一种典型的通用多媒体操作系统。多媒体数据准备软件：是用于采集、合成各种媒体元素的工具软件，如音频编辑软件Sound Edit、Cool Edit，三维动画制作软件Animator、3DSMAX，图象编辑软件Photoshop、CoreDraw，视频编辑处理软件Adobe Premimere、Media Studio等等多媒体创作软件：是提供给创作者制作多媒体作品的工具。如Authorware、Flash MX、Photoshop 7.0、Tool Book、Director等多媒体应用系统：是多媒体平台上设计开发的面向应用的多媒体作品，如网络电玩等,中国药科大学计算机教研室,5.3 多媒体数据采集和数字化,5.3.1 多媒体数据采集,数据采集的概念 就是将文本、声音、图形、图象、视频等这些媒体转换成计算机所能识别的数字信号的过程，即用0、1序列表示,常用采集方法：,文本采集：常用手工录入或扫描+识别声音采集：计算机软件录制如total recorder、录音机录制+音频输入/输出功能+音频截取图形、图象采集：计算机软件绘制、扫描仪扫描、数码相机拍摄、从屏幕截取、从视频捕获（用视频卡自带程序或播放程序）视频采集：视频卡+数码摄象机、视频卡+有线电视信号后期处理：如格式转换、除噪等等可使用我们前面提到的编辑软件实现,5.3.2 声音信息的数字化,1.模拟信号（Analog）和数字信号(Digital)的概念：模拟信号是一种指时间和幅度上都连续的信号，相应的数字信号是前者的一个子集，是对前者经采样（时间离散化）、量化（幅值离散化）、编码（可能压缩）而得到的近似表示前者的数据序列。,2.声音信号的数字化过程,方法：取样（sampling）：时间离散化量化（quantization)：幅值离散化编码（encoding）硬件实现：声卡中的A/D转换器,3.相关概念及定律,采样定律：fs2f 意思是如果采样频率fs2倍的采样信号最高频率，就可以根据所采样本还原出原来的声音，实现无损数字化（Lossless digitization）采样精度 由表示样本时所采用的二进制位数决定，如样本用16位表示，样本数据值则是065535中的一个数字，精度就是1/65536,中国药科大学计算机教研室,4.声音信息的计量,问题 一个声音文件中的声音取样频率为44.1kHz,量化位数8位,声道数2,声音播放时间为10分钟,不采用压缩技术,请估计该文件约有多大?计算公式 文件的字节数=采样频率量化位数声道数时间8注意：单位必须一致,中国药科大学计算机教研室,5.声音文件的格式,常见格式及相应的文件扩展名,中国药科大学计算机教研室,WAV文件,即波形文件，是微软专门为Windows设计的波形文件存储格式。文件扩展名：.WAV 获取过程：采样+量化+编码 缺点是：文件太大 适用于所有声音,MIDI文件,MIDI(Musical Instrument Digital Interface)乐器和计算机等电子设备之间交换信息与控制信号的一种标准协议文件扩展名：.MID.RMI文件内容：是指令集，指示MIDI设备发出规定的演奏音符、决定演奏多长时间、音量的变化和生成音响效果等优点是：文件小，容易编辑，是几乎所有多媒体创作软件都支持的背景音乐格式仅适用于音乐,MP3文件,MP3(MPEG Audio Layer 3)是MPEG（Moving Picture Expert Group活动图象专家组）制定的音频压缩协议之一，其压缩原理重要是抛弃人类无法辨识的那部分声音，压缩比一般可达到1:101:12文件扩展名：.mp3一首30M的WAV格式的歌曲，转换成该格式，文件大小仅3M左右,其它格式文件,RMI是Microsoft公司的MIDI文件格式 VOC是Creative公司的MIDI文件格式 AIF是Apple公司的专用音频文件格式 SND是Next计算机的波形音频文件格式,中国药科大学计算机教研室,6.音频处理与编辑软件,录音机：可录制和编辑WAV文件CD播放机：播放CD媒体播放机（Media Player）：可用于播放当前最流行格式的音频、视频和混合型多媒体文件豪杰超级音频解霸3000：是一个万能音频播放器，可以实现压缩、解压缩音频文件、卡拉OK、播放VCD及CD音频，甚至读TXT文件、转换MP3格式、MP3数字抓轨（抓取CD歌曲转为MP3格式）等功能另有网上在线收听用的RealPlayer、专门播放MP3的winamp、播放DVD光盘中音频文件的PowerDVD、可实现格式互转的Total Recorder等,中国药科大学计算机教研室,5.3.3 图象信息数字化,（1）图象的属性 分辨率：是一副图象的象素密度的度量方法，是该图象横向象素数纵向象素数，如：一副320 240的图象，共76800个象素 注：不同于显示分辨率，后者是显示屏的属性 象素深度：是指存储每个象素所用的位数，一般指表示象素的颜色值所用的二进制的位数。如：黑白图的象素深度是1，灰度图的象素深度是8，真彩色图的象素深度是24 位平面数及灰度级：真彩色图的位平面数是3，每个分量的灰度级是28，黑白图和灰度图的位平面数都是1，黑白图的灰度级是21，灰度图的灰度级是28,中国药科大学计算机教研室,（2）常见图象的表示,黑白图象的表示,Black and white image,中国药科大学计算机教研室,灰度图象的表示,Gray scale image,中国药科大学计算机教研室,彩色图象的表示,中国药科大学计算机教研室,（3）位图和矢量图,位图（Bit Mapped Image）：也叫点阵图，对应位图文件，是描述图象的一种方法，该方法先把图象切割成许许多多的象素，然后用若干二进制位描述每个象素。适用于所有图象的表示。矢量图（Vector Based Image)：是表示图象的另一种方法，对应图形文件，相当于先把图象切割成基本几何图形，然后用很少的数据量分别描述每个图形。比较：矢量图以基本几何图形为单位描述，而基本几何图形的描述很简单，如直线可用类型、起点、终点颜色几个值描述，因此矢量图文件很小，而且放大不变形，但仅限于描述结构简单的图象，且必须使用专用的绘图程序（如Draw Programs）才可获得这种图，计算机显示时由于要计算，相对较慢,中国药科大学计算机教研室,（4）常见的图象文件格式,BMP格式：是Windows采用的图象文件存储格式，通用性很好，在Windows下运行的图象处理软件都支持该格式。对应的文件扩展名是.bmpGIF格式：是图形交换格式（Graphics Interchange Format），是由美国最大的在线信息服务公司CompuServe开发的图象文件存储格式。其中GIF87a文件格式用以存储单副图象，GIF89a用于一个文件存储多副图象，这些图象可以象幻灯片一样播放或象动画那样演示。网络上许多微小动画就是用这种方法制作的。对应的文件扩展名是.gif,JPEG格式：（Joint Photographic Expert Group）：是ISO和IEC联合图象专家组制定的静态数字图象压缩编码标准。压缩比约20：1，是有损压缩，但人类视觉无法分辨失真。该格式常用于图象预览和超文本文档。对应文件扩展名是.jpgTIFF格式：（Tagged Image File Format）文件格式的出现就是为了便于各种图象软件之间的图象数据交换，是一种多变的图象文件格式标准。该格式的文件有压缩和非压缩的两类，后者独立于软硬件。具有良好的兼容性。该格式主要用于扫描仪和桌面出版物。是工业标准格式。对应的文件扩展名是.tif,PNG格式：(Portable Network Graphic Format,流式网络图形，读成ping)，是企图替代gif和tiff格式的，可用于网络图象的传输。采用的是无损压缩算法。对应文件扩展名是.pngWMF格式：WMF（Windows Meta File）是一种比较特殊的格式，可以说是位图和矢量图的混合体，在桌面出版物中应用广泛，如Microsoft Office中的剪贴画就是该格式,中国药科大学计算机教研室,（5）图象处理与编辑,mspaint.exe：可以制作位图，并实现几种格式转换抓屏实现：PrintScreen：抓取整个屏幕信息Alt+PrintScreen：抓取活动窗口信息豪杰超级解霸3000：单击控制面板上的拍照按钮可以拍摄下当前画面，通常获得的图象被保存为bmp或pcx格式,中国药科大学计算机教研室,练习,一副480320的256色位图，所占存储空间约为多少字节？重要公式：文件的字节数=每象素所占位数行象素数列象素数8注：图象颜色数=2每象素所占位数,中国药科大学计算机教研室,5.3.4 视频信息处理,（1）视频相关概念帧：视频中的每一副图象帧频率：每秒播放的帧的数目PAL制式：中国和欧洲使用的电视系统制式，帧频率25NTSC制式：美国和日本使用的电视系统制式，帧频率30以上二者帧频率都25,中国药科大学计算机教研室,（2）常见视频文件格式,AVI(Audio Video Interleaved音频视频交错)格式:分非压缩和压缩两种,前者通用性很好，但文件庞大，后者压缩比大时，画面质量不太好MOV格式：原是QuickTime for Windows的专用文件格式，也使用有损压缩技术，音频视频混排，一般认为较AVI格式图象质量好,MPG格式：是计算机上的全屏幕运动视频标准文件格式，目前已日益普及。该格式文件使用MPEG压缩，可用于1024768分辨下，以帧频24、25或30播放有128000种颜色的全屏幕运动视频图象，并配以CD音质的伴音信息。DAT格式：是VCD及卡拉OK CD专用的视频文件格式，也采用MPEG压缩、解压缩。如果计算机配备视频卡或安装解压缩程序如超级解霸就可播放FLIC格式：采用的是无损压缩，画面效果最好，在人工或计算机生成的动画方面使用该格式较多。播放该格式文件需要Autodesk公司的MCI(多媒体控制接口)驱动和相应的播放程序AAPlay,中国药科大学计算机教研室,（3）视频编辑与处理,常用播放软件：Windows自带的Media Player：用于接收目前流行的音频、视频及混合型多媒体文件，还支持流媒体文件的播放（.asf）豪杰超级解霸3000：除支持多种流行文件格式外，还支持在线播放，RM格式及DVD文件播放,中国药科大学计算机教研室,RealOne Player：是一个网上在线收看音频、视频和Flash动画的最佳工具另有金山影霸播放器KingPlayer，Power DVD，QuickTime等也很流行常用视频编辑软件有Premiere、Video For Windows、Digital Video Productor等,中国药科大学计算机教研室,5.4 数据压缩技术,中国药科大学计算机教研室,5.4.1 数据压缩的处理过程,编码（Encoding）过程：对原始数据经过编码进行压缩解码（Decoding）过程：对编码数据进行解码，还原为可以使用的数据,中国药科大学计算机教研室,5.4.2 好的数据压缩技术的标准,压缩比大实现压缩的算法简单，压缩、解压缩速度快恢复效果好，尽可能接近原始数据或失真人类难以辩识,中国药科大学计算机教研室,5.4.3 数据压缩方法,按压缩前后数据是否一致可分为：有损压缩：有失真，编码不可逆，主要用于声音、视频、图象的压缩无损压缩：无失真，编码可逆，主要用于文本压缩按压缩方法的原理分一般有6大类 预测编码、变换编码、信息熵编码 结构编码、统计编码、行程编码,中国药科大学计算机教研室,5.4.4 压缩编码标准,（1）JPEG标准：是国际标准化组织ISO和国际电工委员会IEC组成的联合图象专家组JPEC制定的、静态图象的压缩编码标准。,中国药科大学计算机教研室,（2）MPEG标准,MPEG标准：是ISO和IEC联合成立的活动图象专家组（Moving Picture Expert Group）MPEG制定的一系列标准，包括音频、视频和MPEG系统三大方面，常见的有MPEG-1：数字电视标准，如：大多数VCDMPEG-2：也是数字电视标准，可以适应普通电视节目、会议电视、高清晰度数字电视等不同质量的视频应用，如：DVD,中国药科大学计算机教研室,MPEG-4：多媒体应用标准。拥有更高的压缩比，可以用更小的存储空间和通信带宽提供与DVD不相上下的高清晰视频，如Internet上的DivX和XviDMPEG-1 Layer III：音频压缩标准，如mp3音乐,中国药科大学计算机教研室,补充习题,一副480320的真彩色位图，所占存储空间约为多少字节？一个声音文件中的声音，取样频率44.1kHz,量化位数16位,声道数2,声音播放时间10分钟,不采用压缩技术,请估计该文件约有多大?衡量一个压缩算法好坏的标准是什么？,
