多媒体技术概述g.ppt

学习目标,本课程可作为计算机专业本科生及其它专业研究生选修课。通过本课程的学习，使同学了解多媒体计算机发展趋势，掌握多媒体计算机的基础理论知识、熟悉多媒体计算机的应用领域，从而使同学能够设计开发多媒体计算机硬件和软件系统以及多媒体的应用系统。,学员要求：（具备的相关知识）,为了学好本课程，希望学员先修：（1）数字逻辑电路；（2）操作系统；（3）计算机原理；如果有可能可以辅修：（1）数字信号处理；（2）数字图象处理；（3）数字音频信号处理；（4）模式识别；（5）计算机视觉等课程的相关章节。,课程要求：（学习本课程的要求）,1了解多媒体计算机的关键技术、现状及发展趋势2掌握多媒体计算机的基础理论知识3熟悉多媒体计算机的应用技术,第01章 多媒体技术概要,课前思考：何谓多媒体呢？多媒体译自英文的“multimedia”，multimedia是20世纪80年代初产生的一个英文名词。1976年首次用到“Multiple Media”一词，其中“Multiple”的意思是明确的，是“多”的意思，“Media”是“Medium”的复数形式。媒体（Medium）在计算机领域中有两种含义，一是指用以存储信息的实体；另一是指信息的载体，如数字、文字、声音、图形和图像。多媒体技术中的媒体是指后者。,课前思考,什么是多媒体计算机技术呢？多媒体与目前的电视有何异同？多媒体计算机是如何分类的？普通计算机和多媒体计算机有区别吗？要把普通计算机变成多媒体计算机要解决的关键技术有哪些呢？为什么说多媒体技术促进了通信、娱乐和计算机的融合呢？,学习目标,通过本章的学习，使同学对多媒体计算机的基本概念、发展现状和发展趋势有一定的了解和掌握。本章有三个层次的要求：掌握 多媒体计算机的定义、分类；理解 什么是多媒体计算机的关键技术、多媒体技术和计算机的融合解决了哪些实际问题；了解 多媒体计算机发展史上卓有成效的公司和系统、多媒体计算机的应用、发展现状和进一步的发展趋势。,多媒体技术,多媒体技术是计算机技术发展的一次飞跃，它融计算机技术、数字图像和语音处理技术、数据压缩与存储技术以及微电子技术为一体。因此，应用多媒体技术是计算机的一个时代特征。,媒体（medium）,媒体是指承载信息的载体。,信息媒体文本(Text)TXTRTFDOC纯文本或非格式化文件格式化文件格式（style)、定位（align）、字体（font）、大小(size),信息媒体音频(Audio)WAV,MIDIMP3,Music Instrument Digital Interface,信息媒体动画(Animation),Flash(矢量)GIF(帧动画)FLC,信息媒体视频(Video)AVIMPEGMOVDAT(VCD),信息媒体图像(Image)BMP DIB Windows and OS/2 BitmapsGIF Graphics Interchange Format(强压缩)JPG PIC Standard JPEGPCD Kodak PhotoCDPSD Photoshop DocumentTIF Tag Image File format,根据CCITT的定义，媒体有五种类型：,感觉媒体表示媒体显示媒体存储媒体传输媒体,媒体（medium）,一.感觉媒体,其功能是反映人类对客观环境的感知，表现为视觉、听觉、触觉等感觉形式；媒体内容有文字、语言、音乐、图形、图像、动画、影像、手势等。,感觉媒体 文字,埃及象形文字：foot,中国甲骨文字,释文：旬壬申夕月有食 说明 远在三千年前我国即有关于天文方面的记录，本片甲骨是当时月食的记录。这说明我国具有悠久的文明历史。,汉字：水,感觉媒体 图形、图像,感觉媒体 动画、音频,感觉媒体 视频、音视频,表示媒体即信息的存在形式和表现形式。其功能是定义信息的表达特征；主要表现为计算机数据格式，如ASCII编码、图像编码、音频信号编码、视频信号编码等。,二.表示媒体,表示媒体的空间属性,1D媒体单声道speech,music 2D媒体双声道music;text,image,2D graphics 3D及多维媒体3D graphics,全景图像,空间立体声music,表示媒体的生成属性,自然媒体(使用数字化方法从现实世界获取的媒体)取样声音,image,video合成媒体(使用计算机创建的媒体)合成语音,MIDI,graphics,animation,三.显示媒体,指为人们再现信息的物理工具和设备（输出设备），或者指获取信息的工具和设备（输入设备）。如：显示器、扬声器、打印机等输出类显示媒体，以及键盘、鼠标器、扫描器等输入类显示媒体。,四.存储媒体,指存储数据的物理介质，如磁盘、光盘、磁带、半导体存储器芯片等。,五.传输媒体（双绞线）,指传输数据的物理媒介，用于连续信息的传输，如：双绞线、同轴电缆、光缆、无线电链路、红外无线链路等。,传输媒体（同轴电缆）,传输媒体（光缆）,传输媒体（无线传输）,媒体 Medium(Media),媒体（又称媒介、媒质）指的是用于表示、存储、分发、传输和展现数据(信息)的手段、方法、工具、设备或装置。(In general,one describes medium as a means for representation,storage,distribution,transmission and presentation of data.)承载信息的实际载体，如：光盘，磁带，纸。表述信息的逻辑载体，如：文字，图像，语言。,根据与时间的关系可以将媒体划分为：,媒体（medium）,静态媒体：信息的再现与时间无关。如文本、图形、图像等等。连续媒体：具有隐含的时间关系，其播放速度将影响所含信息的再现。如声音、动画、视频等。连续媒体的引入给传统的计算机系统、通信系统和分布式应用系统提出了更高的要求。,媒体的“时变”特征,媒体的“时变”特征：与时间无关“离散媒体:time-independent(discrete)media”如:text，graphics，static image，与时间有关“连续媒体:time-dependent(continuous)media”如:speech，music，video，animation，,媒体的“感知”特征,支持视觉的媒体-文字，图像。支持听觉的媒体-语音，音乐。同时支持听觉和视觉的媒体-带有声音的视频。(如：MTV，影视作品)。,计算机与媒体,计算机所处理的几种媒体,文本(Text)ASCII码。图形(Graphics)用几何形状表述的物体表象。图像(image)一个区域内带有属性的象素点集合。声音(Sound)由波形描述的音频信号。采样精度。音乐(Music)MIDI标准。乐器类型、音符、基频。语音(Speed)语音识别和语音生成。动画(Animation)定义轨迹、关键帧或动画语言。视频(Video)带有声音的视像信号统称。多样性。,多媒体（multimedia）是融合两种或者两种以上媒体的一种人机互动的信息交流和传播媒体。,多媒体,多媒体定义有人把多媒体看成三种“革命”因素的总和：一是在通信中结合了电视中的音像能力；其二是出版发行的能力；其三是计算机交互处理的能力。多媒体的定义可以是：多媒体是指能够同时获取、处理、编辑、存储、和展示两个以上不同类型信息媒体的技术。这些信息媒体包括文字、图像、图形、动画和活动图像等。更一般的说，多媒体是指独立的机器可处理的以各种媒体表示的信息的生成、表示、处理、存储、检索和分布。这些信息是以多种依赖于时间或与时间无关的诸如数据、文本、声音、图表、图像、音响和电视等多种媒体来表示的。,多媒体的主要特性,以计算机为中心：信息的获取、处理、存储、传输和展示都是在计算机控制下完成的。集成性：多种信息媒体的集成、处理这些媒体的设备的集成。交互性：人的活动（activity）本身能作为一种媒体介入到信息转变为知识的过程。数字化：多媒体信息都是以数字的形式而不是以模拟信号的形式存储和传输的。,多媒体的特性信息载体的多样性信息载体的多样性是相对于计算机而言的，指的就是信息媒体的多样化，有人称之为信息多维化。,视觉味觉嗅觉,20%,65%,触觉听觉,10%,2%,3%,多媒体的特性交互性交互可以增加对信息的注意力和理解力，延长信息保留的时间。当交互性引入时，“活动”本身作为一种媒体便介入到了数据转变为信息、信息转变为知识的过程之中。当我们完全地进入到一个与信息环境一体化的虚拟信息空间自由遨游时，这才是交互式应用的高级阶段，这就是虚拟现实（Virtual Reality）。,多媒体的特性交互方式意味着用户在多媒体信息表示期间对正发生的事可能有某些形式的控制能力。最简单的交互活动是用户仅能够选择显示开始的时间、次序、速度或信息项形式。第2个级别的方式是用户的输入能够被记录，以便加注、修改或者丰富信息的内容。第3个级别的方式涉及了对用户输入的准确处理和由计算机产生真正的应答。,多媒体的集成性,多媒体和电视有什么不同？,超媒体,超文本(hypertext)包含指向其他文档或文档元素的指针的电子文档。超媒体（hypermedia）由文字、声音、图形、图像或电视等媒体元素组成相互关联的超文本系统，用户可方便地浏览与主题相关的内容；它提供一种符合人类思维习惯的工作和学习环境。,三大信息技术联合,多媒体的起源与发展,电视会议,多媒体技术的主要发展方面,多媒体计算机系统,多媒体计算机系统是围绕着计算机构成的，并在计算机的控制之下：以交互方式表示信息；捕获、处理和产生信息；提供共享存储能力；传送多媒体信息。,多媒体计算机系统是复杂的硬件、软件有机结合的综合系统，它把音频、视频等媒体与计算机系统融合起来，并由计算机系统对各种媒体进行数字化处理。和计算机系统类似，多媒体计算机系统由多媒体硬件系统和多媒体软件系统组成。,多媒体系统组成和技术支撑,多媒体系统层次结构图,多媒体计算机硬件系统,多媒体硬件系统基本组成,1）主机,可以是：中、大型机工作站多媒体个人计算机，即MPC（Multimedia Personal Computer）,2）多媒体接口卡,常用的接口卡有声卡、显示卡、2D、3D加速卡、图像压缩卡、视频压缩/解压缩卡、视频采集卡(捕获卡)、视频播放卡、光盘接口卡等。,3）多媒体辅助设备,按功能分：视频、音频插入设备摄像机、录像机、扫描仪、传真机、数字相机、话筒视频、音频播放设备电视机、投影电视、大屏幕投影仪、音响人机交互设备键盘、鼠标、触摸屏、绘图板、光笔及手写输入设备存储设备大容量硬盘，CD-ROM，DVD-ROM，,多媒体计算机软件系统,系统软件 多媒体驱动软件 多媒体接口程序 多媒体操作系统 多媒体媒体素材制作软件 多媒体库函数 多媒体创作工具和开发环境应用软件 包括在多媒体创作平台上设计开发的面向应用领域的软件,多媒体操作系统（1）,（一）操作系统对多媒体的支持 早期的操作系统如UNIX、MS-DOS等不支持多媒体。现在许多操作系统，如UNIX、Linux、Windows等都支持多媒体，但是都是在原来操作系统内核基础上修改的，且基于CD-ROM的单机多媒体，不支持分布式多媒体。,多媒体操作系统（2）,1多媒体应用的需求(1)具有接纳控制（Admission Control）功能。测试当前系统可利用的资源是否能够满足应用提出的QoS(Quality of Service)参数。(2)资源的调度和控制机制必须能够达到应用对资源充分的共享。不同的资源要有不同的调度和控制机制。对互斥访问的资源，必须有效地调度，必须能够按优先级区分实时调度和公平调度。,多媒体操作系统（3）,(3)能够对应用实际使用的资源数量进行统计。(4)具有自适应机制。对于网络带宽，可利用的资源是动态变化的，这一点在Internet上表现得尤为突出。系统要能够和应用协商动态调整QoS参数(降低、提高)自适应可利用网络带宽的变化。(5)资源的释放。,多媒体操作系统（4）,2传统操作系统的不适应性 传统的操作系统，如UNIX、Windows等按照传统目的设计，不能适应多媒体应用的需求。主要表现在下述方面。(1)资源调度机制不适应(2)直接控制资源的权限不适应(3)CPU调度算法不适应(4)文件系统不适应(5)内存的管理不适应(6)IO总线管理不适应,多媒体系统的结构(黄色部分为本教材介绍的内容)(引自),历史及发展现状,计算机具备音频处理能力，标志多媒体技术诞生！英国的ADLIB公司公认的“声卡之父”1984年，最初开发的产品只能提供简单的音乐效果，无法处理音频信号，但在当时无疑已经是一个很大的突破。新加坡CREATIVE创新公司把声卡带入主流市场80年代末、90年代初，推出了Sound Blaster声卡，使其成为了第一代主流多媒体声卡的代名词。Sound Blaster声卡基于ISA总线，具有一个8位的D/A转换器，只支持单声道录放音模式；Sound Blaster Pro是CREATIVE的后继产品、第一代多媒体电脑技术标准MPC1的声卡设备的标准配置。,九十年代中期采样规格上台阶CREATIVE推出了具有16bit、44KHz采样率并支持立体声D/A转换的Sound Blaster 16系列，代表了当时声卡的最高技术水平。波表(WaveTable)合成理念引入声卡CREATIVE的Sound Blaster Awe系列改进了MIDI(Musical Instrument Digital Interface)合成引擎。,PCI声卡带来音频处理革命一种名为“DLS”(Down Loadable Sample)的技术得以实现，使PCI声卡可以支持硬波表；CREATIVE公司的Sound Blaster Live系列和DIAMOND公司的MX300系列；支持 PCI总线133M/s的传输速率高于ISA总线的8MB/s；高速率使声卡拥有了更大的施展空间。,三维音效和四声道技术PCI声卡流行以后，在技术上取得最大突破的当属硬件波表合成技术的成本大大下降以及三维音效、多声道环绕声场在电脑上的普及；YAMAHA YMF-744和C-Media CMI-8738就是这类产品的代表。数码传输初显锋芒采用数码方式输出PCM(Pulse Code Modulation)音频，把D/A转换工作交由数字式音箱或专业解码器来完成，可以适度提高整套音频系统的性噪比。,MPEG推动多媒体技术的快速发展MPEG是动态图像专家组（Moving Pictures Experts Group）该组织始建于1988年，专门负责制定视频和音频标准；MPEG-X版本是指一组由国际电信联盟（ITU，International Telecommunications Union）和国际标准化组织（ISO，International Standards Organization）制定并发布的音频、视频数据的压缩标准。,MPEG-1MPEG-1制定于1992年，是为工业级标准而设计，可适用于不同带宽的设备，如CD-ROM、Video-CD、CD-R等；主要针对1.5Mbps以下数据传输率的数字存储媒质运动图像及其伴音编码的国际标准。每秒播放30帧，CD音质，质量于VHS（家用视频系统）相当。,MPEG-2MPEG-2标准制定于1994年，设计目标是高级工业标准的图象质量以及更高的传输率，它追求的是CCIR601建议的图象质量DVB、HDTV和DVD等制定的3Mbps10Mbps的运动图象及其伴音的编码标准。定名为MPEG-2 AAC（Advanced Audio Coding）标准完成于1997年，经BBC（U.K.）和NHK（Japan）使用、测试表明已达到最优化ITUR601推荐的分辨率，并且对于低比特率的多声道编码能提供相当高的声音质量。,MPEG-4 MPEG-4标准主要应用于视频电话(VideoPhone)，视频邮件(VideoEmail)和电子新闻(ElectronicNews)等；与MPEG-1和MPEG-2相比，它对于传输速率要求较低，MPEG-4就利用很窄的带宽，通过帧重建技术来压缩和传输数据，以求利用最少的数据获得最佳的图象质量；MPEG-4的一个特点是更适于交互服务以及远程监控，是第一个具有交互性的动态图象标准。,MPEG-71996年10月MPEG提出的一个称为多媒体内容描述接口（Multimedia Content Description Interface）的概念，即MPEG-7；MPEG-7的目标是建立一套视听特征的量化标准描述器及其结构以及它们之间的关系，称之为描述方案（DS：Description Schemes）；同时MPEG-7也建立了一套标准化的语言描述定义语言（DDL：Description Definition Language），用以说明描述方案，保证其被广泛采用的扩展性和较长的生命周期。人们可以检索和索引同MPEG-7数据相联系的视听材料，这些标准可以是静态的图片、图形、3D模型、声音、言语、视频和这些元素所组成的多媒体描述信息。,MPEG-21MPEG-21于1999年10月在墨尔本会议上被提出，称为多媒体框架（Multimedia Framework）；多媒体应用技术的不断发展，有关多媒体的标准层出不穷，这些标准涉及到多媒体技术的各个方面；各种不同的多媒体信息分布式的存在全球不同的设备上，通过异构网络有效地传输这些多媒体信息必然需要综合地利用不同层次的技术标准，但现有标准是否能真正做到配套衔接，以及在各个标准之间是否存在缺陷，还需要一个综合性的标准来加以协调。,高性能PC处理能力与互联网，迎来多媒体时代AVI推进视频技术发展AVI（Audio Video Interleave）：为计算机视频存储奠定了一个标准，是微软在WIN3.1 时代发表的旧视频格式；兼容好、调用方便、图象质量好，但是缺点在于需要很大的存储空间。Stream流技术促进网络化媒体技术。Internet上使用较多的流式视频格式主要包括了以下三种：RealNetwork公司的RealMedia；Apple公司的QuickTime；Microsoft公司的Advanced Streaming Format（ASF）。,Stream技术新型网络协议的研究实时传输协议RTP（Real-time Transport Protocol）实时传输控制协议RTCP（Real-time Transport Control Protocol）实时流协议RTSP（Real Time Stream Protocol）资源预留协议RSVP（Resource Reserve Setup Protocol）MPEG普及了计算机视频的应用MPEG技术被广泛的应用在 VCD，DVD的制作和高清晰度电视广播等等。,WAV推进音频处理技术发展WAV波形文件格式（WAVE File Format），在多媒体编程接口和数据规范1.0（Multimedia Programming Interface and Data Specifications 1.0）中有详细的描述。波形文件格式支持存储各种采样频率和样本精度的声音数据，并支持声音数据的压缩。,MIDI定义了乐器与计算机之间交换标准MIDI（Musical Instrument Digital Interface，电子乐器数字接口）用于在音乐合成器（Music Synthesizers）、乐器（Musical Instruments）和计算机之间交换音乐信息的一种标准协议；MIDI是乐器和计算机使用的标准语言，是一套指令。其他各种各种音乐压缩技术:包括MPEG-1 Audio，MPEG-2 Audio，MPEG-2 AAC，MPEG-4 Audio。,多媒体技术主要研究内容,多媒体计算：综合处理多种多媒体信息（如文本、图形、图象、音频和视频），使多种信息建立逻辑连接，集成为一个系统并具交互性。多媒体数据压缩编码和解码 多媒体信息特性与建模 多媒体信息的组织与管理 多媒体信息的表现与交互 多媒体通信与分布处理 多媒体的软硬件平台多媒体应用系统 多媒体技术与其他学科结合,为什么要压缩降低多媒体数据对存储器容量的要求降低多媒体数据对传输带宽的要求两种类型的数据压缩 无损压缩:经过压缩和解压缩后的数据与压缩前的原始数据完全一样的数据压缩技术。文本、代码和数字数据文件必须用无损压缩方法压缩。可把普通文件大小压缩到原来的2550%；常用的无损压缩算法包括哈夫曼编码和LZW等算法。有损压缩：经过压缩和解压缩后的数据与压缩前的原数据不完全一样，但但不影响人对原始资料表达的信息造成误解的数据压缩技术。电视和声音文件经常包括多于呈现给观众和听众的信息，因此可用有损压缩方法去掉这些信息，使压缩后的数据减少到原来的5%,多媒体数据压缩编码与解码,三种类型的编码 熵编码：不考虑数据源的无损数据压缩技术。其核心思想是按照符号出现的概率大小给符号分配长度合适的代码，对常用的符号给它分配长度较短(即位数较少)的代码，对不常用的符号给它分配长度较长(即位数较多)的代码。最常见的熵编码技术是霍夫曼编码和算术编码源编码：考虑数据源特性的数据压缩技术。编码时考虑信号源的特性和信号的内容，因此也称“基于语义的编码(semantic-based coding)”。混合编码：组合源编码和熵编码的数据有损压缩技术。影视、图像和声音媒体几乎都采用这种编码方式，如JPEG，MPEG-Video和MPEG-Audio。,多媒体信息特性研究：媒体种类、性质及相互关系；媒体之间的转换方法、手段；媒体处理特点等。多媒体数据建模方法研究：信息空间如何构成、时间特性如何表示；面向对象的方法如何使用；多媒体之间的关系如何确定、内容如何描述等。,多媒体信息特性与建模,多媒体数据管理研究：种类繁多的多媒体数据、不同的形式与格式；数据量庞大；时间特性（同步关系）与版本概念。多媒体数据模型研究：联邦模型；集中统一数据模型；超媒体数据模型，面向对象模型等。,多媒体信息组织、管理,多媒体信息表现研究：各种媒体在空间上如何组织；时间上如何安排；媒体之间相互作用如何描述和解释。多媒体信息交互研究：MPEG-4标准中提出了媒体交互的概念。,多媒体信息表现与交互,多媒体通信研究目标：位于不同地理位置的参与者之间召开一种会议或进行的交流，通过LAN、WAN、Intranet、Internet或电话网来传输压缩的数字图像和声音信号。多媒体通信与分布处理研究内容：有效的协议、合理的体系结构；分布式系统的协作性；信息交换与信息共享等。多媒体通信的核心技术标准,多媒体通信与分布处理,研究目标：把多媒体和通信技术融合到CPU芯片中多媒体数据的获取、多媒体数据的压缩和解压缩多媒体数据的实时处理和特技、多媒体数据的输出和多媒体通信 研究工作一般遵行的原则：压缩算法采用国际标准；多媒体功能单独解决变成集中解决；体系结构设计与算法相结合。,多媒体的软硬件平台,多媒体视频会议，多媒体远程医疗；多媒体远程教育，多媒体协同设计；多媒体信息检索，多媒体训练系统；多媒体电子出版，多媒体娱乐系统等；,多媒体应用系统开发,多媒体技术与相关学科关系,多媒体技术与网络通讯技术网络多媒体应用对计算机网络通信中的数据传输和处理提出了新的要求数据吞吐量；快速数据转发；服务质量保证（Qos）。多点发送（IP Multicast）,多媒体技术与相关学科关系,多媒体技术与人工智能技术结合文字的识别和输入语音的识别和输入自然语言理解和机器翻译图形的识别和理解机器人视觉和计算机视觉,多媒体技术与相关学科关系,多媒体技术与虚拟现实技术结合虚拟现实是由多媒体技术与仿真技术相结合而生成的一种交互式人工世界，在这个人工世界中可以创造一种身临其境的完全真实的感觉；要进入虚拟现实的环境通常需要戴上一个特殊的头盔（Head-Mounted Display）和数据手套，他可以使你看到并感觉到计算机所生成的整个人工世界，并操作虚拟世界中的各种对象。,多媒体应用,多媒体应用,多媒体邮件多媒体宣传演示系统多媒体出版物、多媒体光盘多媒体会议系统、多媒体办公自动化、CSCW多媒体信息咨询系统、数字化图书馆交互式电视（ITV）、视频点播系统远程医疗、远程教学系统多媒体训练系统、虚拟现实,多媒体研究的主要问题,多媒体信息特性与建模研究多媒体数据的表示技术：声音、图像、视频的编解码技术、数据压缩多媒体数据存储技术：CD技术、DVD技术、海量存储技术、连续媒体的存取策略研究,本章难重点,本章的重点是：多媒体计算机的定义多媒体计算机的分类多媒体计算机的关键技术本章的难点是：多媒体计算机的关键技术掌握了多媒体计算机的定义，不仅可以理解电视与多媒体的异同，而且还可以进一步理解普通计算机和多媒体计算机的区别，也就能进一步掌握把普通计算机变成多媒体计算机要解决的关键技术。,本章知识点,本章的知识点概括如下：多媒体计算机的定义多媒体计算机的分类多媒体计算机的关键技术多媒体技术促进了通信、娱乐和计算机的融合多媒体计算机技术的应用：多媒体数据库、多媒体通信和多媒体创作工具多媒体计算机的发展趋势,本章结束,谢谢同学们！,