多媒体技术概论.ppt

多媒体技术(Multimedia Technology),赵刚信息技术系Email：,课程目标,了解和掌握多媒体技术基本概念理解数据压缩的基本原理和多媒体数据压缩标准的基本知识掌握多媒体及其相关软件的应用方法，提高多媒体技术实践技能为今后开展多媒体领域的研究和开发工作打下良好的基础,第 1 章 多媒体技术概论,第 2 章 多媒体数据压缩基础,第 3 章 数字声音基础与语音编码,第 8 章 多媒体网络技术应用,第 7 章 多媒体数据管理与组织,第 5 章 数字视频基础与压缩编码,教学内容,第 4 章 数字图像基础与压缩编码,第 6 章 多媒体存储与接口设备,课程安排,教学方式课堂教学（34个学时）实验学时（18个学时）自学考试要求期末笔试60%实验20%平时作业及练习20%,学习方法与要求,学习要求:适当做好笔记积极思考参与课堂讨论认真完成习题与实验学习方法理解关键概念领会主要思想和原理勤于查阅相关信息 积极实践，分析和总结问题,1.多媒体技术基础及应用 钟玉琢等编著 清华大学出版社，2000 2.多媒体技术基础 赵子江等编著 北京：机械工业出版社，2004 3.多媒体应用基础(第3版)刘甘娜 北京：高等教育出版社，2003,教材,1.多媒体技术基础 刘清堂等编著 湖北科学技术出版社，2006 2.多媒体技术基础 林福宗编著 北京：清华大学出版社，2000,参考书籍,第1章多媒体技术概论,1.1 多媒体技术的基本概念 1.2 多媒体技术的发展历程 1.3 多媒体技术的研究内容 1.4 多媒体技术的应用领域 1.5 多媒体技术的发展趋势,1.1 多媒体技术的基本概念,媒体（Medium）,感觉媒体（perception medium)：直接作用于人的感官，使人直接产生感觉。包括视觉、听觉、嗅觉和触觉 等表示媒体(representation medium)：是为了加工、处理和传输感觉媒体而人为构造出来的一种媒体，即各种信息的编码和格式。（符号、文字、声音、图象、视频)显示媒体(presentation medium)：是指用于信息的输入或输出的工具和设备，即感觉媒体与用于通信传输的电信号之间转换的一 类媒体，也可以说是感觉媒体与计算机的界面。又可分为两种：输入显示媒体和输出显示媒体。存储媒体(storage medium)：又称存储介质，保存表示媒体的介质。传输媒体(transmission medium)：传输的物理载体，即用来将媒体从一处传送到另一处的物理载体,1媒体的类型,多媒体概念,“多媒体”一词源自“Multimedia”，由Multiple和media复合而成，融合两种或者两种以上媒体的一种人机交互式的信息交流和传播媒体。,多媒体的特征,1.多样性指计算机处理媒体信息种类多样化2.交互性人、机对话，是多媒体技术的关键特征。在多媒体系统中，除了操作上控制自如之外，在媒体的综合处理上也可以随心所欲（最高阶段：虚拟现实）3.数字化媒体以数字形式存在4.集成性包括两方面：一方面是指多媒体技术能将各种不同的媒体信息有机地进行同步组合，形成一个完整的多媒体信息；另一方面是指把不同的媒体设备集成在一起，形成多媒体系统。5.实时性声音、动态图像(视频)随时间变化。,各类文字和符号,文字和符号,多媒体,多媒体,多媒体,多媒体技术所涉及的对象表示媒体,如何从事多媒体教学,一、视觉类媒体,通过计算而描述的矢量图形,文字,图形,矢量图形对象,用像素点描述的自然影像,文字,图形,图像,位图图像对象,单画面矢量动画和多画面帧动画,文字,图形,图像,动画,多画面帧动画,单画面矢量动画,FRAME 01 FRAME 02 FRAME 03 FRAME 04 FRAME 05 FRAME 06 FRAME 07,动画对象,视频数字信号AVI、压缩视频信号MPG,文字,图形,图像,动画,视频,音频+视频Audio Video Information,视频对象,音频数字信号、压缩音频信号,文字,图形,图像,动画,音频,声音 话音 音乐,音频对象,视频,二、听觉类媒体,与环境进行交互的媒体,三、触觉类媒体,1指点：包括间接指点和直接指点。通过指点可以确定对象的位置、大小、方向和方位，执行特定的过程和相应的操纵。,2位置跟踪：为了与系统交互，系统必须了解参与者的身体动作，包括头、眼睛、手、四肢等部位的位置与运动方向，系统将这些位置与运动的数据转变为特定的模式，对相应的动作进行表示。,3力反馈与运动反馈：这与位置跟踪正好相反，是由系统向参与者反馈运动及力的信息，如触觉刺激、反作用力（例如推门时的门重感觉）、运动感觉（例如摇晃、振动）及温度等环境信息。这些媒体信息的表现必须借助于一定的电子、机械的伺服机构才能实现。,微软的桌子,多媒体信息系统,1开发系统：具有多媒体应用的开发能力，系统配有功能强大的计算机，齐全的外部设备和多媒体演示著作工具，主要应用是多媒体应用制作、非线性编辑等。,指利用计算机技术和数字通信网技术来处理和控制多媒体信息的系统。,2演示系统：可完成多种媒体的应用，并与网络连接。主要应用于产品展示和会议演示等。,3培训系统：以个人计算机为基础，配有CD-ROM驱动器、音响和图像接口控制卡连同相应的外设和网络。,4.家庭系统：即家庭多媒体播放系统，就是通常的高档多媒体PC，常用于家庭学习,娱乐等。,一、启蒙阶段1984年，Apple公司，Macintosh系统；1985年，Commodore，Amiga系统（世界上第一个多媒体计算机系统）1986,Philips and Sony，CD-I（交互式紧凑光盘）系统，同时公布了CDROM文件格式（ISO标准）1983,Intel and IBM，DVI（交互式数字视频）系统1988,Action Media 750多媒体开发平台1991,Action Media 750!,1.2 多媒体技术的发展历程1.2.1 多媒体技术发展,二、标准化阶段Microsoft，Philips，NEC等公司组成了多媒体个人计算机MPC(Multimedia Personal Computer)市场委员会。1990年10月，MPC规范1.0；1993年5 月，MPC 2.01996年6月，MPC3.0,1.2 多媒体技术的发展历程,MPC Multimedia Personal Computer 多媒体个人计算机,MPC-1 标准,MPC三项基本标准,设备标准配置推荐配置CPU386 SX 386DX or 486SX时钟16MHz内存2MB4MB硬盘30MB80MB接口串行、并行、游戏棒接口MIDIMIDI合成、混音接口显示VGA模式，分辨率640480，16色256色激光驱动器单速CD-ROM，数据传输速率150KByte/s声音输入/重放mV级灵敏度输入，耳机、扬声器输出声卡8bit/11.025kHz采样，11.025和22.05kHz输出操作系统DOS 3.1版本或以上，Windows 3.0带多媒体扩展模块,1991年公布,设备标准配置推荐配置CPU486 SX or 兼容CPU486DX or DX2时钟25MHz内存4MB8MB硬盘160MB400MB接口串行、并行、游戏棒接口MIDIMIDI合成、混音接口显示VGA模式，分辨率640480，256色65536色激光驱动器倍速CD-ROM，数据传输速率300KByte/s声音输入/重放mV级灵敏度输入，耳机、扬声器输出声卡16bit采样，11.025、22.05kHz和 44.1kHz输出操作系统DOS 3.1版本或以上，Windows 3.1带多媒体扩展模块,1993年5月公布,MPC-2标准,MPC三项基本标准,设备标准配置CPUPentium CPU或兼容CPU 时钟75MHz内存8MB硬盘540MB接口串行、并行、游戏棒接口MIDIMIDI合成、混音接口显示VGA模式，分辨率640480，64K色激光驱动器4倍速CD-ROM，数据传输速率600KByte/s视频播放NTSC 制:30帧/秒，分辨率352240PAL 制:24帧/秒，分辨率352288数据格式:MPEG-1压缩格式,1995年6月公布,MPC-3标准,MPC三项基本标准,多媒体技术标准发展,针对不同的应用目的，多媒体的标准可以分为两类：1、以计算机为中心，强调多媒体信息的存储和回放，以ISO为代表；2、以通信为基础，更多强调在通信网上多媒体信息的传输，以ITU说明为主。,多媒体技术标准发展,1.2.2 多媒体技术促进了通信与娱乐和计算机的融合,1.计算机的多媒体化的过程。2.邮政、电报电话，一直到多媒体计算机通信网络-多媒体化的过程3.广播、电视、录像、高清晰度电视/（数字电视）-多媒体化的过程。,计算机,0，1,通 信,大众传媒,文 本,图象图形,声音,视频,MPC,邮 政,电 报,电 话,数字网,ISDN,信息高速,报 纸,广 播,电 影,电 视,HDTV,ITV,多媒体时代,从应用的角度来看，多媒体技术的研究领域概括体现在两个方面：以计算机技术为基础，扩展到声像、通信等领域，如计算机电视（Compuvision）是这类产品的代表；是以声像、通信技术为基础，扩展到计算机领域，如电视计算机（Teleputer）是这类产品的代表。(机顶盒),1.3多媒体技术的研究内容,1.3多媒体技术的研究内容,1.3.1 数据压缩与编码技术 1.数据压缩的必要性 2.数据压缩的可能性,1.3.2 多媒体专用芯片技术 专用芯片可分为两类：一类是固定功能的芯片，另一类是可编程数字信号处理器DSP芯片。,1.3.3 多媒体数据存储技术 VCD、DVD、网络存储技术,1.3.4 媒体输入/输出技术 媒体变换技术、识别技术、媒体理解技术和综合技术,1.3.5 多媒体系统软件技术 多媒体操作系统、多媒体编辑系统、多媒体数据库管理技术,1.3.6 超文本和Web技术 超文本是一种有效的多媒体 信息管理技术，其基本的要素是结点、链和网络；Web系统是运行在Internet 上的超文本系统，,1.3多媒体技术的研究内容（续）,1.3.8 多媒体通信技术,1.3.9 虚拟现实技术 有3个基本特征：沉浸其境、实时交互、自由构想,1.3多媒体技术的研究内容（续）,1.4 多媒体技术应用领域,1.教育（形象教学、模拟展示）,形象教学,仿真工艺过程,模拟交互过程,电子教案、教学,网络多媒体教学,应用举例1：多媒体实时教学应用平台,应用举例1：多媒体实时教学应用平台(续),2.商业广告（特技合成、大型演示）,公共招贴广告,大型显示屏广告,平面印刷广告,影视商业广告,Internet国际互联网,3.多媒体通信,视频会议,交互电视（IPTV),可视电话,远程医疗,应用举例2：双向视音频交流平台,应用举例3：IPTV网络教育服务平台,应用举例3：IPTV网络教育服务平台(续),4.影视娱乐业（电影特技、变形效果）,电视/电影/动漫,三维成像模拟特技,演艺界MTV特技制作,仿真游戏,应用举例4：数字动漫,孔子的故事,七摄氏度,5.人工智能与虚拟现实,图像识别与跟踪,三维重建与仿真,语音识别与定位（麦克阵列）,场景模拟与合成,应用举例5：智能教室,应用举例6：虚拟摄影棚,应用举例7：Digital Patient,应用举例8：三维重建,数字武当,1多媒体通信网络环境的研究和建立，将使多媒体从单机单点向分布、协同多媒体环境发展，对该网络及其设备的研究和网上分布应用与信息服务的研究将是热点，,2利用已较成熟的图像理解、语音识别、全文检索等技术研究多媒体基于内容的处理，开发能进行基于内容的处理系统（包括编码、创作、表现及应用）。,3多媒体标准仍是研究的重点。,1.5多媒体技术的发展趋势,4多媒体技术将与相邻技术结合以提供完善的人机交互环境。5虚拟现实技术的研究将继续取得进展，虚拟现实与可视化技术相互补充，并与语音、图像识别、智能接口等技术相结合，建立高层次虚拟现实系统。,1.5多媒体技术的发展趋势（续）,1.5多媒体技术的发展趋势,总的发展趋势是具有更好、更自然的交互性，更大范围的信息存取服务，为未来人类生活创造出一个在功能、空间、时间及人与人交互方面更完美的崭新世界。,课内习题,一、选择题1-1媒体中的_是为了加工、处理和传输感觉媒体而人为构造出来的一种媒体，如文字、音频、图像和视频等的数字化编码表示等。(A)感觉媒体(B)表示媒体(C)显示媒体(D)存储媒体 1-2多媒体技术的主要特性有_。(1)多样性(2)集成性(3)交互性(4)实时性(A)仅(1)(B)(1)+(2)(C)(1)+(2)+(3)(D)全部,1-3.请根据多媒体的特性判断以下哪些属于计算机多媒体的范畴？（1）交互式视频游戏（2）有声图书（3）彩色画报（4）彩色电视（A）仅（1）(B)(1)+(2)(C)(1)+(2)+(3)（D）全部1-4一般认为，多媒体技术研究的兴起，从_开始。(A)1972年，Philips 展示播放电视节目的激光视盘。(B)1984年，美国Apple公司推出Macintosh系列机。(C)1986年,Philips和Sony公司宣布发明了交互式光盘系统CD-I(D)1987 年,美国 RCA 公司展示了交互式数字影像系统 DVI。,1-5多媒体技术未来发展的方向是：（1）高分辨率,提高显示质量;(2）高速度化，缩短处理时间；（3）简单化，便于操作；（4）智能化，提高信息识别能力。(A)(1)+(2)+(3)(B)(1)+(2)+(4)(C)(1)+(3)+(4)（D）全部1-6下列哪些说法正确?(1)多媒体技术促进了通信、娱乐和计算机的融合。(2)多媒体技术可用来制作V-CD及影视音响、卡拉OK机。(3)多媒体技术极大地改善了人一机界面。(4)利用多媒体是计算机产业发展的必然趋势。(A)(1)+(2)+(3)(B)(1)+(2)+(4)(C)(2)+(3)+(4)(D)全部,1-7下列哪些说法正确?(1)媒体之间的关系也代表着信息。；(2)任何媒体之间都可直接进行相互转换。(3)不同的媒体所表达信息的程度不同。；(4)有格式的数据才能表达信息的含义。(A)(1)+(2)+(3)(B)(1)+(2)+(4)(C)(1)+(3)+(4)(D)全部,二、填空题1-8媒体有两种含义，即表示信息的载体和_。1-9多媒体技术是将_融合在一起的新技术。1-10多媒体技术交互式应用的高级阶段是_。,