多媒体虚拟现实及人工智能.ppt
《多媒体虚拟现实及人工智能.ppt》由会员分享,可在线阅读,更多相关《多媒体虚拟现实及人工智能.ppt(97页珍藏版)》请在三一办公上搜索。
1、3.3 网络多媒体技术及应用,计算机网络与多媒体技术,网络多媒体技术及应用,多媒体关键技术,1 数据压缩概述,由于多媒体数据量非常大,造成计算机的存储和网络传输负担若帧速率为25帧秒,则1s的数据量大约为25MB,一个640MB的光盘只能存放大约25s的动态图像一幅640480分辨率的24位真彩色图像的数据量约为900KB;一个100MB的硬盘只能存储约100幅静止图像画面解决办法之一就是进行数据压缩,压缩后再进行存储和传输,到需要时再解压、还原。以目前常用的位图格式的图像存储方式为例,像素与像素之间无论是在行方向还是在列方向都具有很大的相关性,因而整体上数据的冗余度很大,在允许一定限度失真的
2、前提下,能够对图像数据进行很大程度的压缩。,数据压缩方法无损压缩:利用数据的统计冗余进行压缩,可完全恢复原始数据而不引入任何失真,但压缩率受到统计冗余度理论限制,一般为2:1到5:1。无损压缩所使用的编码技术常使用熵编码,它把已压缩的数据流看做是简单的数字序列,而忽略该数据的语义,适用于不必考虑其自身具体特点的媒体。常用工具:WinRar、WinZip、ARC等,1 数据压缩概述,行程编码,多数无损压缩采用行程编码。行程编码又称“运行长度编码”或“游程编码”,是一种统计编码,该编码属于无损压缩编码。行程编码的基本原理是:用一个符号值或串长代替具有相同值的连续符号算法。连续符号构成了一段连续的“
3、行程”。行程编码因此而得名,使符号长度少于原始数据的长度。例如:5555557777733322221llllll行程编码为:(5,6)(7,5)(3,3)(2,4)(l,7)。可见,行程编码的位数远远少于原始字符串的位数。,1 数据压缩概述,数据压缩方法有损压缩:利用了人类视觉和听觉器官对图像或声音中的某些频率成分不敏感的特性,允许在压缩过程中损失一定的信息;虽然不能完全恢复原始数据,但是所损失的部分对理解原始图像或声音的影响较小,却换来了大得多的压缩比。有损压缩广泛应用于语音、图像和视频数据的压缩。常用的有损压缩编码技术为源编码(考虑原始数据的语义)和混合编码(熵编码和源编码技术)。常用工
4、具:JPEG、MPEG等,1 数据压缩概述,衡量一种数据压缩技术的好坏有三个重要的指标压缩比图像质量或音质压缩和解压的速度数据压缩原理原始的多媒体信源数据存在着客观上的大量冗余。信息理论认为:若信源编码的熵大于信源的实际熵,该信源中一定存在冗余度。去掉冗余不会减少信息量,仍可原样恢复数据;但若减少了熵,数据则不能完全恢复。不过在允许的范围内损失一定的熵,数据仍然可以近似恢复。,1 数据压缩概述,数据压缩原理因为人的感觉的某些不敏感性,多媒体数据中还存在着从主观感受角度看去的大量冗余,即:在人眼允许的误差范围之内,压缩前后的图像如果不做非常细致的对比是很难觉察出两者的差别的。,1 数据压缩概述,
5、数据压缩技术标准H.261:是为在综合业务数字网(ISDN)上开展双向声像业务(可视电话、视频会议)而制定的,速率为64kb/s的整数倍。它使用两种类型的压缩:一帧中的有损压缩和帧间压缩的无损编码,并在此基础上使编码器采用带有运动估计的DCT和DPCM(差分脉冲编码调制)的混合方式,H.261是最早的运动图像压缩标准。,音频信号压缩编码的主要依据是人耳的听觉特性,主要有两点:1.人的听觉系统中存在一个听觉阈值电平,低于这个电平的声音信号人耳听不到.次声、可听声和超声 2.人的听觉存在屏蔽效应。当几个强弱不同的声音同时存在时,强声使弱声难以听到,并且两者之间的关系与其相对频率的大小有关.声音编码
6、算法就是通过这些特性来去掉更多的冗余数据,来达到压缩数据的目的。,2 音频数据的压缩,在多媒体中,音频有很多压缩编码标准:(1)MP3音频 MP3的全名是MPEG Audio Layer-3,简单地说就是一种声音文件的压缩格式。是目前最普及的音频压缩格式,是典型的有损压缩。MPEG-1音频压缩标准里包括了三个使用高性能音频数据压缩方法的感知编码方案,按照压缩质量(每Bit的声音效果)和编码方案的复杂程度分别是Layer1、Layer2、Layer3。,2 音频数据的压缩,MPEG-1音频的层次与压缩比率,MP3是利用 MPEG Audio Layer 3 的技术,将音乐以1:10 甚至 1:1
7、2 的压缩率,压缩成容量较小的文件,能够在音质丢失很小的情况下把文件压缩到更小的程度。每分钟音乐的MP3格式只有1MB左右大小,这样每首歌的大小只有3-4兆字节。而且还非常好的保持了原来的音质。使用MP3播放器对MP3文件进行实时的解压缩(解码),这样,高品质的MP3音乐就播放出来了。,MP3音频,(2)MP3PRO MP3PRO,它是 Thomson Multimedia多媒体公司推出的一个MP3格式的升级版本,MP3PRO可以把声音文件压缩到原有MP3格式的一半大小,但却可以保持相同的音质。,2 音频数据的压缩,2.MP3PROMP3PRO文件在播放上完全与MP3兼容,经过mp3Pro压缩
8、的文件,扩展名仍旧是.mp3 也就是说,老的MP3文件可以在新的MP3PRO播放器上进行播放,同时,新的MP3PRO可以在标准的MP3软件和设备上播放,但效果可能较差,因为两者录制方式不同。mp3pro在相应的播放软件中才能达到最高音质,而且mp3pro的制作比较麻烦,目前还没有批量压制的好方法。,2 音频数据的压缩,音频数据的压缩,mp3PRO Audio Player mp3PRO音乐文件的播放、制作功能,3.WMA WMA(Windows MediaAudio)格式是来自于微软的重量级选手,后台强硬,音质要强于MP3格式,更远胜于RA格式,它是以减少数据流量但保持音质的方法来达到比MP3
9、压缩率更高的目的,WMA的压缩率一般都可以达到1:18左右.,2 音频数据的压缩,4.WMA WMA还支持音频流技术,适合在网络上在线播放,更方便的是不用象MP3那样需要安装额外的播放器,而Windows操作系统和WindowsMediaPlayer的无缝捆绑让你只要安装了windows操作系统就可以直接播放WMA音乐,新版本的WindowsMediaPlayer7.0更是增加了直接把CD光盘转换为WMA声音格式的功能,在新出品的操作系统WindowsXP中,WMA是默认的编码格式.音质好的可与CD媲美,压缩率较高,可用于网络广播。,2 音频数据的压缩,5.WAVE WAV格式是微软公司开发的
10、一种声音文件格式,也叫波形声音文件,是最早的数字音频格式,被Windows平台及其应用程序广泛支持。WAV格式支持许多压缩算法,支持多种音频位数、采样频率和声道,采用44.1kHz的采样频率,16位量化位数,因此WAV的音质与CD相差无几,但WAV格式对存储空间需求太大不便于交流和传播,2 音频数据的压缩,3 静态图像的数据压缩,静态图像压缩技术主要是对空间信息进行压缩,目的是在满足一定图像质量的条件下,缩小图像文件所占用的存储空间,从而减小存储容量和占用尽量小的网络带宽。,JPEG标准 国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)联合成立的“联合图像专家组”JPEG(Joi
11、nt Photograph coding Experts Group)于1991年提出的“多灰度静止图像的数字压缩编码”(简称JPEG标准)。这是一个适应于彩色和单色多灰度或连续色调静止数字图像的压缩标准,是最常用的图像文件格式,是一种有损压缩,压缩比很大。,3 静态图像的数据压缩,4 运动图像的数据压缩,视频:运动图像即静止图像的连续播放状态 压缩目标:尽可能保证视觉效果的前提下减少视频数据率。压缩比:压缩后的数据量与压缩前的数据量之比。运动图像的数据压缩方法 有损和无损压缩 帧内和帧间压缩 对称和不对称压缩,MPEG(运动图像专家组Moving Pictures Experts Group
12、)标准是一系列视频、音频、数据的压缩标准。分成MPEG视频、MPEG音频和MPEG系统三大部分。MPEG算法除了对单幅图像进行编码外(帧内编码),还利用图像序列的相关特性去除帧间图像冗余,大大提高了视频图像的压缩比。,4 运动图像的数据压缩,4 运动图像的数据压缩,压缩的基本方法:在单位时间内采集并保存第一帧信息,然后就只存储其余帧相对第一帧发生变化的部分,以达到压缩的目的。MPEG压缩标准可实现帧之间的压缩。压缩比可达到50:1,同时图像和音频的质量也非常高。,最初MPEG专家组的工作项目是3个,即在1.5Mbps,l0Mbps,40Mbps传输速率下对图像编码,分别命名为MPEG-1,MP
13、EG-2,MPEG-3。l992年,MPEG-2适用范围扩大到HDTV(高清晰数字电视输出技术),能支持MPEG-3的所有功能,因而MFEG-3被取消。主要有:MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21,4 运动图像的数据压缩,MPEG-1 标准MPEG-1即“用于数字存储媒体运动图像及其伴音速率为1.5Mbps的压缩编码”,于1992年正式出版。MPEG-1提供每秒30帧352*240分辨率的图像,MPEG-1 是VCD视频的压缩标准。MPEG-1的任务主要是,将视频信号及其伴音以可接收的重建质量压缩到约1.5Mbps的码率,并复合成一个单一的MPEG位流,同时保
14、证视频和音频的同步。,4 运动图像的数据压缩,MPEG-2标准 MPEG-2标准于1994年公布,包括系统部分、视频部分、音频部分及符合性测试部分。MPEG-2编码标准希望囊括数字电视、图象通信各领域的编码标准,MPEG-2按压缩比大小的不同分成五个档次(profile),每一个档次又按图象清晰度的不同分成四种图象格式,或称为级别(level)。五个档次四种级别共有20种组合,但实际应用中有些组合不太可能出现,较常用的是11种组合。MPEG-2 是DVD视频的压缩标准。每秒30帧704*480的分辨率,4 运动图像的数据压缩,MPEG-4 标准 MPEG-4标准于1998年公布,是为了播放流式
15、媒体的高质量视频而专门设计的,它可利用很窄的带度,采用了全新的压缩理念,通过帧重建技术,压缩和传输数据,以求使用最少的数据获得最佳的图像质量,并将之作为网络上传送之用。MPEG-4 可把DVD内MPEG-2的视频文件转换为体积更小的文件。还包含了以前MPEG压缩标准所不具备的比特率的可伸缩性、动画精灵、交互性甚至版权保护等一些特殊功能。,4 运动图像的数据压缩,RM/RMVB RM(Real Media)是RealNetworks公司所制定的音频视频压缩规范,是一种流媒体格式。用户可以使用RealPlayer或RealOne Player对符合RealMedia技术规范的网络音频/视频资源进行
16、实况转播,并且RealMedia还可以根据不同的网络传输速率制定出不同的压缩比率,从而实现在低速率的网络上进行影像数据实时传送和播放。这种格式的另一个特点是用户使用RealPlayer播放器可以在不下载音频/视频内容的条件下实现在线播放。,4 运动图像的数据压缩,多媒体数据压缩编码小结,多媒体数据压缩的必要性和可能性 多媒体数据压缩技术及其标准 多媒体数据压缩的技术指标 常用多媒体数据压缩标准,流媒体技术及应用,1流媒体技术原理2流媒体制作3流媒体课件制作4流媒体技术网络教育应用方案,流媒体基本概念,流媒体基本概念 流媒体指在internet/intranet中使用流式传输技术的连续时基媒体,
17、如:音频、视频或多媒体文件,它在播放前并不下载整个文件,只将开始部分内容存入内存,其他的数据流随时传送随时播放,只是在开始时有一些延迟,其关键技术就是流式传输。,关键技术压缩编码技术 压缩编码的基本原理是采用一定的编码方式,将文件的数据结构进行重组。一方面,去掉一些重复或占而不用的空间,以达到减小文件尺寸的目的;另一方面,将文件分成压缩包,形成数据流,将原有的多媒体文件转化为具有流格式的流媒体。,流媒体特点,流媒体具有明显的优点:(1)由于不需要将全部数据下载,等待时间可以大大缩短;(2)由于流文件往往小于原始文件的数据量,并且用户也不需要将全部流文件下载到硬盘,节省了大量的磁盘空间;(3)由
18、于采用了rstp等实时传输协议,更加适合动画、视音频在网上的实时传输。,流媒体技术原理,流式传输时,声音、影像或动画等时基媒体由音视频服务器向用户计算机的连续、实时传送,用户只需经过几秒或十几秒的启动延时即可进行观看。当声音等时基媒体在客户机上播放时,文件的剩余部分将在后台从服务器内继续下载。流式传输不仅使启动延时大大缩短,而且不需要过多的缓存,从而避免了用户必须等待整个文件全部从internet上下载才能观看的缺点。,流媒体技术原理,流式传输的定义很广泛,现在主要指通过网络传送媒体(如视频、音频)的技术总称,其特定含义为通过internet 将影视节目传送到pc机。实现流式传输有两种方法:实
19、时流式传输(realtime streaming)和顺序流式传输(progressive streaming)。一般说来,如视频为实时广播,或使用流式传输媒体服务器,或应用如rtsp的实时协议,即为实时流式传输。如使用http服务器,文件即通过顺序流发送。当然,流式文件也支持在播放前完全下载到硬盘。,流媒体技术原理,顺序流式传输 顺序流式传输是顺序下载,在下载文件的同时用户可观看再线媒体,在给定时刻,用户只能观看已下载的那部分,而不能跳到还未下载的前头部分,顺序流式传输不象实时流式传输在传输期间根据用户连接的速度做调整。由于标准的http服务器可发送这种形式的文件,也不需要其他特殊协议,它经常
20、被称作http流式传输。,流媒体技术原理,实时流式传输 实时流式传输指保证媒体信号带宽与网络连接配匹,使媒体可被实时观看到。实时流与http流式传输不同,需要专用的流媒体服务器与传输协议。实时流式传输总是实时传送,特别适合现场事件,也支持随机访问,用户可快进或后退以观看前面或后面的内容。理论上,实时流一经播放就可不停止,但实际上,可能发生周期暂停。,流媒体技术原理,实时流式传输必须配匹连接带宽,实时流式传输需要特定服务器,如quicktime streaming server、realserver与windows media server.这些服务器允许对媒体发送进行更多级别的控制,因而系统设
21、置、管理比标准http服务器更复杂。实时流式传输还需要特殊网络协议,如:rtsp(realtime streaming protocol)或mms(microsoft media server)。,流媒体的系统组成及网络环境,流媒体的系统组成 编码工具:用于创建、捕捉和编辑多媒体数据,形成流媒体格式,这可以由带视音频硬件接口的计算机和运行其上的制作软件共同完成。流媒体数据。服务器:存放和控制流媒体的数据。网络:适合多媒体传输协议或实时传输协议的网络。播放器:供客户端浏览流媒体文件。,支持流媒体传输的网络协议,流式传输的实现需要合适的传输协议。由于tcp需要较多的开销,故不太适合传输实时数据。在
22、流式传输的实现方案中,一般采用http/tcp来传输控制信息,而用rtp/udp来传输实时声音数据。,支持流媒体传输的网络协议,实时传输协议rtp与实时传输控制协议rtcp 实时传输协议rtp(real-time transport protocol)是用于internet上针对多媒体数据流的一种传输协议。rtp通常使用udp来传送数据,但rtp也可以在tcp或atm等其他协议之上工作。,支持流媒体传输的网络协议,实时传输控制协议rtcp(real-time transport control protocol)rtp一起提供流量控制和拥塞控制服务。在rtp会话期间,各参与者周期性地传送rtc
23、p包。rtcp包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料,因此,服务器可以利用这些信息动态地改变传输速率,甚至改变有效载荷类型。rtp和rtcp配合使用,它们能以有效的反馈和最小的开销使传输效率最佳化,因而特别适合传送网上的实时数据。,支持流媒体传输的网络协议,资源预订协议rsvp 由于音频和视频数据流比传统数据对网络的延时更敏感,要在网络中传输高质量的音频、视频信息,除带宽要求之外,还需其他更多的条件。rsvp(resource reserve protocol)是正在开发的internet上的资源预订协议,使用rsvp预留一部分网络资源(即带宽),能在一定程度上为流媒体的传
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体 虚拟现实 人工智能

链接地址:https://www.31ppt.com/p-6560941.html