多媒体技术基础.pptx

91 多媒体技术基础,一、多媒体技术概论 二、音频技术三、视频技术 四、数字图像技术 五、数据压缩技术 六、光存储技术及其标准化,一、多媒体技术概论,1、多媒体计算机技术计算机的发明不仅使信息处理变得更精确、灵活，更重要的是拓展了人类处理复杂信息的能力和手段；多媒体技术的出现使信息的载体更加丰富，它标志着第四次信息革命的开始，它也将给人类带来极其深刻的影响。多媒体计算机技术是指用计算机综合处理和控制多媒体信息文字、声音、图形、图象、动画和活动影像等，使多种信息建立逻辑连接，集成为一个系统并具有交互性。,2.智能计算机的研制工作推动了计算机多媒体技术的诞生和发展,研究人员开始认识到人机界面问题的重要性：良好的人机界面能充分发挥人类理解能力、想象能力以及计算机巨大存储和分析计算能力的优势。多媒体计算机技术可以认为是这种努力的继续和发展，它最终将实现人与计算机的自然交流。,3.*多媒体技术的主要内容,(1)多媒体数据压缩技术(2)多媒体存储技术(3)多媒体专用芯片技术(4)多媒体输入/输出技术(5)多媒体系统软件技术多媒体操作系统、多媒体编辑系统、多媒体数据库管理技术、多媒体信息的混合与重叠技术等。,二、音频技术,音频技术主要包括音频数字化、语音处理、合成及识别等技术。,1.音频数字化技术 音频数字化就是将模拟的(连续的)声音波形数字化(离散化)，以便利用数字计算机进行处理的过程，主要包括采样和量化两个方面。下图为声音模拟信号数字化过程示意图。,声音的模拟信息,采样,量化,编辑,声音的数字信息,(1)采样,对信号的时间采样指的是在有规律的时间间隔T内，对模拟信号进行检测和测量。由此，某个连续信号S(t)的采样样本可表示为：S(t)=S(T),S(2T),S(3T),S(nT)其中，T为采样周期，而采样频率可以表示成f=1/T，采样频率是对声音波形每秒钟进行采样的次数。,用数字方式记录声音，首先需对声波采样。,t,S(t),T,3T,5T,Nyquist(奈奎斯特)的采样定理：若输入信号包含的最高频率为fn,则以不低于2fn，采样频率对原输入信号进行采样所得的采样信号所得的采样值可以无失真地重构原输入信号。入耳听觉的频率上限在20kHz左右，根据采样理论，为了保证声音不失真，采样频率应在40kHz左右。经常使用的采样频率有11.025kHz、22.05kHz和44.1kHz等。采样频率越高，声音失真越小、音频数据量越大。,(2)量化与编码 在完成了对模拟信号的采样后，再对采样值进行量化并编码成二进制位。量化：量化过程就是把采样值表示成一个离散振幅值的集合。编码：用二进制数表示每个取样点的数值大小。量化位数：表示每个取样点二进制数位数。量化位数决定了被记录和重放的声音最高与最低之间的差值。,例如：3位量化位数，则由000变化到111，仅有8个不同的值；8位量化位数每个采样点可以表示256个(0-255)不同量化值；16位量化位数则可以表示为216,即65536个不同的量化值。量化位数越高音质越好，数据量也越大。,(3)声道数,描述一：记录声音时，如果每次生成一个声波数据，称为单声道；每次生成二个声波数据，称为立体声(双声道)，立体声更能反映人的听觉感受。描述二：声道数是指所使用的声音通道的个数，它表明声音记录只产生一个波形（即单音或单声道）还是两个波形（即立体声或双声道）。当然，立体声听起来要比单声音丰满优美，但需要两倍于单音的存储空间。,声音数字化后每秒所需的存储量(假定不经压缩)估算公式：存储量(byte)(采样频率量化位数)8 若采用双声道录音，存储量再增加一倍。,2.数字音频数据的获取途径,购买数字式音乐/音像作品自己录制委托专业部门利用专门设备进行录制制作乐器数字接口(MIDI)文件,3.语音的编辑处理,通过编辑可以实现各种声音混合以及消除或降低声音中的畸变等。一般的音频编辑软件(如WaveEdit等)都具有设置音量、渐强渐弱处理及多通道的混合等常用功能。编辑处理WAV（音频波形）文件的软件分为单轨和多轨两种。Windows自带的“录音机”是一个单轨编辑软件，只能作简单的声音处理。专业的编辑软件有Cool Edit、Sound Forge、Vegas Audio等。利用Premiere非线性编辑软件也可以进行WAV声音文件的编辑处理。,4.乐器数字接口(MIDI)协议,(1)“MIDI”指的是什么？MIDIMusical Instrument Digital InterfaceMIDI是为了把电子乐器与计算机相连而制定的一个规范，是数字音乐的国际标准。MIDI标准规定了电子乐器与计算机连接的电缆硬件以及电子乐器之间、乐器与计算机之间传送数据的通信协议等规范。MIDI标准使不同厂家生产的电子合成乐器可以互相发送和接收音乐数据。,(2)MIDI文件及其播放,MIDI声音与数字化波形声音完全不同，它不是对声波进行采样、量化和编码，而是将电子乐器键盘的弹奏信息记录下来，包括键名、力度、时值长短等，这些信息称之为MIDI消息，是乐谱的一种数字式描述。当需要播放时，只需要从相应的MIDI文件中读出MIDI消息，生成所需要的乐器声音波形，经放大后由扬声器输出。,(3)MIDI文件的生产,MIDI文件可以通过作曲软件或电子琴制作。,作曲软件,电子琴键盘,MIDI文件管理,MIDI编辑/播放软件,声音合成器,立体声功放,MIDI消息,MIDI消息,MIDI文件,多媒体计算机中MIDI声音的处理过程,三、视频技术,1.模拟视频与数字视频模拟视频：模拟视频是基于模拟技术以及图像的广播与显示所确定的国际标准。优点：模拟视频图像具有成本低和还原度好。缺点：不论被记录的图像多么清晰，经过长时间的存放之后，视频质量将大为降低；或者经过多次复制之后，图像的失真就会很明显。,数字视频：而数字视频可以弥补这些缺陷。它不仅可以无失真地进行无限次复制，而且还可以对视频进行创造性的编辑，如特技效果等。,2.数字视频技术的涵义,数字视频技术有两层涵义:一是将模拟视频信号输入计算机进行数字化视频编辑，最后制成数字视频产品；二是指视频图像由数字摄像机拍摄下来，从信号源开始，就是无失真的数字视频，当输入计算机时不再考虑视频质量的衰减问题。这种才是更为纯粹的数字视频技术。现在的数字视频技术主要还是第一层涵义，即模拟视频的数字化处理、存储和输出技术。,3.视频制式标准,现在，国际上流行的视频制式标准主要有：NTSC制式、PAL制式和SECAM制式。这些制式标准定义了彩色电视机对视频信号的解码方式，不同制式对色彩处理方式、屏幕扫描频率等有不同的规定。因此，如果计算机系统处理视频信号的制式应与其相连的视频设备的制式相同。,(1)NTSC制式,NTSCNational Television Standard Committee)美国、日本、台湾等地区使用NTSCNTSC制式规定，每秒30帧视频画面，水平扫描线为525条(垂直分辨率)，水平分辨率为240400个像素点，采用隔行扫描方式，场频(又称垂直扫描频率)为60Hz。,(2)PAL制式,PALPhase Alternate Line(相位交替扫描线)中国及欧洲大多数地区使用PAL制式PAL制式规定：每秒25帧，每帧625行，每行240400个像素点，隔行扫描方式，场频为50Hz。,(3)SECAM制式,SECAM-Sequential Color and Memory System(顺序传送彩色和存储电视)适用于法国、苏联、非洲地区SECAM规定：水平扫描线为625条，水平分辨率为625个像素点，场频为50Hz,4.视频技术,视频技术包括视频信号数字化和视频编码两个方面。,(1)视频信号数字化通常，NTSC制式、PAL制式和SECAM制式的视频信号都是模拟的，在进入计算机前必须进行数字化处理。与音频数字化一样，视频数字化的目的是将模拟视频信号经模数转换和彩色空间变换等过程,转换成数字计算机可以显示和处理的数字信号。视频的数字化是指在一段时间内以一定的速度对视频信号进行捕获并加以采样后形成数字化数据的处理过程。,(2)视频编码,视频编码是将数字化视频信号经过编码成为电视信号，从而可以录制到录像带上或在电视上播放。,四、数字图像技术,图形与图像:计算机科学中的图形和图像概念是有区别的：图形(Graphics)图形一般指用计算机绘制(draw)的画面，如直线、圆、圆弧、矩形、任意曲线和图表等；图像(image或Picture等)图像则指由输入设备捕捉实际场景画面产生的数字图像。,数字图像:,数字图像指由数字摄像机、数字相机或扫描仪等设备输入并存储在计算机中的数字信息。数字图像通常有位图和矢量图形两种表示形式。,1.矢量图形,(1)什么是矢量图形？矢量图形是用一组指令集合来描述图形的内容，这些指令用来描述构成该图形的所有直线、圆、圆弧、矩形、曲线等图元的位置、维数和形状。在屏幕上显示矢量图形要有专门软件将描述图形的指令转换成在屏幕上显示的形状和颜色。,(2)矢量图形的特点矢量图形的一个很大的优点就是容易进行移动、缩放、旋转和扭曲等变换；用矢量图形格式表示复杂图像(如人物或风景照片)的开销太大，因此矢量图形主要用于表示线框型的图画、工程制图、美术字等。绝大多数CAD和3D造型软件使用矢量图形作为基本的图形存储格式。,2.位图图像,(1)什么是位图？位图图像由数字阵列信息组成，用以描述图像中各像素点的强度与颜色。,(2)位图图像特点 位图适合于表现含有大量细节(如明暗变化、场景复杂和多种颜色等)的画面，并可直接、快速地在屏幕上显示出来。位图占用存储空间较大，一般需要进行数据压缩。位图文件格式：为了便于位图的存储和交流，产生了种类繁多的文件格式，常见有PCX、BMP、DIB、PIC、GIF、TGA和TIFF等。,3分辨率与图像深度,(1)分辨率 分辨率有屏幕分辨率、图像分辨率。屏幕分辨率：屏幕分辨率是指屏幕上水平与垂直方向的像素最大个数。例如：640480，800 600，1024 768图像分辨率：图像分辨率指数字图像在水平与垂直方向的像素个数。,图像分辨率与屏幕分辨率不同：例如，若图像分辨率为320240，屏幕分辨率为640480，则该图像在屏幕上显示时只占据屏幕四分之一。图像分辨率与屏幕分辨率相同时，显示的图像正好占满整个屏幕区域；图像分辨率大于屏幕分辨率时，屏幕上只能显示出图像的一部分。,(2)图像深度图像深度：表示位图中一个像素的颜色信息所用的二进制数据位数，称为图像深度。深度为1的图像只能有两种颜色(通常为黑色和白色)，通常称为单色图像；深度为4的图像可以有16种颜色；深度为8的图像可表示256种颜色。,位图图像所需的存储空间可用下面的公式计算：文件的字节数=(位图高度位图宽度位图深度)/8,五、数据压缩技术,数据压缩就是减少用于存储和传输信息的位数。(1)数据压缩的必要性(2)数据压缩的可能性(3)数据压缩方法简介(4)三种流行的数据压缩国际标准,1.数据压缩的必要性,(1)各种媒体信息(特别是图像和动态视频)数据量非常之大：一幅640480分辨率的24位真彩色图像的数据量为:64048024/8=921,600B=900KB 一个100Mb的硬盘只能存储约100幅静止图像画面。对于音频信号，激光唱盘(CDDA)的采样频率为44.1kHz，量化位数为16位，双通道立体声，100MB硬盘仅能存储约10分钟录音。,(2)视频的传输速率要求很大：NTSC标准的帧速率30帧/秒，视频信号的传输率约为:900KB30 27000KB/s=26.4M/s CDROM的传输速率相对较低：CDROM数据传输率单倍速为150kB/s，最先进的50倍速7.5MB/s，远不能达到视频传输要求。,2.数据压缩的可能性,视频图像和音频信号的数字化数据压缩之所以可实现，是因为原始信号数据存在着很大的冗余度：电视图像帧内邻近象素之间空域相关性及前后帧之间的时域相关性都很大，信源有冗余。人的视觉对于边缘急剧变化不敏感(视觉掩盖效应)；眼睛对图像的亮度信息敏感，对颜色分辨力弱。听觉的生理特性,3.数据压缩方法简介,无损压缩 无损压缩利用数据的统计冗余进行压缩，可完全恢复原始数据而不引入任何失真，但压缩率较低，一般为2：1到5：1。这类方法广泛用于文本数据、程序和特殊应用场合的图像数据(如指纹图像、医学图像等)的压缩。,有损压缩 有损压缩方法利用了人类视觉和听觉对图像中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息；虽然不能完全恢复原始数据，但是所损失的部分对理解原始图像或声音的影响较小，却换来了大得多的压缩比。有损压缩广泛应用于语音、图像和视频数据的压缩。,4JPEG静止图像压缩标准,JPEGJoint Photographic Experts Group，联合图片专家组JPEG标准：多灰度静止图像的数字压缩编码国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)联合成立的“联合图片专家组”JPEG经过五年艰苦细致地工作后，于1991年3月提出了ISO CD10918号建议草案：多灰度静止图像的数字压缩编码(通常简称为JPEG标准)。,这是一个适用于彩色和单色多灰度或连续色调静止数字图像的压缩标准。压缩算法它包括两部分：第一部分是无损压缩，不会产生失真，但压缩比很小；第二部分是有损压缩，算法进行图像压缩时信息虽有损失但压缩比可以很大，例如压缩2040倍时，人眼基本上看不出失真。,5MPEG运动图像压缩编码,MPEGMoving Pictures Experts Group，运动图像专家组MPEG标准活动图像及其伴音的编码 ISO和CCITT于1988年联合成立“运动图像专家组”MPEG(Moving Pictures Experts Group),研究制定用于数字存储媒介中活动图像及其伴音的编码的国际标准。MPEG最初是为了解决这样一个压缩问题：在650M光盘上存储音频、视频信息。,MPEG标准分成两个阶段：第一个阶段(MPEG1)是针对传输速率为1Mb/s到1.5Mb/s的普通电视质量的视频信号的压缩；第二个阶段(MPEG2)目标则是对每秒30帧的720572分辨率的视频信号进行压缩；在扩展模式下，MPEG2可以对分辨率达14401152高清晰度电视(HDTV)的信号进行压缩。,MPEG算法除了对单幅图像进行编码外，还利用图像序列的相关特性去除帧间图像冗余，大大提高了视频图像的压缩比，在保持较高的图像视觉效果的前提下，压缩比可以达到60100倍左右。MPEG压缩算法复杂、计算量大，其实现一般要专门的硬件支持。,MPEG标准有三个组成部分：MPEG视频；MPEG音频；视频与音频的同步。,3.H.261视频通信编码标准,1984年，CCITT的第15研究组SGXV建立了一个专家组，专门研究可视电话的编码问题。1990年12月H.261标准完成并得以批准。,H.261标准-P64kbit/s的图像编解码方案:H.261支持实时动态图像的压缩编解码，应用目标是可视电话和电视会议。它有不同的传输速率，这些速率都为64kbit/s的整数倍，一般用P64kbits(Pl，2，3，30)表示。当P=1或2时，支持图像质量为QCIF级每秒帧数较少的可视电话；当P6时可支持CIF图像质量的每秒帧数较多的电视会议系统。,六、光存储技术及其标准化,一般说来，光存储介质指通过光学的方法写入、读出数据的存储介质。光存储介质与磁存储介质之间的本质区别在于后者使用磁技术，而前者使用光技术。光存储由于使用的光源基本上是激光(也用过其它光源)，所以又称为激光存储。,1.光存储的基本原理,一个物理单元之所以能存储数据，是因为它的某种性质能够发生变化，并以此反映出所存储的数据。通过识别这种性质上的变化就可以读出其中存储的数据，而用某种编码方法改变物理单元的性质则可将数据写入该介质中。,(1)CDROM盘片的构造,CDROM盘片是一个圆形的薄片，其外径有多种尺寸，最常见的标准尺寸外径为120mm，内径15mm，厚度为1.2mm。CDROM盘片由三层组成；第一层是由聚碳酸酯构成的衬底；第三层是漆保护层。,(聚碳酸酯),(铝反射层),(漆保护层),(2)CDROM盘中数据的存储方式,光道：CDROM盘上的磁道(准确地说光道)是一条螺线，这与老式唱片的音迹类似。螺线开始于CDROM中心，逐渐向外展开。径向道密度为16000TPI，螺线间距为为1.6 m,螺线宽度为0.6 m，路线总程度5km。,信息坑：光学存储用激光束以光学方式读取记录在塑料圆盘上的信号坑，螺线上代表信息凹槽深度仅为0.12 m，其单位面积的记录密度可达到每平方毫米700K，而且进一步提高的潜力尚大。,CD-ROM盘表面信息坑,在CDROM盘面上用凹槽表示信息。当激光束照到射到凹槽的边界时，反射光束强弱发生变化，就认为读出的数据为“1”；反之，当激光束照射到槽底或槽顶的平坦部分时，反射光强没有变化，认为读出数据为“0”。,激光束,信息的信息的形成：,2光存储介质的分类,根据存储体外形尺寸进行分类 根据记录信息的媒体类型分类根据光盘的性能进行分类,(1)根据其存储体的尺寸进行分类,光盘的大小规格按直径划分有：2英寸、3.5英寸、4.75英寸、5.25英寸、8英寸、12英寸、14英寸光盘。4.75英寸的光盘:尺寸与标准激光唱盘大小相同，已经被采纳为CDROM光盘的标准尺寸。,(2)根据记录信息的媒体类型分类,音频光盘(Audio CD)，又称为唱盘。视频光盘(Video CD)，又称为视盘、影喋等。数据(Data CD)光盘，是计算机专用存储光盘。,(3)根据光盘的性能进行分类,只读光盘CD-ROM：即小型只读光盘，目前大量应用于多媒体计算机。CD-DA(CD-Digital Audio):即小型数字化音频唱片，俗称CD唱片，带有音频输出的CD-ROM驱动器可以使用CD唱片。VCD(Video Compact Disk)，即通常所说的“小影喋”，用于记录压缩了的带伴音的视频信息，如电视剧、电影、卡拉OK等内容。采用MPEG标准将多媒体信息存在盘面上。,一次写多次读光盘CD-R(CD-Recordable)盘可以写入，即用户在CD-R刻录机上，可以向盘中写入数据，信息写入后不能被擦除。,可擦写光盘：CD-RW(CD ReWritable disc)写擦除写。,3.CD-ROM彩书标准,光盘中不论存储的信息是文字、图像，还是声频，视频都是有一定的存放规则的，否则，在读出光盘数据时，不同厂商的产品就不能互相兼容，所以，光盘的数据格式在国际标准化组织(ISO)的规范书中都有详细规定，而记载各种CD数据格式的规范书都被赋予一种颜色加以区别，一种颜色代表一种规范。,由Philips公司和Sony公司制定的红皮书规定了激光数字音频光盘，即激光唱盘的规范。CD家族的所有产品都是建立存红皮书上的，可以说红皮书是CD的基础。,(1)红皮书：CD-DA的规范(Digital Audio，数字音频光盘，即激光唱盘)。(2)黄皮书：CD-ROM规范，即只读型光盘的规范。(3)绿皮书：CD-I(Interactive，交互式光盘)的规范。(4)橘皮书：CD-R(Recordable，可记录型光盘)的规范。(5)蓝皮书：CD-WORM的规范。(6)白皮书：VCD的规范(Video CD，影视光盘)。,4.CD-ROM盘片特点,(1)容量大:4.75英寸(120mm)CD-ROM盘片的容量为650M(2)使用寿命长:CD-ROM盘片上的数据可以保存1015年之久，这是因为盘片上有一层很坚固的表面涂层；而软盘上的信息，一般只能保存半年。(3)重量轻：CD-ROM盘片只有几十克，携带方便。(4)成本低：盘片售价只有几元。,92 超文本与超媒体,一、超文本与超媒体概念1、超文本是一种信息的组织方式，新型的信息管理技术，是收集、存储和浏览离散信息，以及建立和表示信息之间关系的技术。它以节点为单位，在节点与节点之间通过表示它们之间关系的链加以连接，构成表达特定内容的信息网络。,2、超媒体(Hypermedia)是指用超文本方式组织和处理多媒体信息的通称。超媒体是超文本的概念向多媒体技术方面的扩展。3、超文本包含节点、链和网络三个基本要素:1）节点(Nodes):节点是超媒体的基本组成单位，即表达信息基本单元。节点所表示的信息不仅可以是文本，也可以是图形、图像、音频、视频、动画，甚至是一段计算机程序或它们的组合。节点间有着各种各样的关系，构成了信息网络的不同层次。,（1）文本类节点，节点内存储是文字符号信息，可以来表达思想，解释概念，描述现象等。（2）图文类节点，节点内存储是文字和图形、图像信息，可以是黑白、彩色的图形或图像，也可以是照片等，适合于表现事物的形态、结构。（3）听觉类节点，节点内存储有波形音频、MIDI等音频信息，它能提供听觉感受。（4）视听类节点，节点内存储有视频、动画的视听信息，它能给人综合的听觉感觉，是具有表现力的节点。（5）程序类节点，节点内存储的是计算机程序，它具有特殊的功能，通常用“按钮”形式来表现，进入节点后，将启动相应的程序，完成特定的操作。,2）链(Links)：它是超媒体系统的灵魂，主要用途是模拟人脑思维的自由联想。索引链实现节点中点、域之间的连接，通过索引链可实施对相关信息的查找及交叉参考。结构链对层次性信息进行操作，即它所连接的是处于不同层次的父子节点，比如，将一个节点中的某个点与另一个节点连接。,3）网络(Network):超媒体中由节点和链构成的网络模仿人脑记忆的层次网络结构，根据人的思维特点来组织信息，提取信息。因此说超媒体网络中信息的联系，体现了作者的思维轨迹。超媒体网络是作者构建的体现个人风格的知识结构系统。,二、超媒体结构与认知学习理论的关系,许多教学理论专家认为“由于超媒体系统在知识呈现和处理的方式上，符合最新的认知理论模式，因此，它一定能促成有效的学习成果。”,三、超媒体课件的基本形式,单元和单元之间按照知识间的层次网络关系借助一定的线索发生关联，建立的知识结构要符合人的认知特点。学习者可以通过许多设置好的关键字或上下文关系在学习内容构成的“海洋”里学习。下面我们看一个简单的例子，如图所示。,作业：,1、多媒体计算机技术？2、超文本？3、超媒体？4、简述超文本包含的基本要素？5、网络媒体与传统媒体的关系？,