计算机基础05多媒体技术.ppt

第四章 多媒体技术基础,制作：高玉金电话：13581538051邮件：,4.1 多媒体计算机系统4.2 多媒体信息表示图形图像的表示视频的表示声音的表示4.3 多媒体信息处理方法图像处理数据压缩4.4 常用多媒体软件,第四章 多媒体技术基础,媒体的基本概念,媒体(Medium):是指承载信息的载体。有两类：存储信息的实体：磁带、磁盘、半导体存储器等。信息载体：数字、文字、声音、图形、图像等。CCITT严格分为：感觉媒体(Perception Medium):声音、图像等。表示媒体(Representation Medium)：编码。显示媒体(Presentation Medium)：键盘、显示器。存储媒体(Storage Medium):存储器、磁盘等。传输媒体(Transmission Medium):电话线、光纤等。,多媒体的基本概念,多媒体的定义(IBM,1990):多媒体是下面两种以上媒体组成的结合体：文本、图形、图像、动画、视频、声音。多媒体计算技术(Multimedia Computing)：计算机综合处理多种媒体信息(文本、图形、图像、声音、视频等)，使多种信息建立逻辑连接，集成为一个系统并具有交互性的技术。多媒体计算机系统：是指能对文本、图形、图像、音频、动画和视频等多媒体信息，进行逻辑互连、获取、编辑、存储和播放等功能的一个计算机系统。,多媒体的特点,多样性：数据类型多、数据类型间差距大。集成性：多种不同的媒体信息，构成完整的多 媒体信息，综合地表达事物。交互性：多媒体数据的输入和输出复杂。协同性：多媒体中的各种媒体之间必须有机配 合、协调一致。,多媒体计算机系统的组成,支持多媒体计算的硬件系统声/视频处理器：音/视芯片、板卡、压缩/解压芯片等多媒体存储设备：CD_ROM，硬盘等多媒体输入/输出设备：扫描仪、数字手套、数码影像、数字头盔、触摸屏、手写板、液晶显示器、图形加速卡等通信传输设备：宽带网、MCU等支持多媒体计算的操作系统实时任务调度与资源管理多媒体信息流的组织管理多媒体设备的驱动和控制多媒体编程环境,多媒体计算机系统的组成,多媒体处理、开发工具多媒体创作软件工具：3D Studio、Flash、Photoshop、Wave edit等。多媒体节目著作工具：Authorware、Director等。多媒体播放工具:Xing player、Quick time等。多媒体应用软件电视会议系统MCAI飞行模拟训练系统远程医疗视频点播,2011最震撼的个人多媒体系统“第六感”装置,“第六感装置”是一个可佩戴的姿态交互多媒体系统，它将用户周围的事物，与互联网无缝连接在一起，用户可以通过自然手势与电子设备进行输入输出交互。,成本：$350,2011TED大会中的演讲与演示：http:/ 多媒体计算机系统4.2 多媒体信息表示图形图像的表示视频的表示声音的表示4.3 多媒体信息处理方法图像处理数据压缩4.4 常用多媒体软件,第四章 多媒体技术基础,媒体类型与人类感官,人类感官的收集的信息比例视觉：65%;听觉：20%;触觉：10%;味觉：2%心理学研究结果：在进行面谈交流时，词语表达信息占7%，语调占38%，视觉占55%。用鼻子闻 用手摸摸 听 看文字 看图片 看视频 看3D电影 看4D电影？,比一比谁获得的信息多？,媒体类型与人类感官,与视觉相关的媒体类型,媒体类型与人类感官,其它（嗅觉、味觉等）,多媒体信息的表示文本,文本是计算机文字处理程序的基础文本数据可以在文本编辑软件里制作经过各种编码方案输入、存放、传输和显示,多媒体信息的表示图形,图形 一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。在图形文件中只记录生成图的算法和图上的某些特征点。图形文件也称矢量图。line（x1,y1,x2,y2,color）circle（x,y,r,color）,多媒体信息的表示图形,图形的特征图形是对图像进行抽象的结果（人工或自动）；图形的矢量化使得有可能对图中的各个部分分别进行控制（放大、缩小、旋转、变形、扭曲、移位等）图形的显示需要计算时间（CPU参与计算）,多媒体各种类型表示图像,图像一般是指是由扫描仪、摄像机等输入设备捕捉实际的画面产生的数字图像，是由像素点阵构成的位图。静止的图像是一个矩阵，由一些排成行列的点组成，这些点称为像素点（pixel），这种图像称为位图（bitmap），如文件名Sample.bmp。,多媒体各种类型表示图像,图像的主要参数分辨率屏幕分辨率：计算机显示器屏幕物理点数 图像分辨率：数字化图像的大小（尺寸）,这个屏幕的分辨率是多少？,好大的照片啊！,这张照片能在那个屏幕上显示出来么？,多媒体各种类型表示图像,图像的颜色二值图像 黑白双色（0或1）灰度图像2的8次方=255种黑白变化色彩色图像采用RGB彩色空间（R,G,B）一般写成（0255，0255，0255）,注意：平常所说的“黑白照片”实际是灰度图像，不是二值图像。,多媒体各种类型表示图像的颜色表示RGB,颜色深度（位数）在计算机中用多少位来存放RGB颜色值可以是：8bit,16bit,24bit,32bit,48bit,.三个8位无符号整数为24bit，可以产生16777216种颜色，而人眼只能识别1000万种颜色超过24bit的颜色称为真彩色计算图像大小照片：2592388824=？b数据太大了，怎么办？,多媒体各种类型表示bmp图像的格式,位图bmp是Windows采用的图形文件格式，在Windows环境下的所有图象处理软件都支持BMP文件格式。计算图像文件大小时需要加上文件头和信息头数据。,多媒体各种类型表示图形与图像的区别,图形与图像的区别图形是矢量概念，基本元素是图元；图像是位图概念，基本元素是像素；图形可以任意缩放无失真；图像缩放有失真；图形以图元为单位修改属性、编辑；图像只能对像素或图块处理；图形文件比较小，图像文件比较大图形适合描述轮廓不很复杂，色彩不是很丰富的对象如几何图形，工程图纸等；图像适合表现含有大量细节（如明暗变化、场景复杂、轮廓色彩丰富）的对象，如：照片、绘图等。,多媒体各种类型表示动态图像,视频：视频源于电视技术，它由连续的画面组成。这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉（错觉）。,眼睛欺骗了你！,多媒体各种类型表示视频为什么会动？,视觉生理与视觉心理规律视觉调节力：视距调节、亮度范围调节。视觉暂留性：视觉惰性维持0.02-0.2秒。视觉暂留性是近代电影、电视、计算机动画的基础。视觉锐度-视力：眼睛分辨景物细节的能力。亮度与对比度影响视力。人眼对彩色的分辨率低于对亮度的分辨率。视觉范围与对比灵敏度：人眼所能感受到的亮度范围。注视点：注视点一般集中在高频部分。适应性：亮适应规律：亮适应数秒，暗适应数分钟。颜色变化的眼适应力较差。,动态图像由多个静态图像组成的,严谨的定义和分类,动态图像由多幅连续的图像构成的序列称为动态图像。它利用了人眼的视觉暂留性，沿时间轴每一幅图像保持1/20-1/30秒，顺序地在感觉不到的速度下更换另一幅图像，连续不断，就形成了运动图像的感觉。每一幅图象称做一帧。分类视频：每一帧为实时获取的自然景物时。动画：每一帧为计算机产生或人工画出的图形。实际工作中，由计算机生成的特技镜头在制作单帧时是图形，但在动态播放时CPU根本无法快速计算和重绘。所以制成影片时都将图形转换成所需清晰度的图像。,平常所说的“实景动画”，“粘土动画”实际上属于视频。,为什么不能有动态图形？,多媒体各种类型表示,动态图像的特点时间连续性：适合于表示过程，具有丰富、自然、生动的自然表现力。帧间相关性：统计表明，邻帧之间有10%以下的象素有亮度变化，1%以下的象素有色度变化。相关性是动态图像连续动作形成的基础，也是进行压缩等处理的基本条件。帧速：实时性要求高，16fps（frame per second）可以达到满意的动态效果。数据量：每帧数据量X帧速。压缩后数据量变化很大，如MPEG可压缩上百倍。且压缩后的码率是不均匀的。视频质量：压缩比过大会影响回放视频的质量。视频质量的度量使用MOS（主观意见）打分法。,多媒体各种类型表示,图像越清晰，需要的存储空间就愈大,视频通常采用压缩存储方式存储。变形金刚VCD版，DVD版，蓝光DVD版的比较。,一分钟数字视频的数据量,多媒体各种类型表示听觉类媒体,定义：当某种东西使得介质（空气、水等）分子振动起来，人们的耳朵中所感到的就是声音。如声带的振动、扬声器纸盒的振动等。凡是通过声音的形式以听觉传递信息的媒体，都属于听觉类媒体。分类：按计算机表示和处理的不同，将声音分为四类：波形声音 语音 音乐 真实感声音按音频信号所覆盖的带宽，声音又可分为：电话、调幅广播、调频广播、激光唱盘四类声音。,多媒体各种类型表示按计算机处理分类声音,波形声音波形声音是对自然界声音进行采样并量化的结果。它用声波形式记录声音，可以描述所有的声音。语音人的说话声除了是一种波形外，还具有特定的语言、语音(韵律、节奏)学内涵，可以经由特殊方法抽取、表现。它是进行了抽象提取并人类约定俗成的媒体。音乐音乐与语言相比形式更规范一些。这里专指乐曲：一种符号化了的声音。真实感声音是计算机生成的、具有空间特性的三维真实感模拟声音。真实感声音的研究，比真实感三维图形的研究还显得很不成熟。,多媒体各种类型表示按音频带宽分布分类声音,人的听觉频率范围为2020K赫兹，超过这个范围的音频人耳无法听到。占用带宽越大，声音越丰富,不要用电话点歌！,多媒体各种类型表示波形声音的数字化,波形声音的采样与量化采样：音频是典型的连续信号。其特点是在指定的范围内有无穷多个幅值。在某特定时刻对这些信号的测量叫做采样。每秒采样的次数称做采样频率。量化：对每个采样点数字化。由于在每个采样点，其声压的幅度也是有无穷个幅值，量化的过程有失真。,此点高度量化，即转换为二进制数10011011,要保存此1秒钟声音，保存30个二进制数即可,多媒体各种类型表示波形声音的处理流程,波形模拟声音采集,声卡合成波形模拟声音，震动空气发声。,声音的后期加工,数字化处理（采样、量化）,多媒体各种类型表示音频处理的主要技术参数,采样频率等于波形被等分的份数，份数越多，质量越好常用频率11.025KHZ、22.05KHZ、44.1KHZ采样精度每次采样信息量，即每个采样点量化位数。如8位采样是将幅度划分为28=256等份 常用精度：8位、16位通道数声音产生的波形数单声道、立体声道、5.1声道,数据量计算：(采样频率采样精度通道数 时间)/8 字节,多媒体各种类型表示常见音频文件格式,WAV音频文件格式：音频数据块保存PCM编码数据，无压缩。若是单声道，0代表左，1代表右；双声道声音数据交替存放。,MIDI（电子乐器数字接口）是用于在音乐合成器、电子乐器、音序器和计算机之间交换音乐信息的一种标准协议。MIDI音乐是使用微处理和数字信号处理器代替发声部件，模拟出声音波形数据，然后将这些数据通过数模转换器转换成音频信号并发送到放大器，合成出声音或音乐。由于MIDI只是记录音乐信息的数字代码如984526，所以生成的文件比较小，便于传播，也便于编辑修改。MIDI音乐常作为背景音乐。,多媒体各种类型表示常见音频文件格式,多媒体各种类型表示MIDI合成与输出,MINI命令序列输出到声卡，由合成器产生波形声音信号，输出给音箱震动空气发声。,多媒体各种类型表示常见音频文件格式,MP3文件格式全称MPEG1 layer 3。是MPEG-1（VCD）标准中的声音技术。layer 3的典型数据压缩率在1:10至1:12左右。编码速率为128kbps的MP3就相当于CD的音质，按此编码速率，一分钟CD音质的MP3文件在1M左右。,多媒体各种类型表示音频压缩与转换,很多种软件都可以进行音频压缩和转换需要相应文件格式的编码器和解码器,4.1 多媒体计算机系统4.2 多媒体信息表示图形图像的表示视频的表示声音的表示4.3 多媒体信息处理方法图像处理数据压缩4.4 常用多媒体软件,第四章 多媒体技术基础,多媒体信息处理方法图像处理,图像处理按照预定目标对图像进行加工处理,以满足人们的视觉心理或实际应用的需要。图像处理定义 1）将一幅图像变为另一幅图像的加工过程。2）将一幅图像转化为一种非图像的表示。图像处理是比较底层的操作，它主要在图像象素上进行处理，处理的数据量非常大。研究内容 图像数字化、图像编码、图像变换、图像增强、图像恢复等。,多媒体信息处理方法图像处理,多媒体信息处理方法-视频处理,在图像处理的基础上，进一步考虑相邻帧图像之间的相关性，采用运动补偿，运动预测等技术对视频数据进行处理。对视频的后期处理，如电视电影的后期制作。,多媒体信息处理方法-声音的处理,是在连续的模拟数据数字化之后进行的可以通过相邻时间轴上的数据内插、外延等方法，达到变速、变调的变声效果混音技术与混音器,多媒体信息处理方法数据压缩,什么是数据压缩？数据压缩也是一种编码方案。信源编码一般把数据压缩，减少数据量。信道编码一般把数据增加，用于险象环生的信道。,多媒体信息处理方法压缩类型的选择,文本的压缩绝大多数属选择无损压缩音频和视频的压缩应选择有损压缩,有损压缩可能造成10000变1000元？,我的眼睛看不见太小的图像细节，耳朵听不见低于10Hz的声音！无损？没必要！,你能容忍数据损失么？,音视频压缩的基础-视觉冗余与听觉冗余,人类视觉系统并不是对任何图像的变化都很敏感，人眼对于图像的注意是非均匀的；人类视觉系统一般分辨能力约为26灰度等级，而一般图像量化采用28灰度等级，这类冗余称为视觉冗余；例如，人的视觉对于边缘的急剧变化不敏感，且人眼对图像的亮度信息敏感，对颜色的分辨率弱等。人类听觉系统对不同频率声音的敏感程度不同，而且受环境的影响，声音之间还存在掩蔽效应。比如，太高或太低的声音都听不到。嘈杂的环境下，听不到低的声音。,多媒体信息处理方法文本中的数据冗余,你的妻子，Helen，将于明天晚上6点零5分在上海的虹桥机场接你。(23*2+10=56个半角字符)你的妻子将于明天晚上6点零5分在虹桥机场接你(20*2+2=42个半角字符）Helen明晚6点虹桥接你(7*2+6=26个半角字符）,结论：只要接收端不会产生误解，就可以减少承载信息的数据量。,多媒体信息处理方法图像中的数据冗余,图像冗余无损压缩的原理,从原来的16*3*8=284bits压缩为：(1+3)*8=32bits,多媒体信息处理方法图像中的数据冗余,实际图像中冗余信息的表现（灰度图）,多媒体信息处理方法图像中的数据冗余,图像的视觉冗余（彩色）,(248,27,4),(251,32,15),(248,27,4),(248,27,4),多媒体信息处理方法图像中的数据冗余,图像冗余有损压缩的原理,多媒体信息处理方法文本怎么压缩？,文本压缩一般采用的是无损压缩算法常用的算法有：Huffman编码、算术编码，行程编码,行程编码举例说明：aaaa bbb cc d eeeee fffffff(共22*8=176 bits)4a3b2c1d5e7f(共12*8=96 bits)压缩率为：96/176=54.5%,常用的WinRAR就是采用了多种无损压缩算法。,多媒体信息处理方法图形图像怎么压缩？,JPEG压缩过程，生成jpg文件格式。,多媒体信息处理方法视频怎么压缩1,视频由多帧图像构成，按照每帧图像的重要程度，分成I、P、B帧三类。图像最终被分割成多个88的像素块，便于处理。,多媒体信息处理方法视频怎么压缩2？,把88的像素块RGB转换成另外一种颜色空间YUV（亮度和色差），并对它编码参照图像编码方案进行编码还要参考相邻图像之间的相关性。,多媒体信息处理方法不同的压缩工具,通用压缩工具，归档工具WinRAR，WinZip，PeaZip等音频压缩工具支持Mp3，Mp4，wma，ra等视频压缩工具Mpeg-1（VCD），Mpeg-2（DVD），Mpeg-4等,用WinRAR压缩mp3文件，结果会怎么？,多媒体信息处理方法压缩分类,压缩技术分类,通用数据压缩（均为无损压缩）,多媒体数据压缩（无损和有损压缩）,基于统计模型的压缩技术,基于字典模型的压缩技术,Huffman编码,算术编码,LZ77,LZ78,LZW,图像压缩,音频和视频压缩MPEG等,二值图像CCITTJBIG等,灰度图像FELICSJPEG等,彩色图像RLE编码JPEG等,矢量图像PostScriptWMFCAD等,压缩技术的应用,电报、传真(CCITT),通讯(Modem/网络协议),存储(压缩池),文件系统(压缩扇区),图像(GIF/TIFF/JPEG),音频(MP3),视频(MPEG/RM),数据库(B+树),归档(TAR/ZIP),密码学(消除数据的原始特征),全文索引(倒排索引表),编译(JAVA),程序设计(算法/空间和时间效率),人工智能(专家系统/知识树),4.1 多媒体计算机系统4.2 多媒体信息表示图形图像的表示声音的表示视频的表示4.3 多媒体信息处理方法图像处理数据压缩4.4 常用多媒体软件,第四章 多媒体技术基础,常用多媒体软件,多媒体创作软件工具3D Studio、Flash、Photoshop、Wave edit，Fireworks等。多媒体节目著作工具Authorware，Director，FrontPage，Dreamweaver 等。多媒体播放工具视频播放工具：Xing player、Quick time、RealPlayer、Media Player，暴风影音等。音频播放工具：千千静听，酷狗叮咚，Winamp等。,常用多媒体软件,图像处理软件Adobe Photoshop动画制作软件Adobe Flash CS,常用多媒体软件 Adobe Photoshop,Adobe Photoshop是公认的最好的通用平面美术设计软件。由Adobe公司开发设计。其用户界面易懂，功能完善，性能稳定，所以，在几乎所有的广告、出版、软件公司，Photoshop都是首选的平面工具。,常用多媒体软件 Adobe Flash CS,Adobe Flash CS3是Adobe公司收购Macromedia 公司后将享誉盛名Macromedia Flash更名为Adobe Flash后的一款动画软件。Flash软件可以实现多种动画特效，动画都是由一帧帧的静态图片在短时间内连续播放而造成的视觉效果，是表现动态过程、阐明抽象原理的一种重要媒体。,