媒体及媒体技术.ppt

,内容：视觉媒体技术，听觉媒体技术，触觉媒 体技术 重点：图像，图形，视频，动画的特点，声音 的种类和原理，触觉媒体相关设备 难点：视频原理，声音处理及转换,第三章 媒体及媒体技术,3.1 媒体的种类和特点3.2 听觉媒体技术3.3 视觉媒体技术3.4 触觉媒体技术,媒体及媒体技术,3.1 媒体的种类和特点,常见的媒体元素媒体的种类媒体的性质和特点,媒体及媒体技术,文本图形图像视频音频动画,常见的媒体元素,种类和特点,常见的媒体元素,文本文本是计算机文字处理程序的基础文本数据可以在文本编辑软件里制作文本文件分类非格式化文本 格式化文本文件文件,种类和特点,常见的媒体元素,图形 图形的概念 一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合，在图形文件中只记录生成图的算法和图上的某些特征点，也称矢量图。line（x1,y1,x2,y2,color）circle（x,y,r,color）,种类和特点,常见的媒体元素,图形 图形的特征图形是对图象进行抽象的结果（人工或自动）；图形的矢量化使得有可能对图中的各个部分分别进行控制（放大、缩小、旋转、变形、扭曲、移位等）图形的产生需要计算时间。,种类和特点,常见的媒体元素,图像 图像的概念图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。静止的图像是一个矩阵，由一些排成行列的点组成，这些点称之为像素点（pixel），这种图像称为位图（bitmap）。,种类和特点,常见的媒体元素,图像 图像的主要技术参数分辨率屏幕分辨率 指某一指定显示方式下，以水平的和垂直的像素表示全屏幕的空间。图像分辨率 以在水平方向和垂直方向的像素多少表示一幅图像像素分辨率像素的宽高比，一般为11,种类和特点,常见的媒体元素,图像 图像的主要技术参数图像灰度每个图像的最大颜色数 2位：黑白2色；4位：16色；8位：256色；24位：真彩色图像文件大小（高宽灰度位数）/8 字节,种类和特点,常见的媒体元素,图像图形与图象的关系图形是矢量概念，基本组成单位是图元；图象是位图概念，基本组成单位是象素；图形变换无失真；图象变换有失真；图形以图元为单位修改属性、编辑；图象只能对象素或图块处理；图形是对图象的抽象。,种类和特点,常见的媒体元素,视频 视频的概念 视频源于电视技术，它由连续的画面组成。这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉。,种类和特点,常见的媒体元素,视频 视频的制式PAL制（625/50）每秒25帧，水平扫描线为625条，水平分辨率240400个像素，隔行扫描。62年诞生于德国，应用于中国、新加坡、欧洲地区等。NTSC制（525/60）每秒30帧，水平扫描线为525条，水平分辨率240400个像素，隔行扫描。53年诞生于美国，应用于美国、日本、台湾等。,种类和特点,常见的媒体元素,视频 视频的制式SECAM制（625/50）每秒25帧，水平扫描线为525条、水平分辨率625。由法国人提出，应用于俄罗斯、法国、非洲地区等。视频的数字化 指在一段时间内以一定的速度对视频信号进行捕获并加以采样后形成数字化数据的处理过程。,种类和特点,常见的媒体元素,视频 视频的技术参数颜色空间RGB（红、绿、蓝）YUV（为亮度，U、V为色差）HSI（色调、饱和度、强度）可以通过坐标变换而相互转换帧速 每秒钟显示的帧数目，计量单位为帧率（fps）视频根据制式的不同：30帧/秒（NTSC）、25帧/秒（PAL）,种类和特点,常见的媒体元素,视频 技术参数数据量 帧速每幅图像的数据量（不计压缩）图像质量 与数据源质量有关（：表示“好于”）RGB视频YUV视频Y/C视频(S视频)复合视频与视频数据压缩的倍数有关,注1：UV两个色差信号可合成为一个色度信号C，进而形成Y/C记录方式，这种方式得到的视频称为S视频。,注2：把亮度Y与色度C进一步混合在一起，便形成复合视频。,种类和特点,常见的媒体元素,动画动画的概念 运动的图画，实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续，即播放的相邻两幅图像之间内容相差不大。计算机设计动画方法 造型动画 帧动画,种类和特点,帧动画（frame animation）帧动画是由一幅幅连续的画面组成图像或图形序列，是产生各种动画的基础方法。造型动画（castbased animation）造型动画则是对每一个活动的对象分别进行设计，赋予每个对象一些特征（如形状、大小、颜色等），然后用这些对象组成完整的画面，这些对象按设计要求作实时变换，最后形成连续的动画过程。,常见的媒体元素,种类和特点,常见的媒体元素,动画帧动画,种类和特点,常见的媒体元素,动画帧动画,种类和特点,动态图像的特性动态图像具有时间连续性，适合于表示“过程”，易于交待事件的“始末”，具有更加丰富的信息内涵和更强、更生动、更自然的表现力。由于动态图像具有时间延续性，因此数据量更大，必须采用合适的压缩方法才能在计算机中使用。动态图像的帧与帧之间具有很强的相关性。相关性既是形成动态图像连续动作的基础，也是进行压缩处理或进行其它处理的基本条件。动态图像对实时性的要求很高，必须在规定的时间内完成更换画面播放的过程。,常见的媒体元素,种类和特点,常见的媒体元素,音频 分类波形声音包含了所有的声音形式，它可以把任何声音都进行采样量化，并恰当地恢复出来。,种类和特点,常见的媒体元素,音频 分类语音人的说话声虽是一种特殊的媒体，但也是一种波形，所以和波形声音的文件格式相同。音乐符号化了的声音，乐谱可转变为符号媒体形式。,种类和特点,常见的媒体元素,音频数字声音波形质量的主要技术参数采样频率等于波形被等分的份数，份数越多，质量越好11.025KHZ、22.05KHZ、44.1KHZ采样精度每次采样信息量 8位、16位通道数声音产生的波形数单声道、立体声道,数据量计算：(采样频率采样精度通道数 时间)/8 字节,种类和特点,媒体的种类,视觉,种类和特点,听觉触觉其他感觉,其它（嗅觉、味觉等）,种类和特点,媒体的种类,媒体的性质和特点,各种媒体具有不同特点和性质 媒体是有格式的 不同媒体表达信息的特点和程度各不相同 媒体之间可以相互转换 媒体之间的关系也具有丰富的信息 媒体具有空间性质 表现空间 媒体按相互的空间关系进行组织视觉空间、听觉空间和触觉空间这3者既相互独立又需要相互结合,种类和特点,媒体的性质和特点,媒体的时间性质 表现需要时间媒体在时间坐标轴上的相互关系 媒体结合的影响 媒体结合是多层次的 媒体结合有利于信息接受和理解,种类和特点,声音基础音频的数字化和符号化,3.2 听觉媒体技术,媒体及媒体技术,什么是声音,声音是指自然声。声音是振动的波，是随时间连续变化的物理量,听觉媒体技术,声音的频率,听觉媒体技术,声音的传播方向,声音以振动波的形式从声源向四周传播,声音的三要素,声音的音质、数据量与文件,音质声音的质量。与频率范围成正比，频率范围越宽音质越好,文件,音频的数字化与再现声音的符号化,听觉媒体技术,音频的数字化和符号化,音频的数字化与再现在计算机中，所有的信息都以数字来表示。声音信号也是由一系列的数字来表示的，称为数字音频。数字音频的特点就是保真度好，动态范围大。数字声音是一个数据序列。它是由外界声音经过采样、量化和编码后得到的。,音频的数字化和符号化,听觉媒体技术,怎样得到数字化声音,教学进程,音频的数字化和符号化,听觉媒体技术,音频的数字化与再现声音进行采样用奈奎斯特采样定理来决定采样的频率。根据该定理，只要采样频率高于信号中最高频率的两倍，就可以从采样中完全恢复原始信号的波形。人耳所能听到的频率范围为20Hz到20KHz，所以实际的采样过程中，为了达到好的效果，就采用44.1KHz作为高质量声音的采样频率。,音频的数字化和符号化,听觉媒体技术,采样频率采样位数声道数,音频的数字化和符号化,听觉媒体技术,与数字音频相关的重要特性：,采样频率采样频率与声音的质量关系最为紧密。采样频率越高，声音质量越接近原始声音，所需的存储量便越多。标准的采样频率有三个：44.1KHz，22.05kHz，和11.025kHz。采样位数存放一个采样点所需的比特数。一般的采样位数为8位或16位，即把声音采集为256等份或65536等分。,音频的数字化和符号化,听觉媒体技术,声道数有单声道、双声道和多声道。如多种语言音频混存时，需要多声道。数据量,音频的数字化和符号化,听觉媒体技术,声音的符号化波形声音可以把音乐、语音都进行数据化并且表示出来，但是并没有把它看成音乐和语音。对于声音的符号化（也可以称为抽象化）表示包括两种类型：一种是音乐，一种是语音。,音频的数字化和符号化,听觉媒体技术,音乐的符号化MIDIMIDI(Music Instrument Digital Interface)是指乐器数字接口的国际标准。任何电子乐器，只要有处理MIDI消息的微处理器和合适的硬件接口，就构成了一个MIDI设备。当一组MIDI消息通过音乐合成芯片处理时，合成器能解释这些符号并且产生音乐。MIDI的关键是作为媒体能够记录这些音乐的符号，相应的设备能够产生和解释这些符号。它给出了一种得到音乐声音的方法。,音频的数字化和符号化,听觉媒体技术,MIDI的特点与波形声音（WAV)相比，MIDI不是声音数据而是指令，所以数据量要少得多。例如：30分钟的音乐，用MIDI文件记录只需200KB，用16位CD品质的未压缩WAV文件记录需大约310MB。,音频的数字化和符号化,听觉媒体技术,语音的符号化语音与文字是对应的。波形声音可以记录表示语音，它是不是语音取决于听者对声音的理解。对语音的符号化实际上就是对语音的识别，将语音转变为字符，反之也可以将文字合成语音。,音频的数字化和符号化,听觉媒体技术,3.3 视觉媒体技术,视觉心理学模拟视频原理视觉媒体数字化,媒体及媒体技术,视觉的心理特征视觉是人类最重要的感知能力，通过视觉可以感知到外部世界的形状、大小、色彩、明暗、机理和运动等多方面的信息。见下表,视觉心理学,视觉媒体技术,视觉媒体技术,视觉特性亮度视觉的时间特性彩色注视点和视野范围,视觉心理学,视觉媒体技术,视觉心理学,亮度 亮度是人眼对光强度的感受。一个物体的亮度不仅跟目标的物理强度有关，而且与周围的背景有关。,视觉媒体技术,视觉心理学,视觉的时间特性 建立视觉图像需要时间，而一旦建立起来之后，即使把图像对象拿走，这种反应也要维持一段时间。这是因为把光转变为神经电需要时间。正因为视网膜图像是逐渐消退的，所以视觉暂留可以存在十分之几秒。,视觉媒体技术,视觉心理学,彩色 表示颜色需要考虑三种心理属性：色调、亮度和饱和度。色调就是通常意义下的彩色，它随波长的变化而变化，反映颜色的基本特性。亮度是光作用于人眼所引起的明亮程度的感觉，与光强有关。饱和度是代表为了产生所感知到的彩色在白光中必须混入的纯单色光的相对数量，或者说是颜色的深浅程度。对同一色调的彩色光，饱和度越深颜色越鲜艳。色调和饱和度统称为色度。,视觉媒体技术,色彩三要素,视觉媒体技术,冷色,暖色,中性色,互补色,颜色的关系,视觉媒体技术,色彩的象征意义,色彩 直接联想 象征意义,太阳、旗帜、火、血 热情、奔放、喜庆、幸福、活力、危险,柑桔、秋叶、灯光 金秋、欢喜、丰收、温暖、嫉妒、警告,光线、迎春花、梨 光明、快活、希望、帝王专用、古罗马高贵,森林、草原、青山 和平、生意盎然、新鲜、可行性,天空、海洋 理智、平静、忧郁、深远、西方名门血统,葡萄、丁香花 高贵、庄重、神秘、我国和日本昔日服装 最高等级、古希腊的国王服饰,夜晚、没有灯光的房间 严肃、刚直、恐怖,雪景、纸张 纯洁、神圣、光明,乌云、路面、静物 平凡、朴素、默默无闻、谦逊,视觉媒体技术,视觉心理学,注视点和视野范围 观察视觉类媒体时，注视点喜欢集中在什么地方？研究表明，视觉注视点主要集中在图像中黑白交界的部分，尤其是拐角处。注视点容易集中在时隐时现运动变化的部分或者图像中特别不规则的地方。,视觉媒体技术,帧频：每一秒钟所扫描的帧数。一般为25帧（PAL）或者30帧（NTSC）。由于是隔行扫描，所以垂直频率分别是每秒50帧和60帧。因此，人眼就不容易看到闪烁。宽高比：扫描行的长度与在图像垂直方向上的所有扫描行所跨过的距离之比。目前电视中的宽高比为4：3，新型电视的宽高比为16：9，有些电影系统的宽高比为2：1。,模拟视频原理,视觉媒体技术,彩色视频电视系统的三种制式采用的信号形式不完全一样。NTSC-YIQ方式PAL-YUV方式SECAM-YUV方式它们的差别在于编码方式的不同。YUV、YIQ可以与RGB互换。,模拟视频原理,视觉媒体技术,模拟视频原理,视觉媒体技术,三原色,位图图像与数字视频对计算机来说，无论是文字、图形、图像或视频，在进行处理时首先要数字化。对于一幅画面，通过对每一个像素进行采样，并且按照颜色或者灰度进行量化，就可以得到图像的数字化结果。数字化的结果放在显示缓存区中，与显示器上的点一一对应，这就是位图图像。对视频按照时间进行数字化所得到的图像序列，就构成了数字视频序列。,视觉媒体数字化,视觉媒体技术,视频媒体数字化,图形(Graphics)一种抽象化的图像，是对图像依据某个标准进行分析而产生的结果。它不直接描述数据的每一点，而是描述产生这些点的过程及方法。因此被称之为矢量图形，一般直接称为图形。,视觉媒体数字化,视觉媒体技术,符号与文字是某种抽象的结果。各种描述量、语言、数据、标识符、数值、字符等都是符号媒体。符号媒体特点符号媒体表达精度高符号媒体存储量小,视觉媒体数字化,视觉媒体技术,触觉媒体概述简单指点设备与技术位置跟踪力反馈与触觉反馈,3.4 触觉媒体技术,媒体及媒体技术,皮肤可以感觉环境的温度、湿度，也可感觉压力，身体可以感觉振动、运动、旋转等，这些都是触觉在起作用，都可以作为传递信息的媒体。事实上，触觉媒体就是环境媒体，它描述了该环境中的一切特征和参数。人体在信息交流过程中起的作用最大的是人的头部、手部和整体躯干。与外界环境的触觉交互主要包括位置跟踪、力量反馈等方面。,触觉媒体概述,触觉媒体技术,对手部信息的处理包括手部的位置、手指的动作类型、手部的感觉、手部的力量反馈等。特殊的设备数据手套、压力传感手套、手部位置超声波跟踪器、力量反馈接口等。对躯干的位置跟踪和反馈与手部和头部很类似，但它要反映人体的体势语言和外界对人体的力量反馈，如振动、倾覆、旋转等。数据服装、三维数据座舱、模拟器等。,触觉媒体概述,触觉媒体技术,简单指点设备与技术,指点设备：是最简单的位置跟踪设备指点的任务 选择：用户从一组项目中进行选择。定位：选择一点，将坐标输入到系统中。定向：确定系统中对象的运动方向。路径：在系统显示的对象中指一条运动的路径。数量：用户指明一个值。操作：对对象进行拖动、缩放等。,触觉媒体技术,简单指点设备与技术,指点设备直接指点设备光笔、触摸屏及输入笔等。间接指点设备鼠标、跟踪球、控制杆和图形板。,触觉媒体技术,手指动作测量和数字化数据手套：对手指的测量主要采用在手套的手指部位装上能够测量手指弯曲、移动的检测器。检测器的种类有光纤、测力板等。数据手套将接收到的数据送入计算机中，在计算机中被转换为相应的数字化格式。,位置跟踪,触觉媒体技术,空间位置跟踪在数据手套上有一个定位的装置，这是用于进行手部位置跟踪的。手部的位置是指手部在空中的相对位置。另外一种测量空间位置的装置称为Polhemus三维定位机构，它也是一种有六个自由度的空间位置传感器，可相对于某一固定位置的原点，得到目标所处位置的相对方向和位置信号。,位置跟踪,触觉媒体技术,力反馈与触觉反馈,这与位置跟踪正好相反，是由系统向参与者反馈力和运动的信息，如触觉刺激、反作用力、运动感觉及温度、湿度等环境信息。力反馈 力反馈包括对重量的感知、对阻力的感知、吸引力等。建立力反馈的直接方法是利用提供动力的电动机和对人体或人体部位进行力反馈的“外骨系统”。,触觉媒体技术,力反馈与触觉反馈,触觉反馈 对于触觉的反馈需要能够让人体区别出不同物体的质感和纹理结构。例如：抚摸小猫的皮肤 抚摸乌龟壳采用某些物理装置，如使用一种手套，分布在手套内表面上的是一个具有若干振动凸起物的矩阵，通过这些振动凸起物的作用，可以模拟出一定的触觉效果。,触觉媒体技术,力反馈与触觉反馈,热觉反馈 热觉反馈也是一种触觉反馈，但它提供的是温度的反应。例如:当拿一个物体时，应该感觉到物体的温度；当靠近一盆虚拟的篝火时，应能感觉到篝火的温度。有一种热觉反馈系统使用了加热泵、温度传感器和热表面，通过计算机对系统进行控制，控制的温度范围目前在1035之间。加热泵将热从热表面上移入移出，通过传感器的控制，就可以得到所需要的温度。,触觉媒体技术,本章重点,媒体的种类，常见的媒体元素及特点听觉特性音频的数字化和符号化视觉特性视觉媒体的数字化触觉特性,作业,1.媒体分成哪几大类？每一类又包括哪些媒体形式？2.声音数字化后的质量与哪些因素有关？3.有哪些媒体播放软件？分别支持哪些类型的文件?4.动态图像有哪些特性？,