多媒体硬件设备.ppt
第八章多媒体硬件环境,计算机科学与技术系董华松,音频接口,音频卡的工作原理,音频卡处理音频信号的PC插卡是音频卡（Audio Card），又称声音卡，声音卡处理的音频媒体有数字化声音（Wave）、合成音乐（MIDI）、CD音频。,音频卡的工作原理,声音是怎样工作的？,音频卡的工作原理,音频卡的功能 音频的录制与播放编辑与合成MIDI接口文语转换CD-ROM接口游戏接口支持全双工功能,音频卡的连接方式,音频卡的工作原理,音频卡的体系结构音频卡由下列部件组成：MIDI输入/输出电路；MIDI合成器芯片；用来把CD音频输入与线输入相混合电路；带有脉冲编码调制电路的模数转换器，用于把模拟信号转换为数字信号以生成波形文件；用来压缩和解压音频文件的压缩芯片；用来合成语音输出的语音合成器；用来识别语音输入的语音识别电路；输出立体声的音频输出或线输出的输出电路等。,音频卡的工作原理,数字化声音处理,音频卡的工作原理,混音器,音频卡的工作原理,合成器波形表（Wave Table）合成 频率调制FM合成,音频合成和MIDI接口规范,MIDIMIDI（Musical Instrument Digital Interface）是指乐器数字接口，是数字音乐的国际标准。MIDI的音乐符号化过程实际上就是产生MIDI协议信息的过程。音乐合成器是电脑音乐系统中最重要的设备之一。,音频合成和MIDI接口规范,MIDI术语MIDI文件通道 Channels 音序器Sequencer 合成器Synthesizer 乐器Instrument 通道映象Channel Mapping复音Polyphony音色Timbre音轨Track合成音色映射程序Patch Mapper,音频合成和MIDI接口规范,MIDI接口MIDI In（输入口）接收从其他MIDI装置传来的消息。MIDI Out（输出口）发送某装置生成的原始MIDI消息。向其他设备发送MIDI消息。MIDI Thru（转发口）传送从输人口接收的消息到其他MIDI装置。向其他设备发送MIDI消息。,音频合成和MIDI接口规范,MIDI接口,语音合成,概述实现计算机语音输出有两种方法：录音/重放文语转换计算机话语输出按其实现的功能来分，可以分为以下两个档次：有限词汇的计算机语音输出 基于语音合成技术的文字-语音转换（TTS）,语音合成,合成方法 发音器官参数语音合成对人的发音过程进行直接模拟 声道模型参数语音合成基于声道截面积函数或声道谐振特性合成语音 波形编辑语音合成技术波形编辑语音合成技术是直接把语音波形数据库中的波形相互拼接在一起，输出连续语流。PSOLA（Pitch Synchronous Overlap Add）方法,语音合成,语音基元数据库的构建 基元的选择 选择音节 选择双音素和三音素 语音数据的存储形式 波形存储方式存储数字化的语音波形数据 参数存储方式存储从语音信号中提取的参数，常用的有LPC参数、LSP（LSF）、共振峰参数等,语音合成,韵律模拟 自然语言中的韵律特征语调、节奏和重音等能表达说话者的语义和感情，是自然语流的重要组成部分 韵律合成及方法超音段特征（音高、音长、音强及频率分布的变化）的修改构成了韵律合成的基础方法：修改基频模式、共振峰模式、PSOLA算法等 韵律模拟的问题需解决韵律规则、韵律描述、计算模型和修改算法等问题,语音识别,概述语音识别是将人发出的声音、字或短语转换成文字、符号，或给出响应，如执行控制、作出回答。语音识别系统的分类 按可识别的词汇量多少划分 按照语音的输入方式划分按发音人划分说话人识别,语音识别,语音识别系统的最终目标 不存在对说话人的限制，即非特定人的。不存在对词汇量的限制，即基于大词汇表的。不存在对发音方式的限制，即可识别连续自然发音的。系统的整体识别率应该相当高，接近于人类对自然语音的识别能力。这也正是听写机系统最终要达到的目标。,语音识别,语音识别研究的难点 很难适应各种年龄、性别、口音、发音速度、语音强度、发音习惯与方式等的差异。系统随着能够识别的词汇量增大，所需要的空间和时间的花销就越多，最终将导致系统的识别性能急剧下降而丧失可用性。尽管连续发音是人们最为自然的发音方式，但是识别系统很难也不可能把连续语音作为一个整体来进行识别。实用的识别系统要求提高语音特征参数的鲁棒性、对不同非高斯噪声的非敏感性，以及对不同用户的适应能力等，这些复杂性的需求的实现是非常困难的。,视频接口,视频图像显示,概述为了显示原始图像（这里使用的“图像”是泛指，包括全运动视频）的可接受的复制图，需要使用各种显示系统技术来解码信号和压缩数据。显示系统技术 VGA混合可伸缩的VGA混合双缓冲VGA混合/伸缩,视频图像显示,视频显示技术标准 第一代标准：MDA和CGA第二代标准：EGA 第三代标准：VGA 采用256K种颜色的调色板及用模拟量输出，使显示的颜色更加逼真第四代标准：XGA l990年IBM公司宣布了XGA高性能的视频子系统,视频图像显示,CRT显示系统 屏幕尺寸 荫罩和点间距 荧光粉类型 刷新（或扫描）频率与闪烁 隔行和非隔行扫描 显示缓冲区与颜色定义 模拟信号接口和数字信号接口 视频BIOS,视频图像显示,平板显示系统 被动矩阵单色主动矩阵单色被动矩阵彩色主动矩阵彩色,视频卡的工作原理,视频卡的分类与功能简介视频卡的分类 视频采集卡将视频信号连续转换成计算机存储的数字视频信号（离散）保存在计算机中或在VGA显示器上显示，完成这种功能的视频卡称之为视频采集卡，或称为视频转换卡。如果能够实时完成压缩，则称实时压缩卡。通常可将外部视频输入信号叠加在显示器上，并将视频输入信号变换成计算机可存储的信息保存在硬盘中。只能单帧捕获的，称为图像卡。,视频卡的工作原理,视频卡的分类与功能简介视频卡的分类 视频采集卡,视频卡的工作原理,视频卡的分类与功能简介视频卡的分类 视频采集卡的连接,视频卡的工作原理,视频播放卡 将压缩保存在计算机中的视频信号数据在计算机的显示器上播放出来的这种卡称之为视频播放卡，或称解压缩卡，也称之为电影卡。电视转换卡 电视转换卡分为两类：电视卡和TV编码器。电视卡：是将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示 TV编码器：它将计算机的VGA信号转换为NTSC、PAL、SECAM等标准的信号在电视上播放或进行录像，,视频卡的工作原理,视频卡的分类与功能简介视频卡的主要功能全活动数字图像的显示、抓取、录制、支持Microsoft Video for Windows；可以从录像机（VCR）、摄像机、ID、IV等视频源中抓取定格，存储输出图像；近似真彩色YUV格式图像缓冲区，并可将缓冲区映射到高端内存；可按比例缩放、剪切、移动、扫描视频图像；色度、饱和度、亮度、对比度及R、G、B三色比例可调；可用软件选端口地址和IRQ；具有若干个可用软件相互切换的视频输入源，以其中一个做活动显示。,4.3.2 视频卡的工作原理,视频卡的分类与功能简介各种功能的视频卡 电视卡（TV Turner）：将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示，是一块能接收全频道、全制式彩色电视节目的视频信号的转换卡，它的输出与电脑的CRT制式匹配。TV编码器（TV Coder）：把VGA信号转为PAL、NTSC、SECAM制式的视频信号，供电视播放或录像制作使用，多用于广告电视片的后期处理。视频捕获卡：捕捉和编辑静态视频图像，完成视频数字化、编辑以及处理等工作。动态视频捕获和播放卡：用于实时动态视频和声音的同时获取及压缩处理，该卡还具有储存和播放功能。常用于视觉传达系统中的现场监控、办公自动化和多媒体节目创作等场合。,视频卡的工作原理,视频采集卡的工作原理视频信号源、摄像机、录像机或激光视盘的信号首先经过A/D变换，送到多制式数字解码器进行解码得到YUV数据，然后由视频窗口控制器对其进行剪裁，改变比例后存入帧存储器。帧存储器的内容在窗口控制器的控制下，与VGA同步信号或视频编码器的同步信号同步，再送到D/A变换器变成模拟的RGB信号，同时送到数字式视频编辑器进行视频编码，最后输出到VGA监视器及电视机或录像机。,视频卡的工作原理,视频采集卡的工作原理,视频卡的工作原理,视频采集卡的工作原理A/D变换和数字解码,视频卡的工作原理,视频采集卡的工作原理窗口控制器PC总线接口部分,视频卡的工作原理,视频采集卡的工作原理窗口控制器视频输入剪裁、变比例部分,视频卡的工作原理,视频采集卡的工作原理窗口控制器VRAM读写、刷新控制部分,视频卡的工作原理,视频采集卡的工作原理窗口控制器输出窗口VGA同步、色键控制部分,视频卡的工作原理,视频采集卡的工作原理帧存储器系统 数模转换和矩阵变换 视频信号和VGA信号的叠加 数字式多制式视频信号编码部分,多媒体I/O设备,笔输入,手写板和手写笔电阻式压力板、电磁式感应板和近期发展的电容式触控板。,笔输入,电阻压力板手写板组成由一层可变形的电阻薄膜和一层固定的电阻薄膜构成，中间由空气相隔离。工作原理用笔或手指对上层电阻加压使之变形，当与下层接触时，下层电阻薄膜就感应出笔或手指的位置。特点原理简单，工艺不复杂，成本较低，价格也比较便宜。材料容易疲劳，使用寿命较短。,笔输入,电磁式手写板 工作原理：通过在手写板下的布线电路通电后，在一定时间范围内形成电磁场，来感应带有线圈的笔尖的位置进行工作。分类：“有压感”和“无压感”两种特点：对供电有一定的要求易受外界环境的电磁干扰 使用寿命短,笔输入,电容式写字板 工作原理：通过人体的电容来感知手指的位置。即当您手指接触到触控板的瞬间，就在板的表面产生了一个电容。在触控板表面附着有一种传感矩阵，这种传感矩阵与一块特殊芯片一起，持续不断地跟踪着您手指电容的“轨迹”，经过内部一系列的处理从而每时每刻精确定位手指的位置（X、Y坐标），同时测量由于手指与板间距离（压力大小）形成的电容值的变化，确定Z坐标。,笔输入,电容式写字板 特点：用手指和笔都能操作，使用方便 手指和笔与触控板的接触几乎没有磨损，性能稳定 机械测试使用寿命长达30年 元件少，产品一致性好，成品率高，成本较低手写笔 有线笔 无线笔,触摸屏,概述触摸屏（Touch Screen）是一种定位设备当用户用手指或者其他设备触摸安装在计算机显示器前面的触摸屏时，所摸到的位置（以坐标形式）被触摸屏控制器检测到，并通过串行口或者其他接口（如键盘）送到CPU，从而确定用户所输入的信息。改善人与计算机的交互方式，,触摸屏,触摸屏的分类 按安装方式分类 外挂式 内置式 整体式 投影仪式,触摸屏,从结构特性与技术分类 红外：使用红外线传感器，这是一种需要特殊框的触摸屏形式；电阻膜：使用电阻性传感器，其主要结构是电阻膜；电容：使用电容性传感器，利用人体所带电荷的电容感应作用工作；表面声波：使用声波传感器，由声波传感器和反射器组成；压力矢量：使用压力矢量传感器，利用显示器下的垫感受压力,触摸屏,红外技术触摸屏原理在普通显示器的前面安装一个外框，通过外框中的电路板在屏幕四边排布红外发射管和红外接收管，对应形成横竖交叉的红外线矩阵。当用户触模屏幕时，手指就会挡住经过该位置的横竖两条红外线，从而利用X、Y方向上密布的红外线矩阵来检测并定位用户的触摸位置，执行该位置的图标或热点、热键。,触摸屏,红外技术触摸屏特点价格低廉，安装非常方便，使用键盘接口不需要卡或其他任何控制器。对光照环境因素比较敏感防干扰能力较弱,手挡住红外线,红外发射管,红外接收管,红外接收管,红外发射管,触摸屏,电容技术触摸屏 原理在玻璃屏幕上镀一层透明的薄膜层，再往导体层外加上一块保护玻璃、双玻璃设计能彻底保护导体层及感应器。此外，在附加的触摸屏四边均镀上狭长的电极，在导电体内形成一个低电压交流电场。用户触摸屏幕时，由于人体电场，手指与导体层间会形成一个锅台电容，四边电极发出的电流会流向触点，而电流的强弱与手指及电极间的距离成正比，位于触模屏幕后的控制器便会计算电流的比例及强弱，准确算出触模点的位置。,触摸屏,电容技术触摸屏 特点可靠精确 环境电场发生改变，会引起测量漂移，造成不准确 安装不便,触摸屏,电阻技术触摸屏 原理它是一块与显示器表面配合紧密的电阻薄膜屏。这是一种多层的复合薄膜，由一层玻璃或有机玻璃作为基层，表面涂有一层叫ITO的透明导电层，上面再盖有一层外表面硬化处理、光滑防刮的塑料层，它的内表面也涂有一层导电材料（ITO或镍金），在两层导电层之间有许多细小（小于10-3英寸）的透明隔离点把它们隔开并绝缘。当手指触摸屏幕时，两层导电层在触摸点位置就有了一个接触，控制器侦测到这个接通并计算出X、Y轴的坐标。,触摸屏,电阻技术触摸屏 特点可以用任何很尖细的物体作触针，但怕锐器刮伤；抗强干扰或灰尘、水汽污染的环境。,扫描仪,概述扫描仪（Scanner）是一种图像输入设备，利用光电转换原理，通过扫描仪光电的移动或原稿的移动，把黑白或彩色的原稿信息数字化后输入到计算机中。,扫描仪,扫描仪的种类,手动式扫描仪,平面式扫描仪,滚筒式扫描仪,胶片扫描仪,便挟扫描仪,扫描仪,扫描仪技术参数幅面，如A3、A4光学分辨率，如 600dpi*1200dpi扫描分辨率，如1200dpi*2400dpi灰度与色彩，如256级灰度，24位真彩色扫描速度与计算机接口，如SCSI、USB、打印口配件：投射板、送纸器,扫描仪,扫描仪技术参数配件：投射板、送纸器,数码相机,原理数字照相机不用胶片，而使用CCD阵列，把来自CCD阵列的电压信号送到模数转换器后，变换成图像的像素值。,虚拟现实的三维交互工具,踪探测设备跟踪器 跟踪球 手数字化设备立体显示设备头盔显示器 立体眼镜,输入输出接口,SCSI接口SCSI（Small Computer System Interface）即“小型计算机系统接口”是当今世界上最流行的用于小型机、工作站和微机的输入输出设备标准接口。,输入输出接口,USB接口USB是英文Universal Serial Bus的缩写，中文含义是“通用串行总线”。它不是一种新的总线标准，而是应用在PC领域的新型接口技术。USB目标想把各种不同的接口统一起来，使用一个4针插头作为标准插头。通过这个标准插头，采用菊花链形式可以把所有的外设连接起来，并且不会损失带宽。也就是说，USB 将取代当前PC上的串口和并口,输入输出接口,USB接口USB分为五个部分：控制器控制器驱动程序USB芯片驱动程序USB 设备针对不同USB设备的客户驱动程序,多媒体计算机,多媒体处理器,几种典型的多媒体处理器 MicroUnity公司的Media Processor Philips公司的TrimediaChromatic Research公司的Mpact Media EngineIntel公司的MMX技术MMX是Multi Media eXtension（多媒体扩展）的缩写，MMX CPU的中文名为“多能”。MMX技术提供了面向多媒体和通信应用的新特性，同时保持了对全部现有Intel体系结构微处理器、IA应用程序和操作系统向下全部兼容,多媒体总线,PCI总线局部总线技术（Local BUS）PCI（Peripheral Component Interconnect）总线是Intel公司1993年发布的。PCI的特点协调数据传输并提供总线接口 能支持10种外设，并保持最高的传输速率 硬件成本大为降低 支持PCI总线扩展板和部件支持线性突发的数据传送模式,多媒体总线,AGP总线 加速图形端口（Accelerated Graphics Port，AGP）是Intel公司在1997年秋为应付PC处理3D图形中潜在的数据流瓶颈而提出的一种解决方案。AGP总线是一条32位的多路地址和数据总线，它还拥有一条8位的侧面寻址总线（Sideband Addressing）。它的加入决定性地改变了PC平台对3D图像的支持。,多媒体个人计算机(MPC),概述什么是MPCMPC-multimedia Personal Computer具有多媒体功能的个人计算机早期在PC机上增加声音卡和光盘驱动器多媒体技术的发展，不断赋予MPC新的内容对广大用户而言，就是把具有多媒体功能的PC机或把现有增加多媒体升级套件的PC机叫MPC。,多媒体个人计算机(MPC),MPC起源MPC源于1990年Microsoft公司联合一些主要的PC厂商和多媒体产品开发商组成的MPC联盟(Multimedia PC Marketing Council)目的建立计算机系统硬件的最低功能标准，利用Microsoft的windows为操作系统，以PC现有的广大市场，作为推动多媒体的基础MPC特指符合MPC联盟标准的多媒体个人计算机,多媒体个人计算机(MPC),MPC要解决的关键技术视频音频信号获取技术；多媒体数据压缩编码和解码技术；视频音频数据的实时处理和特技；视频音频数据的输出技术。,多媒体个人计算机(MPC),MPC的技术标准MPC联盟规定多媒体计算机包括5个基本的部件：个人计算机(PC)只读光盘驱动器(CD-ROM)声卡Windows操作系统一组音箱或耳机,4.5.3 多媒体个人计算机(MPC),多媒体个人计算机(MPC),MPC-11990年MPC-l标准诞生得到了许多硬件商的支持发展了多媒体系统的标准操作平台软件开发商也克服了以往无硬件标准而造成的软件的困境MPC-21993年5月MPC联盟又制定了第二代多媒体计算机标准MPC-2主要是提高了基本部件的性能指标。,多媒体个人计算机(MPC),MPC-3MPC第三代的标准是1995年6月制定的在进一步提高对基本部件的要求的基础上，MPC-3增加了全屏幕、全动态(30帧秒，fps)视频及增强版的CD音质的视频和音频硬件标准。,多媒体个人计算机(MPC),MPC-1RAM2MB中央处理器16MHz 386SX硬盘容量30MBCD-ROM 150KB/s，最大寻址时间 1s声音卡 8bit数字声音，8个合成音，MIDI显示器 640480，16色，视频播放输入输出端口MIDI I/O，摇杆端口，串并联端口,多媒体个人计算机(MPC),MPC-2RAM 4MB中央处理器25MHz 486SX硬盘容量160MBCD-ROM 300KB/s，最大寻址时间400ms，CD-ROM XA声音卡 16bit数字声音，8个合成音，MIDI显示器 640480，65536色，视频播放输入输出端口MIDI I/O，摇杆端口，串并联端口,多媒体个人计算机(MPC),MPC-3RAM8MB中央处理器 75MHz Pentium，同等级X86硬盘容量540MBCD-ROM 600KB/s，最大寻址时间200ms，CD-ROM XA声音卡 16bit数字声音，Wavetable(波表)，MIDI显示器 640480，65536色，视频播放 352240 30f/s(352288 25f/s)15bit/pixel输入输出端口 MIDI I/O，摇杆端口，串并联端口,多媒体个人计算机(MPC),MPC的升级MPC的特征随着计算机硬件技术和多媒体技术的飞速发展，MPC的标准规范还会继续升级。所以，我们不必去拘泥于它的具体条件，而只要去理解、把握MPC的基本特征。这些基本特征有：带有CD-ROM驱动器；高质量的数字音响；高分辨率的图形、图像显示；带有管理多媒体的软件；,多媒体个人计算机(MPC),MPC的升级多媒体设备多媒体计算机之所以具有多媒体功能，是因为其中安装有多媒体配件产品，因此在普通PC机中增加多媒体设备就能升级为多媒体计算机。多媒体设备包括：处理数字音频、视频的声音卡、TV接收卡、视频捕捉卡、视频压缩与解压卡，以及采用光学原理的数字光盘存储设备等。,多媒体个人计算机(MPC),MPC的升级获得MPC的途径有两种：一是直接购买MPC整机；二是购买多媒体升级套件，使原有普通的PC机升级为MPC。,多媒体个人计算机(MPC),MPC的性能MPC的性能主要从它对音频、图形、图像和视频等信号处理和管理的能力来评价。对音频信号的处理能力：MPC的升级套件中必须包括一块音频处理卡，它提供了丰富的音频信号处理功能。其中包括：录入、处理和重放声波(waveform)信号；可以用MIDI技术合成音乐；,多媒体个人计算机(MPC),MPC的性能图形功能：MPC有较强的图形处理功能，在VGA显示硬件和Windows软件配合下，MPC可以产生色彩丰富、形象逼真的图形，并且在此基础上实现一定程度的2D动画；图像处理功能：MPC通过VGA接口卡和显示器可以逼真、生动地显示静止图像；,多媒体个人计算机(MPC),MPC的性能视频处理功能：MPC对视频图像的处理很有限，一般不能实时录入和压缩视频图像，只能播放已压缩好的视频图像，而且质量也较低。,
