多媒体硬件设备.ppt
《多媒体硬件设备.ppt》由会员分享,可在线阅读,更多相关《多媒体硬件设备.ppt(85页珍藏版)》请在三一办公上搜索。
1、第八章多媒体硬件环境,计算机科学与技术系董华松,音频接口,音频卡的工作原理,音频卡处理音频信号的PC插卡是音频卡(Audio Card),又称声音卡,声音卡处理的音频媒体有数字化声音(Wave)、合成音乐(MIDI)、CD音频。,音频卡的工作原理,声音是怎样工作的?,音频卡的工作原理,音频卡的功能 音频的录制与播放编辑与合成MIDI接口文语转换CD-ROM接口游戏接口支持全双工功能,音频卡的连接方式,音频卡的工作原理,音频卡的体系结构音频卡由下列部件组成:MIDI输入/输出电路;MIDI合成器芯片;用来把CD音频输入与线输入相混合电路;带有脉冲编码调制电路的模数转换器,用于把模拟信号转换为数字
2、信号以生成波形文件;用来压缩和解压音频文件的压缩芯片;用来合成语音输出的语音合成器;用来识别语音输入的语音识别电路;输出立体声的音频输出或线输出的输出电路等。,音频卡的工作原理,数字化声音处理,音频卡的工作原理,混音器,音频卡的工作原理,合成器波形表(Wave Table)合成 频率调制FM合成,音频合成和MIDI接口规范,MIDIMIDI(Musical Instrument Digital Interface)是指乐器数字接口,是数字音乐的国际标准。MIDI的音乐符号化过程实际上就是产生MIDI协议信息的过程。音乐合成器是电脑音乐系统中最重要的设备之一。,音频合成和MIDI接口规范,MID
3、I术语MIDI文件通道 Channels 音序器Sequencer 合成器Synthesizer 乐器Instrument 通道映象Channel Mapping复音Polyphony音色Timbre音轨Track合成音色映射程序Patch Mapper,音频合成和MIDI接口规范,MIDI接口MIDI In(输入口)接收从其他MIDI装置传来的消息。MIDI Out(输出口)发送某装置生成的原始MIDI消息。向其他设备发送MIDI消息。MIDI Thru(转发口)传送从输人口接收的消息到其他MIDI装置。向其他设备发送MIDI消息。,音频合成和MIDI接口规范,MIDI接口,语音合成,概述实
4、现计算机语音输出有两种方法:录音/重放文语转换计算机话语输出按其实现的功能来分,可以分为以下两个档次:有限词汇的计算机语音输出 基于语音合成技术的文字-语音转换(TTS),语音合成,合成方法 发音器官参数语音合成对人的发音过程进行直接模拟 声道模型参数语音合成基于声道截面积函数或声道谐振特性合成语音 波形编辑语音合成技术波形编辑语音合成技术是直接把语音波形数据库中的波形相互拼接在一起,输出连续语流。PSOLA(Pitch Synchronous Overlap Add)方法,语音合成,语音基元数据库的构建 基元的选择 选择音节 选择双音素和三音素 语音数据的存储形式 波形存储方式存储数字化的语
5、音波形数据 参数存储方式存储从语音信号中提取的参数,常用的有LPC参数、LSP(LSF)、共振峰参数等,语音合成,韵律模拟 自然语言中的韵律特征语调、节奏和重音等能表达说话者的语义和感情,是自然语流的重要组成部分 韵律合成及方法超音段特征(音高、音长、音强及频率分布的变化)的修改构成了韵律合成的基础方法:修改基频模式、共振峰模式、PSOLA算法等 韵律模拟的问题需解决韵律规则、韵律描述、计算模型和修改算法等问题,语音识别,概述语音识别是将人发出的声音、字或短语转换成文字、符号,或给出响应,如执行控制、作出回答。语音识别系统的分类 按可识别的词汇量多少划分 按照语音的输入方式划分按发音人划分说话
6、人识别,语音识别,语音识别系统的最终目标 不存在对说话人的限制,即非特定人的。不存在对词汇量的限制,即基于大词汇表的。不存在对发音方式的限制,即可识别连续自然发音的。系统的整体识别率应该相当高,接近于人类对自然语音的识别能力。这也正是听写机系统最终要达到的目标。,语音识别,语音识别研究的难点 很难适应各种年龄、性别、口音、发音速度、语音强度、发音习惯与方式等的差异。系统随着能够识别的词汇量增大,所需要的空间和时间的花销就越多,最终将导致系统的识别性能急剧下降而丧失可用性。尽管连续发音是人们最为自然的发音方式,但是识别系统很难也不可能把连续语音作为一个整体来进行识别。实用的识别系统要求提高语音特
7、征参数的鲁棒性、对不同非高斯噪声的非敏感性,以及对不同用户的适应能力等,这些复杂性的需求的实现是非常困难的。,视频接口,视频图像显示,概述为了显示原始图像(这里使用的“图像”是泛指,包括全运动视频)的可接受的复制图,需要使用各种显示系统技术来解码信号和压缩数据。显示系统技术 VGA混合可伸缩的VGA混合双缓冲VGA混合/伸缩,视频图像显示,视频显示技术标准 第一代标准:MDA和CGA第二代标准:EGA 第三代标准:VGA 采用256K种颜色的调色板及用模拟量输出,使显示的颜色更加逼真第四代标准:XGA l990年IBM公司宣布了XGA高性能的视频子系统,视频图像显示,CRT显示系统 屏幕尺寸
8、荫罩和点间距 荧光粉类型 刷新(或扫描)频率与闪烁 隔行和非隔行扫描 显示缓冲区与颜色定义 模拟信号接口和数字信号接口 视频BIOS,视频图像显示,平板显示系统 被动矩阵单色主动矩阵单色被动矩阵彩色主动矩阵彩色,视频卡的工作原理,视频卡的分类与功能简介视频卡的分类 视频采集卡将视频信号连续转换成计算机存储的数字视频信号(离散)保存在计算机中或在VGA显示器上显示,完成这种功能的视频卡称之为视频采集卡,或称为视频转换卡。如果能够实时完成压缩,则称实时压缩卡。通常可将外部视频输入信号叠加在显示器上,并将视频输入信号变换成计算机可存储的信息保存在硬盘中。只能单帧捕获的,称为图像卡。,视频卡的工作原理
9、,视频卡的分类与功能简介视频卡的分类 视频采集卡,视频卡的工作原理,视频卡的分类与功能简介视频卡的分类 视频采集卡的连接,视频卡的工作原理,视频播放卡 将压缩保存在计算机中的视频信号数据在计算机的显示器上播放出来的这种卡称之为视频播放卡,或称解压缩卡,也称之为电影卡。电视转换卡 电视转换卡分为两类:电视卡和TV编码器。电视卡:是将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示 TV编码器:它将计算机的VGA信号转换为NTSC、PAL、SECAM等标准的信号在电视上播放或进行录像,,视频卡的工作原理,视频卡的分类与功能简介视频卡的主要功能全活动数字图像的显示、抓取、
10、录制、支持Microsoft Video for Windows;可以从录像机(VCR)、摄像机、ID、IV等视频源中抓取定格,存储输出图像;近似真彩色YUV格式图像缓冲区,并可将缓冲区映射到高端内存;可按比例缩放、剪切、移动、扫描视频图像;色度、饱和度、亮度、对比度及R、G、B三色比例可调;可用软件选端口地址和IRQ;具有若干个可用软件相互切换的视频输入源,以其中一个做活动显示。,4.3.2 视频卡的工作原理,视频卡的分类与功能简介各种功能的视频卡 电视卡(TV Turner):将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示,是一块能接收全频道、全制式彩色电视
11、节目的视频信号的转换卡,它的输出与电脑的CRT制式匹配。TV编码器(TV Coder):把VGA信号转为PAL、NTSC、SECAM制式的视频信号,供电视播放或录像制作使用,多用于广告电视片的后期处理。视频捕获卡:捕捉和编辑静态视频图像,完成视频数字化、编辑以及处理等工作。动态视频捕获和播放卡:用于实时动态视频和声音的同时获取及压缩处理,该卡还具有储存和播放功能。常用于视觉传达系统中的现场监控、办公自动化和多媒体节目创作等场合。,视频卡的工作原理,视频采集卡的工作原理视频信号源、摄像机、录像机或激光视盘的信号首先经过A/D变换,送到多制式数字解码器进行解码得到YUV数据,然后由视频窗口控制器对
12、其进行剪裁,改变比例后存入帧存储器。帧存储器的内容在窗口控制器的控制下,与VGA同步信号或视频编码器的同步信号同步,再送到D/A变换器变成模拟的RGB信号,同时送到数字式视频编辑器进行视频编码,最后输出到VGA监视器及电视机或录像机。,视频卡的工作原理,视频采集卡的工作原理,视频卡的工作原理,视频采集卡的工作原理A/D变换和数字解码,视频卡的工作原理,视频采集卡的工作原理窗口控制器PC总线接口部分,视频卡的工作原理,视频采集卡的工作原理窗口控制器视频输入剪裁、变比例部分,视频卡的工作原理,视频采集卡的工作原理窗口控制器VRAM读写、刷新控制部分,视频卡的工作原理,视频采集卡的工作原理窗口控制器
13、输出窗口VGA同步、色键控制部分,视频卡的工作原理,视频采集卡的工作原理帧存储器系统 数模转换和矩阵变换 视频信号和VGA信号的叠加 数字式多制式视频信号编码部分,多媒体I/O设备,笔输入,手写板和手写笔电阻式压力板、电磁式感应板和近期发展的电容式触控板。,笔输入,电阻压力板手写板组成由一层可变形的电阻薄膜和一层固定的电阻薄膜构成,中间由空气相隔离。工作原理用笔或手指对上层电阻加压使之变形,当与下层接触时,下层电阻薄膜就感应出笔或手指的位置。特点原理简单,工艺不复杂,成本较低,价格也比较便宜。材料容易疲劳,使用寿命较短。,笔输入,电磁式手写板 工作原理:通过在手写板下的布线电路通电后,在一定时
14、间范围内形成电磁场,来感应带有线圈的笔尖的位置进行工作。分类:“有压感”和“无压感”两种特点:对供电有一定的要求易受外界环境的电磁干扰 使用寿命短,笔输入,电容式写字板 工作原理:通过人体的电容来感知手指的位置。即当您手指接触到触控板的瞬间,就在板的表面产生了一个电容。在触控板表面附着有一种传感矩阵,这种传感矩阵与一块特殊芯片一起,持续不断地跟踪着您手指电容的“轨迹”,经过内部一系列的处理从而每时每刻精确定位手指的位置(X、Y坐标),同时测量由于手指与板间距离(压力大小)形成的电容值的变化,确定Z坐标。,笔输入,电容式写字板 特点:用手指和笔都能操作,使用方便 手指和笔与触控板的接触几乎没有磨
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体 硬件 设备

链接地址:https://www.31ppt.com/p-6266125.html