基础班多媒体技术.ppt

数字媒体及应用,1 文本 2 图像和图形3 数字声音4 数字视频,学习目标与要求,1.熟练掌握GB2312，GBK和GB18030三种汉字编码标准的内容、关系与应用，熟悉中文文本准备的方法，掌握常用文本类型与处理方式2.掌握数字图像获取的原理与方法，熟悉图像在计算机中的表示，熟悉数字图像常见压缩标准的特点与应用3.掌握声音获取的方法与设备，熟悉波形声音在计算机中的表示与压缩编码，初步了解语音合成和音乐合成的过程与应用4.了解数字视频的获取方法与设备，熟悉视频压缩编码的几种标准及其应用,多种信息在计算机内的表示,1 文本,字符集常用字符的集合。西文字符集由拉丁字母、数字、标点符号及一些特殊符号组成。字符的编码字符集中每一个字符各有一个代码，即字符的二进制表示，称为该字符的编码。,文本在计算机中的处理,西文字符编码（常考）,在计算机中，所有西文信息必须用二进制表示目前广泛使用的西文字符集及其编码 ASC码美国标准信息交换码(American Standard Code for Information Interchange)使用7个二进位对字符进行编码（标准ASCII码），称为ISO-646标准。,基本的ASCII字符集共有128(27)个字符96个可打印字符（常用字母、数字、标点符号等）3212632个控制字符031及127,西文字符编码,西文字符编码,例：“A”的ASCII码为41H（65D）“D”的ASCII码为?“a”的ASCII码为61H（97D）“g”的ASCII码为?“0”的ASCII码为30H（48D）“空格”的ASCII码为32注意：数字、字母的ASCII码是连续的，对应大、小写字母的ASCII码相差32。,ASC码表,标准ASCII字符集只有128个不同的字符，在很多应用中无法满足要求。每个扩充ASCII字符集分别可以扩充128个字符，这些扩充字符的编码均是高位为1的8位代码（十进制数128255），称为扩展ASCII码。扩充ASCII字符集=标准ASCII字符集+扩展ASCII字符集,扩充ASCII字符集,一、GB2312-80汉字编码信息交换用汉字编码字符集基本集(GB2312-80)1、组成第一部分字母、数字和各种符号，包括拉丁字母、俄文、日文平假名与片假名、希腊字母、汉语拼音等共682个（统称为GB2312图形符号）,汉字编码（重点掌握）,汉字编码,第二部分一级常用汉字，共3755个，按汉语拼音排列。第三部分二级常用字，共3008个，按偏旁部首排列。,2、区位码GB2312国标字符集构成一个二维平面，它分成94行、94列，行号称为区号，列号称为位号。每一个汉字或符号在码表中都有各自的位置，字符的位置用它所在的区号(行号)及位号(列号)来表示。每个汉字的区号和位号分别用1个字节来表示。,汉字编码,如：“大”字的区号20，位号83，区位码是20 83，用2个字节表示为：00010100 01010011,3、国标码为了避免汉字区位码与通信控制码的冲突，ISO2022规定，每个汉字的区号和位号必须分别加上32（即二进制0010 0000），亦即+2020H。经过这样处理得到的代码称为汉字的“国标交换码”（简称交换码）。如：“大”字的交换码是:00110100 01110011,汉字编码,4.机内码为区分文本中的汉字与西文字符把一个汉字看作两个扩展ASCII码，使表示GB2312汉字的两个字节的最高位(b7)都等于“1”。这种高位为l的双字节(16位)汉字编码就称为GB2312汉字的“机内码”，又称内码。国标码每字节+128，即+8080H，2个二进制10000000如：“大”字的内码是：10110100 11110011（B4F3）,汉字编码,国标码=区位码+2020H20H=00100000，第6位+1机内码=国标码+8080H80H=10000000，第8位+1机内码=区位码+A0A0HA0H=10100000，第6和第8位分别+1,区位码、国标码和机内码的关系,说明汉字机内码为双字节，最高位为1西文字符机内码为单字节，最高位为0,问题：GB2312-80只有6763个汉字，使用时功能不够。解决方法：1995年发布GBK，全称为汉字内码扩展规范。GBK字符集中一共有21003个汉字和883个图形符号，它与GB2312国标汉字字符集及其内码保持兼容，繁简体同平面共存。GBK/1：GB2312中的符号GBK/2：GB2312中的全部汉字GBK/4和GBK/3：包括繁体字在内的大量汉字GBK/5：符号例如：計算機係等繁体汉字和冃冄円冇鎔等生僻的汉字。,GBK汉字内码扩充规范,应用操作系统Windows 95以上简体中文版，采用GBK代码，并提供了多种输入法和字体。应用软件Office 95以上简体中文版本提供GBK码的检索和排序。互联网应用许多网站的网页使用GBK代码，但目前还不是所有搜索引擎都支持 GBK 汉字文本的搜索。,GBK汉字内码扩充规范,目标与途径实现所有字符在同一字符集中统一编码。UCS/Unicode用4个字节对全世界现代书面文字所使用的所有字符、符号进行编码（记作 UCS-4）。,通用编码字符集UCS/Unicode,UCS：ISO/IEC 10646Universal Multiple-Octet Coded Character Set，通用多8位编码字符集Unicode：统一码或联合码由微软、IBM等联合制定，与UCS完全等同的工业标准。优点：编码空间极大，能容纳足够多的各种字符集（13亿字符）。,通用编码字符集UCS/Unicode,缺点：4字节的字符编码使存储空间浪费严重。（UCS-4）实际方案采用双字节的UCS-2编码，共有字符49194个UTF-8 可变长编码，1、2、3字节,通用编码字符集UCS/Unicode,UCS/Unicode与GB2312-80和GBK编码不兼容。为了既能与UCS/Unicode编码标准接轨，又能向下兼容GB2312-80和GBK编码标准。在GB2312-80和GBK的基础上进行了扩充，增加了4字节的编码，码位总数达160多万个。能完全映射UCS/Unicode的字符集。所包含的汉字数目增加到27000多个。,GB18030-2000编码,对比,ASC码美国标准信息交换码基本的ASCII字符集共有128个字符GB2312-80信息交换用汉字编码字符集基本集6763个简体汉字，682个图形符号GBK-95汉字内码扩充规范21003个汉字，883个图形符号GB18030-200027000多个汉字,BIG5 繁体中文字符集CJK统一编码汉字指中、日、韩、新、马及我国台湾、香港、澳门地区使用的汉字，不论其字义和读音有无区别，只要字形相同，该汉字就只有一个代码。,其他编码,计算机处理的文字信息称为文本。,文本,文本准备（文本输入）,人工输入通过键盘、手写笔或语音输入方式输入字符。速度慢、成本高，不适合需处理大批量文字的应用。自动输入将纸介质上的文本通过识别技术自动转换为文字的编码。速度快，效率高。文字的自动识别分为：印刷体识别和手写体识别。,文本输入,1、键盘输入键盘输入编码由于汉字字数很多，无法使每个汉字与西文键盘上的键一一对应，因此必须使用一个或几个键来表示汉字。输入编码要求易学习易记忆效率高(平均击键次数较少)重码少容量大(可输入的汉字字数多),文本输入,汉字输入编码方法分类1）数字编码使用一串数字来表示汉字的编码方法如:电报码、区位码等难以记忆，不易推广2）字音编码一种基于汉语拼音的编码方法，简单易学，适合于非专业人员同音字引起的重码多，需增加选择操作,文本输入,汉字输入编码方法分类3）字形编码将汉字的字形分解归类而给出的编码方法重码少、输入速度较快，编码规则不易掌握如:五笔字形法和表形码等4）形音编码吸取了字音编码和字形编码的优点，使编码规则适当简化、重码减少不易掌握注意：使用不同的输入编码方法向计算机输入的同一个汉字，它们的内码是相同。,文本输入,2、扫描输入通过扫描仪将纸上的文字变成计算机可处理的信息，一般用于大量文字的快速录入。,文本输入,扫描输入的核心：光学字符识别软件OCR（Optical Character Recognition）可对扫描仪输入的文字进行判断，将图像形式的字符转换成计算机能理解的信息形式 应用现状：多字体、多字号、中西文混排、文字表格混排,文本输入,3、手写输入（联机手写汉字识别）以平常书写的习惯，把要输入的汉字写在一块叫作书写板的设备上书写板将笔尖的运动（包括抬笔、落笔、笔段轨迹以及各笔段之间的时间关系等）按时间采样后发送到计算机中，由计算机软件自动进行识别，然后用该汉字（或符号）对应的代码进行保存方正如意笔中科院自动化所汉王手写笔,文本输入,4、语音输入功能：命令控制：向计算机发一个简单的声音指令，控制计算机操作 听写：由人来说，计算机来写。有些语音软件是与说话人无关的，成为非特定人识别系统应用现状：特定人连续语音识别率已达到 90%以上最高目标：非特定人大词汇量的连续语音识别技术,文本输入,文本：是计算机表示文字及符号信息的一种数字媒体根据是否具有编辑排版功能来分简单文本丰富格式文本根据文本内容的组织结构分线性文本超文本、超媒体,文本类型,由一连串用于表达正文内容的编码字符（包括汉字）组成几乎不包含任何其他格式信息和结构信息（除“回车”、“换行”、“制表”等有限的几个打印/显示控制字符外）,简单文本（纯文本.txt）,返回,这种文本通常称为纯文本，文件后缀名.txt呈现为一种线性结构，写作与阅读按顺序进行文件体积小，通用性好不能插入图片、表格等，不能建立超链接,文本的格式化对纯文本进行加工，也称排版在简单文本中增加格式控制和结构说明信息丰富格式文本(rich text format)不同软件制作的丰富格式文本相互并不兼容,返回,丰富格式文本(.rtf),RTF是一种中间格式，它的目的是使各种丰富格式文本相互交换使用多媒体文档（Multimedia Document）含有声音和视频信息的文本,超文本(hypertext)的阅读方式传统的顺序式阅读线性文本通过链接、跳转、导航、回溯等操作实现跳跃式阅读超文本采用一种网状结构来组织信息超文本的结构(非线性的网状结构),超文本,超文本的结构如：Windows操作系统中的“帮助”信息,返回,超文本,超文本节点中的数据从文字扩展为图形、图像、声音、动画、动态视频把超文本推广到多媒体的形式超媒体=超文本+多媒体如：因特网的WWW信息系统,超媒体,返回,1、文本编辑文本编辑的主要功能对字、词、句、段落进行添加、删除、修改等操作字的处理：设置字体、字号、字的排列方向、间距、颜色、效果等段落的处理：设置行距、段间距、段缩进、对齐方式等页面布局的处理：设置页边距、每页行列数、分栏、页眉、页脚等,文本处理,2、文本处理字词的处理字数统计，字频统计，简/繁体相互转换，汉字/拼音相互转换词语排序，词语错误检测，文句语法检查自动分词，词频统计，词性标注，词义辨识，大陆/台湾术语转换,文本处理,2、文本处理篇章的处理关键词提取，文摘自动生成，文本分类文本检索（关键词检索、全文检索），文本过滤文本压缩，文本加密，文本著作权保护篇章理解，自动问答，自动写作等,文本处理,3、常用文字处理软件“所见即所得”（What You See Is What You Get）所有的编辑操作效果立即可以在屏幕上看到在屏幕上看到的效果与打印机的输出结果相同常用文字处理软件WPS、Microsoft Word、FrontPage、PDF Writer,文本处理,3、常用文字处理软件 1）面向办公的文本处理软件典型软件MS-OfficeWPS2000,文本处理,2）面向出版的文本处理软件排版软件的主要功能排版软件的输出的一种使用页面描述语言（如PostScript）描述的文件（.ps文件），典型排版软件方正集团公司的“飞腾”排版软件美国Adobe公司的PageMaker和PDF Writer,文本处理,3、常用文字处理软件 3）面向电子出版的文本处理软件美国Adobe公司的Acrobat，使用PDF格式文件 4）面向通信的文本处理软件计算机网络上最普及的应用是用电子邮件进行通信典型软件：微软公司的Outlook Express,文本处理,3、常用文字处理软件 5）面向网络信息发布的文本处理软件将文本放在因特网上进行发布制作成网页（HTML文件）放在WEB服务器上Hypertext Markup Language 超文本标记语言用户通过浏览器进行浏览或下载制作HTML文件的软件：微软的FrontPage等,文本处理,输出过程中字形的生成先根据字符的字体确定相应的字型库（font）再按照该字符的代码从字型库中取出该字符的形状描述信息然后按形状描述信息生成字形，并按照字号大小及有关属性（粗体、斜体、下横线）将字形作必要的变换最后将变换得到的字形放置在页面的指定位置处,文本输出,输出过程中字形的生成2种不同的字库点阵描述：用一组排成方阵的点（比特）表示一个汉字“1”表示对应位置处是黑点，“0”表示对应处是空白,文本输出,轮廓描述：它把汉字笔画的轮廓用一组直线和曲线来勾画，记下每一直线和曲线的数学描述参数特点：精度高、字形大小可任意变化Windows 中的Truetype就是一种广泛使用的轮廓字形标准,2 图像与图形,图像与图形,数字图像以数字形式存储在计算机中的图像信息按其生成方法可以分为两大类：通过数字化设备获取的图像取样图像（sampled image）点阵图像（dot matrix image）位图图像（bitmap image）计算机合成的图像(synthetic image)矢量图形（vector graphics）简称为图形,简称为图像,图像的数字化,通过数码照相机、数码摄像机、扫描仪等设备获取一、图像获取步骤 扫描分色将每个取样点分成 R、G、B 三个基色取样测量每个取样点每个分量的亮度值量化对每个分量进行 A/D 转换，再用数字量表示,图像的数字化过程,图像与图形,位图图像的原理：,图像的表示方法,每个取样点称为像素 彩色图像用三个矩阵来表示矩阵的行数称为垂直分辩率矩阵的列数称为水平分辩率矩阵的元素值是像素颜色分量的亮度值黑白、灰度、彩色图像,取样图像的属性,一、分辨率 1、图像分辨率(又称图像的大小)由高宽表示 由像素密度dpi表示（dot per inch，每英寸像素数）2、位平面的数目：彩色分量的数目,取样图像的属性,3、颜色模型1）、RGB计算机彩色显示器的输入需要RGB三个彩色分量，通过三个分量的不同比例，在显示屏幕上合成所需要的任意颜色2）、YUV（亮度、色度）电视系统中用YUV模型来表示彩色图像,取样图像的属性,4、像素深度（位深度、颜色深度）指位图中记录每个像素点所占的二进制位数常用的图像深度1、4、8、16、24等像素深度决定了可表示的颜色的数目例：如果像素的R、G、B三个基色分量各用8bit来表示，共可记录224=16M种色彩(真彩色),取样图像的属性,16色、256色、真彩色位图之比较：,图像的数字化,位图文件的大小 存储整幅图像所占的字节数 计算公式：文件的字节数=图像分辨率像素深度/8 例：一幅分辨率为1024768的图像，若显示256色，即像素深度为8位，则其文件的大小为(1024768 8)/8=786432B,静态图像压缩编码,一、图像压缩的类型无损压缩压缩以后的数据进行图像还原(也称为解压缩)时，重建的图像与原始图像完全相同,有损压缩使用压缩后的数据进行图像重建时，重建后的图像与原始图像虽有一定的误差，但不影响人们对图像含义的理解,静态图像压缩标准JPEG,二、图像压缩编码的国际标准1、JPEG标准适用于彩色和单色多灰度或连续色彩静止数字图像,静态图像压缩标准JPEG,JPEG标准的特点：适用范围广能处理各种连续色调的彩色或灰度图像算法复杂度适中既可用硬件实现，也可用软件实现图像的压缩比可控制（压缩比越低，图像质量越好；压缩比越高，图像质量越差）,静态图像压缩标准JPEG,2、JPEG 2000JPEG的升级版，它向下兼容JPEG标准采用了小波分析等先进算法提供了更好的图像质量，更低的码率更适合在WWW网上传输,常用图像文件格式,图形图像处理软件,位图图像 微软公司画图软件(paint)ACD System公司的ACDSee32 Photoshop矢量图形 CorelDraw Adobe Illustrator Macromedia Freehand,3 声音信息处理,声音的相关概念,多媒体技术处理的声音信号声音信号是一种模拟信号特点：时间和幅度都是连续的计算机处理的声音是数字信号，通常称为数字音频特点：时间和幅度两者都是离散的,声音的相关概念,音频文件的分类：（1）声音文件：指通过声音录入设备录制的原始声音，直接记录了真实声音的二进制采样数据，通常文件较大,（2）MIDI文件：它是一种音乐演奏指令序列，相当于乐谱，可以利用声音输出设备或与计算机相连的电子乐器进行演奏，由于不包含声音数据，其文件较小,声音信号的数字化,1、声音信号的数字化实质将模拟声音信号转换成数字编码形式以便于计算机进行处理的过程,2、声音信号数字化的过程,取样取样定理：取样频率不低于声音信号频率的两倍取样频率：语音8kHz，音乐40kHz量化量化精度越高，声音的保真度越高量化精度：8位，12位，16位编码按某种格式将数据进行组织、压缩，便于计算机存储、处理和在网上传输,声音信号数字化的过程,音频卡（声卡）,波形声音的获取设备联机获取设备：麦克风、声卡脱机获取设备：录音笔,麦克风microphone,声音卡sound card,声波转换为电信号,取样、量化、压缩、编码,模拟声音,数字声音,声音信号的数字化,3、波形声音的主要参数取样频率量化位数声道数目1(单声道)、2(双声道)、5.1/7.1(环绕立体声)使用的压缩编码方案数码率（bit rate）指的是每秒钟的数据量，也称比特率、码率,声音信号的数字化,码率的计算公式 1）数字声音未压缩前波形声音的码率(比特)取样频率 量化位数 声道数例：用44.1kHz的取样频率对声波进行取样，每个取样点的量化位数为16位，声道数目为2(立体声)，其波形声音的码率为 44.11000l62/8=176400(字节)2）压缩编码后 码率压缩前的码率/压缩倍数,声音的编码,一、第1代全频带声音的压缩编码最简单最基本的编码方法，其目标是使重建语音波形保持原波形的形状它直接赋予取样点一个代码，没有进行压缩，因而所需的存储空间较大优点：音质好缺点：数据量大如：Audio CD采用PCM编码一张光盘的容量为72分钟左右的音乐信息,声音的编码,二、第2代全频带声音的压缩编码1、MPEG-1声音压缩编码国际上第一个高保真声音数据压缩的国际标准。分为三个层次：层1(Layer 1)：编码简单用于数字盒式录音磁带层2(Layer 2)：算法复杂度中等用于数字音频广播(DAB)和VCD、DVD等层3(Layer 3)：编码复杂用于互联网上的高质量声音的传输如：MP3音乐压缩10倍,声音的编码,几种典型的第2代全频带声音压缩编码标准,数字音频的处理,一、语音合成（Speech synthesis）根据语言学和自然语言理解的知识，使计算机模仿人的发声，自动生成语音的过程目前主要是按照文本（书面语言）进行语音合成，这个过程称为文语转换（Text-To-Speech，简称TTS）,数字音频的处理,2、文语（TTS）转换过程文本分析韵律分析语音生成,文本,文本分析,韵律处理,语音合成,合成语音,词典，发音规则,韵律规则库,语音库,数字音频的处理,二、音乐合成1、MIDI 音乐设备数字接口(Musical Instrument Digital Interface)计算机中描述乐谱的一种标准描述语言MIDI文件的扩展名为.MID，它是计算机合成音乐的交换标准，也是商业音乐作品发行的标准,数字音频的处理,2、播放MIDI音乐的过程媒体播放器软件从磁盘上读入MID文件把其中的一个个MIDI消息发送给声卡上的音乐合成器由音乐合成器解释并执行MIDI消息所规定的操作合成出各种音色的音符，通过扬声器播放出乐曲来,数字音频的处理,3、MIDI音乐与高保真的波形声音相比缺点：音质方面较差无法合成出所有各种不同的声音（例如语音）优点：数据量很少（比CD-DA少3个数量级，比MP3少2个数量级）易于编辑修改可以与波形声音同时播放,4 数字视频及应用,基本概念,一、帧 动态图像由不断变化的静态图像形成。每一幅静态的图像，称为一帧（frame）。二、扫描 1.水平扫描：扫描点从画面左侧匀速向右移动 垂直扫描：水平扫描线，按均匀间隔在垂直 方向上移动。2.隔行扫描 逐行扫描,基本概念,三、彩色电视制式1、NTSC正交平衡调幅技术2、PAL制式（中国采用）逐行倒相正交平衡调幅 远距离传输时用亮度信号Y和两个色度信号U、V来表示，优点：能与黑白电视接收机保持兼容可利用人眼对两个色度信号不太灵敏的视觉特性来节省电视信号的带宽和发射功率克服了NTSC制相位敏感造成色彩失真的缺点,视频数字化,视频（video）由一幅幅单独的画面（称为帧frame）序列组成，这些画面以一定的速率（帧率fps，即每秒显示帧的数目）连续的透射在屏幕上，使观察者具有图像连续运动的感觉 常见的视频：电视&计算机动画电视：能传输和再现真实世界的图像与声音，是当代最有影响力的信息传播工具计算机动画：是计算机制作的图像序列，是一种计算机合成的视频,运动图像压缩编码标准,视频的压缩编码,一、数字电视 将电视信号进行数字化,然后以数字形式进行编辑、制作、传输、接收和播放。数字电视的特点：频道利用率高、图像清晰度好可以开展交互式数据业务，包括实时点播电视、电视购物、电视银行、电视商务、电视通信、电视游戏、电视网上游览、观众参与的电视竞赛等。,数字视频的应用,二、点播电视（VOD）VOD（Video On Demand）视频点播技术（交互式电视点播系统）用户可以根据自己的需要收看电视节目,数字视频的应用,谢谢！,