第5章--数字媒体及应用课件.ppt

第5章 数字媒体及应用,5.1 文本与文本处理 5.2 图像与图形 5.3 数字声音及应用5.4 数字视频及应用,5.1 文本与文本处理,5.1.1 字符的编码5.1.2 文字符号的输入5.1.3 文本的分类5.1.4 文本编辑、排版与处理5.1.5 文本的展现,文字处理是计算机应用的基础,计算机应用使用计算机进行信息处理,其中，文字处理是涉及面最广的一种计算机应用，几乎与任何领域任何人都有关。,计算机文字处理过程,文字信息在计算机中称为“文本”（text），文本是计算机中最常用的一种数字媒体文本由一系列“字符”（character）组成，每个字符均使用二进制编码表示文本在计算机中的处理过程是：,5.1.1.字符的编码,字符、字符集及其编码表,文字的基本元素是字母和符号，统称为“字符”(character)，它包括：字母、数字、标点、符号等字符集：一组特定字符的集合不同的字符集包含的字符数目与内容不同，如：中文字符集、西文字符集、日文字符集等字符的编码：字符集中每个字符的二进位表示，称为该字符的编码或代码(code)不同的字符其编码各不相同,复习：西文字符的编码ASCII码,西文是表音文字(拼音文字)，它由拉丁字母、数字、标点符号以及一些特殊符号所组成美国信息交换标准码(ASCII码)：ASCII字符集包含96个可打印字符和32个控制字符采用7个二进位进行编码计算机中使用1个字节存储1个ASCII 字符存在问题：字符集太小（只有128个字符）不同国家和地区使用不同的字符集及其编码，互不兼容,汉字如何编码？,汉字是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素，有多个国家和地区使用（中、日、韩、新、马）汉字的特点数量大；字形复杂，同音字多，异体字多如何编码？确定收入多少字、哪些字？在字符集中如何排列？使用多少个二进位进行编码？,常用的汉字编码字符集,国家标准GB2312-1980汉字扩充规范 GBK(已被GB 18030取代)国家标准GB18030-2005港澳台使用的汉字编码字符集CNS 11643(BIG 5，俗称“大五码”)UCS/Unicode多文种大字符集Unicode的UTF-8Unicode的UTF-16,GB2312汉字编码字符集,1980年颁布信息交换用汉字编码字符集基本集GB2312-1980GB2312字符集由三个部分构成：,拉丁字母、俄文、日文平假名与片假名、希腊字母、汉语拼音等共682个,共6763个汉字和682个符号，每个汉字和符号都有一个确定位置,GB2312汉字的编码,每一个GB2312汉字使用16位(2个字节)表示为了与ASCII字符相区别，每个字节的最高位均为“1”,例如：“南”字的代码是11000100 11001111（用十六进制表示为C4CF）,GBK汉字内码扩充规范,GB2312的不足：汉字字数太少，缺少繁体字,无法满足人名、地名、古籍整理、古典文献研究等应用的需要；与ASCII码不兼容GBK汉字内码扩充规范（1995）：在GB2312基础上，增加了1万多汉字(包括繁体字)和符号共有21003个汉字和883个图形符号，如“計算機”、冃、冄、円、冇等繁体字和生僻字 与GB8312保持向下兼容，也使用双字节表示，第1字节最高位必须为“1”：,UCS/Unicode多文种大字符集,背景：为了实现全球数以千计的不同语言文字的统一编码方案：ISO将全球所有文字字母和符号集中在一个字符集中进行统一编码(目前共收集了17x2161,114,112 个)，称为UCS/UnicodeUCS/Unicode的编码方案：先实现部分字符的编码（近11万个字符）尽量与已有编码标准兼容包含有中、日、韩、越统一整理出来的约7万汉字（称CJKV汉字）允许有若干不同的编码方案,常用的两种是：,GB18030汉字编码标准,背景：无论是Unicode的UTF-8还是UTF-16，其CJK汉字字符集虽然覆盖了我国已使用多年的GB2312和GBK标准中的汉字，但它们的编码并不相同为了既能与UCS/Unicode编码标准接轨，又能保护我国已有的大量汉字信息资源，我国在2000年和2005年两次发布GB18030汉字编码国家标准。GB18030实质上是UCS/Unicode字符集的另一种编码方案：单字节编码（128个）表示ASCII字符双字节编码（23940个）表示汉字，与GBK（以及GB2312）保持向下兼容，GBK不再使用四字节编码（约158万个）用于表示 UCS/Unicode中的其他字符GB18030目前已在我国信息处理产品中强制贯彻执行。,小结：几种汉字编码的对比,小结：不同编码标准，不同的表示！,与字符的编码一样，图像、声音、视频等也分别有许多编码标准,如：国际标准(ISO)、国家标准(GB)、工业标准、企业标准等，这也是信息处理复杂性的原因之一。,由于采用不同的编码标准，相同文字在计算机中可以有不同的二进制代码表示。例如：“南京大学1234ABCD”的3种表示：,5.1.2.文字符号的输入 文稿如何输入计算机,文字符号输入计算机的方法,键盘输入,(1)数字编码,如电报码、区位码等,(2)字音编码,如智能ABC等(3)字形编码，如五笔字形和表形码等,(4)形音编码发展趋势：基于统计和学习功能的以词语(短语)或句子作为输入单位的输入方法,文字符号输入计算机的方法,优点：自然，流畅小型化，适合移动计算不足：识别速度和正确性还需提高书写要求还要降低,文字符号输入计算机的方法,优点：自然，方便，适合移动计算不足：对说话人、说话方式、说话内容的适应能力要大大增强识别速度和正确性还需大大提高,文字符号输入计算机的方法,识别率已达到98%功能:简、繁体字混合识别中文、西文混合识别文字、表格混合识别智能校对功能,文字符号输入计算机的方法,预先进行标识 扫描识别输入,汉字的键盘输入,汉字与键盘上的键无法一一对应，因此必须使用几个键来表示一个汉字，这就称为汉字的“键盘输入编码”好的汉字键盘输入编码应具有的特点：易学习、易记忆效率高(平均击键次数较少)重码少容量大(可输入的汉字字数多),条形码,一维条形码将宽度不等的黑条和白条按一定的编码规则排列成平行线图案，用以对物品进行标识只在一个方向表达信息，信息量有限（几十个字符），只能包含字母、数字和一些特殊符号,二维条形码在平面（二维方向）上以黑白相间的图形记录文字和符号信息，信息容量大QR条码可容纳7089个数字，或者4296个字母，或者1800个汉字，也可以表示签字、指纹等信息检错和纠错功能较强，能360度全方位识读，可靠性高可引入加密技术，保密性、防伪性较好,（QR条码）,（商品条码）,二维码,读出的二维码内容（未解密）：260023681484413027974380791246646215467164436949994772279810109943200000000000000000000053897628805389762880538976288053897628805389762881428000,常用自动识别输入技术的比较,5.1.4 文本的编辑与排版,使用Word的操作流程,创建新文档或打开老文档,文稿输入,编辑,排版,文档存盘、打印或发送,输入中西文字、符号和图、表,进行增、删、改操作，保证文本的正确性,满足清晰、美观、便于使用等要求,目的：确保文本内容正确无误操作：对字、词、句和段落进行添加、删除、修改等操作MS Word的功能：在文本的任何位置都可以插入新的文字从文本的任何位置都可以删除不需要的文字将一段文字从一处移动到另一处将一段文字从一处复制到另一处在文本中自动查找指定的词语用一个词语自动替换文本中指定的词语,文本编辑(text editing),目的：使文本清晰、美观、便于阅读操作内容：对文本中的字符、段落乃至整篇文章的格式进行设计和调整，分成3个层次：对字符格式进行设置对段落格式进行设置对文档页面进行格式设置,文本排版(Typesetting),设置字符的格式,字号(八号 初号,5磅72磅以上)1磅相当于1/72英寸 字体(宋体、楷体、黑体、仿宋、隶书)字符的修饰字符的形状(字形)：正常、加粗、倾斜、加粗倾斜字形的修饰：下划线、着重号、上下标、删除线字符的颜色字符的宽度字符的间距字符的效果字符的排列方向,什么是段落？用“回车”相互隔开的一组文字段落格式的设置：段落的对齐方式(两端对齐、分散对齐、居中对齐、左对齐、右对齐)段落的缩进方式(首行缩进、悬挂缩进、左缩进、右缩进)段间距和段内行距使用编号和项目符号段落添加边框和底纹首字下沉或悬挂段落与分页的关系,设置段落的格式,控制段落的缩进,段落缩进是指段落中的文本到正文区左、右边界的距离，包括段落左缩进、右缩进和首行缩进。其缩进的距离可由水平标尺上对应的三个缩进标记来指示,页面格式的设置：设置纸张大小和页边距设置每页的行、列数目设置分栏数目与格式设置页码设置页眉和页脚,设置页面的格式,设置页面的分栏,“所见即所得”（操作效果屏幕立即可见，打印结果与屏幕所见完全相同）撤销(undo)和恢复(redo)操作格式刷多种视图(大纲视图与大纲编辑)自动更正、自动套用格式、自动编号、自动图文集 自动保存功能和自动备份功能样式、模板和向导(wizard)功能宏操作（Macro）,提高Word操作效率的若干措施,文本处理初步,使用计算机对文本中的字、词、短语、句子、篇章进行识别、转换、分析、理解、压缩、加密和检索等有关的处理文本处理举例：字数统计，词频统计，简/繁体相互转换，汉字/拼音相互转换词语排序，词语错误检测，文句语法检查自动分词，词性标注，词义辨识，大陆/台湾术语转换关键词提取，文摘自动生成，文本分类文本检索（关键词检索、全文检索），文本过滤文语转换（语音合成）文种转换（机器翻译）篇章理解，自动问答，自动写作等文本压缩，文本加密，文本著作权保护,什么是文本处理?,例：MS Word 的文本处理功能,英文拼写检查和英语同义词检查字数统计自动编写摘要中文简繁体转换和术语转换中英词语翻译语法和格式检查语音识别（口授命令和听写）文档保护(防止打开或修改文档),5.1.3 文本的分类,简单文本(纯文本),没有字体、字号的变化，无图片和表格，也不能建立超链接，其文件后缀名是.txt 在计算机中.txt文件由一串字符代码所组成，几乎不包含任何其他的格式信息和结构信息例：本书由南京大学出版社(Publishing House of Nanjing University)出版,丰富格式文本,本书由南京大学出版社(Publishing House of Nanjing University)出版,有字体字号等属性变化、设置了段落和页面排版格式的文本称为“丰富格式文本”丰富格式文本中，除了正文内容之外，还使用了许多“标记”来描述字符的属性和格式的设置 举例：下面标题的格式为：中文用黑体，西文用Arial Black体，居中,使用HTML语言描述为：,本书由南京大学出版社(Publishing House of Nanjing University)出版,用一对指出的是标记，如 和 等，用于说明排版的格式和文字属性，它们不属于正文内容,正文内容,超文本（www网页）,WWW网页按照其内容的关联性相互进行链接，网页就是典型的“超文本”超文本也属于丰富格式文本,“超链”实际上就是一个指针，用于指向其他网页，也可以指向同一网页中的其他部分,超链是有向的，起点位置称为链源，它可以是网页中的一个标题、一句句子、一个关键词、一幅画、一个图标等,小结：文本的分类,5.1.5 文本的展现(输出),文本的展现(输出),目的：阅读、浏览或打印文本使用的软件：文本阅读器/文本浏览器嵌入在文本编辑(处理)软件中，如微软的Word，独立的软件：如Adobe公司的Acrobat Reader，微软公司的IE等 文本展现的过程：对文本的格式描述进行解释生成文字和图表的映像（bitmap）传送到显示器或打印机输出,附：输出过程中字形的生成,过程：先根据字符的字体确定相应的字库（font），再按照该字符的代码从字库中取出该字符的形状描述信息然后按形状描述信息生成字形，并按照字号大小及有关属性（粗体、斜体、下横线）将字形作必要的变换最后将变换得到的字形放置在页面的指定位置处2种不同的字库：,点阵描述,轮廓描述,附：电子书阅读器,“电子书阅读器”是一种专门用于阅读各种电子文档（如.txt、.doc、.html、.pdf 等）的专用硬件设备采用电子墨水显示屏，被动发光，耗电极少，持续工作时间很长（1个月以上）阅读效果接近纸质图书轻薄，便于携带平板电脑的出现使其前景渺茫,5.2 图像与图形,5.2.1 数字图像的获取5.2.2 图像的表示与压缩编码5.2.3 数字图像处理与应用5.2.4 计算机图形,5.2.1 数字图像的获取,图像的获取过程,从现实世界中获得数字图像的过程称为图像的“获取”常用的图像获取设备：手机、扫描仪、数码相机、监控摄像头等图像获取过程：,将画面划分为 M N个网格，每个网格称为 一个取样点,将彩色图像取样点的颜色分解成R，G，B三个基色,测量每个取样点的每个分量（基色）的亮度值,对取样点每个分量的亮度值进行A/D转换，使用数字整型量表示,5.2.2 图像的表示与压缩编码,数字(取样)图像的组成,数字取样图像由M(列)N(行)个取样点组成取样点是组成数字取样图像的基本单位，称为“像素”彩色图像的像素通常由3个彩色分量组成灰度图像和黑白图像的像素只包含1个亮度分量,复习：黑白图象的表示,黑白图像,黑白图像的每个像素只有一个分量，且只用1个二进位表示，其取值仅“0”(黑)和“1”(白)两种,例1：灰度图象的表示,灰度图像,灰度图像的每个像素也只有一个分量，一般用812个二进位表示，其取值范围是：02n-1，可表示2n个不同的亮度,例2：彩色图象的表示,彩色图像的每个像素有三个分量，分别表示三个基色的亮度，假设3个分量分别用n,m,k个二进位表示，则可表示2n+m+k种不同的颜色,数字(取样)图像的主要参数,图像大小（图像分辨率）：水平分辨率x垂直分辨率 用来表示组成该图像的行列数目，亦即图像所包含的像素数目对图像清晰度和在屏幕上显示出来的大小有影响位平面数目，即像素的颜色分量的数目 颜色空间的类型，指彩色图像所使用的颜色描述方法，如：RGB(红、绿、蓝)模型，显示器使用CMYK(青、品红、黄、黑)模型，彩色打印机使用HSB(色彩、饱和度、亮度)模型，用户界面中使用YUV(亮度、色度)模型，彩色电视信号传输时使用像素深度，即像素的所有颜色分量的二进位数目之和,举例：分辨率与图像尺寸的关系,520 x376,260 x188,130 x94,在显示比例相同时，显示在屏幕上的图像尺寸与图像分辨率成正比,数字图像的数据量,数字图像数据量的计算公式（以字节为单位）：数据量=水平分辨率垂直分辨率像素深度8 几种常用格式的图像的数据量：,压缩之后数字图像的数据量计算（以字节为单位）：数据量=(水平分辨率垂直分辨率像素深度/8)/压缩比,数字图像的数据压缩,图像数据压缩的必要性：节省存储数字图像所需要的存储器容量提高图像的传输速度，减少通信费用 图像数据压缩的可能性：数字图像中有大量的数据冗余人眼视觉有局限性，允许图像有一些失真图像数据压缩的两种类型：无损压缩：用压缩后的数据还原出来的图像没有任何误差有损压缩：用压缩后的数据还原出来的图像有一定的误差压缩编码方法的评价,数字图像的常用文件格式,常用的图像文件格式有：,不同的图象文件格式采用了不同的数据压缩技术和数据组织方法，适合不同的应用!,图像文件格式例1：BMP格式,BMP图像格式是Windows操作系统下使用的一种标准图像格式支持单色、16色、256色、真彩色图像一个文件一幅图像，可以进行无损压缩，也可不压缩非压缩的BMP文件是一种通用的图像文件格式，几乎所有Windows 应用软件都能支持,图像文件格式例2：GIF 图像,颜色数目不超过256色，适合用作插图、剪贴画等色彩数要求不高的场合，文件特别小，适合网络传输GIF图像格式具有累进显示功能，适合网络浏览器观看 GIF图像格式能支持透明背景（JPEG不支持）GIF图像格式能支持动画,透明背景,缺点:不适合真彩色图片,图像文件格式例3：JPEG图像,JPEG是静止图像数据压缩编码的国际标准，采用JPEG标准的图像文件扩展名是.jpgJPEG特别适合各种连续色调的彩色或灰度图像，在计算机和数码相机中已得到广泛应用 JPEG的最新标准是JPEG2000（图像文件扩展名是.jp2），它采用更先进的技术，可取得更好的效果，目前在医学图像处理中使用,5.2.3 数字图像处理与应用,数字图象处理：目的与内容,目的：(1)提高图像的视觉质量(2)恢复与重建有失真和畸变的图像(3)图像分析，包括：图像的分类、识别和理解等(4)图像数据的变换、编码和数据压缩(5)图像的存储、管理与检索(6)图像内容与知识产权的保护 内容：去噪、增强、复原、分割、提取特征、压缩、存储、检索等,Word和PowerPoint的图像编辑功能 使用“图片工具栏”编辑图片,使用快捷菜单，屏幕上显示“图片”工具栏，进入图片编辑状态：,Word和PowerPoint的图像编辑功能 图片编辑举例(外形修改),缩小,压扁,放大,拉长,原始图片,Word和PowerPoint的图像编辑功能 图片编辑举例(裁剪与旋转),旋转90度,裁剪底部,裁剪左部,旋转任意角度,原始图片,Word和PowerPoint的图像编辑功能 图片编辑举例(图像属性修改),增加对比度,降低对比度,增加亮度,降低亮度,灰度图片,黑白图片,原始图片,图像的特效处理,图像去噪,图像增强,图像恢复,抠图,场景合成,图像分割与识别,人脸检测与识别,数字图像处理的应用,(1)图像通信，包括图像传输、电视电话、电视会议等。(2)遥感(3)医疗诊断(4)工业生产中的应用，如产品质量检测，生产过程自动控制等(5)机器人视觉(6)军事、公安、档案管理等其他方面的应用,X光图像,CT图像,核磁共振图像,指纹图像,常用的图像编辑软件,Word和PowerPoint具有基本的图像编辑功能Windows附件中的“画图”软件微软Office工具中的Picture ManagerACD System公司的ACDSee32Adobe PhotoShop,5.2.4 计算机图形,什么是计算机图形(graphics),通过计算机和软件对景物的结构、形状与外貌进行描述(称为“建模”)，然后根据该描述和选定的观察位置及光线状况，生成该景物的图形(称为“绘制”)计算机图形也称为计算机合成图像计算机制作图形的步骤如下：,计算机图形的绘制技术,绘制（rendering）,也称为图像合成(image synthesis)依据景物的模型，根据观察位置和光线情况，生成该景物可视图像的过程,景物图像的绘制过程,绘制流水线（Rendering Pipeline）,物体表面用多边形进行近似表示,投影裁剪和消隐处理,明暗处理、阴影生成和纹理映射,图形绘制的硬件显卡(图形卡),绘制的三个基本要求：每秒可处理的三角面片数量要大(108个)，以生成复杂场景的图像纹理数据库要大(几几十GB)，以生成多种多样的高度真实感图像：绘制速度要快，游戏要求实时绘制（25帧/秒）绘制过程中，每一个像素的颜色及其亮度都要经过大量的计算才能得到，因此绘制过程的计算量很大，特别是三维图形和动画,显卡在绘制过程中起着关键作用,美国康乃尔大学Suzanne Smits 和Priamos Georgiades建模并绘制的俄罗斯茶壶,例1:俄罗斯茶壶,例2：计算机绘制的钢笔画和铅笔画,木 桶,玻璃瓶,引用自：Georges Winkenbach,D.Salesin(Univ.of Washington)pp.469-476,SIGGRAPH96,例3：分形图案,计算机图形的应用,(1)计算机辅助设计和辅助制造(CADCAM)。(2)利用计算机生成各种地形图、交通图、天气图、海洋图、石油开采图等。(3)作战指挥和军事训练。(4)计算机动画和计算机艺术。(5)其它：电子出版、数据处理、工业监控、辅助教学、软件工程等。,常用的矢量绘图软件,专业绘图软件：AutoCAD、PROTEL和CAXA电子图板（机械、建筑等）MAPInfo、ARCInfo、SuperMap GIS（地图、地理信息系统）办公与事务处理、平面设计、电子出版等使用的绘图软件：Corel公司的CorelDraw，Adobe 公司的Illustrator，Macromedia公司的FreeHand，微软公司的Microsoft Visio等MS Office中内嵌的绘图软件：Word 和 PowerPoint中的绘图功能（简单的二维图形）,小结：图像与图形的比较,计算机中的“图”按其生成方法可以分为两大类：通过数字化设备获取的“图”，它们称为取样图像、点阵图像，或位图图像等，通常简称图像（image）通过计算机建模并绘制而成的“图”，称为矢量图形，通常简称图形（graphics）；两者在外观上很难区分，但它们有许多不同的属性，一般需要使用不同的软件进行处理,图 形,小结：图像与图形的对比,5.3 数字音频及应用,5.3.1 数字音频的获取5.3.2 数字音频的表示与应用5.3.3 数字音频的编辑与播放5.3.4 计算机合成音频,5.3.1 数字音频的获取,声音/音频的特性和类型,声音(sound)由振动产生，通过空气等介质进行传播声音是一种波，它由许多不同频率的谐波组成，谐波的频率范围称为声音的“带宽”,两种音频：话音或语音(speech)，专指人的说话声音，带宽仅为3003400Hz全频带声音(如音乐声、风雨声、汽车声等)，其带宽可达到20Hz20kHz,人耳可听见的声音（20Hz20kHz）在信息技术中称为音频信号，简称音频(audio),数字音频的获取,步骤：,2.量化（quantization，模数转换),3.编码（encoding）,1.取样（sampling）,时间上离散的一组样本,一组二进制整数,数字音频的获取设备,音频的联机获取设备(声卡),声波转换为电信号,音频的获取设备：手机、数码录音笔,取样、量化和编码,音频的重建与播放,计算机输出声音分为两步：1 重建：把音频信号从数字形式转换成模拟信号形式，由声卡完成,2 播放：将模拟音频信号经处理和放大后送到音箱(扬声器)关于音箱：普通音箱接收的是重建的模拟声音信号数字音箱直接接收数字声音信号，失真更小,声卡的功能与逻辑组成,音频的获取与编码音频的重建与播放MIDI消息的输入MIDI音乐的合成,声卡的物理实现,声卡主要由2块芯片组成：主处理芯片：包括数字信号处理器、MIDI控制、I/O控制等 CODEC芯片：负责多声道取样、A/D与D/A转换、混音处理等,当前PC机的声卡大多已不再做成独立的插卡形式，而是与主板集成在一起，称为集成声卡,声卡的几种类型,硬声卡：除CODEC芯片外，主板上还有1块音频主处理芯片，很多音效处理任务无需CPU参与就可独立完成,声卡的类型,独立声卡：以扩展卡形式插在机箱中使用,集成声卡,软声卡：主板上仅1块CODEC芯片，负责取样与量化处理，I/O控制器部分集成在主板上的南桥芯片中，DSP的功能需由CPU协助完成,声卡的组成部分均集成在主板上,5.3.2 数字音频的 表示与应用,数字音频的表示及其参数,数字音频是使用二进位表示的一种串行比特流，其数据按时间顺序进行组织数字音频的主要参数有：取样频率：语音的取样频率低，一般为8k 16k Hz全频带声音(如音乐)取样频率高，一般为44.1k 48k Hz量化位数：通常为8位、12位或16位声道数目：单声道为1，双声道为2码率(比特率)，即每秒钟的数据量未经压缩的数字音频最常用的文件扩展名为“.wav”,数字音频码率的计算,未压缩时数字音频的码率计算公式 码率=取样频率 量化位数 声道数 例：,压缩编码之后数字音频的码率为：压缩后的码率=未压缩时的码率/压缩比例：上面CD唱片的立体声音乐压缩为MP3后，若压缩比是12，则该MP3音乐的码率是：1411.2/12118 kb/s左右,数字音频的数据压缩,数据压缩的必要性：为了降低存储成本和提高在网络上的传输效率数据压缩的可能性：声音中包含有大量冗余信息；人耳灵敏度有限，允许有一定失真而不易察觉数字音频压缩编码的方法：全频带声音：国际标准MPEG；工业标准Dolby AC-3 数字语音：固定电话使用ADPCM编码 手机使用高效率的混合编码技术,所谓“MP3音乐”，它是一种采用MPEG-1层3编码的高质量数字音频,压缩比大约1012倍，使一张普通CD光盘上可以存储大约100首MP3歌曲，可连续播放10小时。,数字音频的文件类型及其应用,什么是流媒体？,在因特网上收听(看)音(视)频节目的2种方式：下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点：需要等待较长时间，并需要较大的存储容量）流式传输方式：边下载、边播放（优点：只需要下载一部分数据之后,就可以开始一边播放一边下载，等待时间短、存储需求小）流媒体就是一种允许在网络上让用户一边下载一边收看(听)音视频媒体的媒体分发(delivery)技术例如：Real Networks公司的 Real Media（RealAudio和RealVideo）微软公司的 Windows Media Services(WMA、WMV和ASF)苹果公司的 Quick Time,5.3.3 数字音频的编辑,数字音频编辑软件的功能,主要功能：1 编辑音频：如声音剪辑、复制、调节音量2 效果处理：如混响、回声、淡入、淡出等3 录音4 音频的格式转换5 播放声音,音频编辑软件的典型用户界面,5.3.4 计算机合成音频,什么是计算机合成音频？,计算机合成音频就是计算机模仿人说话或演奏音乐计算机合成音频有两类：计算机合成话音（语音）：计算机模仿人把一段文字朗读出来，即把文字转换为说话声音（简称为 TTS）应用：有声查询、文稿校对、语言学习、语音秘书、自动报警、残疾人服务等计算机合成音乐（MIDI）：计算机模拟各种乐器发声并按照乐谱演奏音乐应用：计算机作曲、配器等,计算机合成音乐（MIDI）,计算机合成音乐需要三个要素：乐器、乐谱和“演奏员”,声卡上的音乐合成器能像电子琴一样模仿几十种不同的乐器发出声音，它按照MIDI消息合成出不同音色和音调的音符，通过扬声器播放出音乐来,乐谱在计算机中使用一种叫做MIDI的音乐描述语言来表示。使用MIDI描述的音乐称为MIDI音乐。一首乐曲对应一个MIDI文件，其文件扩展名为.MID或.MIDI,媒体播放器软件相当于“演奏员”。播放MIDI音乐时，它先从磁盘上读入.MID文件，解释其内容，然后以MIDI消息的形式向声卡上的音乐合成器发出各种指令,例：计算机合成的MIDI音乐,MIDI的优点：数据量极小（比CD立体声少3个数量级，比MP3少3个数量级）易于制作和编辑修改可以与波形声音同时播放MIDI的不足：只能合成音乐，不能合成歌曲和语言音质与硬件设备相关,小结：计算机中的音频,音频的特点：是一种连续媒体，传输与播放有实时性要求数据量大，对存储和传输的要求比较高，必须进行压缩 计算机中音频的类型：数字音频数字语音：应用于电话、手机、多媒体配音等全频带声音：CD和DVD音乐，数字电视伴音等计算机合成音频合成语音合成音乐（MIDI）,5.4 数字视频及应用,5.4.1 数字视频基础5.4.2 数字视频的压缩编码5.4.3 数字视频的编辑与播放5.4.4 计算机动画5.4.5 数字视频的应用,5.4.1 数字视频基础,视频(video)：以固定速率(24、25、30帧/秒)顺序地显示的一个位图图象序列，又叫运动图象或活动图象(motion picture)常见视频：电视，电影，动画等.视频的特点：内容随时间而变化,伴随有与画面动作同步的声音(伴音),人类接受的信息70%来自视觉,其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频信息的处理是多媒体技术的核心。,什么是视频（video）？,数字视频的主要参数,帧频、帧速率（frame rate）每秒钟显示多少帧图像，单位是fps帧大小每帧图像的分辨率，即图像宽度x图像高度（单位：像素）颜色深度、像素深度图像中每个像素的二进位数目（单位：bit）例：持续时间为1小时的一段数字视频，假设帧大小是640 x480，像素深度为24位，帧速率为25fps，则：每帧的像素数目=640 x 480=307,200 像素每帧的二进位数目=307,200 x 24=7,372,800=7.37Mb视频流的比特率(bit rate，BR)=7.37 x 25=184.25Mb/s视频流的大小(video size，VS)=184Mbits/sec x 3600sec=662,400Mbits=82,800Mbytes=82.8Gbytes,数字视频信号的获取,视频信号的数字化过程:与图像、声音的数字化过程相仿，但更复杂一些,数字视频的获取设备：视频采集卡（简称视频卡）数字摄像头，通过光学镜头和CCD或CMOS采集动态图像，转换成数字信号并输入PC机 脱机获取设备：数码摄像机,数字摄像头,分辨率为352288 640480，高清摄像头分辨率更高速度一般在30fps（每秒30帧）左右镜头的视角可达到45-60度 支持USB接口 或IEEE1394（火线）接口成像器件采用CMOS或CCD,数码摄像机,提供480线以上的分辨率，清晰度高自动对焦，自动曝光 使用MPEG-2进行压缩编码，然后记录在存储卡或硬盘上具有录音功能数据量很大，采用USB接口或IEEE1394接口,5.4.2 数字视频的压缩编码,数字视频的压缩编码,视频数据压缩的必要性：数字视频的数据量大得惊人，1分钟的数字电视图像未压缩时其数据量可超过1GB，对存储、传输和处理都有很大的困难视频数据压缩的可能性：视频信息的每个画面内部有很多信息冗余相邻画面的内容有高度的连贯性人眼的视觉灵敏度有限，允许画面有一定失真结论：数字视频的数据量可压缩几十倍甚至几百倍,数字视频编码的三大类国际标准,公司标准：早期：Intel公司的Indeo Video，苹果公司的Cinepak当前：Real Network公司的RealVideo，微软公司的 WMV，Googlee公司的VP8、VP9 等,目前流行的数字视频编码国际标准,什么是MPEG-4 ASP和MPEG-4 AVC,MPEG-4是数字音视频压缩编码的国际标准MPEG-4分成23个部分，其中part 2和part 10是视频编码为了适应不同应用对视频图像大小和质量的不同要求，每种视频编码标准都分成若干level和profile：MPEG-4 Part 2 分成21个profile，ASP（Advanced Simple Profile）是其中之一，其技术特点是：画面分辨率较低，最低码率仅64kb/s左右，但画面质量好，复杂度中等MPEG-4 Part 10又称为MPEG-4 AVC(Advanced Video Coding).它是目前技术最先进的视频编码案，分成7个profile，可用于HDTV,常用音像文件(视频文件)的比较,音像文件(视频文件)与播放器,播放器(Plaper)实际上就是一种解码器，但通常既可以解码多种类型的信息（音频、视频、图片、），还能解码多种不同格式的影音文件格式。PC上使用的是软件播放器，一台计算机可以安装多个不同的播放器：微软公司的“Microsoft Media Player”，苹果公司的QuickTime Player和iTunes，Real公司的RealPlayer(简称RealOne 播放器)“全能”播放器：Storm Player（暴风影音）、The KMPlayer、绚彩魅影、变色龙万能播放器（PPStream）、豪杰超级解霸，等等硬件播放器（便携式）：MP3播放器：以播放MP3格式的音频信息为主，也能收听广播、观看文本和图片，功能更强一些的还能播放视频信息MP4播放器：以播放视频为主，国外叫做PVP（个人视频播放器）或PMP（便携式媒体播放器），LCD屏幕较大，价格较高,5.4.3 数字视频的编辑,例：简单的视频编辑软件 Windows Movie Maker,由微软公司开发，在Windows XP平台上运行功能：通过摄像机、数字摄像头或其他视频源将音频和视频捕获到计算机中打开已有的音频、视频或静止图片，对音频与视频内容进行编辑（包括添加片头、使用视频过渡或特技效果等）将制作的视频保存到硬盘中，或刻录在CD或DVD光盘上，供“媒体播放器”进行播放,5.4.4 合成视频计算机动画,什么是计算机动画？,计算机动画使用计算机生成一系列内容连续的画面供实时演播的一种技术，它是一种计算机合成的数字视频，而不是用摄像机拍摄的“自然视频”上世纪九十年代开始，计算机动画技术应用于电影特技，如电影“侏罗纪公园”、玩具总动员、泰坦尼克等，取得轰动效应应用领域：影视和广告领域：电影特技、动画片、电视广告制作等教育和培训领域：辅助教学、驾驶员训练等科技领域：科学计算可视化，复杂系统的动态模拟军事领域：军事训练、作战模拟等游戏,计算机动画的制作过程,计算机动画制作包括：在计算机中建立景物的模型、描述它们的运动、生成一系列逼真的图像,动画制作软件,著名的造型与动画制作的商品化软件:加拿大Alias公司的Power animator 法国TDI公司的Explore荷兰ElectroGIG公司的3DGO加拿大Vertigo公司的Vertigo美国Wavefront公司的Advanced Visualizer美国SGI公司Alias和Wavefront 公司的MAYA美国Autodesk公司Discreet公司的3ds max，Animator Studio,互联网动画：GIF和Flash,GIF动画(参见5.2节)：Adobe(Macromedia)公司的Flash动画支持矢量图形，也支持位图图像，文件较小；画面大小可任意调节，支持用户交互；既可生成自动可执行文件(*.exe)，还可生成用 Flash 播放器播放的文件(*.SWF)；既可做成单独的动画，也可以嵌入网页文件采用流式传输方式，可以边下载边进行播放,5.4.5 数字视频的应用,VCD与DVD可视电话与视频会议数字电视与点播电视,什么是VCD,什么是DVD?,VideoCD（简称VCD）：按MPEG-1标准将60分钟的音频/视频节目记录在一张CD光盘上，图像质量为VHS(352240)，即家用录放像机的水平，可播放立体声 DVD-Video（简称为DVD影碟）：按MPEG-2标准将音频/视频节目记录在DVD光盘上，图像质量为广播级(720576)，可播放5.1声道的环绕立体声，单面单层DVD（容量为4.7GB）光盘可记录120分钟以上的影视节目,VCD与DVD的比较,可视电话和视频会议,可视电话：通话双方能互相看见的一种电话系统电话机具有摄像、显示、声音等功能，内置高质量CCD镜头及MODEM视频会议：多人同时参与的一种音/视频通信系统类似于可视电话，但多人参加通话，提供的功能也更加丰富两种实施方式：在电信局的数字通信网上进行在互联网上进行，例如使用下列即时通信软件：iPad/iPhone的FaceTime，微软的MSN Messenger，腾迅的QQ，微信等,什么是数字电视?,数字电视指的是:电视节目的制作（摄录、编辑）、处理、传输、接收播放全过程的数字化，特别是将电视信号进行数字化之后以数字形式进行传输和接收；数字电视的范围：高端全高清(FHDTV,1920 x1024)、超高清(UHDTV)中端标准清晰度 720 x480，高清晰度（1280720）低端如VCD等,数字电视的优点,(1)频道利用率高可传输的数字电视节目比传输模拟电视节目增加好几倍(2)抗干扰能力强同等传输条件下的抗干扰能力优于模拟电视(3)图像清晰度高用户接收