多媒体技术教程ch多媒体的时间表示与同步.ppt
第六章多媒体的时间表示与同步,6.1 多媒体同步的基本概念,6.1.1 同步的基本概念,多媒体是在不同应用环境中文本、图像、声音、视频等各种媒体的集成。既然需要将这些媒体安排在一起表现，就有一个先来后到的关系。这个关系就是同步关系，系统对各个媒体对象按照这个关系进行的控制过程，就是同步。同步的过程与时间有着密切的关系，大多数同步都建立在时间的基础上。,6.1.1 同步的基本概念,基于时间的媒体（Time-based Media，时基媒体）或时间依赖媒体（Time-dependent）：媒体与时间有着强烈的依赖关系，在采样、传输和回放表现时更需要以时间为参照系进行有序的组织。多媒体同步或合成（Orchestration）：组织时基的、非时基的多种媒体序列通过传输、合成并达到某种表现效果。这个过程既包含表现过程，也包含多媒体信息的传输过程；既可以用于并发或顺序的数据流布局，也可以用于对所产生的外部事件进行安排。,6.1.1 同步的基本概念,简单的时间线表示如图,6.1.2 同步的种类,1应用同步 应用层同步又称表现同步，或交互同步。这一类同步是从用户应用的角度出发而进行的同步，重点在于表现与交互。2合成同步 合成同步又称为“媒体之间的同步”。这种同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。,6.1.2 同步的种类,3现场同步 现场同步也属于媒体间的同步。它要表现出同一个应用中数据源方与表现方之间存在的实际同步关系，也既端端之间的同步关系。4系统同步 系统同步，又称“媒体内部的同步”。这里“系统”指的是该层同步如何根据各种输入媒体对应的实际硬件系统（设备）的性能参数来协调实现其上层合成同步所描述的各对象间的时序关系。,6.1.3 同步的分层服务模型,对于多媒体的应用来说，同步是建立在不同的分层的基础上的。不同层次的同步依据不同的接口机制来保证，如下图所示。,6.1.3 同步的分层服务模型,媒体层针对的是单独的媒体数据流，属于物理层的同步，其同步的基础是数据流中的一个个基本逻辑数据单元，通过对这些逻辑数据单元的操纵来保证媒体在时间上的准确。流层也是媒体内的同步，但是属于服务层，其面对的是多个媒体数据流。它处理的是多流之间的同步，以保证多个数据流在传输和表现过程中能够实现并行和同步。,6.1.3 同步的分层服务模型,对象层的同步是针对多媒体演示过程之中的各个多媒体对象的。通过相应的时间同步方案，保证各个多媒体对象能够按照规定的次序出现，并且能够响应用户的输入事件。描述层的同步解决的是多媒体表现中各个场景的安排与对象同步的描述。其重点是作者与系统的接口，只关心是否能够被描述或描述的是否正确，而不关心具体如何实现同步。,6.2 时间模型,6.2.1 时间依赖的定义,多媒体是在不同应用环境中对文本、图象、声音、视频的集成。基于时间的媒体与时间有强烈的依赖关系。时基媒体的表示方法、时间模型、用户交互、系统实现方法等是问题的核心。体现在三个层次上：物理层：低层的时间关系服务层：应用媒体之间的时间关系人机接口层：用户的随机交互过程，浏览（与时间有关，延迟不定）,6.2.1 时间依赖的定义,根据各种媒体及其表现特性确定时间的依赖关系。Static静态的没有时间依赖Discrete离散的单一元素Transient短暂的一时的Natural或Implied自然/蕴含的真实世界中的时间依赖Synthetic综合的、合成的人工产生的时间依赖Continuous连续的在时间上连续Persistant持续的在数据库中维持的,6.2.1 时间依赖的定义,数据对象分类：表现及应用生命周期 持续对象存在于整个应用周期 非持续对象动态建立并且用后丢弃 短暂对象出现很短，不需操纵 静态对象长期存在,6.2.1 时间依赖的定义,数据采集 自然：真实时间记录时间关系，存储 人工：综合时间关系（合成）实况：不能进行时间操作,6.2.1 时间依赖的定义,媒体 连续媒体 离散媒体 连续媒体是能在时间上连续播放的离散数据单元序列,6.2.2 时间的概念模型,1时间点和时间段时间点瞬时，时间的零长度运动，例：4:00pm时间段两个时间点之间的区间,6.2.2 时间的概念模型,6.2.2 时间的概念模型,2时间关系 时间关系有十三种：before,starts,meets,overlaps,during,finishes,equals 除equals外，其余六种都有逆关系，共十三种。连续媒体：meets，非连续媒体：before基于时态区间的建模（TIB建模）可以勾画出复杂的时间线表示,6.2.2 时间的概念模型,6.2.2 时间的概念模型,用meets和equals时间关系表示同步的例。,6.3 时间的规范与表示,6.3.1 时间规范,时间规范的目的是为了向在创建时和合成过程中所要求同步的数据对象提供一种时间关系的表达手段。来源：从DB或从NET（包括DB和Live）存储时的时间表达合成时的时间表达实时时的时间表达,6.3.1 时间规范,表现的需求：对异质的数据能够同时地、顺序地、独立地表现对显示则要求不同的元素能对有关的过程和事件进行特征描述的模型“数据表现、用户交互、物理设备”同步折衷与计算系统中“并行、并发、多线程”的区别 计算系统解题 多媒体系统“人”及“与人交互”连贯地表现异质数据 用户理解的最小时间范围 人作为系统的一部分“延迟、交互”,6.3.1 时间规范,两者关键的区别：时间的依赖：“处理”（计算）“表现”（多媒体）信息流控制：“任务”控制（计算）“人”控制（多媒体）其它的要求没有绝对时间需求（允许迟到）实时限制：时限时间操作建模 反转、随机存取、控制,6.3.2 相对时间规范与绝对时间规范,1时态瞬时绝对时间参考系：以Video作为绝对时间参考。本来Image和Audio没有时间关系，但都以Video作参考后，Image和Audio也有了关系。以时间轴作为参考对象，编辑时某些时间关系会丢失。如取消参考对象，则无时间关系了，无法同步。相对时间参考系：相对于绝对时间轴（World Time）。失步可用丢弃的方法进行校正。,6.3.2 相对时间规范与绝对时间规范,相对于绝对时间轴同步,6.3.2 相对时间规范与绝对时间规范,2时态区间 基于时态区间（TIB）可用于建立多媒体表现模型，如：HyTime，ODA，扩展ODA，层次化方法ai:单一媒体 用户输入 延迟只在ai的起始点或结束点确定同步。参考点方法系统只在动作流的固定参考点才检查同步，如AVI同步。,6.3.2 相对时间规范与绝对时间规范,（a）层次图（b）层次图的执行过程,6.3.2 相对时间规范与绝对时间规范,参考点方法,6.3.2 相对时间规范与绝对时间规范,3并行与顺序关系 用于时间依赖媒体的公共表示方法，可以只用并行和顺序的关系来表示。引入计时器T，将原来在时间上的许多差别都归纳进了计时器的采用。用串行和并行表示时间关系如下图。,6.4 多媒体同步的表示方法,基于图形的表示法,具有形象直观地说明同步语义的优势，适合于可视的、基于图形的多媒体表现的表示。基于图形的表示法有：时间线流图Petri网时间层次法 最著名的是OCPN方法。,基于图形的表示法,1Petri网的定义CPN=T,P,A，其中T=t1,t2,tn,P=P1,P2,Pm,A：TPPTI，其中 I=1,2,T代表变迁集合，P代表库所集合，A代表有向弧集合。,基于图形的表示法,2标记Petri网（Marked PetriNet:MPN）的定义CMPN=T,P,A,M,其中T、P、A的定义同PetriNet中的定义，而M：PI，I0,1,2,。,基于图形的表示法,3OCPN（Object Composite Petri-Net：对象合成网）的定义COCPN=T,P,A,D,Re,M其中T、P、A、M的定义同MPN中的定义，而D：PR（实数集）Re：Pr1,r2,r3,rk D是从库所集合到实数（持续时间）的映射，Re是从库所集合到资源集合的映射。,基于图形的表示法,4OCPN模型 两个对象的时间合成能够基于顺序的和并行的两种时间关系发生。给定两个对象，则在时间上存在13种关系。OCPN能够捕捉用于说明不同对象计时和显示需求的任何时间关系，如下图所示。其中，Pd是延时计时。,基于图形的表示法,5统一OCPN模型 对于任何两个原子进程和它们的时间关系，存在相应的OCPN模型。反过来也为真，对于任何OCPN模型能够惟一确定相应的时间关系。为了便于存储和检索多媒体数据，可对形式进行简化，采用统一OCPN模型，如下图所示，这个模型用于表示任何时间关系。,基于图形的表示法,统一OCPN模型,基于图形的表示法,下图是“世界报道”例子的OCPN表示法。这个OCPN捕获了全部时间关系，可以在前向和逆向两个方向上模拟。,基于脚本的表示法,脚本（script）可用来表示特定领域内的特定问题。一个脚本其实就是一个具有专门结构的框架，它像一个电影剧本一样，一场一场地表示一些特定的事件序列。脚本具有强烈的逻辑结构性和时序表现性，因而利用脚本概念来对多媒体表现进行建模，是一种很好的途径。,基于脚本的表示法,1几个表现的概念 表现：表现意味着一次活动。演员：通过各种媒体进行传播信息的实体。角色：多媒体表现环境中的各种资源。活动：由多媒体表现环境中预定义的多媒体表现的空间和时间序列，而引起发生的事件。场景：各种角色的活动编排组合构成的多媒体空间表现环境。,基于脚本的表示法,2脚本的同步关系 两个活动之间的时间关系，也可以由before、meets、during、overlaps、starts、finishes、equals及相应的逆关系（不含equals）表示出来。对应以上关系，Petra Hoepner等人提出了相应的算子集合，运用该集合中的算子，可以规范地描述多媒体对象之间的同步及同步机制的语义。可以用它们来将原子活动构造成合成活动，将一元活动构造成包含同步关系的n元活动。,基于脚本的表示法,比较常用的算子：AB 并行后决 AB 并行先决 AB 串行 A|B 可选的 Ai*重复NA 并发,基于脚本的表示法,3脚本语言的表示（1）事件 事件是对象间特殊的信息传递机制，是协调活动和资源，使之有序化的任意分散的时间点。（2）情节 情节是预定义的多媒体对象表现的空间和时间序列，可以是静态的，也可以是动态的。（3）场 场是对象、活动、事件、情节的有机组合，是组成脚本的信息单元。,基于脚本的表示法,（4）实现方法 实现方法应该与具体系统有关，不同的系统对脚本的实现方法也不一样。一般包括以下一些内容：管理数据 对象列表 时态合成 方法,基于脚本的表示法,4脚本模型的规范化脚本编程语言 编程语言是非常规范的、有严格的数据类型定义和结构定义的，能够很好表达用户意图的工具。但一般编程语言（如C、C+或smalltalk等）都没有定义时间语义。因而在这样的环境中，很难规范地实现时间约束的表示。因此，脚本编程语言必须有明确的时间语义的定义，以满足用户或设计者对时间约束的严格描述。,6.4.3 交互和同步,当一个人与多媒体系统交互时，应用必须能够使用户和外部世界同步。这种同步可以采用多种方法做到，如启动或停止一个对象的表现、提出对某一数据库的查询、对象的浏览、或者其他不可预见的用户起始动作等。对于连续媒体系统，用户交互也蕴含了对信息顺序形式的随机存取。在多媒体中，其他重要的时间顺序还包括在CSCW中多个用户的协调。在这里要重点考虑对于共享对象的并发控制及分布数据资源的管理。,6.5 时间同步与系统支持,6.5.1 概述,实时系统的最后期限硬。多媒体数据表现的最后期限软。但多媒体表现有其独特的性质，具有实时播放的性质。数据需要根据预先确定的时间表从存储中提交出来，一个对象的表现能够持续在整个时间段中。,6.5.2 系统支持的有关问题,1时间表示的数据结构 为了支持基于时间的表示，多媒体系统应能识别某种合适的数据结构。要求：适合于应用 适合TAC功能特性 适合于用对象编辑进行对象演变 适合于通过数据库索引和查询进行有效的检索,6.5.2 系统支持的有关问题,基于语言或基于图形的表示技术不能指明合适的数据结构。用Petri网和关系数据库模型将规范方法映射到一个数据库模式。此时，时间区间和关系将被用一种非结构化格式，或以结构化的格式中的Petri网的时间线表示法描述出来。,6.5.2 系统支持的有关问题,2数据压缩的影响 压缩后，在所要求同步的流之间识别出同步关系十分困难。希望在连续媒体流中的任意点都具有起始的能力，帧间编码时没有中间帧是无法实现的。为了提供逆向表现，希望在两个方向上都应可以使用。MPEG中，使用帧内编码，解决第1个问题。双向插值帧，解决第2个问题。,6.5.2 系统支持的有关问题,3同步的系统支持 为支持时间依赖媒体，多媒体系统必须具有对存储设备进行处理的潜力，包括通过跨网做到的数据分布能力，和在计算机网络资源管理下对时间依赖数据的支持。,6.5.2 系统支持的有关问题,4同步异常 数据延迟不能用于播放时，发生了同步异常。导致表现单元的序列产生缝隙或在单位时间内数据短缺。数据迟到时，丢掉一些数据，或改变播放速率数据丢失时采用重建技术，用一定的值替换流中的丢失数据数据不可用时，延长前面单元的播放时间,6.6 小结,本章重点,时间关系是多媒体对象的本质特征。视频、音频等基于时间的连续媒体必须要有严格的同步时间要求。同步的过程与时间有着密切的关系，同步有应用同步、合成同步、现场同步和系统同步。多媒体的时间表示模型时间规范有相对时间规范和绝对时间规范。,本章重点,用于时间规范有基于语言和基于图形的表示方法。基于语言的表示法主要是脚本；基于图形的表示法包括时间线、流图、Petri网、时间层次法等。系统对时间同步支持的主要问题有：数据库的同步化方法；数据压缩；操作系统支持；同步异常处理等,
