第3章多媒体通信同步 第三章多媒体通信同步 3.1引言 3.2多媒体信息同步描述法 3.3多媒体同步控制机制 BACK
第3章 多媒体通信同步 第3章 多媒体通信同步 3.1 引言 3.2 多媒体信息同步描述法 3.3 多媒体同步控制机制
第3章多媒体通信同步 31引言 多媒体对象的同步关系抽象为以下两种类型: (1)媒体内的时间关系 媒体内的时间关系即流内同步,主要是保证单个媒体流之间 的简单时态关系,也就是按一定的时间要求传送每一个媒体对象, 其表现为媒体流的连续性,以满足人类感知上的要求。流内同步 的复杂性不仅和单个媒体的种类有关,而且和分布式系统提供的 服务质量( Quality of service,QoS)有关。同时,也和源端和目 的端操作系统的实时性有关
第3章 多媒体通信同步 3.1 引 言 多媒体对象的同步关系抽象为以下两种类型: (1) 媒体内的时间关系即流内同步, 主要是保证单个媒体流之间 的简单时态关系, 也就是按一定的时间要求传送每一个媒体对象, 其表现为媒体流的连续性, 以满足人类感知上的要求。 流内同步 的复杂性不仅和单个媒体的种类有关, 而且和分布式系统提供的 服务质量（Quality of Service, QoS）有关。 同时, 也和源端和目 的端操作系统的实时性有关
第3章多媒体通信同步 (2)媒体间的同步关系 媒体间的同步关系即流间同步,主要是保证不同媒体间的时 间关系,如音频和视频之间的时态关系,音频和文本之间的时态关 系等,表现为各个媒体流中在同步点上的同时播放。流间同步的 复杂性和需要同步的媒体的数量有关。 多媒体对象在时间上存在着并行、顺序、独立关系,在对象 的时间表现控制上分别对应于并发、串行和异步执行。多媒体系 统的同步控制必须保证在同步点上各个媒体之间能够保持时间关 系。例如,一个有语音讲解的多媒体幻灯片,其讲解必须和一组画 面同时表现,且随着画面的显示,讲解是顺序的。这里的同步点处 于画面的改变点和讲解的起始点与结束点。又如,一个可视电话 系统,其语音和图像序列通过通信网络传输到接收端,且必须同步 地在接收设备上演示,以保持口型和声音同步
第3章 多媒体通信同步 (2) 媒体间的同步关系即流间同步, 主要是保证不同媒体间的时 间关系, 如音频和视频之间的时态关系, 音频和文本之间的时态关 系等, 表现为各个媒体流中在同步点上的同时播放。流间同步的 复杂性和需要同步的媒体的数量有关。 多媒体对象在时间上存在着并行、 顺序、 独立关系, 在对象 的时间表现控制上分别对应于并发、串行和异步执行。多媒体系 统的同步控制必须保证在同步点上各个媒体之间能够保持时间关 系。例如, 一个有语音讲解的多媒体幻灯片, 其讲解必须和一组画 面同时表现, 且随着画面的显示, 讲解是顺序的。这里的同步点处 于画面的改变点和讲解的起始点与结束点。又如, 一个可视电话 系统, 其语音和图像序列通过通信网络传输到接收端, 且必须同步 地在接收设备上演示, 以保持口型和声音同步
第3章多媒体通信同步 32多媒体信息同步描述法 321基于Pr网的描述法 视频 f2 对象 时间 1/3 s 时间间隔 012 3 678910 同步间隔 SIuI SIU SIU3 SIU4 SIUs SIU6 SIU SIUg SIUg SIU1o 0+0+-0--0-+-0-+0+-0+-0+0--0-4 图3.1将对象分成SU例
第3章 多媒体通信同步 3.2 多媒体信息同步描述法 3.2.1 基于Petri网的描述法 图 3.1 将对象分成SIU例
第3章多媒体通信同步 OCPN模型描述了媒体对象内和媒体对象间的时间关系,它 是一个定时 Petri网,用一个六元组Nagm={7PA,DRM}表示,其中 T={12,…,tn}为变迁集,表示同步点和处理位置,在图中 用短垂直棒表示。 P={p12p2,…,pn}为位置集,p表示进程,并假定变迁瞬时发 生,故具有相应状态,在图中用圆表示。 A:{7×P∪{P×T}→I={1,2,…}是有向孤集,在图中用 箭头表示 D:P_∽R定义了由位置集向实数集的映射,实数集R表示 OCPN中的时间约束
第3章 多媒体通信同步 OCPN模型描述了媒体对象内和媒体对象间的时间关系, 它 是一个定时Petri网, 用一个六元组Nocpn = {T,P,A,D,R,M }表示, 其中: T = { t1 ,t2 , …, tn }为变迁集, t i表示同步点和处理位置, 在图中 用短垂直棒表示。 P = { p1 ,p2 , …, pm }为位置集, pi表示进程, 并假定变迁瞬时发 生, 故pi具有相应状态, 在图中用圆表示。 A: { T×P }∪{ P×T }→ I = {1,2, …}是有向孤集, 在图中用 箭头表示。 D: P→Re定义了由位置集向实数集的映射, 实数集Re OCPN中的时间约束
第3章多媒体通信同步 RP→{r12…}定义了由位置集向资源集{r;r2,y}的映射。 MP={1,2,}定义了由位置集向整数集的映射,它表示位 置集中的标记( token)分布。 XOCⅨN是在OC門N模型的基础上扩展了对多媒体对象通信和 同步机理的描述。它用一个八元组Nocm={TPA, D,R,M,Y,z}表示 也就是在OCPN模型的基础上扩展了两个映射函数Y(p1)和Z P Y:P→{控制,对象}定义了位置集向位置类型集的映射。位 置分为对象位置和控制位置两种。 zP→{动作,函数地址,同步单元地址,通信和同步的信息地 址}定义了由位置集向地址集的映射
第3章 多媒体通信同步 R:P→{r1 ,r2 ,…,rk }定义了由位置集向资源集{ r1 ,r2 ,…,rk }的映射。 M:P→I,I ={1,2,…} 定义了由位置集向整数集的映射,它表示位 置集中的标记(token)分布。 XOCPN是在OCPN模型的基础上扩展了对多媒体对象通信和 同步机理的描述。它用一个八元组Nxocpn = { T,P,A,D,R,M,Y,Z }表示, 也就是在OCPN模型的基础上扩展了两个映射函数Y（pi）和Z （pi）: Y: P→{ 控制, 对象 }定义了位置集向位置类型集的映射。 位 置分为对象位置和控制位置两种。 Z: P→{动作, 函数地址, 同步单元地址, 通信和同步的信息地 址}定义了由位置集向地址集的映射
第3章多媒体通信同步 OCFN中的位置分成对象位置和控制位置两种。 (1)对象位置 它表示媒体对象的播放进程,每个对象位置与媒体对象的 个同步单元(SIU)相对应。每个对象位置P指定一个时间间隔, 个时间间隔与其对应的SIU的时间间隔相等,由映射函数Z(P1) 保持的SIU的地址可以是一个缓冲器指针。每个对象位置表示如 下两种操作之 Action. siu Playout:在媒体输出设备上播放相关的同步单 Action siu Transmit:向指定的虚电路通道发送相关的同步 单元
第3章 多媒体通信同步 OCPN中的位置分成对象位置和控制位置两种。 (1) 它表示媒体对象的播放进程, 每个对象位置与媒体对象的一 个同步单元（SIU）相对应。 每个对象位置Pi指定一个时间间隔, 一个时间间隔与其对应的SIU的时间间隔相等, 由映射函数Z(Pi ) 保持的SIU的地址可以是一个缓冲器指针。每个对象位置表示如 下两种操作之一: ·Action.SIU Playout: 在媒体输出设备上播放相关的同步单 元。 ·Action.SIU Transmit: 向指定的虚电路通道发送相关的同步 单元
第3章多媒体通信同步 (2)控制位置 它表示基于 XOCPN语义的控制过程,在其上执行的操作有资 源的建立,资源的释放以及媒体间的同步等,即: Action. Resource setup:建立虚电路信道、按用户设置的 QoS参数的协商信道属性、分配接收端缓冲器、预备输出设备等。 其中,资源( Resource)定义了通信通道、缓冲器或输出设备等 Action. Resource Release:∶在媒体对象完成播出后,立即释 放所占用的资源。 Action. Interstream Synchronizeε:按所希望的同步策略实现 流间同步机制
第3章 多媒体通信同步 (2) 它表示基于XOCPN语义的控制过程, 在其上执行的操作有资 源的建立, 资源的释放以及媒体间的同步等, 即: ·Action. Resource Setup: 建立虚电路信道、按用户设置的 QoS参数的协商信道属性、分配接收端缓冲器、预备输出设备等。 其中, 资源（Resource）定义了通信通道、缓冲器或输出设备等。 ·Action. Resource Release: 在媒体对象完成播出后, 立即释 放所占用的资源。 ·Action.Interstream Synchronize: 按所希望的同步策略实现 流间同步机制
第3章多媒体通信同步 1.流内同步 (1)中断同步 (2)受限中断同步 SIU SIU Pn(2) Pn(2) Pn(3) 〗心}4m0 Pn(1)Pn(3) Pn( 4) 图3,2流内同步机制 (a)中断同步;(b)受限中断同步
第3章 多媒体通信同步 1. 流内同步 (1) 中断同步 (2) 受限中断同步 图 3.2 流内同步机制 (a) 中断同步；(b) 受限中断同步
第3章多媒体通信同步 2.流间同步 对于流间同步,ⅩOCPN模型也支持两种同步机制:中断和 非中断。 1)流间中断同步 将在Ncm中的每一个IPP(流间播放点)处中断快速流的播放 过程,直到所有需要同步的媒体流都到达IPP才播放。 2)非中断同步 将在N0cm中的每一个PP点收集有关流间的同步状态信息 然后根据所收集的同步状态信息进行某些校正动作,参见图3.3。 这些校正动作分成两种
第3章 多媒体通信同步 2. 对于流间同步, XOCPN模型也支持两种同步机制: 中断和 非中断。 (1) 将在Nxocpn中的每一个IPP（流间播放点）处中断快速流的播放 过程, 直到所有需要同步的媒体流都到达IPP才播放。 （２） 将在Nxocpn中的每一个IPP点收集有关流间的同步状态信息, 然后根据所收集的同步状态信息进行某些校正动作, 参见图3.3。 这些校正动作分成两种: