上式行生 《多煤体通信》 第三章多媒体同步机制 2019年10月27日 ynh.cxh @ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 《多媒体通信》 第三章 多媒体同步机制 1 2019年10月27日
KC主要内容 ◆什么是多媒体同步 ▣多媒体同步的定义与分类 ▣音视频的同步容限 ◆如何描述多媒体同步 ▣基于Web的媒体时间关系描述 口基于Petri Net的多媒体时间域信息的描述 ◆典型多媒体设备接口信号的同步机制 ◆典型多媒体系统的媒体同步方法 ◆展望未来 2 ynh.cxh @ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 主要内容 什么是多媒体同步 多媒体同步的定义与分类 音视频的同步容限 如何描述多媒体同步 基于Web的媒体时间关系描述 基于Petri Net的多媒体时间域信息的描述 典型多媒体设备接口信号的同步机制 典型多媒体系统的媒体同步方法 展望未来 2
KC空间的同步还是时间的同步？ 21E 2008.sohul.com 8 3 ynh.cxh @ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 空间的同步还是时间的同步？ 3
永恒的东风 中国科学按术大学校款) 移求”司 自上，不大民 模0 思核 着永但的东 来 上释 学的百 婚 群孕 的高 峰在不断创 高 柴高到无 穷 红数。 要红 过九 重， 们是中国 好 女 意著很符。 席勤势 动 在 分昌司 完的￥话找 , 坚程领号下 为 每「 共产主义事 业作充 染 三 由 又红又 答 理实交 活隶黄 勇， 句人 学 习， 学习 均
4 {ynh,cxh}@ustc.edu.cn
多媒体同步示例：新闻 语音 记者念的第一条新闻 声音 引导音乐 音乐渐隐 视频 世界报道片头 播音员全景 图像 播音员上方的照片 (播音员) 整理讲稿 整理领带 播音员播第一条新闻 时间 5 (ynh,cxh @ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 多媒体同步示例：新闻 5 语音 记者念的第一条新闻 声音 引导音乐 音乐渐隐 视频 世界报道片头 播音员全景 图像 播音员上方的照片 （播音员） 整理讲稿 整理领带 播音员播第一条新闻 时间
KC不同媒体对象的同步关系 ◆空间关系用来描述在终端显示或者输出时不同的媒 体对象之间在空间域上的位置关系 ◆内容关系是指用不同的表现形式来表示相同的数据。 例如，一份数据有时候既可以用表格又可以用图表表 示，那么在计算机中不管是用表格、图表或者曲线等 方式表示的都是同一份数据内容。 ◆时间关系是用来描述时间相关媒体媒体流内或者媒 体流之间各个数据单元的时间关系的，我们狭义上的 多煤体同步主要就是指的这种时间同步。 ynh.cxh@ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 不同媒体对象的同步关系 空间关系用来描述在终端显示或者输出时不同的媒 体对象之间在空间域上的位置关系。 内容关系是指用不同的表现形式来表示相同的数据。 例如，一份数据有时候既可以用表格又可以用图表表 示，那么在计算机中不管是用表格、图表或者曲线等 方式表示的都是同一份数据内容。 时间关系是用来描述时间相关媒体媒体流内或者媒 体流之间各个数据单元的时间关系的，我们狭义上的 多媒体同步主要就是指的这种时间同步。 6
MC多媒体同步的定义/分类 ◆广义上的同步(Synchronization) 从广义上讲，同步是指多媒体系统中各个媒体对象之间 存在的时间、，空间、以及逻辑关系。在分布式多媒体通 信中，同步是一个基于时间的概念，是指多媒体系统中 各个媒体对象之间存在的时间关系，同步的目的就是向 用户展示多媒体信息时，保持媒体对象之间固有的时间 关系。 ◆狭义的同步分类 ▣流内同步(Intra-stream Synchronization), 是指在单一连接 上的单一媒体流内各个媒体单元之间存在的时间关系。 口流间同步(Inter-stream Synchronization)是指在多个连接 上的相关媒体流之间存在的时间关系。 ▣人机交互同步用于保持用户与多点传送媒体流之间的同 步播映速度。 7 ynh.cxh@ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 多媒体同步的定义/分类 广义上的同步（Synchronization） 从广义上讲，同步是指多媒体系统中各个媒体对象之间 存在的时间、空间、以及逻辑关系。在分布式多媒体通 信中，同步是一个基于时间的概念，是指多媒体系统中 各个媒体对象之间存在的时间关系，同步的目的就是向 用户展示多媒体信息时，保持媒体对象之间固有的时间 关系。 狭义的同步分类 流内同步（Intra-stream Synchronization）是指在单一连接 上的单一媒体流内各个媒体单元之间存在的时间关系。 流间同步（Inter-stream Synchronization）是指在多个连接 上的相关媒体流之间存在的时间关系。 人机交互同步用于保持用户与多点传送媒体流之间的同 步播映速度。 7
流内同步 视频帧 一个25帧/s的视频 10 180 流，它每帧间隔的时 间是40ms 0 10 20 30 40 50 60 70 80 90 100 图2-4视频流内同步 一个用G.729编码 音频帧 的音频流，它每帧间 0 10 2030 40506070180 隔时间是10ms 10 20 30 40 50 60 70 8090 100 图2-5音频流内同步 8 ynh,cxh @ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 流内同步 8 一个用 G.729 编码 的音频流，它每帧间 隔时间是 10ms 一个 25 帧/s 的视频 流，它每帧间隔的时 间是 40ms
KC流间同步 不同步的原因： 媒体间同步是指维持媒体相互 采集端产生延时 之间的时间关系，其目标是消 网络传输变化 除各媒体流之间的时间偏移 播放端产生的时间偏差 音類帧 视频帧 10 40 80 20 40 50 180 如果33.3ms产生1 个视频帧，10ms 产生1个音频帧， 10 20 30 40 50 60 70 80 90 100 情况如何？ 图2-6音频流间同步
{ynh,cxh}@ustc.edu.cn 流间同步 9 不同步的原因： 采集端产生延时 网络传输变化 播放端产生的时间偏差 媒体间同步是指维持媒体相互 之间的时间关系，其目标是消 除各媒体流之间的时间偏移。 如果33.3ms产生1 个视频帧，10ms 产生1个音频帧， 情况如何？
KC人机交互同步 ◆人机交互同步用于保持用户与多点传送媒体流之间的同 步播映速度。 ◆在用户和多媒体系统之间的交互实质就是交互对象，即 用户和计算机系统之间的通信。例如当用户利用输入设备 控制多媒体系统的跳转、停止、变速和暂停等，系统应该 及时响应用户的操作 ◆在交互系统中，用户对于鼠标、键盘等外部设备的操作 必须要及时响应。例如，实时运动广播和交互式多媒体视 频会议等。这类同步的特点在于同步的时间随着指令的时 间所决定，因为同步发生时间具有不可预测性。 ynh.cxh@ustc.edu.cn
{ynh,cxh}@ustc.edu.cn 人机交互同步 人机交互同步用于保持用户与多点传送媒体流之间的同 步播映速度。 在用户和多媒体系统之间的交互实质就是交互对象，即 用户和计算机系统之间的通信。例如当用户利用输入设备 控制多媒体系统的跳转、停止、变速和暂停等，系统应该 及时响应用户的操作。 在交互系统中，用户对于鼠标、键盘等外部设备的操作 必须要及时响应。例如，实时运动广播和交互式多媒体视 频会议等。这类同步的特点在于同步的时间随着指令的时 间所决定，因为同步发生时间具有不可预测性。 10
