●●● ●●●● ●● 第四章多媒体同步 ●●0 ●0 >同步的概念 >表现需求 多媒体同步的参考模型 >同步规范 >案例分析
第四章 多媒体同步 ➢ 同步的概念 ➢ 表现需求 ➢ 多媒体同步的参考模型 ➢ 同步规范 ➢ 案例分析
●●● ●●●● ●● 4.1同步的概念 ●●0 ●0 >多媒体系统 >基本的同步问题 对象内和对象间的同步 >实况同步和人工合成同步
4.1 同步的概念 ➢ 多媒体系统 ➢ 基本的同步问题 ➢ 对象内和对象间的同步 ➢ 实况同步和人工合成同步
●●● ●●●● ●● 4.1.1多媒体系统 ●●0 ●0 >划分多媒体系统的三个标准 ●媒体的数量 文本和图形的文档处理应用不是多媒体系统 根据第二章定义:至少有一种时间依赖的连续媒体和一种时 间无关的离散媒体 ●媒体的类型 时间依赖媒体:动画序列,音频流,视频流,一个表现单元 序列;媒体流连续单元之间存在时间关系,单元持续时间相 等为连续媒体 ●时间无关媒体:文本,图形,图像,一个表现单元;媒体各 自内容的语义不依赖于时间
4.1.1 多媒体系统 ➢ 划分多媒体系统的三个标准 ⚫ 媒体的数量 ⚫ 文本和图形的文档处理应用不是多媒体系统 ⚫ 根据第二章定义：至少有一种时间依赖的连续媒体和一种时 间无关的离散媒体 ⚫ 媒体的类型 ⚫ 时间依赖媒体：动画序列，音频流，视频流，一个表现单元 序列；媒体流连续单元之间存在时间关系，单元持续时间相 等为连续媒体 ⚫ 时间无关媒体：文本，图形，图像，一个表现单元；媒体各 自内容的语义不依赖于时间
●●● ●●●● ●● 4.1.1多媒体系统 ●●0 ●0 >划分多媒体系统的三个标准 ●媒体的集成度 不同类型的媒体保持独立 多种媒体可以一起处理和表现 混合媒体 媒体类型 体化数字 时间相关 系统 视频 图41多媒体系统 与时间无关 音频视频 服务器 中媒体使用的分类 时间相关 应用 文本 桌面印刷 编辑器 无 时间无关 全部 媒体数量n 1媒体集成度
4.1.1 多媒体系统 ➢ 划分多媒体系统的三个标准 ⚫ 媒体的集成度 ⚫ 不同类型的媒体保持独立 ⚫ 多种媒体可以一起处理和表现 桌面印刷 音频/视频 应用 一体化数字 系统 文本 编辑器 视频 服务器 媒体数量 媒体类型 全部 时间无关 时间相关 时间相关 与时间无关 n 1 无 媒体集成度 图 4.1 多媒体系统 中媒体使用的分类 混合媒体
●●● ●●●● ●● 412基本的同步问题 ●●0 ●0 >媒体的集成处理 ●原因:媒体对象编码信息固有相关性 包括:获取,存储,操作,通信,表现 同步:表示媒体对象的内容、空间和时间关系
4.1.2 基本的同步问题 ➢ 媒体的集成处理 ⚫ 原因：媒体对象编码信息固有相关性 ⚫ 包括：获取，存储，操作，通信，表现 ⚫ 同步：表示媒体对象的内容、空间和时间关系
●●● ●●●● ●● 412基本的同步问题 ●●0 ●0 >内容关系 定义了媒体对象与一些数据的相关性 填满数据得电子表格和所列数据图形之间的相关性 基于相同数据的两个图形可显示不同的数据解释 实现:基于公用的数据结构 用不同媒体表示不同对象的对象接口
4.1.2 基本的同步问题 ➢ 内容关系 ⚫ 定义了媒体对象与一些数据的相关性 ⚫ 填满数据得电子表格和所列数据图形之间的相关性 ⚫ 基于相同数据的两个图形可显示不同的数据解释 ⚫ 实现：基于公用的数据结构 用不同媒体表示不同对象的对象接口
●●● ●●●● ●● 412基本的同步问题 ●●0 ●0 >空间关系 定义了多媒体表现中某个时间点在输出设备上表现媒 体对象的空间 二维布局:监视器,纸张,桌面出版系统的版面帧,时间依 赖媒体的视频帧等 维布局:全息照片,三维投影,通用视窗系统中用视窗重 叠来表达三维,立体声输出系统中多个音源的定位,视音频 会议系统中出席者座次排序等
4.1.2 基本的同步问题 ➢ 空间关系 ⚫ 定义了多媒体表现中某个时间点在输出设备上表现媒 体对象的空间 ⚫ 二维布局：监视器，纸张，桌面出版系统的版面帧，时间依 赖媒体的视频帧等 ⚫ 三维布局：全息照片，三维投影，通用视窗系统中用视窗重 叠来表达三维，立体声输出系统中多个音源的定位，视音频 会议系统中出席者座次排序等
●●● ●●●● ●● 412基本的同步问题 ●●0 ●0 >时间关系 定义:媒体对象间的时间相关性(如音乐会中录制的 视音频对象间的时间关系) 时间同步:媒体对象表现过程中的时间关系必须符合 它们在获取时的时间关系 多媒体系统中关键特征:时间依赖媒体对象集成的时 间关系
4.1.2 基本的同步问题 ➢ 时间关系 ⚫ 定义：媒体对象间的时间相关性（如音乐会中录制的 视音频对象间的时间关系） ⚫ 时间同步：媒体对象表现过程中的时间关系必须符合 它们在获取时的时间关系 ⚫ 多媒体系统中关键特征：时间依赖媒体对象集成的时 间关系
●●● ●●●● ●● 4.1.3对象内和对象间的同步 ●●0 ●0 >两种同步机制 对象内同步:时间依赖媒体对象内部表现单元之间的 时间关系 视频帧序列中单帧间的时间关系,对25帧/s的视频,每帧间 的延迟为40ms 40ms 图42一个跳动的球视频序列的帧间同步
4.1.3 对象内和对象间的同步 ➢ 两种同步机制 ⚫ 对象内同步：时间依赖媒体对象内部表现单元之间的 时间关系 ⚫ 视频帧序列中单帧间的时间关系，对25帧/s的视频，每帧间 的延迟为40ms 40ms t 图 4.2 一个跳动的球视频序列的帧间同步
●●● ●●●● ●● 4.1.3对象内和对象间的同步 ●●0 ●0 >两种同步机制 对象间同步:媒体对象间的同步 音频1 音频2 P, P2 P 视频 动 图43对象间同步的示例,涉及的对象包括音频、视频、动画和图
4.1.3 对象内和对象间的同步 ➢ 两种同步机制 ⚫ 对象间同步：媒体对象间的同步 图 4.3 对象间同步的示例，涉及的对象包括音频、视频、动画和图 音频1 视频 音频2 P1 P2 P3 动画 t