多媒体枚术 计算、通信及应用 吴产乐 wuchi@whu.edu.cn Digital Campneddiow and Coding low ultimedia 3-1
Digital Compression and Coding for Multimedia 3－1 多 媒 体 技 术 ——计算、通信及应用 吴产乐 wuchl@whu.edu.cn
第三章多媒体数据压缩編码 口推荐教材 多媒体技术(高级)钟玉琢著 ■多媒体技术教程胡晓峰著 ■多媒体数字压缩原理与标准; Digital Compression for Multimedia Principles and standards. Gibson, J D. Morgom Kaufmann Publishers, Inc 李煜辉1998年电子工业出版社; High-Speed Networks and Internets: Performance and Quality of service, 2nd Edition William Stallings, Prentice Hall 高速网络与互联网一一性能与服务质量(第二版)电子工业出版社 口本章内容 ■多媒体数据压缩编码的必要性和编码方法 ■多媒体数据压缩编码的国际标准 Digital Campneddiow and Coding low ultimedia 3-2
Digital Compression and Coding for Multimedia 3－2 第三章 多媒体数据压缩编码 推荐教材 ◼ 多媒体技术(高级) 钟玉琢 著 ◼ 多媒体技术教程 胡晓峰 著 ◼ 多媒体数字压缩原理与标准：Digital Compression for Multimedia Principles and Standards. Gibson, J.D. 等 Morgom Kaufmamn Publishers, Inc. 李煜辉 1998年 电子工业出版社； ◼ High-Speed Networks and Internets: Performance and Quality of Service, 2nd Edition William Stallings, Prentice Hall 高速网络与互联网－－性能与服务质量(第二版) 电子工业出版社 本章内容 ◼ 多媒体数据压缩编码的必要性和编码方法 ◼ 多媒体数据压缩编码的国际标准
3.1.1多媒体数据瓜缩编码的必要性 口31压缩编码的必要性和重要性 ■311压缩编码的必要性和重要性 口1.多媒体系统技术 ■面向三维图形、立体声、彩色全屏幕运动画面的 处理技术 多种媒体承载的由模拟量转化成数字量信息的获取、表示、存储、 传输、表现。 口2.未压缩的数字化信息量 ■1页B5文件数据量约为661MB/P 180×255mm2×122像素 /mm2X8bit:1B/8bit=6.61MB/P 650MB的 CDROM存放98 Pages Digital Campneddiow and Coding low ultimedia 3-3
Digital Compression and Coding for Multimedia 3－3 3.1.1多媒体数据压缩编码的必要性 3.1 压缩编码的必要性和重要性 ◼ 3.1.1 压缩编码的必要性和重要性 1. 多媒体系统技术: ◼ 面向三维图形、立体声、彩色全屏幕运动画面的 处理技术； ◼ 多种媒体承载的由模拟量转化成数字量信息的获取、表示、存储、 传输、表现。 2. 未压缩的数字化信息量 ◼ 1页B5文件数据量约为6.61MB/P 180×255mm2×122像素 /mm2×8bit÷1B/8bit=6.61MB/P 650MB的CDROM存放98Pages
3.1.1多媒体数据压缩编码的必要性 ■CD-A激光唱盘每秒采样位为14Mbps 44kHz×16bit/Hz样本×2(声道)=1.41Mbps 650MB的 CDROM存放1小时音乐 ■数字音频磁带(DAT)每秒采样位为768kbps 48kHz×16bit/Hz样本=768kbps 650MB的 CDROM存放2小时节目 ■数字电视图像 ①SIF( Source input format)格式、NFSC制、彩色、 4:4:4采样 每帧:352×240×3B=253KB 每秒:253KBX30=7603MBps 每片 CDROM:650MB÷253kB=2569帧/片 (650MB÷7603MB)÷60=142分/片 Digital Campneddiow and Coding low ultimedia 3-4
Digital Compression and Coding for Multimedia 3－4 3.1.1 多媒体数据压缩编码的必要性 ◼ CD-A激光唱盘每秒采样位为1.41Mbps 44kHz×16bit/Hz·样本×2(声道)＝1.41Mbps 650MB的CDROM存放1小时音乐 ◼ 数字音频磁带(DAT)每秒采样位为768kbps 48kHz×16bit/Hz·样本=768kbps 650MB的CDROM存放2小时节目 ◼ 数字电视图像 ① SIF(Source input format)格式、NFSC制、彩色、 4:4:4采样 每帧:352×240×3B=253KB 每秒:253KB×30=7.603MBps 每片CDROM:650MB÷253kB=2569帧/片 (650MB÷7.603MB)÷60=1.42分/片
3.1.1多媒体数据压缩编码的必要性 日2.未压缩的数字化信息量 ■数字电视图像 2 ICCR(International Consultative Committee for Radio)格式、PAC制、4:4:4.样 每帧:720×576×3B=124MB 每秒:124MBx25=31MBps 每片 CDROM:650MB:124MB=524帧/片 650MB÷311MB=209秒/片 ■陆地卫星( Landsat-3)分辨率2340×3240、4波段、7位采 样精度 每幅:2340×3240×7×4=212Mb 每天:212Mb×30=636Gbit 每年:636Gbt×365=23214Gbt=290GB Digital Campneddiow and Coding low ultimedia 3-5
Digital Compression and Coding for Multimedia 3－5 3.1.1 多媒体数据压缩编码的必要性 2. 未压缩的数字化信息量 ◼ 数字电视图像 ② ICCR (International Consultative Committee for Radio)格式、PAC制、4:4:4采样 每帧:720×576×3B=1.24MB 每秒:1.24MB×25=31.1MBps 每片CDROM:650MB÷1.24MB= 524帧/片 650MB÷31.1MB=20.9秒/片 ◼ 陆地卫星(LandSat-3) 分辨率2340×3240、4波段、7位采 样精度 每幅:2340×3240×7×4=212Mb 每天:212Mb×30=6.36Gbit 每年:6.36Gbit×365=2321.4Gbit=290GB
3.12多媒体数据压缩的可能性 口312多媒体数据压缩的可能性 (1)图像数据表示中大量冗余 (2)图像数据压缩技术:利用图像数据冗余性减少数据量方法 ■1.空间冗余 口静态图像存在的主要冗余; 口采样点颜色之间的空间连贯性区域中各点光强、色彩、饱和度同; 口离散像素采样表示颜色没有利用这种空间连贯性; 口改变颜色的像素存储方式利用空间连贯性减少数据量 ■2.时间冗余 口序列图像(电视、运动图像)表示常包含的冗余; 口相邻帧记录了相邻时刻的同一场景画面移动物位置稍不同 Digital Campneddiow and Coding low ultimedia 3-6
Digital Compression and Coding for Multimedia 3－6 3.1.2 多媒体数据压缩的可能性 3.1.2 多媒体数据压缩的可能性 （1）图像数据表示中大量冗余 （2）图像数据压缩技术: 利用图像数据冗余性减少数据量方法 ◼ 1. 空间冗余 静态图像存在的主要冗余; 采样点颜色之间的空间连贯性:区域中各点光强、色彩、饱和度同; 离散像素采样表示颜色没有利用这种空间连贯性; 改变颜色的像素存储方式,利用空间连贯性,减少数据量. ◼ 2. 时间冗余 序列图像(电视、运动图像)表示常包含的冗余; 相邻帧记录了相邻时刻的同一场景画面,移动物位置稍不同
3.12多媒体据压缩的可能性 口3.1.2多媒体数据压缩的可能性 ■3.结构冗余 口图像纹理区的像素值存在着分布模式:如方格状地板图案; 口已知分布模式可通过某一过程生成图像. ■4.知识冗余 口有些图像的理解与某些知识有相当大的相关性如人脸的图像 有固定结构; 口规律性结构可由先验知识和背景知识获得——知识冗余; 口由已有知识,对图像中物体构造其基本模型,创建对应各种特征 的图像库:存储时只需保存图像的一些特征参数 口知识冗余是模型编码主要利用的特征 Digital Campneddiow and Coding low ultimedia
Digital Compression and Coding for Multimedia 3－7 3.1.2 多媒体数据压缩的可能性 3.1.2 多媒体数据压缩的可能性 ◼ 3. 结构冗余 图像纹理区的像素值存在着分布模式:如方格状地板图案; 已知分布模式,可通过某一过程生成图像. ◼ 4. 知识冗余 有些图像的理解与某些知识有相当大的相关性,如人脸的图像 有固定结构; 规律性结构可由先验知识和背景知识获得——知识冗余; 由已有知识,对图像中物体构造其基本模型,创建对应各种特征 的图像库:存储时只需保存图像的一些特征参数; 知识冗余是模型编码主要利用的特征
3.12多媒体据压缩的可能性 ■5.视觉冗余 (1).人类视觉系统对图像场的敏感性是非均匀的和非线性的; (2记录图像时假定视觉系统是均匀和线性的对不同敏感区同样对待产 生了视觉冗余应对不同敏感部分分开编码; (3)视觉的非均匀性 口视觉系统对图像的亮度和色彩度的敏感性相差很大,RGB→NTSC的 ylQ后发现,视觉系统的亮度y的敏感度远高于色度(Q的敏感度一 可对Q允许误差大于y的允许误差; 口亮度增加时视觉系统对量化误差的敏感度降低,人眼辨别能力与物体 周围的背景亮度成反比—一在高亮度区灰度值的量化可粗糙一些; Digital Campneddiow and Coding low ultimedia 3-8
Digital Compression and Coding for Multimedia 3－8 3.1.2 多媒体数据压缩的可能性 ◼ 5. 视觉冗余 (1).人类视觉系统对图像场的敏感性是非均匀的和非线性的; (2).记录图像时假定视觉系统是均匀和线性的,对不同敏感区同样对待,产 生了视觉冗余. 应对不同敏感部分分开编码; (3).视觉的非均匀性. 视觉系统对图像的亮度和色彩度的敏感性相差很大，RGB→NTSC的 yIQ后发现,视觉系统的亮度y的敏感度远高于色度(I,Q)的敏感度—— 可对IQ允许误差大于y的允许误差; 亮度增加时,视觉系统对量化误差的敏感度降低,人眼辨别能力与物体 周围的背景亮度成反比.——在高亮度区,灰度值的量化可粗糙一些;
3.12多媒体据压缩的可能性 口人眼的视觉系统能把图像的边缘和非边缘区域分开处理——边缘区 和非边缘区分别编码的依据; 口人眼的视觉系统是把视网膜上的图像分解成若干个空间有向的视频 通道后再进行处理一一编码时把图像分解成符合这一规律(视觉内在 特性)的频率通道,可获大的压缩比;小波编码的特性. ■6.图像区域的相同性冗余 口图像中多个区域所对应的像素值相同或者相近,产生重复性存储; 口向量量化 Vector quantization)是针对这种冗余的压缩编码方法 ■7.纹理的统计冗余 口某些图像纹理在统计意义上服从某些分布规律; 口利用分布规律减少图像数据量. Digital Campneddiow and Coding low ultimedia 3-9
Digital Compression and Coding for Multimedia 3－9 3.1.2 多媒体数据压缩的可能性 人眼的视觉系统能把图像的边缘和非边缘区域分开处理——边缘区 和非边缘区分别编码的依据; 人眼的视觉系统是把视网膜上的图像分解成若干个空间有向的视频 通道后再进行处理——编码时把图像分解成符合这一规律(视觉内在 特性)的频率通道,可获大的压缩比;小波编码的特性. ◼ 6. 图像区域的相同性冗余 图像中多个区域所对应的像素值相同或者相近,产生重复性存储; 向量量化(Vector quantization)是针对这种冗余的压缩编码方法. ◼ 7. 纹理的统计冗余 某些图像纹理在统计意义上服从某些分布规律; 利用分布规律减少图像数据量
3.1.3多媒体齦据压缩编码方法 PCM预测编码变换编码统计编码静图像编码电视图像编码基于重要性 (熵编码)(无损) 傅立叶(DFT) 矢量量化 固自固自 哈夫曼三 方块 帧内预测 滤波 定 分含 离散余弦(DIT) 帧间编码 算术编码 逐渐浮现 子采样三 离散正弦(DST) 运动估计 费诺 DPCM 沃尔什哈达马香农三 逐层内插 运动补偿模型编码 △M三 分形编码三 哈尔 位平面三 条件补充 游程(RLC ADPCM斜变换 LZW 抖动 一内插混合编码 运动补偿 卡胡南-苏夫 帧间预测PEG 小波变换三 H.261 MPEG 子带编码 图3-1多媒体数据压缩编码方法 Digital Campneddiow and Coding low ultimedia 3-10
Digital Compression and Coding for Multimedia 3－10 3.1.3 多媒体数据压缩编码方法 PCM 固 定 自 适 应 自 适 应 预测编码 固 定 DPCM △M ADPCM 运动补偿 变换编码 傅立叶(DFT) 离散余弦(DIT) 离散正弦(DST) 沃尔什-哈达马 哈 尔 斜变换 卡胡南-苏夫 (K——L) 小波变换 子带编码 统计编码 (熵编码)(无损) 哈夫曼 算术编码 费 诺 香 农 游程(RLC) LZW 静图像编码 方块 逐渐浮现 逐层内插 位平面 抖动 电视图像编码 帧内预测 帧间编码 运动估计 运动补偿 条件补充 内 插 帧间预测 基于重要性 矢量量化 滤 波 子 采 样 模型编码 分形编码 混合编码 H.261 JPEG MPEG 图3-1 多媒体数据压缩编码方法