中国科学技术大学：《多媒体通信 Multimedia Communications》课程教学资源（教案课件讲稿）第二章 多媒体数据压缩国际标准（视频压缩的国际标准、不同应用场景下的其他编码思想）

© 多媒体通信 Multimedia Communications 第2章 多媒体数据压缩国际标准 关于视频在缩标准 爸2019年10月12日@ 甩于工程与后怎科学系

2019年10月12日 第2章 多媒体数据压缩国际标准 关于视频压缩标准 多媒体通信 Multimedia Communications

KC第2章多媒体数据压缩国际标准 ◆2.1多媒体数据压缩编码的重要性和分类 ◆2.2常见数据压缩方法分类与基本原理 ◆2.3音频压缩标准 ◆2.4静态图像压缩编码的国际标准 ◆2.5视频压缩的国际标准 ▣视频编解码器的框架与标准简介 ▣MPEG-1(1993)&MPEG-2/H.262(1996)视频标准 ▣MPEG-4AVC/H.264(2003)视频标准 口HEVC(2013)视频标准 ◆2.6不同应用场景下的其他编码思想 口基于模型/对象的编码思想：MPEG-4(1999) ▣视频质量可伸缩性&H.264SVC ▣多视角编码 3 ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 第2章 多媒体数据压缩国际标准 2.1 多媒体数据压缩编码的重要性和分类 2.2 常见数据压缩方法分类与基本原理 2.3 音频压缩标准 2.4 静态图像压缩编码的国际标准 2.5 视频压缩的国际标准 视频编解码器的框架与标准简介  MPEG-1(1993) & MPEG-2/H.262(1996)视频标准  MPEG-4 AVC/H.264(2003)视频标准  HEVC(2013)视频标准 2.6 不同应用场景下的其他编码思想 基于模型/对象的编码思想： MPEG-4(1999) 视频质量可伸缩性 & H.264 SVC 多视角编码 3

KC视频编码的思路 ◆现有编码技术可以分为三类 口第一类方法基于图像统计特性 ●预测编码（例如帧内预测，运动估计与补偿等） ●变换编码（例如傅立叶变换，哈达玛变换，KL变换，离散余弦变换， 离散小波变换等) ·熵编码（例如算术编码，霍夫曼编码，游程编码） ▣第二类方法基于人眼视觉特性 ●方向滤波编码 ●面向轮廓一纹理特征的编码 口第三类方法基于图像内容特征 ·分形编码 ·基于对象的编码 ◆后两类方法由于复杂度过高，技术尚未成熟等原因，仍 处于研究阶段。而第一类方法则得到不断地发展和融合， 形成了基于块的预测变换混合编码框架。 ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 视频编码的思路 现有编码技术可以分为三类  第一类方法基于图像统计特性 预测编码(例如帧内预测，运动估计与补偿等) 变换编码(例如傅立叶变换，哈达玛变换，KL变换，离散余弦变换， 离散小波变换等) 熵编码(例如算术编码，霍夫曼编码，游程编码)  第二类方法基于人眼视觉特性 方向滤波编码 面向轮廓一纹理特征的编码  第三类方法基于图像内容特征 分形编码 基于对象的编码 后两类方法由于复杂度过高，技术尚未成熟等原因，仍 处于研究阶段。而第一类方法则得到不断地发展和融合， 形成了基于块的预测/变换混合编码框架。 4

MC 问题的提出：视频与图像编码的差异 帧间冗余是最大的冗余 初 Frame 1 Frame 2 Frame 3 Frame 4 xh@ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 问题的提出：视频与图像编码的差异 帧间冗余是最大的冗余 5

KC视频编码器原理 JPEG common code words e.g.,DCT: shorter symbols spatial→frequency Huffman,arithmetic coding Frames of Motion Transform, Digital Video Estimation Quantization,Zig- Symbol & Zag Scan Run- Encoder Compensation Length Encoding Bit Stream predict current Quantization changes representation size for each symbol frame from previous >adjust rate/quality trade-off Run-length encoding. long runs of zeros>run-length symbol MPEG,H.26x (ynh,cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 视频编码器原理 6 Motion Estimation & Compensation Transform, Quantization, Zig￾Zag Scan & Run￾Length Encoding Symbol Encoder Frames of Digital Video Bit Stream common code words  shorter symbols Huffman, arithmetic coding e.g., DCT: spatial  frequency Quantization changes representation size for each symbol adjust rate/quality trade-off Run-length encoding: long runs of zeros  run-length symbol predict current frame from previous JPEG MPEG, H.26x

从C视频编解码器框架 1979年国际图像编码学会上提出 ◆ 自1988年H.261开始 ▣Temporal ← Prediction ▣Spatial Transform ▣Entropy ← VLC Video 4 VLC stream MC ME:Motion Estimation Mode/MV MC:Motion Compensation ME Frame Buffer Generic Encoder 基于块的预测/变换混合编码框架 ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 视频编解码器框架 自1988年H.261开始  Temporal  Prediction  Spatial  Transform  Entropy  VLC 7 + T Q VLC stream (Q) -1 (T) -1 _ + Frame Buffer ME + MC Mode/MV Generic Encoder Video ME: Motion Estimation MC: Motion Compensation 基于块的预测/变换混合编码框架 1979年国际图像编码学会上提出

KC20年来图像和视频压缩标准的进展 ◆图像 ◆JPEG,1992 ◆JPEG-LS(1998) ◆JPEG2000,2000 ◆JPEG XR2009 ◆视频 ◆H.261,1988 ◆】 MPEG-1,1993 ◆MPEG-2/H.262,1996 ◆H.263,1996 ◆MPEG-4.1999 ISO MPEG-4 AVC/H.264,2003 ◆ HEVC,2013年4月13号 ◆China AVS,2003 9 ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 20年来图像和视频压缩标准的进展 图像 ♦ JPEG, 1992 ♦ JPEG-LS(1998) ♦ JPEG 2000, 2000 ♦ JPEG XR, 2009 视频 ♦ H.261, 1988 ♦ MPEG-1, 1993 ♦ MPEG-2/H.262, 1996 ♦ H.263, 1996 ♦ MPEG-4, 1999 ♦ MPEG-4 AVC/H.264, 2003 ♦ HEVC, 2013年4月13号 China AVS, 2003 9

KC图像和视频编码的标准化组织 JPEG (Joint Photographic Expert Group,1986) Joint committee between ISO/IEC JTC1 and ITU-T ISO/IEC Joint Technical Committee 1.Subcommittee 29 Working Group 1 (ISO/IEC JTC 1/SC 29/WG 1)-Coding of still pictures. MPEG (Moving Pictures Experts,1988) ISO/IEC JTC1/SC29 WG11-Coding of moving pictures and audio (ISO/IEC Joint Technical Committee 1,Subcommittee 29,Working Group 11) IS 11 (ynh,cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 图像和视频编码的标准化组织 JPEG (Joint Photographic Expert Group, 1986)  Joint committee between ISO/IEC JTC1 and ITU-T  ISO/IEC Joint Technical Committee 1, Subcommittee 29, Working Group 1 (ISO/IEC JTC 1/SC 29/WG 1) - Coding of still pictures. MPEG (Moving Pictures Experts, 1988)  ISO/IEC JTC1/SC29 WG11 – Coding of moving pictures and audio (ISO/IEC Joint Technical Committee 1, Subcommittee 29, Working Group 11). 11

KC视频编码的标准化组织 ISO/IEC MPEG (Moving Pictures Experts,1988) ISO/IEC JTC1/SC29 WG11 -Coding of moving pictures and audio (ISO/IEC Joint Technical Committee 1.Subcommittee 29,Working Group 11). ITU-T VCEG (Video Coding Experts Group) (ITU-T SG16/Q6=International Telecommunications Union Telecommunications Standardization Sector (ITU-T,a United Nations Organization,formerly CCITT),Study Group 16,Working Party 3,Question 6) 12 (ynh,cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 视频编码的标准化组织 ISO/IEC MPEG (Moving Pictures Experts, 1988)  ISO/IEC JTC1/SC29 WG11 – Coding of moving pictures and audio (ISO/IEC Joint Technical Committee 1, Subcommittee 29, Working Group 11). ITU-T VCEG (Video Coding Experts Group)  (ITU-T SG16/Q6 = International Telecommunications Union – Telecommunications Standardization Sector (ITU-T, a United Nations Organization, formerly CCITT), Study Group 16, Working Party 3, Question 6) 12

KC视频编码的标准化组织(2000~) JVT (Joint Video Team,2001) Joint project between ITU-T SG16/Q.6(Study Group 16/Question 6)-VCEG (Video Coding Experts Group)and ISO/IEC JTC1/SC29/WG11-MPEG. JCT-VC (Joint Collaborative Team on Video Coding,2010) A group of video coding experts from ITU-T Study Group 16 (VCEG)and ISO/IEC JTC 1/SC 29/WG 11 (MPEG) It was created to develop High Efficiency Video Coding JVET (Joint Video Experts Team,2017) A new group between VCEG(Q6/16)and ISO/IEC JTC1 SC29/WG11 (MPEG) to develop Versatile Video Codec (VVC) 13 ynh,cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 视频编码的标准化组织(2000~) JVT (Joint Video Team, 2001)  Joint project between ITU-T SG16/Q.6 (Study Group 16 / Question 6) – VCEG (Video Coding Experts Group) and ISO/IEC JTC1/SC29/WG11 – MPEG. JCT-VC (Joint Collaborative Team on Video Coding, 2010)  A group of video coding experts from ITU-T Study Group 16 (VCEG) and ISO/IEC JTC 1/SC 29/WG 11 (MPEG)  It was created to develop High Efficiency Video Coding. JVET (Joint Video Experts Team, 2017)  A new group between VCEG (Q6/16) and ISO/IEC JTC1 SC29/WG11 (MPEG)  to develop Versatile Video Codec (VVC) 13