中国科学技术大学：《多媒体通信 Multimedia Communications》课程教学资源（教案课件讲稿）专题——主流音视频流结构（裸数据的组织 Encapsulation for Multimedia Data）

《多媒体通信》课程专题 主流音视频流结构：裸数据的组织 Encapsulation for Multimedia Data ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 《多媒体通信》课程专题 主流音视频流结构：裸数据的组织 Encapsulation for Multimedia Data 1

KC裸数据的组织 ◆现有网络中数据组织的方式 口计算机：各种数据文件的格式 口网络：数据包格式 口哪些信息需要合理表示？ ▣交换数据格式 ◆主流音视频流的数据组织方式 口数字音乐CD-DA ▣音乐文件MP3 口数字音频广播DAB ▣数字电视MPEG2 ▣MPEG-4AVC/H.264 2 ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 裸数据的组织 现有网络中数据组织的方式 计算机：各种数据文件的格式 网络：数据包格式 哪些信息需要合理表示？ 交换数据格式 主流音视频流的数据组织方式 数字音乐 CD-DA 音乐文件 MP3 数字音频广播 DAB 数字电视 MPEG2  MPEG-4 AVC / H.264 2

MC 计算机：各种数据文件的格式 BMP文件格式 ◆位图文件(Bitmap-File,BMP)格式是Windows采用的 图像文件存储格式。位图文件可看成由4个部分组成： 位图文件头(bitmap-file header)、位图信息头(bitmap- information header)、彩色表(color table)和定义位图的 字节阵列。 BMPinfo 文件帮助 0,0)位图缩略图 位图信息 中 文件基本信息FILEATTRIBUTE 白 位图文件头BITMAPFILEHEADER共14字节 位图文件类型bfType:0x4d42 位图文件大小bfSize:98454字节 Windows保留字bfReservel:0 Windows保留字bfReservea2:0 数据离起始偏移里bf0 ffBits:54位 位图信息头BITMAPINFOHEADER共4O字节 位图信息头大小biSiz:40字节 位图宽度bfWidth:164像素 位图高度bfHeight:200像素 目标设备级别hiP1ane:1 每个像素比特数（位深度）biBitCount:24 位图压缩类型biCompression:40 像素坐标 像素值 x:0 R:72 G:65 Color: 读取点Y)像素值 复制当前位图信息到剪贴板 I: B:73 s:0 选择修改颜色 修改点化，Y)像素值 保存当前位图信息到蚊件

{ynh,cxh}@ustc.edu.cn 计算机：各种数据文件的格式 BMP文件格式 位图文件(Bitmap-File，BMP)格式是Windows采用的 图像文件存储格式。位图文件可看成由4个部分组成： 位图文件头(bitmap-file header)、位图信息头(bitmap￾information header)、彩色表(color table)和定义位图的 字节阵列。 3

MC 计算机：各种数据文件的格式 JPEG File Interchange Format(JFIF) A JPEG image consists of a sequence of segments,each beginning with a marker,each of which begins with a 0xFF byte followed by a byte indicating what kind of marker it is G:\2015\teach_2015\MCU2015\down_ 凶搜素S文档D)方案D工具（©浏览器仙Zen Coding奋口凶帮助 ②W电自X|pe团+AkW=篇√八国国园国？ 00000000 国D8EFE000104A4649460001010000014..JF1F.. 0000001000010000FEFE003B43524541544E523A ·.;CREATOR: 000000202067642n6h7065672076312330202875a-1nem100m 0000003073 00000040 32 Short name Bytes Name 000000500 SOI 0xFF,0xD8 00000060 07 Start Of Image SOFO 0xFF,0xC0 Start Of Frame(Baseline DCT) SOF2 0xFF,0xC2 Start Of Frame (Progressive DCT) DHT 0xFF,0xC4 Define Huffman Table(s) DOT 0xFF,0xDB Define Quantization Table(s) DRI 0xFF,0xDD Define Restart Interval SOS 0xFF,0xDA Start Of Scan RSTn 0xFF,0xD0...0xD7 Restart APPn 0xFF,0xEn Application-specific COM 0xFF,0xFE Comment EOI 0xFF,0xD9 End Of Image

4 {ynh,cxh}@ustc.edu.cn 计算机：各种数据文件的格式 JPEG File Interchange Format (JFIF) A JPEG image consists of a sequence of segments, each beginning with a marker, each of which begins with a 0xFF byte followed by a byte indicating what kind of marker it is. Short name Bytes Name SOI 0xFF, 0xD8 Start Of Image SOF0 0xFF, 0xC0 Start Of Frame (Baseline DCT) SOF2 0xFF, 0xC2 Start Of Frame (Progressive DCT) DHT 0xFF, 0xC4 Define Huffman Table(s) DQT 0xFF, 0xDB Define Quantization Table(s) DRI 0xFF, 0xDD Define Restart Interval SOS 0xFF, 0xDA Start Of Scan RSTn 0xFF, 0xD0 … 0xD7 Restart APPn 0xFF, 0xEn Application-specific COM 0xFF, 0xFE Comment EOI 0xFF, 0xD9 End Of Image

MC 计算机：各种数据文件的格式 Resource Interchange File Format(RIFF) C:\Windows\Media\Windows B 回文件山编辑B)显示凶 搜素S文档D)方案D工具(g浏览器Zen Coding意口凶帮助 心易扇 马忌②w自×9|P8®AW=器√八国国园园？ 目录 文本库 函数 00000000 5249464624BD020057415645666D7420RIFF..N2VEmt 0000001g 1000000001000200 44AC000010B10200 ,.D.,, [C:]WIN7 00000020 040010006461746100BD02000000FFFF ....data........ 00000030 0000010001000000 0100000001000100 。 C:\ 00000040 0200000003000000 0 ☐Windows 000000500500FFFF0400FEF CKID 00000060 05 00 FD FE 0610D EE RIFF Media 00000070 0700EDE至0800EDE ☐Afternoon CKSize 00000080 0600DE07 00 FE FE 0 27796 目Calligraphy 00000090 07 00 FE FE 08 00 FEFE 000000a0 050000000600距E FCC Types VAVE Characters a00000b0 0300E2 R 0300 0000 ☐Cityscape 000000c0 0100000000000000 ⊙ CKID “f量t“ ☐Delta 000000d0 FEFE 02 00 Q0 00 0300 000000e0 ED FE 0200 0300 CKSize 16 Windows Battery Critical.wa 000000f0 EA FF 02 0300 00000100 F9FF0200 R0300 1 Format Windows Battery Low.wav F9FF0300F9 1 00000110 0300 Data Windows Critical Stop.wav 00000120 AEE0400E9至0300 22050 Chunk - 22050 1 RIFF 8 Chunk CKID "data" CKSize 27760 Sample Data Chunk sample data

5 {ynh,cxh}@ustc.edu.cn 计算机：各种数据文件的格式 Resource Interchange File Format (RIFF)

MC 小结：计算机中各种数据文件的格式 Container format A container or wrapper format is a meta-file format whose specification describes how different data elements and metadata coexist in a computer file. Among the earliest cross-platform container formats were Distinguished Encoding Rules and the 1985 Interchange File Format.Containers are frequently used in multimedia applications. Since the container does not describe how data or metadata is encoded,a program able to identify and open a container file might not be able to decode the contained data.This may be caused by the program lacking the required decoding algorithm,or the meta-data not providing enough information 6 ynh,cxh@ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 小结：计算机中各种数据文件的格式 Container format A container or wrapper format is a meta-file format whose specification describes how different data elements and metadata coexist in a computer file.  Among the earliest cross-platform container formats were Distinguished Encoding Rules and the 1985 Interchange File Format. Containers are frequently used in multimedia applications. Since the container does not describe how data or metadata is encoded, a program able to identify and open a container file might not be able to decode the contained data. This may be caused by the program lacking the required decoding algorithm, or the meta-data not providing enough information. 6

KC裸数据的组织 ◆现有网络中数据组织的方式 口计算机：各种数据文件的格式 ▣网络：数据包格式 口哪些信息需要合理表示？ 口交换数据格式 ◆主流音视频流的数据组织方式 口数字音乐CD-DA ▣音乐文件MP3 口数字音频广播DAB ▣数字电视MPEG2 ▣MPEG-4AVC/H.264 7 ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 裸数据的组织 现有网络中数据组织的方式 计算机：各种数据文件的格式 网络：数据包格式 哪些信息需要合理表示？ 交换数据格式 主流音视频流的数据组织方式 数字音乐 CD-DA 音乐文件 MP3 数字音频广播 DAB 数字电视 MPEG2  MPEG-4 AVC / H.264 7

MC 网络：数据包格式 IP/UDP数据包格式 Version IHL Type of Service Total Length Identification Flag Fragment Offset Time-to-live Protocol Header Checksum Source Address IP Datagram Destination Address Options Padding UDP Datagram Source Port Destination Port Length Checksum UDP Datagram Data begins here... 8 ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 网络：数据包格式 IP/UDP数据包格式 8

Me 网络：数据包格式 IP/TCP数据包格式 Version IHL Type of Service Total Length Identification Flags Fragment Offset JapeaH dl Time to Live Protocol=6 Header Checksum Source Address Destination Address Options Padding Source Port Destination Port Sequence Number Acknowledgment Number Data Window Offset Checksum Urgent Pointer TCP Options Padding TCP Data 9 ynh.cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 网络：数据包格式 IP/TCP数据包格式 9

Me 网络：数据包格式 Ethernet帧格式 源地址字段6字节 P数据报 P层 字节 6 2 46-1500 4 以太网V2 MAC帧 目的地址 源地址 类型 数 据 FCS MAC层 === MAC帧 物理层 Head Head Head Data 以太网 IP TCP 应用层 标头 标头 标头 数据包 10 ynh,cxh @ustc.edu.cn

{ynh,cxh}@ustc.edu.cn 网络：数据包格式 Ethernet帧格式 10