动手学深度学习 13.Inception,批量归一化和残差网络(ResNet) 中文教材：zh.d21.ai 英文教材：www.d2I.ai 教学视频：https:l/courses.d2l.ai/berkeley-stat-157/units/resnet..html D2L.ai
动手学深度学习 13.Inception, 批量归一化 和 残差网络（ResNet） 中文教材：zh.d2l.ai 英文教材：www.d2l.ai 教学视频：https://courses.d2l.ai/berkeley-stat-157/units/resnet.html
概要 ·Inception ·卷积的不均匀混合（不同深度） ·批量归一正则化 ·ResNet ·泰勒展开式 ·残差网络(ResNext)分解卷积 。Z00 稠密连接网络(DenseNet),ShuffleNet,可分解卷积层，. D2L.ai
概要 • Inception • 卷积的不均匀混合（不同深度） • 批量归一正则化 • ResNet • 泰勒展开式 • 残差网络（ResNext） 分解卷积 • Zoo 稠密连接网络（DenseNet）, ShuffleNet, 可分解卷积层, …
Inception 围围 D2L.ai
Inception
选最合适的卷积 1x1 3x3 5x5 最大迟化 许多1x1 LeNet AlexNet VGG NiN ↑ ↑ Dense(120) 3x3 Conv (384),pad 1 3x3 Conv(384),pad 1 2x2 AvgPool,stride 2 3x3 MaxPooling,stride 2 3x3 Conv(384),pad 1 ↑ 5x5 Conv (16) 5x5 Conv(256),pad 2 3x3 MaxPooling,stride 2 1x1 Convolution 2x2 AvgPool,stride 2 3x3 MaxPool,stride 2 5x5 Conv(256),pad 2 1x1 Convolution 5x5 Conv (6),pad 2 11x11 Conv(96),stride 4 3x3 MaxPool,stride 2 image (32x32) image(3x224x224) 11x11 Conv(96),stride 4 Convolution 2L.ai
选最合适的卷积 … LeNet AlexNet VGG NiN 1x1 3x3 5x5 最大迟化 许多 1x1
干嘛选呢？都用就是了。 D2L.ai
干嘛选呢? 都用就是了
Inception块 4个路径从不同方面提取信息，然后拼接作为输出通道 与输入相同的 宽度高度 用不同的空间 大小的卷积提取 Concatenation 3x3 Conv,pad 1 5x5 Conv,pad 2 1x1 Conv 1x1 Conv 1x1 Conv 1x1 Conv 3x3 MaxPool,pad 1 Input 使用池化 提取空间信息 D2L.ai
Inception 块 4个路径从不同方面提取信息，然后拼接作为输出通道 用不同的空间 大小的卷积提取 使用池化 提取空间信息 与输入相同的 宽度 / 高度
Inception块 (第一个初始块)指定的通道大小 为每个通道 分配洛种容量 Concatenation(256) 3x3 Conv(128) 5x5 Conv (32) 1x1 Conv(32) 1x1 Conv(64) 1x1 Conv (96) 1x1 Conv(16) 3x3 MaxPool 减小通道大小 192x28x28 以降低模型容量 D2L.ai
Inception 块 为每个通道 分配各种容量 减小通道大小 以降低模型容量 （第一个初始块）指定的通道大小
Inception块 与单个3x3或5x5卷积层相比，初始块具有更少的参数和更低的 计算复杂度 不同功能混合（多样的功能类） 卷积核计算高效（良好的泛化） #参数 浮点运算FLOPS Concatenation(256) Inception 0.16M 128M 3x3 Conv(128) 5x5 Conv (32) 1x1 Conv (32) 1x1 Conv (64) 3x3卷积 0.44M 346M 1x1 Conv (96) 1x1 Conv (16) 3x3 MaxPool 5x5卷积 192x28x28 1.22M 963M D2L.ai
Inception 块 # 参数 浮点运算 FLOPS Inception 0.16 M 128 M 3x3 卷积 0.44 M 346 M 5x5 卷积 1.22 M 963 M 与单个3x3或5x5卷积层相比，初始块具有更少的参数和更低的 计算复杂度 • 不同功能混合（多样的功能类） • 卷积核计算高效（良好的泛化）
GoogLeNet Dense Output Global AvgPool 卡宝 Stage 5 ·5个阶段 2x ·g个Inception块 3x3 MaxPool Stage 4 5x 3x3 MaxPool 2x 宝 Stage 3 3x3 MaxPool 入 3x3 Conv Stage 2 1x1 Conv 3x3 MaxPool Stage 1 D2L.ai 7x7 Conv
GoogLeNet • 5 个阶段 • 9 个 Inception 块 Stage 1 Stage 2 Stage 3 Stage 4 Stage 5 Output
阶段1&2 GoogLeNet AlexNet 由于更多层： 192x28x28 ·更小的内核 3x3 MaxPool,stride 2,pad 1 256x12x12 更小的输出通道 3x3 MaxPool,stride 2 3x3 Conv (192),pad 1 5x5 Conv (256),pad 2 1x1 Conv (64) 3x3 MaxPool,stride 2 3x3 MaxPool,stride 2,pad 1 11x11 Conv(96),stride 4 7x7 Conv (64),stride 2,pad 3 3x224x224 3x224x224 D2L.ai
阶段 1 & 2 • 由于更多层 ： • 更小的内核 • 更小的输出通道 GoogLeNet AlexNet