·268· 智能系统学报 第14卷 图像 式，虽然能够很好地训练出网络模型，但同样深 [7×7卷积，642 度的残差网络结构，直接采用端到端的训练方 ReLU 式，即可使网络快速收敛并取得很好的训练结 3×3最天值池化，2 果。从图9中很容易看出，梯度在反向传播的时 LRN 候，求和后的函数的导数为 1×1卷积，64 a(f(x)+x)af(x) 1 (5) ReLU Ox 0x 3×3卷积，192 ReLU 表24-Inception详细参数设置 LRN Table 2 4-Inception detailed parameter settings 3×3最大值池化.2 Inception-4/1 上半参数 下半参数 4--Inception☐多尺度训练输出 1×1卷积 64 128 Softmax 3×3最大值池化2 1×1卷积 96 128 3×3卷积 128 4-Inception☐ 192 多尺度训练输出 Softmax 1×1卷积 16 3×3最大值池化2 32 5×5卷积 32 96 4-Inception☐ 3×3池化 无 无 7×7均值池化 Dropout 1×1卷积 32 64 全连接层29神经元 Softmax Inception-4/2 上半参数 下半参数 输出 1×1卷积 192 160 图6识别贴片电阻的16层深度4-nception模型图，可 训练参数为3.8×10 1×1卷积 96 224 Fig.6 The 16-layer depth 4-Inception model of identify the 3×3卷积 208 224 chip resistors with a training parameter of 3.8x10 1×1卷积 16 24 先前层 5×5卷积 48 64 3×3池化 无 无 1×1卷积 1×1卷积 3×3最大值池化 1×1卷积 64 64 1×1卷积 ReLU ReLU ReLU 3×3卷积 5×5卷积 1×1卷积 Inception-4/3 上半参数 下半参数 ReLU ReLU ReLU ReLU 1×1卷积 256 384 连接器 1×1卷积 160 192 3×3卷积 320 384 1×1卷积 1×1卷积 3×3最大值池化 1×1卷积 ReLU 1×1卷积 ReLU ReLU 32 48 ReLU 3×3卷积 5×5卷积 1×1卷积 5×5卷积 128 128 ReLU ReLU ReLU 3×3池化 无 无 连接器 1×1卷积 128 128 图7谷歌Inception卷积结构(4-Inception) 导数为1不会对梯度有任何的衰减，且直接 Fig.7 Google Inception convolution structure(4-Inception) 跨越多个卷积层进行反向传播，和多尺度进行训 基于残差思想设计的16层4-ResNet网络如 练的方法有着异曲同工之妙，这就是残差网络能 图8所示，图中4-ResNet详细结构如图9所示，该 够快速收敛并取得良好训练结果的原因。图9中 结构的主要思想是为了加深网络结构，克服梯度 输入引出的1×1卷积可以使得第一次求和的特征 反向传播过程中梯度消失问题。对比本文16层 图维度相同，残差结构的本质精髓就在于图9中 深度4-Inception结构需要采用多尺度训练的方 所示的圆弧线，其能同时跨越多个（不一定是两个）基于残差思想设计的 16 层 4-ResNet 网络如 图 8 所示，图中 4-ResNet 详细结构如图 9 所示，该 结构的主要思想是为了加深网络结构，克服梯度 反向传播过程中梯度消失问题。对比本文 16 层 深度 4-Inception 结构需要采用多尺度训练的方 式，虽然能够很好地训练出网络模型，但同样深 度的残差网络结构，直接采用端到端的训练方 式，即可使网络快速收敛并取得很好的训练结 果。从图 9 中很容易看出，梯度在反向传播的时 候，求和后的函数的导数为 ∂(f(x)+ x) ∂x = ∂ f(x) ∂x +1 (5) 导数为 1 不会对梯度有任何的衰减，且直接 跨越多个卷积层进行反向传播，和多尺度进行训 练的方法有着异曲同工之妙，这就是残差网络能 够快速收敛并取得良好训练结果的原因。图 9 中 输入引出的 1×1 卷积可以使得第一次求和的特征 图维度相同，残差结构的本质精髓就在于图 9 中 所示的圆弧线，其能同时跨越多个 (不一定是两个) 表 2 4-Inception 详细参数设置 Table 2 4-Inception detailed parameter settings Inception-4/1 上半参数 下半参数 1×1 卷积 64 128 1×1 卷积 96 128 3×3 卷积 128 192 1×1 卷积 16 32 5×5 卷积 32 96 3×3 池化 无 无 1×1 卷积 32 64 Inception-4/2 上半参数 下半参数 1×1 卷积 192 160 1×1 卷积 96 224 3×3 卷积 208 224 1×1 卷积 16 24 5×5 卷积 48 64 3×3 池化 无 无 1×1 卷积 64 64 Inception-4/3 上半参数 下半参数 1×1 卷积 256 384 1×1 卷积 160 192 3×3 卷积 320 384 1×1 卷积 32 48 5×5 卷积 128 128 3×3 池化 无 无 1×1 卷积 128 128 1×1 卷积 1×1 卷积 3×3 卷积 1×1 卷积 5×5 卷积 3×3 最大值池化 1×1 卷积 先前层 连接器 1×1 卷积 1×1 卷积 3×3 卷积 1×1 卷积 5×5 卷积 3×3 最大值池化 1×1 卷积 连接器 ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU 图 7 谷歌 Inception 卷积结构 (4-Inception) Fig. 7 Google Inception convolution structure (4-Inception) 图像 7×7 卷积, 64,/2 1×1 卷积, 64 3×3 卷积,192 3×3 最大值池化,/2 LRN LRN 4-Inception 4-Inception 4-Inception 7×7 均值池化 3×3 最大值池化,/2 全连接层 29 神经元 输出 多尺度训练输出 多尺度训练输出 3×3 最大值池化,/2 3×3 最大值池化,/2 ReLU ReLU ReLU Dropout Softmax Softmax Softmax 图 6 识别贴片电阻的 16 层深度 4-Inception 模型图，可 训练参数为 3.8×106 Fig. 6 The 16-layer depth 4-Inception model of identify the chip resistors with a training parameter of 3.8×106 ·268· 智 能 系 统 学 报 第 14 卷