7.1.5 小结 252 7.1.6练习 252 7.21 VGG块 7.2.2 VGG国络 254 7.2.3 训练模型 72.4 7.2.5 练习 257 7.3 网络中的网络NiN) 73.1 NiN块 7.3.2 NiN模型 259 723 训练模型 7.34 小结 260 7.3.5 练习 260 7.4 含并行连结的网络(GoogLeNet) 7.4.1 Inception块 261 7.4.2 GoogLeNet模型 7.43 训练模型 6 7.4.4 小结 74.5 266 7.5 批量规范化 7.5.1 训练深层网络 75.2 批量规范化层 7.5.3 从客买.。. 26g 7.5.4 使用批量规范化层的LeNet 2 75.5 简明实现 271 7.5.6 272 757 小结 75.8 练习 7.6 我差网路(ResNet) 273 761 函数类 274 76.2 残差块 275 7.6.3 2 7.6.4 训练模型 7.6.5 小结 7.6.6 练习 281 7.7 稠密连接网络(DenseNet), 从ResNet到DenseNet 稠密块体 7.7.3 283 7.7.4 284 7.7.5 训练模型 285 7.1.5 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 7.1.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 7.2 使⽤块的⽹络（VGG） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 7.2.1 VGG块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 7.2.2 VGG⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254 7.2.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 7.2.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 7.2.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 7.3 ⽹络中的⽹络（NiN） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 7.3.1 NiN块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 7.3.2 NiN模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 7.3.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.3.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.3.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.4 含并⾏连结的⽹络（GoogLeNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 7.4.1 Inception块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 7.4.2 GoogLeNet模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 7.4.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 7.4.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 7.4.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266 7.5 批量规范化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266 7.5.1 训练深层⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266 7.5.2 批量规范化层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 7.5.3 从零实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.5.4 使⽤批量规范化层的 LeNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 7.5.5 简明实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 7.5.6 争议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 7.5.7 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 7.5.8 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 7.6 残差⽹络（ResNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 7.6.1 函数类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274 7.6.2 残差块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 7.6.3 ResNet模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277 7.6.4 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 7.6.5 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 7.6.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 7.7 稠密连接⽹络（DenseNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 7.7.1 从ResNet到DenseNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281 7.7.2 稠密块体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 7.7.3 过渡层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 7.7.4 DenseNet模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284 7.7.5 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285 viii