王宇睿2015201906 卷积层：第一层卷积层中的神经元不连接到输入图像中的每一个像素，而是连接到它们的局部 感受野中的像素；而第二层卷积层中的每个神经元只与位于第 层中的小矩形内的神经元连 接。这种架构使得网络专注于第一隐藏层中的低级特征，然后将其组装成下一隐藏层中的高 级特征。通过将局部感受野隔开，可以将较大的输入层连接到更小的层。 Filters:神经元的权重可以表示为局部感受野大小的小图像。使用相同fter的一个充满神经元 的图层将提供一个特征图，该特征图突出显示图像中与ftr最相似的区域。在训练过程中， CNN试图找到最有用的过滤器，并学习将它们组合成更复杂的模式。 叠加特征图：在一个特征映射中，所有神经元共享相同的权重和偏置，不同的特征映射可能具 有不同的参数。卷积层同时对其输入应用多个滤波器，使其能够检测输入中的任何位置的多 个特征。计算卷积层中给定神经元的输出是计算所有投入的加权总和加上偏置 内存需求：CNN的卷积层需要大量的RAM,特别是在训练期间，因为反向传播的反向传递需 要在正向传递期间计算的所有中间值。 池化层：目标是对输入图像进行二次抽样来减少计算负担、内存使用和参数数量，从而限制过 拟合的风险。就像在卷积层中一样，池化层中的每个神经元都连接到前一层中有限数量的神 经元的输出，位于一个小的矩形感受域内，也必须像以前一样定义其大小，跨度和填充类型。 ·上机练习 运行提供的第十三章代码。 ①使用sklearn的load_sample_images加载两个样本图像china.jpg、flower.jpg,然后创建两 个7x7的卷积核，并将它们应用到两张图形中，使用TensorFlow的conv2d函数构建的卷积 图层，使用零填充且步幅为2，最后，绘制结果特征图，观察垂直线和水平线两种卷积核 的作用。 ②观察池化层的作用，使用2×2内核创建最大池化层，跨度为2，没有填充，然后将其应用于 之前加载的样本图像china,.jpg,绘制结果图。注意这样的池化层输出在两个方向上都会减 小两倍，所以它的面积将减少四倍，减少了75%的输入值。 一课后工作 ①由于TensorFlow是一个非常强大的用来做大规模数值计算的库，因此TensorFlowi适合于实 现以及训练神经网络。使用TensorFlow:为MNIST构建一个卷积神经网络，测试正确率，与 第十周的softmax回归模型对比。使用ReLU神经元，用一个较小的正数来初始化偏置项， 以避免神经元节点输出恒为0的问题。卷积的参数为：stride size=1 g,保证输 出和输入是同一个大小。pooling操作采取max pooling,22 pooling kernel。第一层卷积 由一个卷积接一个max pooling?完成。卷积在每个5x5的patch中算出32个特征。把图片向 量和权值向量进行卷积，加上偏置项，然后应用ReLU激活函数，最后进行max pooling. 把几个类似的层堆叠起来，在第二层中，每个5x5的patch会得到64个特征。加入一个有 1024个神经元的全连接层，用于处理整个图片。为了减少过拟合，在输出层之前加入 dropout。最后，添加一个softmax层.和之前仅使用softmax回归模型一致。讲行训练和 评估时，使用ADAM优化器来做梯度最速下降，最后得到在测试集上的准确率约为 99.2%,结果比第十周softmax回归模型、第六周的各种分类器以及第十一周的DNN模型 的效果都好。 15 王宇睿 2015201906 卷积层：第⼀层卷积层中的神经元不连接到输⼊图像中的每⼀个像素，⽽是连接到它们的局部 感受ᰀ中的像素；⽽第⼆层卷积层中的每个神经元只与位于第⼀层中的⼩矩形内的神经元连 接。 这种架构使得⽹络专注于第⼀隐藏层中的低级特征，然后将其组装成下⼀隐藏层中的⾼ 级特征。通过将局部感受ᰀ隔开，可以将较⼤的输⼊层连接到更⼩的层。 Filters：神经元的权᯿可以表示为局部感受ᰀ⼤⼩的⼩图像。使⽤相同filter的⼀个充满神经元 的图层将提供⼀个特征图，该特征图突出显示图像中与filter最相似的区域。 在训练过程中， CNN试图找到最有⽤的过滤器，并学习将它们组合成更复杂的模式。 叠加特征图：在⼀个特征映射中，所有神经元共享相同的权᯿和偏置，不同的特征映射可能具 有不同的参数。 卷积层同时对其输⼊应⽤多个滤波器，使其能够检测输⼊中的任何位置的多 个特征。计算卷积层中给定神经元的输出是计算所有投⼊的加权总和加上偏置。 内存需求：CNN的卷积层需要⼤量的RAM，特别是在训练期间，因为反向传播的反向传递需 要在正向传递期间计算的所有中间值。 池化层：⽬标是对输⼊图像进⾏⼆次抽样来减少计算负担、内存使⽤和参数数量，从⽽限制过 拟合的⻛险。 就像在卷积层中⼀样，池化层中的每个神经元都连接到前⼀层中有限数量的神 经元的输出，位于⼀个⼩的矩形感受域内，也必须像以前⼀样定义其⼤⼩，跨度和填充类型。 - 上机练习 运⾏提供的第⼗三章代码。 ① 使⽤sklearn的load_sample_images加载两个样本图像china.jpg、flower.jpg，然后创建两 个7×7的卷积核，并将它们应⽤到两张图形中，使⽤TensorFlow的conv2d函数构建的卷积 图层，使⽤零填充且步幅为2，最后，绘制结果特征图，观察垂直线和⽔平线两种卷积核 的作⽤。 ② 观察池化层的作⽤，使⽤2×2内核创建最⼤池化层，跨度为2，没有填充，然后将其应⽤于 之前加载的样本图像china.jpg，绘制结果图。注意这样的池化层输出在两个⽅向上都会减 ⼩两倍，所以它的⾯积将减少四倍，减少了75％的输⼊值。 - 课后⼯作 ① 由于TensorFlow是⼀个⾮常强⼤的⽤来做⼤规模数值计算的库，因此TensorFlow适合于实 现以及训练神经⽹络。使⽤TensorFlow为MNIST构建⼀个卷积神经⽹络，测试正确率，与 第⼗周的softmax回归模型对⽐。使⽤ReLU神经元，⽤⼀个较⼩的正数来初始化偏置项， 以避免神经元节点输出恒为0的问题。卷积的参数为：stride size=1，no padding，保证输 出和输⼊是同⼀个⼤⼩。pooling操作采取max pooling，2*2 pooling kernel。第⼀层卷积 由⼀个卷积接⼀个max pooling完成。卷积在每个5x5的patch中算出32个特征。把图⽚向 量和权值向量进⾏卷积，加上偏置项，然后应⽤ReLU激活函数，最后进⾏max pooling。 把⼏个类似的层堆叠起来，在第⼆层中，每个5x5的patch会得到64个特征。加⼊⼀个有 1024个神经元的全连接层，⽤于处理整个图⽚。为了减少过拟合，在输出层之前加⼊ dropout。最后，添加⼀个softmax层，和之前仅使⽤softmax回归模型⼀致。进⾏训练和 评估时，使⽤ADAM优化器来做梯度最速下降，最后得到在测试集上的准确率约为 99.2%，结果⽐第⼗周softmax回归模型、第六周的各种分类器以及第⼗⼀周的DNN模型 的效果都好。 15