·266· 智 能系统学报 第14卷 表1实验详细数据表 非线性特性和稀疏特性。数学家们将这样的阈值 Table 1 Experimental detailed data sheet 函数称为激活函数，早期的激活函数主要有Sig moid函数和tanh函数两种，但二者均由于使梯度 标签训练样本数测试样本数 种类名称 在反向传播过程中衰减过快而被人们所放弃，过 31 50型号反面弹珠缺陷 快的梯度衰减与构造一个更深的卷积神经网络是 31 50型号反面两块整电阻缺陷 矛盾的。因此人们提出了RLU非线性激活函数P四， 31 50型号反面无规则裂角缺陷 其表达式为 31 J 50型号反面腐蚀缺陷 f(x)= x,x>0 10,x≤0 (3) 31 50型号反面缺角缺陷 式(3)的激活函数不仅能够减少计算量，在 6 31 J 50型号反面桥接缺陷 定程度上克服了梯度反向传播消失问题，并且增 > 31 50型号正面弹珠缺陷 加了网络的稀疏性，因此而被广泛的使用。 31 J 50型号正面两块整电阻缺陷 2.3 Dropout(随机丢弃)层 9 31 50型号正面无规则裂角缺陷 Dropout.层是为了增加神经网络的稀疏性而 特别设计的，其背后的理论依据是为了模仿大脑 10 31 50型号正面腐蚀缺陷 的稀疏特性。人脑的神经元大多处于抑制状态， 11 31 50型号正面缺角缺陷 只有不到10%的神经元处于活动状态，因此，人 31 50型号正面黑色涂层缺角 脑是一个典型的稀疏结构，每次训练网络通过选 13 31 50型号正面字迹不清 择性的丢弃某些神经元，使其不参与前向传播和 14 31 50型号反面无缺陷方向朝东 反向传播过程，一方面可以增加网络的稀疏性， 另一方面提供了正则化一大类模型的方法。 15 31 50型号正面无缺陷方向朝东 24 Pooling(池化)层 16 50型号反面无缺陷方向朝西 Pooling层是为了快速降低特征图维度而设 17 31 50型号正面无缺陷方向朝西 计的，从而减轻计算的负担。Pooling层通过汇总 18 31 103,184,222,型号反面有缺陷 上一层特征图相邻神经元的输出，输出一个维度 19 31 103,184,222,型号反面无缺陷 被降低的特征图。通过Pooling层的操作，模型计 20 分 算量被减少，网络过拟合问题得到一定的缓解， 103型号正面有缺陷 网络整体性能也有所提升。常见的汇总操作有 21 31 103型号正面无缺陷 MAX和AVE,MAX操作为局部相邻神经元的最 22 31 184型号正面无缺陷 大值作为输出，AVE操作为局部相邻神经元的平 23 31 222型号正面电极不对称缺陷 均值作为输出，与图像均值滤波类似。 24 31 222型号正面无缺陷 2.5 LRN(local response normalization) LRN层为局部响应值归一化层，LRN层跟随 25 31 300型号正面无缺陷 在Pooling层之后，通过对局部神经元的活动创建 31 103型号正面无缺陷字迹反向 竞争机制，使得其中响应比较大的值变得相对更 27 31 184型号正面无缺陷字迹反向 大，并抑制其他反馈较小的神经元，保留关键特 31 222型号正面无缺陷字迹反向 征，抑制非重要特征。LRN层具体归一化公式 如式(4)所示： 29 31 5 300型号正面无缺陷字迹反向 min(N-1.i+n/2) 卷积层池化层LRN层BN层 全连接分类器 b,=d, k+a∑a 4) 预 Dropout 理 结果输出 式中：d,表示第个特征图像素位置为x、y的值： N表示特征图的总个数；n表示沿着特征图（也称 通道)方向需要被归一化的像素点个数；k、α、B为 可自由设置的超参数。求和函数中的min和max用 图4常见卷积模型图 于避免数据溢出特征图个数（通道个数）之外。 Fig.4 Common convolution model diagram 2.6 BatchNorm层 2.2ReLU非线性函数 BatchNorm层为步长归一化层，卷积神经网 根据神经科学的研究，存在一个阈值来控制 络在读入训练数据和测试数据时，并不是每次只 神经元的选择性输出，从而增加整个神经系统的 读取一张图片，而是一次读取一个Batch(步长)值结果输出 预 处 理 后 图 片 卷积层 池化层 LRN 层 BN 层 全连接分类器 Dropout 图 4 常见卷积模型图 Fig. 4 Common convolution model diagram 2.2 ReLU 非线性函数 根据神经科学的研究，存在一个阈值来控制 神经元的选择性输出，从而增加整个神经系统的 非线性特性和稀疏特性。数学家们将这样的阈值 函数称为激活函数，早期的激活函数主要有 Sig￾moid 函数和 tanh 函数两种，但二者均由于使梯度 在反向传播过程中衰减过快而被人们所放弃，过 快的梯度衰减与构造一个更深的卷积神经网络是 矛盾的。因此人们提出了 ReLU 非线性激活函数[20] ， 其表达式为 f (x) = { x, x > 0 0, x ⩽ 0 (3) 式 (3) 的激活函数不仅能够减少计算量，在一 定程度上克服了梯度反向传播消失问题，并且增 加了网络的稀疏性，因此而被广泛的使用。 2.3 Dropout(随机丢弃) 层 Dropout 层是为了增加神经网络的稀疏性而 特别设计的，其背后的理论依据是为了模仿大脑 的稀疏特性。人脑的神经元大多处于抑制状态， 只有不到 10% 的神经元处于活动状态，因此，人 脑是一个典型的稀疏结构，每次训练网络通过选 择性的丢弃某些神经元，使其不参与前向传播和 反向传播过程，一方面可以增加网络的稀疏性， 另一方面提供了正则化一大类模型的方法。 2.4 Pooling(池化) 层 Pooling 层是为了快速降低特征图维度而设 计的，从而减轻计算的负担。Pooling 层通过汇总 上一层特征图相邻神经元的输出，输出一个维度 被降低的特征图。通过 Pooling 层的操作，模型计 算量被减少，网络过拟合问题得到一定的缓解， 网络整体性能也有所提升。常见的汇总操作有 MAX 和 AVE，MAX 操作为局部相邻神经元的最 大值作为输出，AVE 操作为局部相邻神经元的平 均值作为输出，与图像均值滤波类似。 2.5 LRN(local response normalization) 层 LRN 层为局部响应值归一化层，LRN 层跟随 在 Pooling 层之后，通过对局部神经元的活动创建 竞争机制，使得其中响应比较大的值变得相对更 大，并抑制其他反馈较小的神经元，保留关键特 征，抑制非重要特征[15]。LRN 层具体归一化公式 如式 (4) 所示： b i x,y = a i x,y /   k+α min(N∑−1,i+n/2) j=max(0,i−n/2) ( a j x,y )2   β (4) a i x,y i x y N n k α β min max 式中： 表示第 个特征图像素位置为 、 的值； 表示特征图的总个数； 表示沿着特征图 (也称 通道) 方向需要被归一化的像素点个数； 、 、 为 可自由设置的超参数。求和函数中的 和 用 于避免数据溢出特征图个数 (通道个数) 之外。 2.6 BatchNorm 层 BatchNorm 层为步长归一化层，卷积神经网 络在读入训练数据和测试数据时，并不是每次只 读取一张图片，而是一次读取一个 Batch(步长) 值 表 1 实验详细数据表 Table 1 Experimental detailed data sheet 标签 训练样本数 测试样本数 种类名称 1 31 5 50 型号反面弹珠缺陷 2 31 5 50 型号反面两块整电阻缺陷 3 31 5 50 型号反面无规则裂角缺陷 4 31 5 50 型号反面腐蚀缺陷 5 31 5 50 型号反面缺角缺陷 6 31 5 50 型号反面桥接缺陷 7 31 5 50 型号正面弹珠缺陷 8 31 5 50 型号正面两块整电阻缺陷 9 31 5 50 型号正面无规则裂角缺陷 10 31 5 50 型号正面腐蚀缺陷 11 31 5 50 型号正面缺角缺陷 12 31 5 50 型号正面黑色涂层缺角 13 31 5 50 型号正面字迹不清 14 31 5 50 型号反面无缺陷方向朝东 15 31 5 50 型号正面无缺陷方向朝东 16 31 5 50 型号反面无缺陷方向朝西 17 31 5 50 型号正面无缺陷方向朝西 18 31 5 103,184,222,型号反面有缺陷 19 31 5 103,184,222,型号反面无缺陷 20 31 5 103 型号正面有缺陷 21 31 5 103 型号正面无缺陷 22 31 5 184 型号正面无缺陷 23 31 5 222 型号正面电极不对称缺陷 24 31 5 222 型号正面无缺陷 25 31 5 300 型号正面无缺陷 26 31 5 103 型号正面无缺陷字迹反向 27 31 5 184 型号正面无缺陷字迹反向 28 31 5 222 型号正面无缺陷字迹反向 29 31 5 300 型号正面无缺陷字迹反向 ·266· 智 能 系 统 学 报 第 14 卷