第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·563· 作，进一步进行特征融合，并引入冲量单元加速 式(3)~（⑤）表示反向传播的权重参数更新计 网络收敛，从而可以有效降低模型计算复杂度， 算方法。W沿负梯度方向下降，基于选定的学习 有利于达成在线实时高速检测的研究目标。 速率α和冲量单元8，利用式(4)计算更新速度 2.3模型训练 v,然后使用式（⑤）更新权重。 CNN模型训练过程包括由式(1)所示的网络 W←W,-aVwL(W;x,yo） (3) 前向传播和基于式(2)定义的损失函数进行反向传 播两部分。前向传播使用激活函数获取特征向量， v←Ev-aVw,L(W:xro,yo） (4) 而反向传播通过逐渐更新优化卷积神经网络中的 W←W+v (5) 权重参数取值使CNN模型的损失函数趋于最小值。 本文模型的训练参数学习速率α和冲量单元 c=-Ec%+) (1) ε的选择通过大量的仿真实验确定。首先设置冲 量学习速率α和冲量单元￡的范围分别为(0,0.5] exp(wxo） 和(0,1)，然后选取多组α和ε值进行实验。 图6展示多组m取s值的实验结果，图6(a)、 (2) (b)、(c)和(d)分别表示学习速率a取0.001、0.01、 0.1、0.5固定值时，冲量单元8分别取值为0.1、 0.5、0.9的网络收敛速度示意图。 30 30 30 20 =0.1 20 =0.5 20 =0.9 10 10 0 01 01 6 - -20 2 6 -6 -4 -2 0 4 6 -6 -2 起始搜索点 起始搜索点 起始搜索点 (a)a=0.001随冲量单元逐渐增大时的网络收敛示意图 0 30 盗 20 -=0.1 20 =0.5 20 =0.9 10 0/ 0 一6 -4 -202 6 -6 -4 -202 46 6 -4 -20 4 6 起始搜索点 起始搜索点 起始搜索点 (b)=0.01随冲量单元逐渐增大时的网络收敛示意图 30 爵0 气 20 —8=0.1 20 —8=0.5 20 -=0.9 0 10 0 0 0 0 -6 -2 0 2 6 6 -4 -20 2 46 -6 -2 0 2 起始搜索点 起始搜索点 起始搜索点 (c)a=0.1随冲量单元逐渐增大时的网络收敛示意图 0 30 30 20 =0.1 20 =0.5 20 =0.9 10 10 10 0 -6 -2 0 2 6 6 -4 -2 0 2 6 -6 -2 0 2 4 6 起始搜索点 起始搜索点 起始搜索点 (da=0.5随冲量单元逐渐增大时的网络收敛示意图 图6学习速率和冲量单元的确定 Fig.6 Determination of learning rate and momentum unit 从图6所示图形可以观察到，当学习速率α加快了网络收敛速度；而当学习速率取较大值0.5 取0.001的较小值时，随着冲量单元ε值的递增， 时，随着冲量单元ε值的递增，可以减小震荡，使作，进一步进行特征融合，并引入冲量单元加速 网络收敛，从而可以有效降低模型计算复杂度[18] ， 有利于达成在线实时高速检测的研究目标。 2.3 模型训练 CNN 模型训练过程包括由式 (1) 所示的网络 前向传播和基于式 (2) 定义的损失函数进行反向传 播两部分。前向传播使用激活函数获取特征向量， 而反向传播通过逐渐更新优化卷积神经网络中的 权重参数取值使 CNN 模型的损失函数趋于最小值。 C l j = f ( z l ) = f (∑ i∈Mj C l−1 j k l i j +b l j ) (1) Li = 1 m   ∑m i=1 ∑n j=1 1 { y i = j } log exp( w T j x (i) ) ∑n l=1 exp( w T j x (j) )   + λ 2 ∑n j=1 W2 j (2) Wj α ε v 式 (3)～(5) 表示反向传播的权重参数更新计 算方法。 沿负梯度方向下降，基于选定的学习 速率 和冲量单元 ，利用式 (4) 计算更新速度 ，然后使用式 (5) 更新权重。 Wj ← Wj −α∇WjL ( W; x (i) , y (i) ) (3) v ← εv−α∇WjL ( W; x (i) , y (i) ) (4) Wj ← Wj +v (5) α ε α ε (0,0.5] (0,1) α ε 本文模型的训练参数学习速率 和冲量单元 的选择通过大量的仿真实验确定。首先设置冲 量学习速率 和冲量单元 的范围分别为 和 ，然后选取多组 和 值进行实验。 α ε α 0.001 0.01 0.1 0.5 ε 图 6 展示多组 取 值的实验结果，图 6(a)、 (b)、(c) 和 (d) 分别表示学习速率 取 、 、 、 固定值时，冲量单元 分别取值为 0.1、 0.5、0.9 的网络收敛速度示意图。 α 0.001 ε 从图 6 所示图形可以观察到，当学习速率 取 的较小值时，随着冲量单元 值的递增， 0.5 ε 加快了网络收敛速度；而当学习速率取较大值 时，随着冲量单元 值的递增，可以减小震荡，使 (d) α=0.5 随冲量单元逐渐增大时的网络收敛示意图 (a) α=0.001 随冲量单元逐渐增大时的网络收敛示意图 (b) α=0.01 随冲量单元逐渐增大时的网络收敛示意图 (c) α=0.1 随冲量单元逐渐增大时的网络收敛示意图 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 图 6 学习速率和冲量单元的确定 Fig. 6 Determination of learning rate and momentum unit 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·563·