第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·565· 2.4测试 图像例和本文模型逐层提取并输出的特征图，图12 利用本文自主开发的预处理软件，首先对测 展示Scratch缺陷图像和其第1至第3卷积层提 试图像进行坐标定位和自动分割，获取图像子 取的图像特征。 块，并记录其序号和左上角坐标：进而通过将图 从图11和图12可以清楚地观察到，卷积层 像子块输入到2.3节训练好的CNN模型进行分 1可以提取到高亮区域所示的一些大的缺陷特征 类；最后，根据CNN模型输出类别和定位坐标计 和背景噪声，用卷积层2和卷积层3表示的第二 算，同时获取原高分辩率LCD图像的多种类缺陷 与第三层卷积运算结果可以提取到较多的缺陷细 检测结果。 微特征和随机噪声。因此，仅用浅层特征提取方 法难以区分并分离缺陷细微特征和噪声。 3实验分析 本文实验环境包括硬件和软件配置两部分。 硬件配置：CPU为Inter Xeon E5-2630v4、显卡 为NVIDIA Tesla K8024GBx4、内存为125.8GB 硬盘为4.1TB。 (a)输入 (b)卷积层1 (c)卷积层2 软件配置：Ubuntu14.04、CUDA8.0、 CUDN5.1、opencv3.1、python2.7。 3.1数据集 本文采用了132幅尺寸为5300×7000的实际 (d)卷积层3 (e)稀疏层1 (①稀疏层2 工业LCD缺陷图像。通过预处理后，得到18950 幅样本图像子块，将其中十分之一用作验证集， 图11凹凸点缺陷的特征图 十分之一用作测试集，其余样本用于训练。训练 Fig.11 Feature maps for Dimple defect 集中的三分之一为无缺陷样本，标识为0”；三分 之一为Dimple缺陷样本，标识为“1”；剩下三分之 一为Scratch缺陷样本，标识为2”。 3.2训练结果分析 训练参数分别设置如下：mini-batch size为1l5, (a)输入 (b)卷积层1 (c)卷积层2 冲量单元为0.9，学习速率为0.001，C1、P~P4步长 设为2，C2、C3的步长设定为1，学习轮次设定为180。 经过大约3h训练后的结果如图10所示，图 中曲线分别表示对应每个轮次训练集和验证集 (d卷积层3 (e)稀疏层1 (①稀疏层2 的Loss值。 图12划痕缺陷的特征图 2.0 100 Fig.12 Feature maps for Scratch defect Loss (traln)Accuracy (val)-Loss(val) 1.6 80 图11(e)、(①和图12(e)、()分别表示通过稀疏 60 卷积结构运算获取的图像特征，可以清楚地看 0.8 4 到，其主要包含缺陷特征。 0.4 20 由此可见，本文设计模型可以有效获取LCD 2040 60 80100120140160188 产品的表面缺陷特征。 轮次 3.4实验结果 图10每个轮次的准确度 本文用式(6)所示的平均检测正确率和式 Fig.10 Accuracy for each batch (⑦)所示的误检率对设计模型的检测结果进行定 由图10可知，本文模型在验证集上呈现出较 量评价，并用单幅图像的检测时间评估其在线实 高的准确度，且可快速趋于稳定。 时性。 3.3可视化分析 A=(No+N1+N2)/N (6) 设计模型提取的两类缺陷图像的特征分别如 F=(No-12+N12-o)/N (7) 图11和图12所示。图11展示Dimple缺陷输入 式中：N、N。、N、N2分别表示待检样本总数、需检2.4 测试 利用本文自主开发的预处理软件，首先对测 试图像进行坐标定位和自动分割，获取图像子 块，并记录其序号和左上角坐标；进而通过将图 像子块输入到 2.3 节训练好的 CNN 模型进行分 类；最后，根据 CNN 模型输出类别和定位坐标计 算，同时获取原高分辩率 LCD 图像的多种类缺陷 检测结果。 3 实验分析 本文实验环境包括硬件和软件配置两部分。 硬件配置：CPU 为 Inter Xeon E5-2630v4、显卡 为 NVIDIA Tesla K80 24 GB x 4、内存为 125.8 GB、 硬盘为 4.1 TB。 软件配置： Ubuntu14.04 、 CUDA8.0 、 CUDNN5.1、opencv3.1、python2.7。 3.1 数据集 本文采用了 132 幅尺寸为 5 300×7 000 的实际 工业 LCD 缺陷图像。通过预处理后，得到 18 950 幅样本图像子块，将其中十分之一用作验证集， 十分之一用作测试集，其余样本用于训练。训练 集中的三分之一为无缺陷样本，标识为“0”；三分 之一为 Dimple 缺陷样本，标识为“1”；剩下三分之 一为 Scratch 缺陷样本，标识为“2”。 3.2 训练结果分析 15 0.9 0.001 2 1 180 训练参数分别设置如下：mini-batch size 为 ， 冲量单元为 ，学习速率为 ，C1、P1~P4 步长 设为 ，C2、C3 的步长设定为 ，学习轮次设定为 。 经过大约 3 h 训练后的结果如图 10 所示，图 中曲线分别表示对应每个轮次训练集和验证集 的 Loss 值。 2.0 1.6 1.2 0.8 0.4 100 80 60 40 20 0 0 20 40 60 80 100 120 140 160 180 Loss (traln) Accuracy (val) Loss (val) 轮次 验证及精准度(%) Loss 图 10 每个轮次的准确度 Fig. 10 Accuracy for each batch 由图 10 可知，本文模型在验证集上呈现出较 高的准确度，且可快速趋于稳定。 3.3 可视化分析 设计模型提取的两类缺陷图像的特征分别如 图 11 和图 12 所示。图 11 展示 Dimple 缺陷输入 图像例和本文模型逐层提取并输出的特征图，图 12 展示 Scratch 缺陷图像和其第 1 至第 3 卷积层提 取的图像特征。 从图 11 和图 12 可以清楚地观察到，卷积层 1 可以提取到高亮区域所示的一些大的缺陷特征 和背景噪声，用卷积层 2 和卷积层 3 表示的第二 与第三层卷积运算结果可以提取到较多的缺陷细 微特征和随机噪声。因此，仅用浅层特征提取方 法难以区分并分离缺陷细微特征和噪声。 (a) 输入 (b) 卷积层1 (d) 卷积层3 (e) 稀疏层1 (f) 稀疏层2 (c) 卷积层2 图 11 凹凸点缺陷的特征图 Fig. 11 Feature maps for Dimple defect (a) 输入 (b) 卷积层1 (d) 卷积层3 (e) 稀疏层1 (f) 稀疏层2 (c) 卷积层2 图 12 划痕缺陷的特征图 Fig. 12 Feature maps for Scratch defect 图 11(e)、(f) 和图 12(e)、(f) 分别表示通过稀疏 卷积结构运算获取的图像特征，可以清楚地看 到，其主要包含缺陷特征。 由此可见，本文设计模型可以有效获取 LCD 产品的表面缺陷特征。 3.4 实验结果 本文用式 (6) 所示的平均检测正确率和式 (7) 所示的误检率对设计模型的检测结果进行定 量评价，并用单幅图像的检测时间评估其在线实 时性。 A = (N0 +N1 +N2) /Nt (6) F = ( N0→1,2 +N1,2→0 ) /Nt (7) 式中： Nt、N0、N1、N2 分别表示待检样本总数、需检 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·565·