第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·561· 现有LCD的机器视觉缺陷检测方法主要采 难度。因此，本文利用卷积神经网络的特征自学 用传统的图像处理与分析算法。例如，Lu等基 习能力，研究LCD产品表面缺陷的在线高精度检 于支持向量数据描述设计的高速在线薄膜晶体 测方法。 管LCD缺陷检测系统，检测正确率可达95%，对 单幅LCD图像的检测时间为7.8s,但缺少缺陷分 类功能。Cen等采用低秩矩阵重构消除LCD图 像纹理背景的影响，提出了适合于低分辨率LCD 图像的缺陷检测方法。张腾达等提出的利用二 维DFT的分解和重构提高LCD表面缺陷检测精 (a)单点缺陷图像 (b)多点缺陷图像 度的算法，然而因消除背景纹理的分解重构过程 计算复杂度较高，无法满足高分辨率缺陷图像的 图1凹凸点缺陷 Fig.1 Dimple defects 实时在线检测。本文在前期研究中提出一种基于 自适应阈值法的LCD表面缺陷检测算法，通过 设计自适应阈值法提取候选缺陷，根据blob形 状分析进行缺陷分类，使检测性能达到技术指标 要求，并已应用到实际工业自动化生产线上，但 阈值等参数设置直接影响算法性能，因此有必要 研究新一代基于机器视觉的缺陷检测方法。 近年，深度学习9作为机器学习的代表型方 (a)单划痕缺陷图像 (b)多划痕缺陷图像 法，在目标检测与识别领域呈现出突出潜力。多 图2划痕缺陷 项国际重大评测表明，深度学习的目标检测与分 Fig.2 Scratch defects 类能力均已超过传统机器学习方法。其原因 自AlexNet!1于2012年问世，卷积神经网络 在于深度学习采用深层非线性网络结构、端到端 (CNN)模型向更深层的方向快速发展。从16层 的学习，可以提取输入数据的本质特征，从而获 的VGG16的广泛使用到22层GoogleNet!s1在大 取较好的目标检测与分类效果。 样本图像数据集ImageNet.上获得了更好的分类 鉴于此，为了满足高分辨率LCD产品质量在 效果，再到50层ResNet50I的进一步性能改善， 线高速检测需求，本文基于深度学习理论，设计 均证明了CNN在图像分类方面具有突出优势。 基于小样本学习的LCD表面缺陷检测模型。其 但是受大数据驱动的深度学习模型的表现能 特征在于：通过设计自适应浅层特征提取层，并 力随着样本数量的增加而增长。而在实际工业生 引入稀疏卷积结构，多维度、多尺度地提取深层 产线上，随着制造工艺的不断提高，LCD制造过 特征，使用DCGAN生成网络扩增数据集，再结合 程中产生的缺陷越来越少，从而难以获取大量缺 迁移学习进行强化训练提高模型泛化能力和检测 陷样本，因此开展基于小样本学习的LCD表面缺 精度。本文模型的有效性通过大量的仿真实验得 陷检测算法研究显得尤为重要。 到验证。 2LCD缺陷检测模型 1LCD表面缺陷图像分析 针对实际生产环境获取到的缺陷样本量较少 本文待检测LCD表面缺陷图像分别如图1 问题，本文构建一种适合小样本学习的轻量型卷 和图2所示，其分别表示凹凸(dimple)点缺陷样 积神经网络模型。算法的整体框架如图3所示， 本和划痕(scratch)缺陷样本图像示例。如图I所 包括分块预处理、模型设计、模型训练和模型测试。 示Dimple是一些随机分布在不同位置的小面积 2.1分块预处理 点坑，形状各异，极易与噪声混淆造成误检。图2 由于从实际工业生产线上获取的LCD图像尺 所示的Scratch缺陷是长短不一的细长型刮痕，因 寸为5000×7000的高分辩率图像，直接输入设计 刮痕时断时续，常会出现漏检或过检。特别是， 的CNN模型学习，对硬件设备要求过高。为此， 在实际生产线上不仅存在因光照不均而导致待检 本文首先对原图像进行分块预处理，将原图像按 目标与图像背景之间对比度过低问题，而且待检 定长分割为256×256大小的图像子块，并记录分 目标缺陷嵌入在背景纹理中，从而更增加了检测 割后图像子块的左上角位置，且按标签分类保存。现有 LCD 的机器视觉缺陷检测方法主要采 用传统的图像处理与分析算法。例如，Liu 等 [2] 基 于支持向量数据描述设计的高速在线薄膜晶体 管 LCD 缺陷检测系统，检测正确率可达 95%,对 单幅 LCD 图像的检测时间为 7.8 s，但缺少缺陷分 类功能。Cen 等 [3] 采用低秩矩阵重构消除 LCD 图 像纹理背景的影响，提出了适合于低分辨率 LCD 图像的缺陷检测方法。张腾达等[4] 提出的利用二 维 DFT 的分解和重构提高 LCD 表面缺陷检测精 度的算法，然而因消除背景纹理的分解重构过程 计算复杂度较高，无法满足高分辨率缺陷图像的 实时在线检测。本文在前期研究中提出一种基于 自适应阈值法的 LCD 表面缺陷检测算法[5] ，通过 设计自适应阈值法[6] 提取候选缺陷，根据 blob 形 状分析进行缺陷分类，使检测性能达到技术指标 要求，并已应用到实际工业自动化生产线上，但 阈值等参数设置直接影响算法性能，因此有必要 研究新一代基于机器视觉的缺陷检测方法。 近年，深度学习[7-9] 作为机器学习的代表型方 法，在目标检测与识别领域呈现出突出潜力。多 项国际重大评测表明，深度学习的目标检测与分 类能力均已超过传统机器学习方法[10-12]。其原因 在于深度学习采用深层非线性网络结构、端到端 的学习，可以提取输入数据的本质特征[13] ，从而获 取较好的目标检测与分类效果。 鉴于此，为了满足高分辨率 LCD 产品质量在 线高速检测需求，本文基于深度学习理论，设计 基于小样本学习的 LCD 表面缺陷检测模型。其 特征在于：通过设计自适应浅层特征提取层，并 引入稀疏卷积结构，多维度、多尺度地提取深层 特征，使用 DCGAN 生成网络扩增数据集，再结合 迁移学习进行强化训练提高模型泛化能力和检测 精度。本文模型的有效性通过大量的仿真实验得 到验证。 1 LCD 表面缺陷图像分析 本文待检测 LCD 表面缺陷图像分别如图 1 和图 2 所示，其分别表示凹凸 (dimple) 点缺陷样 本和划痕 (scratch) 缺陷样本图像示例。如图 1 所 示 Dimple 是一些随机分布在不同位置的小面积 点坑，形状各异，极易与噪声混淆造成误检。图 2 所示的 Scratch 缺陷是长短不一的细长型刮痕，因 刮痕时断时续，常会出现漏检或过检。特别是， 在实际生产线上不仅存在因光照不均而导致待检 目标与图像背景之间对比度过低问题，而且待检 目标缺陷嵌入在背景纹理中，从而更增加了检测 难度。因此，本文利用卷积神经网络的特征自学 习能力，研究 LCD 产品表面缺陷的在线高精度检 测方法。 (a) 单点缺陷图像 (b) 多点缺陷图像 图 1 凹凸点缺陷 Fig. 1 Dimple defects (a) 单划痕缺陷图像 (b) 多划痕缺陷图像 图 2 划痕缺陷 Fig. 2 Scratch defects 自 AlexNet[14] 于 2012 年问世，卷积神经网络 (CNN) 模型向更深层的方向快速发展。从 16 层 的 VGG16 的广泛使用到 22 层 GoogleNet[15] 在大 样本图像数据集 ImageNet 上获得了更好的分类 效果，再到 50 层 ResNet50[16] 的进一步性能改善， 均证明了 CNN 在图像分类方面具有突出优势。 但是受大数据驱动的深度学习模型的表现能 力随着样本数量的增加而增长。而在实际工业生 产线上，随着制造工艺的不断提高，LCD 制造过 程中产生的缺陷越来越少，从而难以获取大量缺 陷样本，因此开展基于小样本学习的 LCD 表面缺 陷检测算法研究显得尤为重要。 2 LCD 缺陷检测模型 针对实际生产环境获取到的缺陷样本量较少 问题，本文构建一种适合小样本学习的轻量型卷 积神经网络模型。算法的整体框架如图 3 所示， 包括分块预处理、模型设计、模型训练和模型测试。 2.1 分块预处理 5 000×7 000 由于从实际工业生产线上获取的 LCD 图像尺 寸为 的高分辩率图像，直接输入设计 的 CNN 模型学习，对硬件设备要求过高。为此， 本文首先对原图像进行分块预处理，将原图像按 定长分割为 256×256 大小的图像子块，并记录分 割后图像子块的左上角位置，且按标签分类保存。 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·561·