【智能系统】基于结构相似性与模板校正的织物瑕疵检测方法

第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0L:10.11992tis.201810011 基于结构相似性与模板校正的织物瑕疵检测方法 杨达，狄岚，赵树志'，梁久祯2 （1.江南大学数字媒体学院，江苏无锡214122,2.常州大学信息科学与工程学院，江苏常州213164) 摘要：针对复杂的具有周期性结构的织物瑕疵检测，提出一种基于结构相似性与模板校正的织物瑕疵检测方 法。通过图案的周期性，得到图案单位模板大小，再对图像自动分割，同时应用基于模板校正的方法以诚少晶 格之间未对准的影响，并构建均值模板。通过计算所有晶格间的结构相似性，并将相似关系通过传递闭包的方 式得到等价关系，再进行晶格间的聚类。之后通过阈值分割方法，完成瑕疵区域的检测。通过实验表明，改进 后的算法检测效果较好，本文算法显著提高了样本的查准率。 关键词：结构相似性；周期性；模板校正：单位模板：自动分割：相似关系：阈值分割：瑕疵检测 中图分类号：TS131.9:TP18 文献标志码：A文章编号：1673-4785(2020)03-0475-09 中文引用格式：杨达，狄岚，赵树志，等.基于结构相似性与模板校正的织物瑕疵检测方法J.智能系统学报，2020,15(3)： 475-483. 英文引用格式：YANG Da,DI Lan.,ZHAO Shuzhi,etal.Fabric defect detection based on structural similarity and template correc-. tion[JI.CAAI transactions on intelligent systems,2020,15(3):475-483. Fabric defect detection based on structural similarity and template correction YANG Da',DI Lan',ZHAO Shuzhi',LIANG Jiuzhen? (1.School of Digital Media,Jiangnan University,Wuxi 214122,China;2.School of Information Science and Engineering.Chang- zhou University,Changzhou 213164,China) Abstract:Focusing on the detection of defects in textiles with complex periodic patterns,a fabric defect detection meth- od based on structural similarity and template correction is proposed.The unit template size of the pattern is obtained ac- cording to the periodicity of the pattern texture.Then,the image is divided adaptively.At the same time,template cor- rection is applied to reduce the effect of misalignment between grids.In addition,an average template is established.The structural similarity between all the lattices is calculated,and such similarity is observed in the pattern of the closure packet and used to obtain the equivalence relation.Then,the clustering between all the lattices is performed.Further- more,the detection of the defect region is completed using the proposed threshold segmentation method.Experiments show that the proposed algorithm has better detection effect than other algorithms and significantly improves the preci- sion ratio of the sample. Keywords:structural similarity;periodic;template correction;unit template;automatic segmentation;similarity rela- tionship;threshold segementation;defect inspection 织物检测是纺织品制造中质量控制的关键组率降低。织物的自动视觉检测(AVI应用计算机 成部分。目前，人工检测是纺织品瑕疵检测的主 视觉技术后，不仅可以采用高效、低成本和准确 要方式，但由于人为错误和眼睛疲劳使得检测效 的方法代替劳动力，而且还能扩展检测能力，以 收稿日期：2018-10-12. 涵盖从最简单到最复杂的更广泛的不同的织物图 基金项目：江苏省研究生科研与实践创新计划项目(SJCX19 案。现阶段纺织品种类大致能够分为2种：1)无 0794). 通信作者：狄岚.E-mail:dilan@jiangnan.edu.cn 图案的纺织品，结构简单，不包含复杂的图案，一

DOI: 10.11992/tis.201810011 基于结构相似性与模板校正的织物瑕疵检测方法 杨达1 ，狄岚1 ，赵树志1 ，梁久祯2 （1. 江南大学 数字媒体学院，江苏 无锡 214122; 2. 常州大学 信息科学与工程学院，江苏 常州 213164） 摘 要：针对复杂的具有周期性结构的织物瑕疵检测，提出一种基于结构相似性与模板校正的织物瑕疵检测方 法。通过图案的周期性，得到图案单位模板大小，再对图像自动分割，同时应用基于模板校正的方法以减少晶 格之间未对准的影响，并构建均值模板。通过计算所有晶格间的结构相似性，并将相似关系通过传递闭包的方 式得到等价关系，再进行晶格间的聚类。之后通过阈值分割方法，完成瑕疵区域的检测。通过实验表明，改进 后的算法检测效果较好，本文算法显著提高了样本的查准率。 关键词：结构相似性；周期性；模板校正；单位模板；自动分割；相似关系；阈值分割；瑕疵检测 中图分类号：TS131.9；TP18 文献标志码：A 文章编号：1673−4785(2020)03−0475−09 中文引用格式：杨达, 狄岚, 赵树志, 等. 基于结构相似性与模板校正的织物瑕疵检测方法 [J]. 智能系统学报, 2020, 15(3): 475–483. 英文引用格式：YANG Da, DI Lan, ZHAO Shuzhi, et al. Fabric defect detection based on structural similarity and template correc￾tion[J]. CAAI transactions on intelligent systems, 2020, 15(3): 475–483. Fabric defect detection based on structural similarity and template correction YANG Da1 ，DI Lan1 ，ZHAO Shuzhi1 ，LIANG Jiuzhen2 (1. School of Digital Media, Jiangnan University, Wuxi 214122, China; 2. School of Information Science and Engineering, Chang￾zhou University, Changzhou 213164, China) Abstract: Focusing on the detection of defects in textiles with complex periodic patterns, a fabric defect detection meth￾od based on structural similarity and template correction is proposed. The unit template size of the pattern is obtained ac￾cording to the periodicity of the pattern texture. Then, the image is divided adaptively. At the same time, template cor￾rection is applied to reduce the effect of misalignment between grids. In addition, an average template is established. The structural similarity between all the lattices is calculated, and such similarity is observed in the pattern of the closure packet and used to obtain the equivalence relation. Then, the clustering between all the lattices is performed. Further￾more, the detection of the defect region is completed using the proposed threshold segmentation method. Experiments show that the proposed algorithm has better detection effect than other algorithms and significantly improves the preci￾sion ratio of the sample. Keywords: structural similarity; periodic; template correction; unit template; automatic segmentation; similarity rela￾tionship; threshold segementation; defect inspection 织物检测是纺织品制造中质量控制的关键组 成部分。目前，人工检测是纺织品瑕疵检测的主 要方式，但由于人为错误和眼睛疲劳使得检测效 率降低。织物的自动视觉检测 (AVI) 应用计算机 视觉技术后，不仅可以采用高效、低成本和准确 的方法代替劳动力，而且还能扩展检测能力，以 涵盖从最简单到最复杂的更广泛的不同的织物图 案。现阶段纺织品种类大致能够分为 2 种：1) 无 图案的纺织品，结构简单，不包含复杂的图案，一 收稿日期：2018−10−12. 基金项目：江苏省研究生科研与实践创新计划项目 (SJCX19_ 0794). 通信作者：狄岚. E-mail：dilan@jiangnan.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020

·476· 智能系统学报 第15卷 般包含平纹与斜纹；2)有图案的纺织品，结构复 人类受试者评级的指数的直接验证。由于SSIM 杂，包含复杂的图案，同时图案信息具有周期变 不能准确地评价局部畸变类型的图像，很难准确 化的结构。 地找到织物中瑕疵的精确部分。 针对无图案的纺织品，研究者提出了较为成 针对上述出现的问题，本文利用图像中的晶 熟的方法，可以分为：统计学方法，例如，规律性 格间结构信息变化，有效描述了图像纹理的结构 测量、分形特征测量)、形态学滤波器等；光 特性，提出一种基于结构相似性与模板校正的织 谱的方法，例如，傅里叶变换、Gabor[、小波I 物瑕疵检测方法。将具有周期性结构的图像自动 等：模型的方法，例如，高斯马尔可夫随机场⑧、稀 分割成网格，每个晶格包含大致相同的图案特征， 疏字典重建等：学习的方法，例如，神经网络、 为特征提取、实验的分析和比较提供了非常有利 支持向量机四和结构的方法四。 条件。为了减少纺织品图案局部拉伸的影响而引 相比之下只有少数方法能够针对有图案的纺 入一种循环移位的算法改变晶格的排列组合，减 织品，例如：小波预处理黄金图像减法(wGS) 少晶格间不匹配的影响。在校正的基础上建立一 布林线波段法(BB)、正则带法(RB)和图像分 个无瑕模板，区分无瑕晶格和模板之间的不同， 解D)6,还有基于模板校正TC。 以减少品格间错位的变化，提高了检测的准确 本研究的重点是复杂图案的织物。图案化织 性。通过计算所有校正后晶格间的结构相似性， 物由基本单元组成，其基本组成单元称为图案。 并将相似关系通过传递闭包的方式得到等价关 图案化织物检测方法可以进一步分为3类：分区 系，进行格子间的聚类，识别疵点晶格的区域。 匹配的方法、统计的方法和基于模态的方法。 通过阈值分割方法将获取的瑕疵晶格进行有效的 分区匹配方法包括WGIS和ER方法1。在 检测，得到像素级的疵点。 Haar小波分解之后，WGIS方法使用无缺陷分 区对图像执行移动减法操作以获得决策边界。 1相关工作 ER方法通过随机竞赛获得决策边界。然而，由于 SSM是基于感知的方法，其将图像失真转为 训练阶段无缺陷分区选择的随机性，这2种方 结构信息中的感知变动，并且结合亮度与对比度 法的检测结果都不稳定。统计方法包括BB和 等重要的感知方式。若像素位置相互靠近，具有 RB方法，通过移动平均值和标准差的不同组合 显著的结构相关性。此类特征包含目标结构的关 获得决策边界。尽管这些通过阈值分割实现的方 键信息。亮度掩蔽是一种图像畸变现象，主要表 法是有效的，但是它们包含过多的模型参数导致 现为在明亮区域中不可见。对比度掩蔽是指图像 过度依赖人为经验。基于模态的方法包括D方 纹理间形变较小。该方法根据亮度、对比度、结 法。D方法将图像分解为卡通部分和纹理部分， 构度对待测图像与模板图像完成对比，加权相乘 将卡通图像转换为二值图像进而实现检测。但这 求得子图的结构相似度，最后计算所有子图像的 种方法在检测时要获取与待测图像最相似的无瑕 结构相似度的平均值得到SSIM值。 图，将无暇图的分解系数作为参数，对待测图像 假设待检测图像为X,参考图像为Y,SSIM如 进行分解。上述提出的方法利用有限参数描述图 式(1)： 像不同像素间的统计相关性。此外，这些方法直 SSIM(x.y)=x,y)]c(x.y)[s(x.y)p (1) 接检测像素级的图像缺陷，会导致某些像素的 其亮度计算为 误检。 2μ4+C1 马慧等针对静脉图像采样过程中出现旋 K(x.y)= 2++C 转、平移等因素造成静脉图像定位不准确的问 对比度计算为 题，提出了采用旋转校正的指静脉图像感兴趣区 200,+C2 域提取方法。Wang等2o根据人眼视觉系统提出 c(x,y)= D2+2+C2 了基于结构相似度的图像质量评价方法(SSIM)。 结构相似度计算为 根据图像信号是高度结构化的，特别是若像素点 xy+C3 s(x,y)=- 间相互接近时，具有较强结构相关性，以此来区 y+C3 分图像间的差异。Wang提出结构相似性评价标 式中：4、山，分别为图像X和Y的灰度平均值； 准，并且提供了评价感知质量指标的条件，包括 σx、σ，分别为图像X和Y的标准偏差；σw为图像 与人类视觉神经生物学和感知的联系，以及针对 X和Y的协方差；C、C2、C3为正数，为了避免出

般包含平纹与斜纹；2) 有图案的纺织品，结构复 杂，包含复杂的图案，同时图案信息具有周期变 化的结构。 针对无图案的纺织品,研究者提出了较为成 熟的方法，可以分为：统计学方法，例如，规律性 测量[1] 、分形特征测量[2] 、形态学滤波器[3-4] 等；光 谱的方法，例如，傅里叶变换[5] 、Gabor [6] 、小波[7] 等；模型的方法，例如，高斯马尔可夫随机场[8] 、稀 疏字典重建[9] 等；学习的方法，例如，神经网络[10] 、 支持向量机[11] 和结构的方法[12]。 相比之下只有少数方法能够针对有图案的纺 织品，例如：小波预处理黄金图像减法 (WGIS)[13] 、 布林线波段法 (BB)[14] 、正则带法 (RB)[15] 和图像分 解 (ID)[16] ，还有基于模板校正 (TC)[17]。 本研究的重点是复杂图案的织物。图案化织 物由基本单元组成，其基本组成单元称为图案。 图案化织物检测方法可以进一步分为 3 类：分区 匹配的方法、统计的方法和基于模态的方法。 分区匹配方法包括 WGIS 和 ER 方法[18]。在 Haar 小波分解之后，WGIS 方法使用无缺陷分 区对图像执行移动减法操作以获得决策边界。 ER 方法通过随机竞赛获得决策边界。然而，由于 训练阶段无缺陷分区选择的随机性，这 2 种方 法的检测结果都不稳定。统计方法包括 BB 和 RB 方法，通过移动平均值和标准差的不同组合 获得决策边界。尽管这些通过阈值分割实现的方 法是有效的，但是它们包含过多的模型参数导致 过度依赖人为经验。基于模态的方法包括 ID 方 法。ID 方法将图像分解为卡通部分和纹理部分， 将卡通图像转换为二值图像进而实现检测。但这 种方法在检测时要获取与待测图像最相似的无瑕 图，将无暇图的分解系数作为参数，对待测图像 进行分解。上述提出的方法利用有限参数描述图 像不同像素间的统计相关性。此外，这些方法直 接检测像素级的图像缺陷，会导致某些像素的 误检。 马慧等[19] 针对静脉图像采样过程中出现旋 转、平移等因素造成静脉图像定位不准确的问 题，提出了采用旋转校正的指静脉图像感兴趣区 域提取方法。Wang 等 [20] 根据人眼视觉系统提出 了基于结构相似度的图像质量评价方法 (SSIM)。 根据图像信号是高度结构化的，特别是若像素点 间相互接近时，具有较强结构相关性，以此来区 分图像间的差异。Wang 提出结构相似性评价标 准，并且提供了评价感知质量指标的条件，包括 与人类视觉神经生物学和感知的联系，以及针对 人类受试者评级的指数的直接验证。由于 SSIM 不能准确地评价局部畸变类型的图像，很难准确 地找到织物中瑕疵的精确部分。 针对上述出现的问题，本文利用图像中的晶 格间结构信息变化，有效描述了图像纹理的结构 特性，提出一种基于结构相似性与模板校正的织 物瑕疵检测方法。将具有周期性结构的图像自动 分割成网格,每个晶格包含大致相同的图案特征， 为特征提取、实验的分析和比较提供了非常有利 条件。为了减少纺织品图案局部拉伸的影响而引 入一种循环移位的算法改变晶格的排列组合，减 少晶格间不匹配的影响。在校正的基础上建立一 个无瑕模板，区分无瑕晶格和模板之间的不同， 以减少晶格间错位的变化，提高了检测的准确 性。通过计算所有校正后晶格间的结构相似性， 并将相似关系通过传递闭包的方式得到等价关 系，进行格子间的聚类，识别疵点晶格的区域。 通过阈值分割方法将获取的瑕疵晶格进行有效的 检测，得到像素级的疵点。 1 相关工作 SSIM 是基于感知的方法，其将图像失真转为 结构信息中的感知变动，并且结合亮度与对比度 等重要的感知方式。若像素位置相互靠近,具有 显著的结构相关性。此类特征包含目标结构的关 键信息。亮度掩蔽是一种图像畸变现象，主要表 现为在明亮区域中不可见。对比度掩蔽是指图像 纹理间形变较小。该方法根据亮度、对比度、结 构度对待测图像与模板图像完成对比，加权相乘 求得子图的结构相似度，最后计算所有子图像的 结构相似度的平均值得到 SSIM 值。 假设待检测图像为 X，参考图像为 Y，SSIM 如 式 (1)： SSIM(x, y) = [l(x, y)]α [c(x, y)]β [s(x, y)]γ (1) 其亮度计算为 l(x, y) = 2µxµy +C1 µ 2 x +µ 2 y +C1 对比度计算为 c(x, y) = 2σxσy +C2 σ2 x +σ2 y +C2 结构相似度计算为 s(x, y) = σxy +C3 σxσy +C3 µx µy σx σy σxy C1 C2 C3 式中： 、 分别为图像 X 和 Y 的灰度平均值； 、 分别为图像 X 和 Y 的标准偏差； 为图像 X 和 Y 的协方差； 、 、 为正数，为了避免出 ·476· 智 能 系 统 学 报 第 15 卷

第3期 杨达，等：基于结构相似性与模板校正的织物瑕疵检测方法 ·477· 现分母是0或接近0的不稳定情况；a、B、y分别 当格子间标准差和为最小值，获取单位格子 代表调整亮度、对比度、结构相似度的权重值。 尺寸，图1为单元图案大小的确定及分割图。 当=B=y=1,C3=C2/2,式(1)简化为 SSIM(x,y)= (2μ4，+C)+(2c+C2) r++C1)o2+σ+C2) 2基于结构相似性与模板校正的算法 2.1算法描述 本文算法分为训练和测试2个部分。 训练部分： (a)原始图像 (b)分割图像 1)对无瑕图像采用自动分割，获得N个晶格 图1单元图案大小的确定及分割 集合B(=1,2,…,N)0 Fig.1 Basic image size and division 2)针对上述完成分割的晶格采用循环移位的 2.3图像校正方法 算法改变格子的排列组合，实现晶格的校正。 2.3.1校正的定义 3)在校正的基础上建立一个统一的无瑕模 对图像进行自动分割后，分割后的晶格出现 板，根据结构相似性量化校正后无瑕晶格和模板 不匹配的结果。针对这种现象造成的影响，提出 之间的差异，获得用于瑕疵晶格定位的决策边界1。 了图像校正的方法。因为晶格拉伸产生的形变的 测试部分： 现象是局部的，所以分割后的每个晶格具有周期 1)对瑕疵图像采用自动分割，获得N个品格 图案的完整特征。由于每个品格都是数字矩阵， 集合A(i=1,2,…,W)0 因此采用循环移位的算法，避免因为拉伸产生形 2)针对上述分割后的格子采用循环移位的算 变的影响。提出了以下模型： 法改变晶格的排列组合，实现晶格的校正。 (p.)=ArgminllB-(T.).A.(T) (2) 3)计算集合A:内部元素间的结构相似系数， 式中：A为待校正的晶格；B为一个无瑕格；p表 得到N个结构相似系数矩阵R:o 示行移动的量，p∈[0，-1]：q表示列移动的量， 4)使用训练阶段求得的决策边界1，对结构相 q∈[0，c-1]:T,和T分别表示r×r和c×c尺寸的 似系数矩阵R进行阈值分割，得到疵，点品格的区域。 矩阵，如下： 5)通过阈值分割方法对疵点品格完成像素级 [001 0. 01 的精确检测。 1·00 ..00 T.= T.= 2.2自适应分割 对于具有周期结构的图案化织物图像，应用 0·10 0.10 损失函数f得到单位图案大小： 图2为图像校正结果，根据式(2)得出的p和 (r*,c*)=Argminf(r,c) 4,将A在水平方向上分割成尺寸qxr以及(c-q)×r 式中：(*，c*)是单位图案大小，对图像I截取 的两个区域。若要消除水平方向的拉伸，则将第 r×c大小的晶格，当r、c为单位图案周期大小时， 一个区域转移到后一区域的右方；同理，在垂直 (,c)即为单位晶格大小。f,c)函数为 方向上采取同样的处理，最后获得校正后的格子。 待校正 f(r.c)= ==l 式中S2(位，)表示晶格间方差，定义为 S260=1 (l(i+kxr.j+lxe)-Ti.iy mxn 4 =0=0 计算 水平 垂直 完成 格 」移位量 方向移位 方向移位 校正 式中：m= 卧：=引。将大小为xC的图像 B分割成m×n幅晶格子图。I(i,)为图像I中第 图2图像校正过程 Fig.2 Image correction process i行第j列上的灰度值。定义为 2.3.2模板的建立 号号i+kxr,j+1x0 对N张无瑕图采用自动分割，并计算每张无 mxn台 瑕图中所有晶格的均值矩阵，定义为P,i=1,2,…

α β γ α=β=γ=1 C3=C2/2 现分母是 0 或接近 0 的不稳定情况； 、 、 分别 代表调整亮度、对比度、结构相似度的权重值。 当 ， ，式 (1) 简化为 SSIM(x, y) = (2µxµy +C1)+(2σxy +C2) (µ 2 x +µ 2 y +C1)(σ2 x +σ2 y +C2) 2 基于结构相似性与模板校正的算法 2.1 算法描述 本文算法分为训练和测试 2 个部分。 训练部分： Bi i = 1,2,··· ,N 1) 对无瑕图像采用自动分割，获得 N 个晶格 集合 ( )。 2) 针对上述完成分割的晶格采用循环移位的 算法改变格子的排列组合，实现晶格的校正。 3) 在校正的基础上建立一个统一的无瑕模 板，根据结构相似性量化校正后无瑕晶格和模板 之间的差异，获得用于瑕疵晶格定位的决策边界 t。 测试部分： Ai i = 1,2,··· ,N 1) 对瑕疵图像采用自动分割，获得 N 个晶格 集合 ( )。 2) 针对上述分割后的格子采用循环移位的算 法改变晶格的排列组合，实现晶格的校正。 3) 计算集合 Ai 内部元素间的结构相似系数， 得到 N 个结构相似系数矩阵 Rei。 4) 使用训练阶段求得的决策边界 t，对结构相 似系数矩阵 Rei 进行阈值分割，得到疵点晶格的区域。 5) 通过阈值分割方法对疵点晶格完成像素级 的精确检测。 2.2 自适应分割 f 对于具有周期结构的图案化织物图像，应用 损失函数 得到单位图案大小： (r∗, c∗) = Argmin f(r, c) (r, c) f(r, c) 式中： (r*,c*) 是单位图案大小，对图像 I 截取 r×c 大小的晶格，当 r、c 为单位图案周期大小时， 即为单位晶格大小。 函数为 f(r, c) = 1 r ×c ∑r i=1 ∑c j=1 S 2 (i, j) S 2 式中 (i, j) 表示晶格间方差，定义为 S 2 (i, j) = 1 m×n ∑m−1 k=0 ∑n−1 l=0 (I(i+k×r, j+l×c)− I(i, j))2 m = ⌊ R r ⌋ ；n = ⌊C c ⌋ 式中： 。将大小为 R×C 的图像 B 分割成 m×n 幅晶格子图。I(i,j) 为图像 I 中第 i 行第 j 列上的灰度值。定义为 I(i, j) = 1 m×n ∑m−1 k=0 ∑n−1 l=0 I(i+k×r, j+l×c) 当格子间标准差和为最小值，获取单位格子 尺寸，图 1 为单元图案大小的确定及分割图。 (a) 原始图像 (b) 分割图像 图 1 单元图案大小的确定及分割 Fig. 1 Basic image size and division 2.3 图像校正方法 2.3.1 校正的定义 对图像进行自动分割后，分割后的晶格出现 不匹配的结果。针对这种现象造成的影响,提出 了图像校正的方法。因为晶格拉伸产生的形变的 现象是局部的，所以分割后的每个晶格具有周期 图案的完整特征。由于每个晶格都是数字矩阵， 因此采用循环移位的算法，避免因为拉伸产生形 变的影响。提出了以下模型： (p,q) = Argmin∥B−(Tv) p∗ · A·(Th) q∗ ∥ 2 2 (2) p ∗ p ∗ q ∗ q ∗ 式中：A 为待校正的晶格；B 为一个无瑕格； 表 示行移动的量， ∈[0,r−1]； 表示列移动的量， ∈[0,c−1]；Tv 和 Th 分别表示 r×r 和 c×c 尺寸的 矩阵，如下： Tv =   0 ··· 0 1 1 ··· 0 0 . . . . . . . . . 0 ··· 1 0   r×r , Th =   0 ··· 0 1 1 ··· 0 0 . . . . . . . . . 0 ··· 1 0   c×c 图 2 为图像校正结果，根据式 (2) 得出的 p 和 q，将 A 在水平方向上分割成尺寸 q×r 以及 (c−q)×r 的两个区域。若要消除水平方向的拉伸,则将第 一个区域转移到后一区域的右方；同理，在垂直 方向上采取同样的处理，最后获得校正后的格子。 待校正 晶格 目标 晶格 水平 方向移位 垂直 方向移位 完成 校正 计算 移位量 图 2 图像校正过程 Fig. 2 Image correction process 2.3.2 模板的建立 Pi i = 1,2,··· , 对 N 张无瑕图采用自动分割，并计算每张无 瑕图中所有晶格的均值矩阵，定义为 ， 第 3 期 杨达，等：基于结构相似性与模板校正的织物瑕疵检测方法 ·477·

·478· 智能系统学报 第15卷 N。将无瑕图的矩阵P当作无瑕参考标准，其他 2.5瑕疵晶格的定位 无瑕图的矩阵按照P进行校正，校正完成的格子 根据关系矩阵获取传递闭包矩阵，对传递闭 为0。模板计算如式(3)： 包矩阵进行阈值分割后，能够实现无瑕晶格间的 聚类，获得疵点晶格的定位。设1是阈值，对传递 TMx,)=0(x,)+02x,)++0.c,》(3) 闭包矩阵进行阈值分割，当S)≥1时，晶格A:与晶 式中：x∈[1，小：y∈[1，c。为了减少光照不均和晶 格A,间为等价关系，当S<1时，晶格A:与晶格A 格间错位的影响，选取的样本为无瑕图像的所有 间不存在关系。无瑕晶格间的结构相似度大于无 晶格的灰度均值矩阵。 瑕晶格与瑕疵晶格之间的结构相似度。阈值1在 2.4晶格间结构相似性 区间[0,1]动态变换可以获得动态变换的聚类 使用结构相似性对比格子之间的相似程度是 效果。 模糊的。可以建立等价关系矩阵，完成等价类的 在训练过程中，以步长值d在区间[0,1]对 划分。要获取格子之间的等价联系，首先要得到 P幅无瑕图像进行遍历，得到无瑕图像发生分类 相似性矩阵，然后再求相似性矩阵的传递闭包可 时的数值。阈值为 以得出近似的等价联系，最终可以对无瑕格子进 t=min(t;) 行聚类操作。 2.6瑕疵晶格阈值化 首先建立一个表示晶格间相似关系的矩阵， 为了对瑕疵晶格进行像素级的检测，提出了 采用结构相似性来衡量晶格的相似性，将图像自 一种阈值分割方法。对每个检测到的瑕疵晶格进 动分割，获得一个格子集合A={A,A2,…,An}。设 行如下计算： S表示晶格A,与晶格A的SSIM值，定义如下： LDx,y)=0,TM(x,y)-A×o(x,y)≤LD(x,y)≤ TM(x,y)+A×σ(x,y) 5=2 LD(xy)=1,其他 式中：TM为式(3)求得的模板；σ(cy)表示晶格O 结构相似性具有以下性质：1)有界性，S∈ 的标准差；入代表常数；LD(x,y)为瑕疵晶格x行 [0,1],当值越临近1，晶格间相似性越强：2)极值 y列上的灰度值。A=2时会有一些像素点被误 唯一性，当晶格间相似性是1时.两幅图相同。 检，使得查准率降低，查全率较高。A=3时会有 通过11×11大小的窗口在晶格A:和晶格A, 一些像素点被漏检。本文方法入=2。 上移动，计算窗口相应子图的结构相似度，并求 得所有子图结构相似度的均值，得到晶格间的结 (x,y) 构相似性为 -c N 由于平均值和标准偏差是指示一组数据变化 MSSIM(X,Y)= 1 入SSM, 的良好度量。因此，由平均值和标准偏差组成的 阈值对正常变化存在良好的鲁棒性。 式中M为子图像的总数。MSSIM的值越大，晶格 由于在检测时晶格经过校正，所以在瑕疵晶 A:与晶格A,间的相似性就越高。记R。=(wxw 格阈值化之前采用以下操作进行还原。 为SSIM特征矩阵，∈[0,1]。要完成无暇格子 L=(T)-P.LD.(Th)- 的聚类，相似关系矩阵应经过关系矩阵求传递闭 式中：r、c为晶格的大小；p、g为位移值。 包矩阵。传递闭包矩阵可以作为等价关系矩阵。 设A、B为两个n阶矩阵，若存在元素间关系≤ 3实验结果及分析 b,i,=1,2,…,n,则A≤B。 本实验使用的数据库为香港大学电气与电子 求取传递闭包的方法如下。设S为有限集 工程系工业自动化实验室织物样本库。样本库共 O上的二元关系，则S是传递的充分必要条件是： 含有102幅256×256大小的纺织品图像，共有 S的关系矩阵MS满足MS2≤MS,MS2=MS·MS, 3种图案的织物图像，即星形图、盒形图、点形 若MS≤MS,t(MS)=MS,否则比较MS和MS2的 图。瑕疵种类有断经(broke end)、破洞(hole)、网 元素，将MS中的数值为0的元素而在MS中相 纹(netting multiple)、粗条纹(thick bar)、细条纹 同位置数值为1的全部元素变为1，得到一个新 (thin bar)。用于对比的方法有WGIS、BB、ER、 矩阵MS,当MS1≤MS时，1 MS)-=MS;如不满足此 RB、TC。定义TPR(true positive rate)为查全率，该 条件，重复上述步骤，当MS≤MS时，MS=MSk。 评价指标确定瑕疵基准图(ground-.truth image)中

N P1 P1 Oi 。将无瑕图的矩阵 当作无瑕参考标准,其他 无瑕图的矩阵按照 进行校正，校正完成的格子 为 。模板计算如式 (3)： TM(x, y)= 1 N (O1(x, y)+O2(x, y)+···+On(x, y)) (3) 式中：x∈[1,r]；y∈[1,c]。为了减少光照不均和晶 格间错位的影响，选取的样本为无瑕图像的所有 晶格的灰度均值矩阵。 2.4 晶格间结构相似性 使用结构相似性对比格子之间的相似程度是 模糊的。可以建立等价关系矩阵，完成等价类的 划分。要获取格子之间的等价联系，首先要得到 相似性矩阵,然后再求相似性矩阵的传递闭包可 以得出近似的等价联系，最终可以对无瑕格子进 行聚类操作。 A1,A2,··· ,An S i j Ai Aj 首先建立一个表示晶格间相似关系的矩阵， 采用结构相似性来衡量晶格的相似性，将图像自 动分割，获得一个格子集合 A={ }。设 表示晶格 与晶格 的 SSIM 值，定义如下： S i j(x, y) = (2µxµy +C1)+(2σxy +C2) (µ 2 x +µ 2 y +C1)(σ2 x +σ2 y +C2) 结构相似性具有以下性质:1) 有界性， S i j∈ [0,1]，当值越临近 1，晶格间相似性越强；2) 极值 唯一性，当晶格间相似性是 1 时,两幅图相同。 通过 11×11 大小的窗口在晶格 Ai 和晶格 Aj 上移动，计算窗口相应子图的结构相似度，并求 得所有子图结构相似度的均值，得到晶格间的结 构相似性为 MSSIM(X,Y)= 1 M ∑M i=1 SSIM(xi , yi) Ai Aj (ri j)N×N ri j ai j bi j 式中 M 为子图像的总数。MSSIM 的值越大,晶格 与晶格 间的相似性就越高。记 Re = 为 SSIM 特征矩阵， ∈[0, 1]。要完成无暇格子 的聚类,相似关系矩阵应经过关系矩阵求传递闭 包矩阵。传递闭包矩阵可以作为等价关系矩阵。 设 A、B 为两个 n 阶矩阵,若存在元素间关系 ≤ ，i，j=1,2,…，n，则 A≤B。 MS1 MS1 MS2 1 MS1 MSk MS2 k MSk 求取传递闭包的方法如下。设 S 为有限集 O 上的二元关系,则 S 是传递的充分必要条件是: S 的关系矩阵 MS 满足 MS2≤MS,MS2 =MS·MS， 若 MS2≤MS，t(MS)=MS,否则比较 MS 和 MS2 的 元素，将 MS 中的数值为 0 的元素而在 MS2 中相 同位置数值为 1 的全部元素变为 1，得到一个新 矩阵 ，当 ≤ 时，t(MS)= ；如不满足此 条件，重复上述步骤，当 ≤ 时，t(MS)= 。 2.5 瑕疵晶格的定位 S i j Ai Aj S i j Ai Aj 根据关系矩阵获取传递闭包矩阵，对传递闭 包矩阵进行阈值分割后,能够实现无瑕晶格间的 聚类，获得疵点晶格的定位。设 t 是阈值,对传递 闭包矩阵进行阈值分割,当 ≥t 时，晶格 与晶 格 间为等价关系,当 <t 时，晶格 与晶格 间不存在关系。无瑕晶格间的结构相似度大于无 瑕晶格与瑕疵晶格之间的结构相似度。阈值 t 在 区间 [0, 1] 动态变换可以获得动态变换的聚类 效果。 ti 在训练过程中,以步长值 d 在区间 [0, 1] 对 P 幅无瑕图像进行遍历，得到无瑕图像发生分类 时的数值 。阈值为 t = min(ti) 2.6 瑕疵晶格阈值化 为了对瑕疵晶格进行像素级的检测,提出了 一种阈值分割方法。对每个检测到的瑕疵晶格进 行如下计算：    LD(x, y) = 0, TM(x, y)−λ×σ(x, y) ⩽ LD(x, y) ⩽ TM(x, y)+λ×σ(x, y) LD(x, y) = 1, 其他 σ(x, y) Oi λ λ = λ = λ = 式中：TM 为式 (3) 求得的模板； 表示晶格 的标准差； 代表常数；LD(x,y) 为瑕疵晶格 x 行 y 列上的灰度值。 2 时会有一些像素点被误 检，使得查准率降低，查全率较高。 3 时会有 一些像素点被漏检。本文方法 2。 σ(x, y)= vt 1 N ∑N i=1 (Oi(x, y)−TM(x, y))2 由于平均值和标准偏差是指示一组数据变化 的良好度量。因此，由平均值和标准偏差组成的 阈值对正常变化存在良好的鲁棒性。 由于在检测时晶格经过校正,所以在瑕疵晶 格阈值化之前采用以下操作进行还原。 L = (Tv) (r−p) · LD·(Th) (c−q) 式中：r、c 为晶格的大小；p、q 为位移值。 3 实验结果及分析 本实验使用的数据库为香港大学电气与电子 工程系工业自动化实验室织物样本库。样本库共 含有 102 幅 256×256 大小的纺织品图像，共有 3 种图案的织物图像，即星形图、盒形图、点形 图。瑕疵种类有断经 (broke end)、破洞 (hole)、网 纹 (netting multiple)、粗条纹 (thick bar)、细条纹 (thin bar)。用于对比的方法有 WGIS、BB、ER、 RB、TC。定义 TPR(true positive rate) 为查全率,该 评价指标确定瑕疵基准图 (ground-truth image) 中 ·478· 智 能 系 统 学 报 第 15 卷

第3期 杨达，等：基于结构相似性与模板校正的织物瑕疵检测方法 ·479· 瑕疵所在的像素被正确标记的比例；FPR(false Table 3 Defect location results of the dot-shaped positive rate)为误检率，确定瑕疵基准图中背景像 pattern % 素被算法错误标记为瑕疵所占的比例；PPV(posit-. 图样 TPR FPR PPV NPV ive predictive value)为查准率，确定算法标记的瑕 细条纹 0.98 0.09 0.11 0.99 0.30 疵在瑕疵基准图中的瑕疵所占比例；NPV(negat- 粗条纹 0.99 0.03 0.45 0.99 0.53 ive predictive value)为阴性预测值，确定算法标记 网纹 0.98 0.09 0.32 0.99 0.56 的背景在瑕疵基准图中背景所占的比例。定义 ∫值作为检测情况分析的参考，∫值的计算方法如下： 断端 0.99 0.10 0.50 0.99 0.31 f=(@2+1)xTPRxPPV 破洞 0.84 0.15 0.17 0.99 0.40 a2x(TPR+PPV) 平均 0.95 0.11 0.28 0.99 0.42 式中：∫表示查全率与查准率的几何加权平均值： a为权重。文献[21]将a置为1，表示当手工标 3.2 基于模板的瑕疵精确检测结果 记为无瑕却被误检的部分和手工标记为瑕疵却被 为了确定瑕疵形状的大小，对3种类型的纺 漏检的部分增加时，其检测结果与手工标记的结 织品应用基于模板的方法进行检测。部分检测结 果不同时，∫值会减少。当α>1时表示查准率比 果如图3。 较重要，当α<1时表示查全率比较重要。本文中 将α置为1，f值越接近1代表检测效果越好。这 种评价方法结合了查全率和查准率，避免了非同 量级数值相加时代数与数值较大的数接近的影响。 3.1 基于相似关系的瑕疵晶格定位算法结果 对检测完成的瑕疵结果图进行二值化操作， 完成瑕疵晶格的定位。对检测为瑕疵的晶格标记 为1，无暇疵晶格标记为0。实验结果如表1~3所示。 表1星形图织物瑕疵定位结果 Table 1 Defect location results of thestar-shaped pattern % (a)瑕疵图 (b)基准图 (c)定位 (d检测 图样 TPR FPR PPV NPV 图3部分瑕疵检测结果 细条纹 0.97 0.02 0.31 0.99 0.30 Fig.3 Several defect detection 粗条纹 0.96 0.04 0.71 0.99 0.53 33对比实验 网纹 0.79 0.02 0.34 0.99 0.29 本文与WGIS、RB、BB、ER、TC5种算法对星 断端 0.93 0.01 0.39 0.99 0.41 形图、盒形图、点形图的瑕疵了进行了对比实 破洞 0.91 0.01 0.27 0.99 0.37 验。表4~6是瑕疵检测算法的结果。 平均 0.92 0.01 0.34 0.99 0.35 3.3.1星形图 由图4~6可知，本文方法在3种类型瑕疵图 表2盒形图织物瑕疵定位结果 Table 2 中检测结果优于其他5种方法。表4列出了星形 Defect location results of the box-shaped pattern % 图的检测结果，在破洞型、粗条纹型瑕疵的 图样 PPV值检测结果中本文算法优于其他5种算法， TPR FPR PPV NPV 在断端型、破洞型瑕疵中∫值为最优值。 细条纹 0.98 0.02 0.28 0.99 0.22 3.3.2盒形图 粗条纹 0.99 0.14 0.34 0.99 0.49 分析图7~9的检测结果，本文方法在断端、 网纹 0.93 0.03 0.42 0.99 0.56 破洞瑕疵类型图中的检测效果近乎接近瑕疵基准 断端 0.96 0.00 0.13 1.00 0.31 图，在粗条纹型瑕疵检测结果图中，存在少量像 破洞 0.99 0.01 0.26 1.00 0.40 素点的误检，BB方法对3种类型图检测效果较 平均 0.96 0.02 0.36 0.99 0.42 差，RB方法对断端和粗条纹类型图检测效果较 表3 点形图织物瑕疵定位结果 好。WGIS方法查全率较高

瑕疵所在的像素被正确标记的比例；FPR(false positive rate) 为误检率,确定瑕疵基准图中背景像 素被算法错误标记为瑕疵所占的比例；PPV(posit￾ive predictive value) 为查准率,确定算法标记的瑕 疵在瑕疵基准图中的瑕疵所占比例；NPV(negat￾ive predictive value) 为阴性预测值,确定算法标记 的背景在瑕疵基准图中背景所占的比例。定义 f 值作为检测情况分析的参考，f 值的计算方法如下： f = (α 2 +1)×TPR×PPV α2 ×(TPR+PPV) α α α > 1 α < 1 α 式中：f 表示查全率与查准率的几何加权平均值； 为权重。文献 [21] 将 置为 1，表示当手工标 记为无瑕却被误检的部分和手工标记为瑕疵却被 漏检的部分增加时，其检测结果与手工标记的结 果不同时，f 值会减少。当 时表示查准率比 较重要，当 时表示查全率比较重要。本文中 将 置为 1，f 值越接近 1 代表检测效果越好。这 种评价方法结合了查全率和查准率，避免了非同 量级数值相加时代数与数值较大的数接近的影响。 3.1 基于相似关系的瑕疵晶格定位算法结果 对检测完成的瑕疵结果图进行二值化操作， 完成瑕疵晶格的定位。对检测为瑕疵的晶格标记 为 1，无暇疵晶格标记为 0。实验结果如表 1～3 所示。 表 1 星形图织物瑕疵定位结果 Table 1 Defect location results of thestar-shaped pattern % 图样 TPR FPR PPV NPV f 细条纹 0.97 0.02 0.31 0.99 0.30 粗条纹 0.96 0.04 0.71 0.99 0.53 网纹 0.79 0.02 0.34 0.99 0.29 断端 0.93 0.01 0.39 0.99 0.41 破洞 0.91 0.01 0.27 0.99 0.37 平均 0.92 0.01 0.34 0.99 0.35 表 2 盒形图织物瑕疵定位结果 Table 2 Defect location results of the box-shaped pattern % 图样 TPR FPR PPV NPV f 细条纹 0.98 0.02 0.28 0.99 0.22 粗条纹 0.99 0.14 0.34 0.99 0.49 网纹 0.93 0.03 0.42 0.99 0.56 断端 0.96 0.00 0.13 1.00 0.31 破洞 0.99 0.01 0.26 1.00 0.40 平均 0.96 0.02 0.36 0.99 0.42 表 3 点形图织物瑕疵定位结果 Table 3 Defect location results of the dot-shaped pattern % 图样 TPR FPR PPV NPV f 细条纹 0.98 0.09 0.11 0.99 0.30 粗条纹 0.99 0.03 0.45 0.99 0.53 网纹 0.98 0.09 0.32 0.99 0.56 断端 0.99 0.10 0.50 0.99 0.31 破洞 0.84 0.15 0.17 0.99 0.40 平均 0.95 0.11 0.28 0.99 0.42 3.2 基于模板的瑕疵精确检测结果 为了确定瑕疵形状的大小，对 3 种类型的纺 织品应用基于模板的方法进行检测。部分检测结 果如图 3。 (a) 瑕疵图 (b) 基准图 (c) 定位 (d) 检测 图 3 部分瑕疵检测结果 Fig. 3 Several defect detection 3.3 对比实验 本文与 WGIS、RB、BB、ER、TC 5 种算法对星 形图、盒形图、点形图的瑕疵了进行了对比实 验。表 4～6 是瑕疵检测算法的结果。 3.3.1 星形图 由图 4～6 可知,本文方法在 3 种类型瑕疵图 中检测结果优于其他 5 种方法。表 4 列出了星形 图的检测结果 , 在破洞型、粗条纹型瑕疵 的 PPV 值检测结果中本文算法优于其他 5 种算法， 在断端型、破洞型瑕疵中 f 值为最优值。 3.3.2 盒形图 分析图 7～9 的检测结果，本文方法在断端、 破洞瑕疵类型图中的检测效果近乎接近瑕疵基准 图，在粗条纹型瑕疵检测结果图中，存在少量像 素点的误检，BB 方法对 3 种类型图检测效果较 差，RB 方法对断端和粗条纹类型图检测效果较 好。WGIS 方法查全率较高。 第 3 期 杨达，等：基于结构相似性与模板校正的织物瑕疵检测方法 ·479·

·480· 智能系统学报 第15卷 表4不同算法对星形图织物瑕疵检测效果 Table 4 Different algorithms for defect detection in the star-shaped pattern % 瑕疵类型 TPR FPR PPV NPV 不同算法 0.71 0.00 0.39 0.99 0.54 本文算法 0.31 0.16 0.01 0.99 0.05 BB 0.32 0.02 0.11 1.00 0.05 RB 断端 0.73 0.04 0.09 1.00 0.05 WGIS 0.01 0.00 0.00 0.99 0.15 ER 0.51 0.00 0.43 0.99 0.47 TC 0.71 0.00 0.47 0.99 0.42 本文算法 0.33 0.15 0.01 1.00 0.04 BB 0.43 0.03 0.08 1.00 0.05 RB 破洞 0.26 0.07 0.03 1.00 0.02 WGIS 0.04 0.00 0.00 0.99 0.00 ER 0.47 0.00 0.39 0.99 0.42 TC 0.63 0.00 0.95 0.96 0.48 本文算法 0.10 0.16 0.02 0.96 0.56 BB 0.21 0.03 0.13 0.97 0.54 RB 粗条纹 0.89 0.19 0.20 1.00 0.08 WGIS 0.38 0.01 0.57 0.99 0.29 ER 0.36 0.00 0.61 0.97 0.45 TC 表5不同算法对盒形图织物瑕疵检测效果 Table 5 Different algorithms for defect detection in the box-shaped pattern oo 瑕疵类型 TPR FPR PPV NPV f 不同算法 0.64 0.01 0.47 0.99 0.50 本文算法 0.04 0.02 0.04 0.98 0.03 BB 0.49 0.01 0.56 0.99 0.06 RB 断端 0.64 0.08 0.14 0.99 0.00 WGIS 0.01 0.00 0.00 0.98 0.08 ER 0.66 0.00 0.61 0.99 0.64 TC 0.68 0.01 0.30 0.99 0.57 本文算法 0.08 0.02 0.03 0.99 0.04 BB 0.10 0.00 0.47 0.99 0.11 RB 破洞 0.02 0.01 0.04 0.99 0.00 WGIS 0.00 0.00 0.00 0.99 0.16 ER 0.38 0.00 0.52 0.99 0.44 TC 0.55 0.03 0.42 0.97 0.75 本文算法 0.08 0.02 0.08 0.97 0.41 BB 0.58 0.01 0.68 0.99 0.31 RB 粗条纹 0.99 0.14 0.15 1.00 0.05 WGIS 0.20 0.00 0.00 0.98 0.61 ER 0.72 0.00 0.61 0.99 0.66 TC

表 4 不同算法对星形图织物瑕疵检测效果 Table 4 Different algorithms for defect detection in the star-shaped pattern % 瑕疵类型 TPR FPR PPV NPV f 不同算法 断端 0.71 0.00 0.39 0.99 0.54 本文算法 0.31 0.16 0.01 0.99 0.05 BB 0.32 0.02 0.11 1.00 0.05 RB 0.73 0.04 0.09 1.00 0.05 WGIS 0.01 0.00 0.00 0.99 0.15 ER 0.51 0.00 0.43 0.99 0.47 TC 破洞 0.71 0.00 0.47 0.99 0.42 本文算法 0.33 0.15 0.01 1.00 0.04 BB 0.43 0.03 0.08 1.00 0.05 RB 0.26 0.07 0.03 1.00 0.02 WGIS 0.04 0.00 0.00 0.99 0.00 ER 0.47 0.00 0.39 0.99 0.42 TC 粗条纹 0.63 0.00 0.95 0.96 0.48 本文算法 0.10 0.16 0.02 0.96 0.56 BB 0.21 0.03 0.13 0.97 0.54 RB 0.89 0.19 0.20 1.00 0.08 WGIS 0.38 0.01 0.57 0.99 0.29 ER 0.36 0.00 0.61 0.97 0.45 TC 表 5 不同算法对盒形图织物瑕疵检测效果 Table 5 Different algorithms for defect detection in the box-shaped pattern % 瑕疵类型 TPR FPR PPV NPV f 不同算法 断端 0.64 0.01 0.47 0.99 0.50 本文算法 0.04 0.02 0.04 0.98 0.03 BB 0.49 0.01 0.56 0.99 0.06 RB 0.64 0.08 0.14 0.99 0.00 WGIS 0.01 0.00 0.00 0.98 0.08 ER 0.66 0.00 0.61 0.99 0.64 TC 破洞 0.68 0.01 0.30 0.99 0.57 本文算法 0.08 0.02 0.03 0.99 0.04 BB 0.10 0.00 0.47 0.99 0.11 RB 0.02 0.01 0.04 0.99 0.00 WGIS 0.00 0.00 0.00 0.99 0.16 ER 0.38 0.00 0.52 0.99 0.44 TC 粗条纹 0.55 0.03 0.42 0.97 0.75 本文算法 0.08 0.02 0.08 0.97 0.41 BB 0.58 0.01 0.68 0.99 0.31 RB 0.99 0.14 0.15 1.00 0.05 WGIS 0.20 0.00 0.00 0.98 0.61 ER 0.72 0.00 0.61 0.99 0.66 TC ·480· 智 能 系 统 学 报 第 15 卷

第3期 杨达，等：基于结构相似性与模板校正的织物瑕疵检测方法 ·481· 表6不同算法对点形图织物瑕疵检测效果 Table 6 Different algorithms for defect detection in the dot-shaped pattern % 瑕疵类型 TPR FPR PPV NPV f 不同算法 0.43 0.01 0.66 0.96 0.52 本文算法 0.31 0.00 0.66 0.97 0.43 BB 0.22 0.00 0.66 0.96 0.34 RB 绳结 0.39 0.19 0.05 0.97 0.10 WGIS 0.53 0.01 0.68 0.98 0.60 ER 0.48 0.01 0.57 0.97 0.52 Tc 0.69 0.00 0.82 0.99 0.75 本文算法 0.53 0.01 0.58 0.98 0.56 BB 0.53 0.00 0.75 0.98 0.63 RB 细条纹 0.66 0.14 0.11 0.99 0.19 WGIS 0.80 0.05 0.27 0.99 0.40 ER 0.93 0.01 0.68 0.99 0.78 TC 0.83 0.36 0.94 0.98 0.88 本文算法 0.64 0.03 0.75 0.94 0.70 BB 粗条纹 0.66 0.02 0.82 0.94 0.74 RB 0.73 0.19 0.33 0.96 0.46 WGIS 0.85 0.11 0.50 0.97 0.63 ER (a)原图 (b)瑕疵基准图（©）本文算法 (d)BB (a)原图(b)瑕疵基准图(c)本文算法 (d)BB (e)RB (f)WGIS (g)ER (h)TC (e)RB (f)WGIS (g)ER (h)TC 图4不同方法对星形图断端瑕疵图像的检测结果 图6不同方法对星形图粗条纹瑕疵图像的检测结果 Fig.4 Detection results of different methods on star- Fig.6 Detection results of different methods on star- shaped broken ends defect images shaped thick bars defect images (a)原图 (b)瑕疵基准图（©）本文算法 (d)BB (a)原图 (b)瑕疵基准图(C)本文算法 (d)BB 4,, (e)RB (f)WGIS (g)ER (h)TC (e)RB (①WGIS (g)ER (h)TC 图5不同方法对星形图破洞瑕疵图像的检测结果 图7不同方法对盒形图断端瑕疵图像的检测结果 Fig.5 Detection results of different methods on star- Fig.7 Detection results of different methods on box- shaped hole defect images shaped broken ends defect images

表 6 不同算法对点形图织物瑕疵检测效果 Table 6 Different algorithms for defect detection in the dot-shaped pattern % 瑕疵类型 TPR FPR PPV NPV f 不同算法 绳结 0.43 0.01 0.66 0.96 0.52 本文算法 0.31 0.00 0.66 0.97 0.43 BB 0.22 0.00 0.66 0.96 0.34 RB 0.39 0.19 0.05 0.97 0.10 WGIS 0.53 0.01 0.68 0.98 0.60 ER 0.48 0.01 0.57 0.97 0.52 TC 细条纹 0.69 0.00 0.82 0.99 0.75 本文算法 0.53 0.01 0.58 0.98 0.56 BB 0.53 0.00 0.75 0.98 0.63 RB 0.66 0.14 0.11 0.99 0.19 WGIS 0.80 0.05 0.27 0.99 0.40 ER 0.93 0.01 0.68 0.99 0.78 TC 粗条纹 0.83 0.36 0.94 0.98 0.88 本文算法 0.64 0.03 0.75 0.94 0.70 BB 0.66 0.02 0.82 0.94 0.74 RB 0.73 0.19 0.33 0.96 0.46 WGIS 0.85 0.11 0.50 0.97 0.63 ER (a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB (e) RB (f) WGIS (g) ER (h) TC 图 4 不同方法对星形图断端瑕疵图像的检测结果 Fig. 4 Detection results of different methods on star￾shaped broken ends defect images (a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB (e) RB (f) WGIS (g) ER (h) TC 图 5 不同方法对星形图破洞瑕疵图像的检测结果 Fig. 5 Detection results of different methods on star￾shaped hole defect images (a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB (e) RB (f) WGIS (g) ER (h) TC 图 6 不同方法对星形图粗条纹瑕疵图像的检测结果 Fig. 6 Detection results of different methods on star￾shaped thick bars defect images (a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB (e) RB (f) WGIS (g) ER (h) TC 图 7 不同方法对盒形图断端瑕疵图像的检测结果 Fig. 7 Detection results of different methods on box￾shaped broken ends defect images 第 3 期 杨达，等：基于结构相似性与模板校正的织物瑕疵检测方法 ·481·

·482· 智能系统学报 第15卷 (a)原图 (b)瑕疵基准图（©）本文算法 (d)BB (e)RB (f)WGIS (g)ER (h)TC 图10 不同方法对点形图绳结瑕疵图像的检测结果 Fig.10 Detection results of different methods on dot- shaped knots defect images (e)RB (f)WGIS (g)ER (h)TC 图8不同方法对盒形图破洞瑕疵图像的检测结果 Fig.8 Detection results of different methods on box- shaped hole defect images (a)原图b)瑕疵基准图(c)本文算法 (d)BB (e)RB (f)WGIS (g)ER (h)TC (a)原图 (b)瑕疵基准图(c)本文算法 (d)BB 图11不同方法对点形图细条纹瑕疵图像的检测结果 Fig.11 Detection results of different methods on dot shaped thin bars defect images (e)RB (f)WGIS (g)ER (h)TC 图9不同方法对盒形图粗条纹瑕疵图像的检测结果 Fig.9 Detection results of different methods on box- (a)原图 (b)瑕疵基准图(c)本文算法 (d)BB shaped thick bars defect images y、 表5列出了盒形图的检测结果，WGIS方法 在粗条纹型瑕疵检测中的TPR值为最优值， TC方法在断端型、破洞型瑕疵检测中的PPV值 (e)RB (f)WGIS (g)ER (h)TC 达到最优。本文方法在破洞型瑕疵检测中的TPR 图12 不同方法对点形图粗条纹瑕疵图像的检测结果 值为最优值，且在破洞型、粗条纹型瑕疵中∫值均 Fig.12 Detection results of different methods on dot- 达到最优。总体来看，本文方法的查全率和查准 shaped thick bars defect images 率整体优于其他5种算法。 4结束语 3.3.3点形图 分析图10~12的检测结果，本文方法在细 本文提出了一种基于结构相似性与模板校正 条纹、粗条纹瑕疵类型图中的检测效果优于其 的织物瑕疵检测方法。针对包含复杂周期的图案 他5种算法，在绳结型瑕疵检测结果图中，存在 织物的疵点检测问题，将图像按周期自动分割， 部分误检的情况。表6列出了点状图的检测结 为了减小由图像局部形变造成的晶格间不匹配的 果，本文方法在细条纹、粗条纹型2种类型瑕疵 局限性的影响。通过基于模板的方法进行校正， 检测结果中的PPV值均为最优值。在绳结型瑕 再利用晶格间的SSM,将瑕疵，点检测问题转为图 疵检测结果图中ER方法∫值、TPR值、PPV值均 像品格的二分类问题，对瑕疵晶格进行标记，完 成瑕疵晶格的定位，根据提出的阈值准则对晶格 达到最优。TC方法在细条纹、粗条纹瑕疵检测 进行像素级的检测。本文算法对星形图和盒形图 中∫值达到最优。总体来看，本文方法的查全率 在PPV、TPR、∫值对比传统算法有很大的提高。 优于其他5种算法。 点形图两种瑕疵图检测结果TPR比传统算法要 好，但会出现少部分像素点的误检，因为点形图类 型纺织品的图案较为复杂，图像具有较多的纹理 信息。在实际应用中还需进一步探讨基于图像特 (a)原图 (b)瑕疵基准图(c)本文算法 (d)BB 征的晶格分割的方法

(a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB (e) RB (f) WGIS (g) ER (h) TC 图 8 不同方法对盒形图破洞瑕疵图像的检测结果 Fig. 8 Detection results of different methods on box￾shaped hole defect images (a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB (e) RB (f) WGIS (g) ER (h) TC 图 9 不同方法对盒形图粗条纹瑕疵图像的检测结果 Fig. 9 Detection results of different methods on box￾shaped thick bars defect images 表 5 列出了盒形图的检测结果，WGIS 方法 在粗条纹型瑕疵检测中 的 T PR 值为最优值， TC 方法在断端型、破洞型瑕疵检测中的 PPV 值 达到最优。本文方法在破洞型瑕疵检测中的 TPR 值为最优值，且在破洞型、粗条纹型瑕疵中 f 值均 达到最优。总体来看，本文方法的查全率和查准 率整体优于其他 5 种算法。 3.3.3 点形图 分析图 10～12 的检测结果，本文方法在细 条纹、粗条纹瑕疵类型图中的检测效果优于其 他 5 种算法，在绳结型瑕疵检测结果图中，存在 部分误检的情况。表 6 列出了点状图的检测结 果，本文方法在细条纹、粗条纹型 2 种类型瑕疵 检测结果中的 PPV 值均为最优值。在绳结型瑕 疵检测结果图中 ER 方法 f 值、TPR 值、PPV 值均 达到最优。TC 方法在细条纹、粗条纹瑕疵检测 中 f 值达到最优。总体来看，本文方法的查全率 优于其他 5 种算法。 (e) RB (f) WGIS (g) ER (h) TC 图 10 不同方法对点形图绳结瑕疵图像的检测结果 Fig. 10 Detection results of different methods on dot￾shaped knots defect images (a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB (e) RB (f) WGIS (g) ER (h) TC 图 11 不同方法对点形图细条纹瑕疵图像的检测结果 Fig. 11 Detection results of different methods on dot￾shaped thin bars defect images (a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB (e) RB (f) WGIS (g) ER (h) TC 图 12 不同方法对点形图粗条纹瑕疵图像的检测结果 Fig. 12 Detection results of different methods on dot￾shaped thick bars defect images 4 结束语 本文提出了一种基于结构相似性与模板校正 的织物瑕疵检测方法。针对包含复杂周期的图案 织物的疵点检测问题，将图像按周期自动分割， 为了减小由图像局部形变造成的晶格间不匹配的 局限性的影响。通过基于模板的方法进行校正， 再利用晶格间的 SSIM，将瑕疵点检测问题转为图 像晶格的二分类问题，对瑕疵晶格进行标记，完 成瑕疵晶格的定位，根据提出的阈值准则对晶格 进行像素级的检测。本文算法对星形图和盒形图 在 PPV、TPR、f 值对比传统算法有很大的提高。 点形图两种瑕疵图检测结果 TPR 比传统算法要 好,但会出现少部分像素点的误检，因为点形图类 型纺织品的图案较为复杂,图像具有较多的纹理 信息。在实际应用中还需进一步探讨基于图像特 (a) 原图 (b) 瑕疵基准图 (c) 本文算法 (d) BB 征的晶格分割的方法。 ·482· 智 能 系 统 学 报 第 15 卷

第3期 杨达，等：基于结构相似性与模板校正的织物瑕疵检测方法 ·483· 参考文献： terned fabric inspection using Bollinger bands[J].Optical engineering,2006,45(8:087202. [1]TSAI D M,CHEN Mingchun,LI Weichen,et al.A fast [15]NGAN H Y T.PANG G K H.Regularity analysis for pat- regularity measure for surface defect detection[J].Ma- terned texture inspection[J].IEEE transactions on automa- chine vision and applications,2012,23(5):869-886. tion science and engineering,2009,6(1):131-144 [2]步红刚，黄秀宝，汪军.基于多分形特征参数的织物瑕疵 [16]NG MK,NGAN H Y T,YUAN Xiaoming,et al.Pat- 检测J.计算机工程与应用，2007,43(36)：233-237 terned fabric inspection and visualization by the method BU Honggang,HUANG Xiubao,WANG Jun.Fabric de- of image decomposition[J].IEEE transactions on automa- fects detection based on multiple fractal features[J.Com- tion science and engineering,2014,11(3):943-947. puter engineering and applications,2007,43(36):233-237. [17]CHANG Xingzhi,GU Chengxi,LIANG Jiuzhen,et al. [3]MAK K L,PENG P,YIU K F C.Fabric defect detection Fabric defect detection based on pattern template correc- using morphological filters[J.Image and vision comput- tion[J].Mathematical problems in engineering,2018, ing.2009,27(10:1585-1592. 2018:3709821. [4]AZIZ M A,HAGGAG A S,SAYED M S.Fabric defect [18]TSANG CS C,NGAN H Y T,PANG G K H.Fabric in- detection algorithm using morphological processing and spection based on the Elo rating method[J].Pattern recog- DCT[C]//Proceedings of the 2013 1st International Confer- nition,.2016,51:378-394. ence on Communications,Signal Processing,and their Ap- [19]马慧，王科俊.采用旋转校正的指静脉图像感兴趣区域 plications.Sharjah,United Arab Emirates,2013:1-4. 提取方法[.智能系统学报，2012,7(3)：230-234 [5]CHAN C H,PANG G K H.Fabric defect detection by MA Hui,WANG Kejun.A region of interest extraction Fourier analysis[].IEEE transactions on industry applica- method using rotation rectified finger vein images[]]. tios,2000,36(5)1267-1276. CAAI transactions on intelligent systems,2012,7(3): [6]KUMAR A,PANG G.Defect detection in textured materi- 230-234. als using Gabor filters[Cl//Proceedings of the Conference [20]WANG Zhou,BOVIK A C,SHEIKH H R,et al.Image Record of the 2000 IEEE Industry Applications Confer- quality assessment:from error visibility to structural sim- ence.Thirty-Fifth IAS Annual Meeting and World Confer- ilarity[J].IEEE transactions on image processing,2004, ence on Industrial Applications of Electrical Energy. 13(4):600-612. Rome,Italy,2002. [21]HUANG Y J,POWERS R,MONTELIONE G T.Protein [7]ZUO Haiqin,WANG Yujie,YANG Xuezhi,et al.Fabric NMR recall,precision,and F-measure scores (RPF defect detection based on texture enhancement[C]//Pro- scores):structure quality assessment measures based on ceedings of the 2012 5th International Congress on Image information retrieval statistics[J].Journal of the Americ- and Signal Processing.Chongqing,China,2012:876-880. an chemical society,2005,127(6):1665-1674. [8]COHEN FS,FAN Z,ATTALI S.Automated inspection of 作者简介： textile fabrics using textural models[J].IEEE transactions on pattern analysis and machine intelligence,1991,13(8): 杨达，硕士研究生，主要研究方向 803-808. 为图像处理。 [9]ZHOU Jian,SEMENOVICH D,SOWMYA A,et al. Sparse dictionary reconstruction for textile defect detec- tion[C]//Proceedings of the 2012 11th International Con- ference on Machine Learning and Applications.Boca Raton,.USA,2012:21-26. [10]KANG Zhigiang,YUAN Chaohui,YANG Qian.The fab- 狄岚，副教授，主要研究方向为模 ric defect detection technology based on wavelet trans- 式识别和数字图像处理。参与国家级 form and neural network convergence[C]/Proceedings of 及省部级科研项目6项。获得省级自 2013 IEEE International Conference on Information and 然科学学术奖1次，中国行业联合会 Automation.Yinchuan,China,2013:597-601. 科学技术奖3次。发表学术论文 [11]GHOSH A,GUHA T,BHAR R B,et al.Pattern classific- 40余篇。 ation of fabric defects using support vector machines[J]. International journal of clothing science and technology, 2011,23(2/3):142-151. 赵树志，硕士研究生，主要研究方 [12]CHETVERIKOV D.Pattern regularity as a visual key[J]. 向为机器视觉。 Image and vision computing,2000,18(12):975-985. [13]NGAN H Y T.PANG G K H,YUNG S P,et al.Wavelet based methods on patterned fabric defect detection[J]. Pattern recognition,2005,38(4):559-576. [14]NGAN H Y T,PANG G K H.Novel method for pat-

参考文献： TSAI D M, CHEN Mingchun, LI Weichen, et al. A fast regularity measure for surface defect detection[J]. Ma￾chine vision and applications, 2012, 23(5): 869–886. [1] 步红刚, 黄秀宝, 汪军. 基于多分形特征参数的织物瑕疵 检测 [J]. 计算机工程与应用, 2007, 43(36): 233–237. BU Honggang, HUANG Xiubao, WANG Jun. Fabric de￾fects detection based on multiple fractal features[J]. Com￾puter engineering and applications, 2007, 43(36): 233–237. [2] MAK K L, PENG P, YIU K F C. Fabric defect detection using morphological filters[J]. Image and vision comput￾ing, 2009, 27(10): 1585–1592. [3] AZIZ M A, HAGGAG A S, SAYED M S. Fabric defect detection algorithm using morphological processing and DCT[C]//Proceedings of the 2013 1st International Confer￾ence on Communications, Signal Processing, and their Ap￾plications. Sharjah, United Arab Emirates, 2013: 1–4. [4] CHAN C H, PANG G K H. Fabric defect detection by Fourier analysis[J]. IEEE transactions on industry applica￾tions, 2000, 36(5): 1267–1276. [5] KUMAR A, PANG G. Defect detection in textured materi￾als using Gabor filters[C]//Proceedings of the Conference Record of the 2000 IEEE Industry Applications Confer￾ence. Thirty-Fifth IAS Annual Meeting and World Confer￾ence on Industrial Applications of Electrical Energy. Rome, Italy, 2002. [6] ZUO Haiqin, WANG Yujie, YANG Xuezhi, et al. Fabric defect detection based on texture enhancement[C]//Pro￾ceedings of the 2012 5th International Congress on Image and Signal Processing. Chongqing, China, 2012: 876–880. [7] COHEN F S, FAN Z, ATTALI S. Automated inspection of textile fabrics using textural models[J]. IEEE transactions on pattern analysis and machine intelligence, 1991, 13(8): 803–808. [8] ZHOU Jian, SEMENOVICH D, SOWMYA A, et al. Sparse dictionary reconstruction for textile defect detec￾tion[C]//Proceedings of the 2012 11th International Con￾ference on Machine Learning and Applications. Boca Raton, USA, 2012: 21–26. [9] KANG Zhiqiang, YUAN Chaohui, YANG Qian. The fab￾ric defect detection technology based on wavelet trans￾form and neural network convergence[C]//Proceedings of 2013 IEEE International Conference on Information and Automation. Yinchuan, China, 2013: 597–601. [10] GHOSH A, GUHA T, BHAR R B, et al. Pattern classific￾ation of fabric defects using support vector machines[J]. International journal of clothing science and technology, 2011, 23(2/3): 142–151. [11] CHETVERIKOV D. Pattern regularity as a visual key[J]. Image and vision computing, 2000, 18(12): 975–985. [12] NGAN H Y T, PANG G K H, YUNG S P, et al. Wavelet based methods on patterned fabric defect detection[J]. Pattern recognition, 2005, 38(4): 559–576. [13] [14] NGAN H Y T, PANG G K H. Novel method for pat￾terned fabric inspection using Bollinger bands[J]. Optical engineering, 2006, 45(8): 087202. NGAN H Y T, PANG G K H. Regularity analysis for pat￾terned texture inspection[J]. IEEE transactions on automa￾tion science and engineering, 2009, 6(1): 131–144. [15] NG M K, NGAN H Y T, YUAN Xiaoming, et al. Pat￾terned fabric inspection and visualization by the method of image decomposition[J]. IEEE transactions on automa￾tion science and engineering, 2014, 11(3): 943–947. [16] CHANG Xingzhi, GU Chengxi, LIANG Jiuzhen, et al. Fabric defect detection based on pattern template correc￾tion[J]. Mathematical problems in engineering, 2018, 2018: 3709821. [17] TSANG C S C, NGAN H Y T, PANG G K H. Fabric in￾spection based on the Elo rating method[J]. Pattern recog￾nition, 2016, 51: 378–394. [18] 马慧, 王科俊. 采用旋转校正的指静脉图像感兴趣区域 提取方法 [J]. 智能系统学报, 2012, 7(3): 230–234. MA Hui, WANG Kejun. A region of interest extraction method using rotation rectified finger vein images[J]. CAAI transactions on intelligent systems, 2012, 7(3): 230–234. [19] WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural sim￾ilarity[J]. IEEE transactions on image processing, 2004, 13(4): 600–612. [20] HUANG Y J, POWERS R, MONTELIONE G T. Protein NMR recall, precision, and F-measure scores (RPF scores): structure quality assessment measures based on information retrieval statistics[J]. Journal of the Americ￾an chemical society, 2005, 127(6): 1665–1674. [21] 作者简介： 杨达，硕士研究生，主要研究方向 为图像处理。 狄岚，副教授，主要研究方向为模 式识别和数字图像处理。参与国家级 及省部级科研项目 6 项。获得省级自 然科学学术奖 1 次，中国行业联合会 科学技术奖 3 次。发表学术论文 40 余篇。 赵树志，硕士研究生，主要研究方 向为机器视觉。 第 3 期 杨达，等：基于结构相似性与模板校正的织物瑕疵检测方法 ·483·