D0I:10.13374/j.issnl001-t13.2007.0B.02 第29卷第3期 北京科技大学学报 Vol.29 No.3 2007年3月 Journal of University of Science and Technology Beijing ar,2007 基于结构谱的中厚板表面缺陷识别方法 宋强2)徐科)徐金梧3) 1)北京科技大学高效轧制国家工程研究中心，2)中国石油大学（北京）机电工程学院，北京102249 3)北京科技大学机械工程学院，北京100083 摘要为克服传统纹理分析的缺陷识别结果易受光照变化和氧化铁皮不利影响的缺点，提出了结构谱纹理分析方法，并将 其应用于中厚板表面麻点、夹杂、结疤等缺陷的识别，实验结果表明，结构谱方法具有较好的光照不变性，对麻点、夹杂、结疤 等缺陷的识别率要高于灰度共生矩阵、Lws纹理能量、傅里叶功率谱等其他纹理分析方法· 关键词中厚板：表面检测：结构谱：纹理分析 分类号TP391.4 中厚板表面质量的优劣将直接影响最终产品的 点、夹杂、结疤均具有独特的纹理特征，可采用基于 性能和质量，随着市场竞争的加剧，越来越多的钢 纹理分析的识别方法).基于纹理分析的中厚板表 铁企业认识到在线自动识别钢板表面缺陷对于提高 面在线监测技术目前存在两个困难：(1)由于生产工 钢铁企业的产品质量和生产效益起着至关重要的作 艺的原因，中厚板表面往往存在大量形状、颜色各异 用.许多知名钢铁企业纷纷投入巨资，用以加快中 的氧化铁皮，如图1，氧化铁皮不属于中厚板表面缺 厚板表面在线监测系统的研制工作)] 陷，但由于其外观形貌与缺陷非常类似，因此易被监 1问题的提出 测系统误识为缺陷，(2)由于干扰光和中厚板不平 表面的影响，现场光照条件经常变化，如图2.现场 基于机器视觉的中厚板表面在线监测系统通过 光照条件的变化给钢板图像带来光照不均、曝光过 对中厚板表面图像的分析来确定中厚板的表面质量 度、曝光不足等各种不利影响，并影响缺陷的图像特 状况，在中厚板各类表面缺陷中，裂纹具有明显的 征，从而给缺陷识别带来困难 形态特征，可采用基于形态分析的识别方法；对于麻 图1中厚板表面的氧化铁皮 Fig-1 Scales on medium and heavy plates 2结构谱纹理分析方法 2.1基本结构模板 纹理图像的微观结构蕴涵着丰富的纹理信息， 任何复杂的纹理结构都可分解为点、线、波纹三种基 图2不同光照下的麻点缺陷 Fig.2 Pits under different illuminations 本微观结构，为描述这三种基本微观结构，本文 定义了如图3所示的八个基本结构模板，其中(a)为 八邻域点结构模板，(b),(©)为四邻域点结构模板， 收稿日期：2005-12-19修回日期：2006-05-11 基金项目：国家“863”计划资助项目(No-2003AA331080;No (d)~(g)分别为水平、45°、竖直、135°线结构模板， 2001AA339030) (h)为波纹结构模板 作者简介：宋强(1979一)，男，博士研究生：徐金梧(1949-)，男， 对于一个中心位于(i,j)处的3×3区域，九个 教授，博士 区域像素的灰度值分别记为g(i一1，j一1)，g(i一
基于结构谱的中厚板表面缺陷识别方法 宋 强12） 徐 科1） 徐金梧3） 1） 北京科技大学高效轧制国家工程研究中心 2） 中国石油大学（北京）机电工程学院北京102249 3） 北京科技大学机械工程学院北京100083 摘 要 为克服传统纹理分析的缺陷识别结果易受光照变化和氧化铁皮不利影响的缺点提出了结构谱纹理分析方法并将 其应用于中厚板表面麻点、夹杂、结疤等缺陷的识别．实验结果表明结构谱方法具有较好的光照不变性对麻点、夹杂、结疤 等缺陷的识别率要高于灰度共生矩阵、Laws 纹理能量、傅里叶功率谱等其他纹理分析方法． 关键词 中厚板；表面检测；结构谱；纹理分析 分类号 TP391∙4 收稿日期：20051219 修回日期：20060511 基金 项 目：国 家 “863” 计 划 资 助 项 目 （No．2003AA331080；No． 2001AA339030） 作者简介：宋 强（1979—）男博士研究生；徐金梧（1949—）男 教授博士 中厚板表面质量的优劣将直接影响最终产品的 性能和质量．随着市场竞争的加剧越来越多的钢 铁企业认识到在线自动识别钢板表面缺陷对于提高 钢铁企业的产品质量和生产效益起着至关重要的作 用．许多知名钢铁企业纷纷投入巨资用以加快中 厚板表面在线监测系统的研制工作［1—2］． 1 问题的提出 基于机器视觉的中厚板表面在线监测系统通过 对中厚板表面图像的分析来确定中厚板的表面质量 状况．在中厚板各类表面缺陷中裂纹具有明显的 形态特征可采用基于形态分析的识别方法；对于麻 点、夹杂、结疤均具有独特的纹理特征可采用基于 纹理分析的识别方法［3］．基于纹理分析的中厚板表 面在线监测技术目前存在两个困难：（1）由于生产工 艺的原因中厚板表面往往存在大量形状、颜色各异 的氧化铁皮如图1．氧化铁皮不属于中厚板表面缺 陷但由于其外观形貌与缺陷非常类似因此易被监 测系统误识为缺陷．（2）由于干扰光和中厚板不平 表面的影响现场光照条件经常变化如图2．现场 光照条件的变化给钢板图像带来光照不均、曝光过 度、曝光不足等各种不利影响并影响缺陷的图像特 征从而给缺陷识别带来困难． 图1 中厚板表面的氧化铁皮 Fig．1 Scales on medium and heavy plates 图2 不同光照下的麻点缺陷 Fig．2 Pits under different illuminations 2 结构谱纹理分析方法 2∙1 基本结构模板 纹理图像的微观结构蕴涵着丰富的纹理信息 任何复杂的纹理结构都可分解为点、线、波纹三种基 本微观结构［4］．为描述这三种基本微观结构本文 定义了如图3所示的八个基本结构模板其中（a）为 八邻域点结构模板（b）（c）为四邻域点结构模板 （d）～（g）分别为水平、45°、竖直、135°线结构模板 （h）为波纹结构模板． 对于一个中心位于（ ij）处的3×3区域九个 区域像素的灰度值分别记为 g（ i—1j—1）g（ i— 第29卷 第3期 2007年 3月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol．29No．3 Mar．2007 DOI:10．13374／j．issn1001－053x．2007．03．021
第3期 宋强等：基于结构谱的中厚板表面缺陷识别方法 .343 1,j)g(i-1,j+1),g(ij1),g(i,j),g(i,j+ y T.∈MAX 1),g(计1，j1),g(计1，j),g(+1,j+1)该 Pn 0,T MAX (2) 3×3区域的基本结构模板响应值定义为： 式中，MAX为值最大的四个T。所组成的集合 T.=.空之M(g(tj+ 结构模式能够反映图像3×3区域的主要结构 信息，灰度线性变化只影响基本结构模板的响应 式中，Mm为第n个基本结构模板，tn为相应模板的 值，却不会影响各响应值的相互关系，也就是说，灰 响应系数，其中八邻域点结构模板和波纹结构模板 度线性变化不会改变集合MAX的内容，因此也不 的响应系数为1/8，四邻域点结构模板的响应系数 改变图像3×3区域的结构模式，即结构模式具有灰 为1/4，线结构模板的响应系数为1/6，Tm越大，表 度线性不变性 明该3×3区域的结构与基本结构模板Mm越相似， 结构模式是一个八位二值模式，每种结构模式 ~1 都可用结构模式标识符NsP来表示： (3) 0 -1 N=之p.X2 n=0 (a) 6 (c) (d) 2.3结构谱 图像中所有结构模式的出现频率定义为结构谱 (structure spectrum): -1 -2 P(Nsp)=nN/n (4) (e) () (g) (h) 式中，nN为图像中标识符为Nsp的结构模式个数， 图3八个基本结构模板 n为图像中所有结构模式的个数 Fig.3 Eight essential structure masks 结构谱是一个包含256个特征值的一维特征向 2.2结构模式 量，其中第k个特征值表示第k种结构模式在整幅 为消除灰度线性变化对基本结构模板响应值的 图像中的出现频数，结构谱体现了各种结构模式的 影响，本文提出了结构模式的概念 整体分布，能够反映图像纹理的局部和全局特征，可 对于一个3×3区域，八个基本结构模板可得到 直接作为纹理特征用于纹理分析，不同的纹理图像 八个响应值T,将值最大的四个T。组成一个集 会具有不同的结构谱，如图4所示 合，用MAX表示，则该3×3区域的结构模 光照变化会引起图像局部的灰度线性变 式(structure pattern)定义为SP=ipo,p1,p2,p3, 化]，由于结构模式具有灰度线性不变性，因此结 p4,p5,p6,p7{,其中： 构谱具有较好的光照不变性，如图5所示 0.4 0.4 03 02 03 0.1 LLLLLL 4080120160200240 4080120160200240 结构模式 结构模式 (a) (b) 图4两幅纹理图像及其结构增 Fin.4 Two texture imanes and their structure snectra 0.6 0.6 0.4 04080120160200240 0 40 80120160200240 结构模式 结构模式 (a) (b) 图5不同光照下的纹理图像及其结构谱 Fig.5 Texture images under different illuminations and their structure spectra
1j）g（ i—1j＋1）g（ ij—1）g（ ij）g（ ij＋ 1）g（ i＋1j—1）g（ i＋1j）g（ i＋1j＋1）．该 3×3区域的基本结构模板响应值定义为： T n＝t n ∑ 1 x＝－1∑ 1 y＝－1 Mn（ xy） g（ i＋ xj＋y） （1） 式中Mn 为第 n 个基本结构模板t n 为相应模板的 响应系数其中八邻域点结构模板和波纹结构模板 的响应系数为1／8四邻域点结构模板的响应系数 为1／4线结构模板的响应系数为1／6．T n 越大表 明该3×3区域的结构与基本结构模板 Mn 越相似． 图3 八个基本结构模板 Fig．3 Eight essential structure masks 2∙2 结构模式 为消除灰度线性变化对基本结构模板响应值的 影响本文提出了结构模式的概念． 对于一个3×3区域八个基本结构模板可得到 八个响应值 T n将值最大的四个 T n 组成一个集 合用 MAX 表 示 则 该3×3区 域 的 结 构 模 式（structure pattern）定义为 SP＝｛p0p1p2p3 p4p5p6p7｝其中： p n＝ 1 T n∈MAX 0 T n∈／MAX （2） 式中MAX 为值最大的四个 T n 所组成的集合． 结构模式能够反映图像3×3区域的主要结构 信息．灰度线性变化只影响基本结构模板的响应 值却不会影响各响应值的相互关系．也就是说灰 度线性变化不会改变集合 MAX 的内容因此也不 改变图像3×3区域的结构模式即结构模式具有灰 度线性不变性． 结构模式是一个八位二值模式每种结构模式 都可用结构模式标识符 NSP来表示： NSP＝ ∑ 7 n＝0 p n×2n （3） 2∙3 结构谱 图像中所有结构模式的出现频率定义为结构谱 （structure spectrum）： P（ NSP）＝ nNSP／n （4） 式中nNSP为图像中标识符为 NSP的结构模式个数 n 为图像中所有结构模式的个数． 结构谱是一个包含256个特征值的一维特征向 量其中第 k 个特征值表示第 k 种结构模式在整幅 图像中的出现频数．结构谱体现了各种结构模式的 整体分布能够反映图像纹理的局部和全局特征可 直接作为纹理特征用于纹理分析．不同的纹理图像 会具有不同的结构谱如图4所示． 光照 变 化 会 引 起 图 像 局 部 的 灰 度 线 性 变 化［5—6］由于结构模式具有灰度线性不变性因此结 构谱具有较好的光照不变性如图5所示． 图4 两幅纹理图像及其结构谱 Fig．4 Two texture images and their structure spectra 图5 不同光照下的纹理图像及其结构谱 Fig．5 Texture images under different illuminations and their structure spectra 第3期 宋 强等： 基于结构谱的中厚板表面缺陷识别方法 ·343·
344 北京科技大学学报 第29卷 归一化处理以消除样本尺寸的影响.由于GLCM, 3 中厚板表面缺陷识别 Laws,FPS易受光照变化的影响，因此在特征提取 3.1样本图像 前先对图像进行直方图均衡化处理1]. 本文使用的300幅中厚板表面样本图像均来自 3.3识别结果 国内某钢铁企业的中厚板生产线，包括50幅麻点样 实验选用三层BP神经网络作为缺陷的识别分 本、30幅夹杂样本、40幅结疤样本以及180幅各类 类器，其中神经网络的初始学习率为0.9，冲量项系 氧化铁皮样本. 数为0.7，迭代次数为5000. 3.2纹理特征 表1为GLCM,Laws,FPS和SS的训练结果 本文选择灰度共生矩阵(GLCM)[],Laws纹理 可以看出，各纹理特征对训练样本的分类识别率均 能量(Laws)[⑧]、傅里叶功率谱(FPS)9以及本文提 达到90%以上，这说明采用三层BP神经网络作为 出的结构谱(SS)等四类纹理特征，GLCM的距离参 缺陷的识别分类器是有效的，表2为GLCM,Laws, 数d=1,方向参数0=0°，45°，90°，135°，纹理特征 FPS和SS的分类结果.可以看出，结构谱的总体识 为角二阶矩、对比度、相关和熵.Laws纹理特征为 别率为80.0%，优于GLCM(63.0%),Laws L5L5,E5E5,S5S5,R5R5,E5L5,L5E5,S5L5, (69.5%)和FPS(62.07%)等纹理特征，这说明结构 L5S5,R5L5,L5R5,E5S5,S5E5,E5R5,R5E5, 谱方法比其他纹理分析方法能更好消除氧化铁皮和 SsR5和RsS5等16个纹理能量，各纹理特征均作 光照变化对缺陷识别的不利影响， 表1各纹理特征的调练结果 Table 1 Training results of texture features GLCM Laws FPS SS 缺陷类型 样本数 正确识别数 识别率/% 正确识别数识别率/% 正确识别数识别率/% 正确识别数识别率/% 麻点 25 24 96.0 25 100.0 子 100.0 5 100.0 夹杂 公 15 100.0 15 100.0 14 93.3 15 100.0 结疤 20 18 90.0 20 100.0 18 90.0 18 90.0 氧化铁皮 0 38 95.0 36 90.0 37 92.5 喝 95.0 总计 100 95 95.0 96 96.0 94 94.0 96 96.0 表2各纹理特征的分类结果 Table 2 Classification results of texture features GLCM Laws FPS SS 缺陷类型 样本数 正确识别数 识别率/% 正确识别数 识别率/% 正确识别数识别率/% 正确识别数识别率/% 麻点 25 17 68.0 21 84.0 20 80.0 21 84.0 夹杂 15 9 60.0 10 66.7 9 60.0 11 73.3 结疤 20 14 70.0 14 70.0 14 70.0 14 70.0 氧化铁皮 140 86 61.4 94 67.1 81 57.9 114 81.4 总计 200 126 63.0 139 69.5 124 62.0 160 80.0 结论 谱等方法相比，结构谱方法对麻点、夹杂、结疤等缺 4 陷具有更好的识别率 (1)提出了结构模式和结构谱.结构模式反映 了图像的基本微观结构，而且不受像素灰度线性变 参考文献 化的影响.结构谱反映了图像中各种结构模式的分 [1]吴平川，路同浚，王炎.机器视觉与钢板表面缺陷的无损检 布，具有较好的光照不变性，可直接作为纹理特征用 测.无损检测，2000,22(1)：13 [2]梁治国，徐科，徐金梧.基于线型激光的钢板表面缺陷三维检 于纹理分析， 测技术.北京科技大学学报，2004,26(6)：662 (2)将结构谱方法应用于中厚板表面缺陷识 [3]Bharati M H.Liu J J.MacGregor J F.Image texture analysis: 别.与灰度共生矩阵、Laws纹理能量和傅里叶功率 methods and comparisons.Chemom Intell Lab Syst.2004.72
3 中厚板表面缺陷识别 3∙1 样本图像 本文使用的300幅中厚板表面样本图像均来自 国内某钢铁企业的中厚板生产线包括50幅麻点样 本、30幅夹杂样本、40幅结疤样本以及180幅各类 氧化铁皮样本． 3∙2 纹理特征 本文选择灰度共生矩阵（GLCM） ［7］、Laws 纹理 能量（Laws） ［8］、傅里叶功率谱（FPS） ［9］以及本文提 出的结构谱（SS）等四类纹理特征．GLCM 的距离参 数 d＝1方向参数 θ＝0°45°90°135°纹理特征 为角二阶矩、对比度、相关和熵．Laws 纹理特征为 L5L5E5E5S5S5R5R5E5L5L5E5S5L5 L5S5R5L5L5R5E5S5S5E5E5R5R5E5 S5R5 和 R5S5 等16个纹理能量．各纹理特征均作 归一化处理以消除样本尺寸的影响．由于 GLCM LawsFPS 易受光照变化的影响因此在特征提取 前先对图像进行直方图均衡化处理［10］． 3∙3 识别结果 实验选用三层 BP 神经网络作为缺陷的识别分 类器其中神经网络的初始学习率为0∙9冲量项系 数为0∙7迭代次数为5000． 表1为 GLCMLawsFPS 和 SS 的训练结果． 可以看出各纹理特征对训练样本的分类识别率均 达到90％以上这说明采用三层 BP 神经网络作为 缺陷的识别分类器是有效的．表2为 GLCMLaws FPS 和 SS 的分类结果．可以看出结构谱的总体识 别 率 为 80∙0％优 于 GLCM （63∙0％）Laws （69∙5％）和 FPS（62∙0％）等纹理特征这说明结构 谱方法比其他纹理分析方法能更好消除氧化铁皮和 光照变化对缺陷识别的不利影响． 表1 各纹理特征的训练结果 Table1 Training results of texture features 缺陷类型 样本数 GLCM Laws FPS SS 正确识别数 识别率／％ 正确识别数 识别率／％ 正确识别数 识别率／％ 正确识别数 识别率／％ 麻点 25 24 96∙0 25 100∙0 25 100∙0 25 100∙0 夹杂 15 15 100∙0 15 100∙0 14 93∙3 15 100∙0 结疤 20 18 90∙0 20 100∙0 18 90∙0 18 90∙0 氧化铁皮 40 38 95∙0 36 90∙0 37 92∙5 38 95∙0 总计 100 95 95∙0 96 96∙0 94 94∙0 96 96∙0 表2 各纹理特征的分类结果 Table2 Classification results of texture features 缺陷类型 样本数 GLCM Laws FPS SS 正确识别数 识别率／％ 正确识别数 识别率／％ 正确识别数 识别率／％ 正确识别数 识别率／％ 麻点 25 17 68∙0 21 84∙0 20 80∙0 21 84∙0 夹杂 15 9 60∙0 10 66∙7 9 60∙0 11 73∙3 结疤 20 14 70∙0 14 70∙0 14 70∙0 14 70∙0 氧化铁皮 140 86 61∙4 94 67∙1 81 57∙9 114 81∙4 总计 200 126 63∙0 139 69∙5 124 62∙0 160 80∙0 4 结论 （1） 提出了结构模式和结构谱．结构模式反映 了图像的基本微观结构而且不受像素灰度线性变 化的影响．结构谱反映了图像中各种结构模式的分 布具有较好的光照不变性可直接作为纹理特征用 于纹理分析． （2） 将结构谱方法应用于中厚板表面缺陷识 别．与灰度共生矩阵、Laws 纹理能量和傅里叶功率 谱等方法相比结构谱方法对麻点、夹杂、结疤等缺 陷具有更好的识别率． 参 考 文 献 ［1］ 吴平川路同浚王炎．机器视觉与钢板表面缺陷的无损检 测．无损检测200022（1）：13 ［2］ 梁治国徐科徐金梧．基于线型激光的钢板表面缺陷三维检 测技术．北京科技大学学报200426（6）：662 ［3］ Bharati M HLiu J JMacGregor J F．Image texture analysis： methods and comparisons．Chemom Intell Lab Syst200472： ·344· 北 京 科 技 大 学 学 报 第29卷
第3期 宋强等：基于结构谱的中厚板表面缺陷识别方法 .345. 57 [7]Haralick R M.Shanmugam K.Dinstein I.Texture features for [4]Gonzalez RC,Woods R E.数字图像处理.2版.阮秋琦，阮宇 image classification.IEEE Trans Syst Man Cybern.1973.3: 智，译.北京：电子工业出版社，2003 610 [5]OjalaT.Pietiknen M.Maenpia T.Multiresolution gray scale [8]Laws K L.Texture Image Segmentation [D].University of and rotation invariant texture analysis with local binary patterns. Southern California:1980 IEEE Trans Pattern Anal Mach Intell.2002.24(7):971 [9]朊秋琦.数字图像处理学.北京：电子工业出版社，2001：419 [6]Ojala T,Valkealahti K,Oja E.et al.Texture discrimination [10]Chen D R.Chang R F.Chen CJ.et al.Classification of breast with multi-dimensional distributions of signed gray level differ uhtrasound images using fractal feature.JClin Imag.2005.29. ences.Pattern Recognit.2001.34:727 235 Recognition of surface defects on medium and heavy plates based on structure spec- trum SONG Qiang2),XU Ke),XU Jinwu3) 1)National Engineering Research Center for Advanced Rolling Technology.University of Science and Technology Beijing.Beijing 100083.China 2)Department of Mechanical and Electronic Engineering.China University of Petroleum (Beijing),Beijing 102249.China 3)Mechanical Engineering School.University of Science and Technology Beijing.Beijing 100083.China ABSTRACI In surface inspection of medium and heavy plates,defects recognition based on texture analysis suffers from mutative illuminations and scales.An illumination invariant texture analysis method named struc- ture spectrum was proposed and applied to recognition of surface defects on medium and heavy plates.Compared with other textural features such as gray level co-occurrence matrix,Laws texture energy,and Fourier power spectrum,higher classification rates were made by structure spectrum for classification of pits,scars and inclu- sions KEY WORDS medium and heavy plate;surface inspection;structure spectrum;texture analysis
57 ［4］ Gonzalez R CWoods R E．数字图像处理．2版．阮秋琦阮宇 智译．北京：电子工业出版社2003 ［5］ Ojala TPietikäinen MMäenpääT．Multiresolution gray scale and rotation invariant texture analysis with local binary patterns． IEEE Trans Pattern Anal Mach Intell200224（7）：971 ［6］ Ojala TValkealahti KOja Eet al．Texture discrimination with mult-i dimensional distributions of signed gray level differences．Pattern Recognit200134：727 ［7］ Haralick R MShanmugam KDinstein I．Texture features for image classification．IEEE Trans Syst Man Cybern19733： 610 ［8］ Laws K L．Texture Image Segmentation ［ D ］．University of Southern California1980 ［9］ 朊秋琦．数字图像处理学．北京：电子工业出版社2001：419 ［10］ Chen D RChang R FChen C Jet al．Classification of breast ultrasound images using fractal feature．J Clin Imag200529： 235 Recognition of surface defects on medium and heavy plates based on structure spectrum SONG Qiang 12）XU Ke 1）XU Jinw u 3） 1） National Engineering Research Center for Advanced Rolling TechnologyUniversity of Science and Technology BeijingBeijing100083China 2） Department of Mechanical and Electronic EngineeringChina University of Petroleum （Beijing）Beijing102249China 3） Mechanical Engineering SchoolUniversity of Science and Technology BeijingBeijing100083China ABSTRACT In surface inspection of medium and heavy platesdefects recognition based on texture analysis suffers from mutative illuminations and scales．An illumination invariant texture analysis method named structure spectrum was proposed and applied to recognition of surface defects on medium and heavy plates．Compared with other textural features such as gray level co-occurrence matrixLaws texture energyand Fourier power spectrumhigher classification rates were made by structure spectrum for classification of pitsscars and inclusions． KEY WORDS medium and heavy plate；surface inspection；structure spectrum；texture analysis 第3期 宋 强等： 基于结构谱的中厚板表面缺陷识别方法 ·345·