第7卷第1期 智能系统学报 Vol.7 No.1 2012年2月 CAAI Transactions on Intelligent Systems Feh.2012 D0I:10.3969/j.i8sn.1673-4785.201111020 基于图像显著性特征的铸坯表面缺陷检测 吴家伟，严京旗，方志宏2，夏勇2，陆敏健 (1.上海交通大学图像处理与模式识别研究所，上海200030：2.宝山钢铁股份有限公司研究院，上海201900：3.宝 山钢铁股份有限公司设备部，上海201900) 摘要：针对钢铁铸坯表面检测的缺陷复杂性问题，从图像处理及图形特征角度提出一种基于显著性区域特征的算 法.该算法首先对源图像进行显著性特征区域处理和Gor小波滤波处理，得到了对应的特征图像；然后再将2幅图 像中的特征区域进行融合，得到可信度较高的缺陷特征区域图像；最后在缺陷区域中用训练好的Ad山boost分类器检 测缺陷，得到最终的缺陷定位结果.该算法结合了显著性特征和Gabor小波特征，既缩小了Adaboost分类器的搜索范 围，也提高了排除伪缺陷的能力，具有较快的定位速度和较高的准确率.实验结果表明，该算法能获得较好的效果， 具有较高的实用价值. 关键词：铸坯表面：缺陷检测；显著性区域：特征提取：Gabor小波；Adaboost分类器 中图分类号：TP391.4文献标志码：A文章编号：16734785(2012)01007506 Defect detection on a steel slab surface based on the characteristics of an image's saliency region WU Jiawei',YAN Jingqi',FANG Zhihong,XIA Yong,LU Minjian3 (1.Institute of Image Processing Pattern Recognition,Shanghai Jiao Tong University,Shanghai 200030,China;2.Institute of Baos- han Iron Steel Co.,Ltd.,Shanghai 201900,China;3.Equipment Department of Baoshan Iron Steel Co.,Ltd.,Shanghai 201900, China) Abstract:In considering complex defect conditions in steel slab surface detection,a new defect detection method based on the saliency region was presented from the viewpoint of image processing and graphics features.First,by the processing of saliency region characteristics and Gabor wavelet filtering,the feature image was obtained,and then the characteristic regions in the two images were fused to obtain a highly reliable image of the defect region characteristics.Finally,the defect was detected by a well-trained Adaboost classifier in the fused defect region, thereby obtaining the final defect positioning result.The algorithm combines saliency region characteristics and Ga- bor wavelet features;it not only narrows the search range of the Adaboost classifier,but also improves the ability to exclude pseudo-defects.Consequently,it has faster positioning speed and higher accuracy.The algorithm per- formed well in the experiment and possesses high practical value. Keywords:steel slab surface;defect detection;saliency region;feature extraction;Gabor wavelet;Adaboost classifier 作为钢铁材料最为重要的质量因素之一，钢铁 制和提高钢铁产品的表面质量，一直是钢铁生产企 铸坯的表面质量的优劣直接影响其产品的性能和质 业非常关注的问题， 量.由于设备和工艺等影响钢板表面会出现不同类 目前关于表面缺陷检测比较有效的方法有基于 型的缺陷.这些缺陷不仅影响产品外观，而且降低了 对比的模糊增长方法、基于SVM的显著区域提取 产品的抗腐蚀性、耐磨性和强度等性能.因此如何在 方法[21和谱分析能量分割法等.但是为了快速准确 生产过程中在线检测钢铁铸坯的表面缺陷，从而控 地检测出钢板表面的实际缺陷，需要尽可能缩小检 测范围，同时减少漏检情况，保证在有多处缺陷的同 收稿日期：2011-11-23. 一钢板上至少能检测出一处缺陷.针对快速检测要 基金项目：国家自然科学基金资助项目(60873137). 通信作者：严京旗.E-mail:jqan@jtu.e.cn, 求，选用计算神经科学中模拟视觉检索的显著性检
·76 智能系统学报 第7卷 测模型，利用图像的统计特性，通过加入可变化的弹 尺度的图像特征，他们仅在较为粗糙的层面上大致 性阈值，快速检测出图像中的显著区域，并通过自动 计算了图像的特征图.实际上，该方法只生成了一 反馈修改阈值，调节显著区域面积大小.本文主要结 个很模糊的视觉显著性区域图.本文方法与其不同 合在Lab颜色空间下的图像显著性区域和Gabor小 之处在于，快速生成了一个精细的并与输人图像尺 波处理所得到的区域进行检测，在缩小检测范围的 寸相同的显著性图。 同时提高检测速率和准确率 Goferman等[4提出了一种基于上下文的显著 性区域算法，其目标是检测图像中代表某些场景的 1显著性区域 图像区域.他们认为像素的显著性应该由以该像素 首先，有必要了解一下视觉显著性.如在图1 为中心的图像块表示或与之相关，因为这样才反应 中，A要比其他部分更加突出，因此能够迅速引起观 了像素所在位置的图像上下文信息.这样，如果以像 察者的注意.这种突出性就是视觉显著性，突出性较 素i为中心的图像块P:与图像中所有其他的图像块 强的A部分就是该图像的显著区域.心理学研究发 差异都非常大，那么可以将像素认为是显著的， 现，那些能够产生新异的、较强的和人所期待的刺激 定义d(P:,卫)为向量化了的图像块P:和p之 场景区域容易引起观察者的注意.据此，可以将视觉 间在CIE Lab颜色空间中的Euclid距离，并且归一 显著性划分为2种类型：一种是基于低级视觉，由数 化到[0,1]；当d.(p:,P)对任意的图像块P都非常 据驱动的自下向上的视觉显著性(bottom-p sali- 大时，则认为像素（图像块P:)是显著的.再定义 ency),图2中的视觉显著性就属于这种类型；另一 d,(p:,P)为图像块p:和p所在位置之间的Euclid 种是基于高层视觉，由知识驱动的自上向下的视觉 距离，并且也被归一化到[0,1]，基于上面的思想， 显著性(top-down saliency).由于这2种视觉显著性 Goferman等定义了一个衡量一对图像块的相似性的 的形成机理存在较大差异，因此有必要分别对其展 方法： 开研究.本文的研究就是针对前者展开的。 d.(p,p） d(PiPj)=I+cxd(P:Pi)' (1) 在Goferman等提出的方法中，只考虑K个最相 似的图像块（如果最相似的图像块都明显地不同于 图像块卫：，那么显然图像中的所有图像块都明显地 不同于图像块P:).因此，对于每一个图像块P:,在输 入图像中根据式(1)找出K个最相似的图像块，并 根据式(2)计算位置i处像素的显著性 s=1-em-2a小 (2) Iti等的方法和Goferman等的方法都能有效地 图1视觉显著性示例 Fig.1 Example of saliency 检测出输人图像的视觉显著性区域，但是由于在精细 的原图上直接检测视觉显著性图的计算量巨大，所以 图像的显著性区域检测是计算机视觉中的挑战 他们都只制作了一个粗略检测的视觉显著性图. 性难题之一，由于依赖于显著性区域的应用种类繁 多，因此存在很多不同的显著性区域定义和感兴趣 2显著性区域检测模型 区域的检测算法.有一类显著性区域检测算法关注 本文提出的钢铁铸坯表面缺陷显著性区域的检 于找出人类观察者第一眼所注意到的固定点或对 测模型如图2所示.其模型总共包含3个模块，即预 象，这类显著性对于理解人类关注点和特定的应用 处理模块、生成显著性图和感兴趣区域提取.首先将 (如自动聚焦)都非常重要，其他的显著性检测算法 原始图像进行预处理，包括滤波、图像尺寸调整和颜 更加注重于检测图像中的单个主要对象 色空间转换；然后通过计算图像中每个像素的全局 I等[3]根据早期原始视觉系统的行为和神经 对比度，继而得到原图的显著性区域图，再对显著性 网络结构提出了一个视觉关注系统.I等的算法将 区域图进行阈值选取，提取得到具有极高显著性的 多尺度的图像特征组合到一个单一视觉显著性图 大致轮廓和区域；最后再结合Gabor小波的滤波处 中，这些多尺度的图像特征包括6个亮度特征图、12 理结果，可以准确地标注出更为可靠的显著性区域， 个彩色和24个方向特征图.为了快速地检测这些多 并从原图中分割出来
第1期 吴家伟，等：基于图像显著性特征的俦坯表面缺陷检测 ·77 源图像 al commission on illumination,CE)于1976年制定 的色彩模式，它用3个基本坐标L、a、b分别表示颜 色的亮度(L=0表示黑色，L=100表示白色)，在红 数学形态学处理 (归一化、滤波等) 色、品红色和绿色之间的位置(a为负值表示绿色， 正值表示品红色)以及在黄色和蓝色之间的位置(b 色彩空间转换 为负值表示蓝色，正值表示黄色). Gabor/小波变换 RGB--Lab Lab色彩模型不仅包含了RGB的所有色域，并 且RGB不能表现的色彩都能通过Lab模型表现出 显著性区域信息 Gabori边缘信息 来，而且这些色彩是用人的肉眼就能感知的色彩 特征提取 特征提取 Lb色彩模型的优点还在于它弥补了RGB模型色 提取显著性的 提取边缘特征 彩分布不均的不足，RGB模型在蓝色到绿色之间的 区域种子点 的区域种子点 过渡色彩过多，而在绿色到红色之间又缺少黄色和 其他色彩.从RGB颜色空间到Lab颜色空间的转换 公式为式(3)： 将2种方法获取的区域种子 r0.21260.71520.0722 点进彳了融合，通过匹配选取 0.3264 0.5 0.1736 可信度高的种子点 -0.12170.3783 -0.5J 「R 对每组种子点进行以域生长， 128 (3) 获取完整的裂纹区域 128 2.2显著性区域提取 输出处理结果 2.2.1显著性区域 图2铸还表面显著性区域检测的模块流程 在实际工程中，图像中的一个显著性区域不是 Fig.2 The flow chat of saliency region detecting model 通过该区域的某些像素灰度值体现出来的，而是通 2.1图像预处理 过该区域与其周围区域的对比度体现出来的，并且 2.1.1高斯滤波 图像中具有高对比度的区域很容易引起人的注意 在钢铁铸坯表面图像采集的过程中，由于环境 因此，通过计算图像中每个像素的全局对比度便可 影响、铸坯表面氧化、保护渣及冷却水残留，都会导 以得到每个像素的显著性，一些文献已经给出了计 致图像有一定的噪声和失真，因此源图像需要进行 算对比度的方法[6$]，但实现起来都比较复杂，本文 滤波处理，滤波可以在空域进行，也可以在频域进 采用一种简单有效的计算对比度的方法，计算像素 行，空域滤波常用的方法有高斯滤波、均值滤波和中 x的色调全局对比值如式(4)： 值滤波法等，高斯滤波是用卷积核与输入图像的每 8(): (1L(x)-I×H().(4)》 个点进行卷积，最终将计算结果作为输出图像的滤 L=VLmin 波结果.它是一种非线性滤波法，是最常用的预处理 式中：L(x)表示像素x的亮度值，H为图像亮度值 技术，能有效地滤除随机脉冲噪声，但在消除噪声的 的直方图，V,和V,m=分别是图像亮度值的最小值 同时也会使图像细节变得模糊，这样无法同时保护 和最大值.同理，计算像素x在维度a和维度b的对 图像边缘信息的完整性，使得滤波后的图像轮廓比 比值的方法如式(5)和(6)所示，其中各个变量的含 较模糊.由于显著性区域算法并不完全依赖于边缘 义与式(4)相似. 信息，因此采用高斯平滑滤波，并且其基本思想是空 S.(x)= ,(1a(x)-v.I×H.(a),(5) 间内相邻像素变化缓慢，因此相邻点的像素变化不 a=Yo,min 会太明显，并且由于空间噪声没有相互关系，这可能 S(x)=】 ,(Ib(x)-v61×H(6)).(6) 会造成很大的像素差.基于此原因的高斯滤波在保 鸭=%，min 留信号的条件下尽量降低了噪声的影响. 因此，利用式(7)便可计算出图像中每个像素 2.1.2颜色空间转换 的显著性。 Lab颜色空间是由国际照明委员会(internation- S(x)=√S(x)+S.(x)2+S(x).(7)
·78 智能系统学报 第7卷 2.2.2选取弹性阙值 的地方恰恰有可能是与背景有显著差异的物体在图 显著性图像统计特性往往是目标检测的重要特 像上所产生的频谱变化.因此利用谱残差R()的傅 征，并且通过限定研究的目标环境，这都能为钢板表 里叶逆变换S(x)来表示显著物体所在的区域。 面的实际缺陷这一特定问题进行特定研究提供方 R(f)=log(Re(F[I(x)]))- 便.国外众多学者研究发现，自然图像中存在一定的 log(Re(F[I(x)]))*h(f), 统计特性，如图3所示，2幅自然图像的傅里叶谱能 S(x)=g(x)x F[exp[R()]Im(F[I()]]2 量的分布虽然不是标准高斯分布，但二者形状类似， 谱残差R()中只有极少数地方具有较高能量的 且都具有低频能量的高密度分布（很高的尖端）和 频谱，这很可能对应的是显著目标而由S(x)求得的显 存在高频能量的可能性较高（很长的尾部）的特 著性图表达了不同像素的显著程度，采用弹性阈值对 征] 显著性图像进行二值化处理以获得最后的显著目标区 域].如图5所示，在对各种已有钢板的表面样本图进 行检测实验后，笔者发现阈值0.2能获得一个普遍较 好的显著目标区域而相较于0.2的阈值，0.1的阈值 会增加显著性区域图像的干扰噪声点（即非显著性区 域).阈值为0.5时虽然干扰噪声点明显减少，但同时 丢失了过多的细节信息，这样在后续的与Gbor小波 特征融合时会产生影响，对于个别图像，可以通过判断 显著目标区域面积大小或者是显著目标区域的数量来 自动放大或缩小阈值， 图32幅自然图像及其对应的傅里叶能量谱 Fig.3 Fourier energy spectrum of two natural images 经过数据模拟发现，多幅图像平均的傅里叶谱 能量分布服从1/P律，其中1≤a≤2，如图4所示. (a)T0.1 (b)T-0.2 (c)T-0.5 同样地，人们发现单幅图像的傅里叶谱能量分布虽 然并不较好地服从1/P律，但是如果对其进行平滑 图5不同图像在不同阈值下的显著性区域 处理，如采用局部平均即可得到平滑的傅里叶谱能 Fig.5 Saliency regions in different images under dif. ferent thresholds 量分布，结果则能够比较好地用1严律来描述，如 图4所示。 3 实验结果及分析 15 15p 15 3.1实验步骤及结果 10 10 实验测试平台选用的PC配置为Intel Core (TM)2 Duo CPU E74002.80GHz、2 GB RAM,图像 尺寸约为840×540大小.图6(a)是原始的钢铁铸 04 40.80120 4080120 坯表面灰度图，可以清楚地看到其右表面上有1条 频率/Hz 频举/Hz (a)单幅图像 (6)10幅图像 (c)100幅图像 纵向的划伤，以及中部附近有残留物压入，这类表面 图4单幅图像的对数谱和多幅图像的平均对数谱 缺陷的危害性极大.图6(b)是原图经过显著性区域 Fig.4 Logarithmic spectrum of single-image and multi- 处理后得到的灰度图像，图中纵向孔洞区域的位置 images 显著性特征非常明显，由于得到的显著性图像进行 对于单幅图像的傅里叶谱能量分布不能很好地 了拉伸归一化，使处理之后的灰度范围变为 服从1/律的现象，可以认为那些和1/P律不相符 [0,255],所以就可以将T=0.2的阈值设定为
第1期 吴家伟，等：基于图像显著性特征的铸坯表面缺陷检测 ·79 T=50以提高运行速度.图6(c)是原图经过Gbor 表1钢铁铸坯表面缺陷检测结果 小波变换得到的图像，由于Gbor小波变换是沿0° Table 1 Testing results of the slab surface defect detection 方向进行，因此这里需对Gbor图像进行预处理，去 system 除大部分微小噪声干扰点，使纵向缺陷区域在Ga 检测 实际缺陷显著性定位成定位失 准确 bor图上表现明显.图6(d)是将显著性区域图像和 样本数区域数区域数功率/%败率/% 率/% 72 95 247 89 Gbor小波图像融合后得到的结果，这里和图6(c) 6 93.7 中一样，还需要对融合图像进行去除噪声干扰处理， 完成显著性检测之后的图像与经过Gabor小波 这2步必须分开做且不可省略，否则微小噪点相融 处理得到的图像进行融合，通过区域生长和区域筛 合之后可能成为较大的噪点且不易去除.图6(e)是 选之后得到可信度较高的可能缺陷区域.测试结果 图6(d)经过种子点生长之后并对融合图像进行筛 如表2所示（此结果含有表1中定位失败和其他显 选（以去除微小噪点），最后从原图上截取出来的疑 著性区域定位的结果). 似缺陷区域，可以看出表面显著性区域保留下来的 表2钢铁铸还表面伪缺陷排除结果 地方不多，且纵向孔洞的缺陷区域几乎完整地被保 Table 2 Pseudo-defect removing results of the slab surface 留下来，其余不相关的区域全部被抹去.图6()则 defect detection system 是原图经训练好的AdaBoost分类器检测出来的缺 方法 缺陷区域数目 陷区域，其中白色矩形框表示此处可能是存在缺陷 显著性区域算法 4970 区域的候选区域，通过与图6（ε）得到的结果比较可 Gabor小波处理 1217 以看出，图像显著性特征算法在原图上已经比较准 区域融合 2042 确地定位出了钢坯表面缺陷区域 合并 247 通过表1、2的实验结果可知，基于图像显著性 特征的铸坯表面缺陷检测算法效果较好，这是由算 法本身的特点决定的：1)铸坯表面缺陷有很多种， 仅使用单一缺陷特征难以有效地定位出缺陷区域的 (a)您始灰度图像 (b)显若件区域处理 位置；2)有些铸坯表面缺陷并非只有一处缺陷，直 接在整幅图上进行检测很容易产生虚警和漏检；3)》 由于该测算法在进人检测阶段之前已经对整幅图像 进行了筛选，故其对检测环境的适应性较强，通过实 验表明其虚警率与漏检率都较低 (c)Gabor小波处理 (d)融合结果 4结束语 本文提出了一种基于显著性区域特征的改进算法 来进行钢铁铸坯表面缺陷检测，并结合Gbor小波处 理得到的结果来分析和筛选缺陷区域，能排除大量非 (e)候选区域 ()最终结果 缺陷的显著性区域。实验结果表明提出的钢铁铸坯表 图6显著性区域算法检测表面缺陷的过程 面缺陷检测方法可信度较高，具有较好的实用价值。 Fig.6 The steps of surface defects detection by saliency 但是由于该系统对于每张输入的样本图像都需 region algorithm 要进行较长时间的显著性区域检测，因此后面还可 3,2实际缺陷检测结果及分析 以进一步对显著性区域算法进行优化加速.而且在 将一组新的有缺陷的钢坯数据样本作为输入放 实际情况中有些缺陷本身不具有亮度和纬度上的显 入钢铁铸坯表面检测系统中，根据检测系统的输出 著性特征，如何使得检测系统能够对这些显著性特 来判断系统输出的缺陷区域类型，并记录下其测试 征不足的样本进行较好的识别定位，也将是下一步 结果，与真实缺陷位置做比较确认其准确性.实验选 工作的重点 择了72个缺陷样本图像对基于显著性区域特征改 进算法的检测系统进行了钢铁铸坯表面缺陷检测. 参考文献： 测试结果如表1所示. [1]MA Yufei,ZHANG Hongjiang.Contrast-based image atten-
·80 智能系统学报 第7卷 tion analysis by using fuzzy growing[C]//Proceedings of the An efficient approach to extraction of region of interest[J] 11th ACM Intemational Conference on Multimedia.New Journal of Software,2005,16(1):77-88. York,USA:ACM,2003:374-381. [9]HOU Xiaodi,ZHANG Liqing.Saliency detection:a spec- [2]KO B C,KWAK S Y,BYUN H.SVM-based salient region tral residual approach[C]//2007 IEEE Conference on Com- (s)extraction method for image retrieval[C]//Proceedings puter Vision and Patter Recognition.Minneapolis,USA, of the 17th Interational Conference on Pattem Recognition. 2007:18. Washington,DC,USA:IEEE Computer Society,2004: [10]毕为民，孙才新，姚陈果.基于门限值小波包变换抑制 977980. 局部放电白噪干扰[J].重庆大学学报，2003,26(6)： [3]ITTI L,KOCH C,NIEBUR E.A model of saliency-based 53-55. visual attention for rapid scene analysis[J].IEEE Transac- BI Weimin,SUN Caixin,YAO Chenguo.Wavelet packet tions on Pattern Analysis and Machine Intelligence,1998, decomposition based on entropy threshold for white-noise 20(11):1254-1259. rejection in PD signal[J].Journal of Chongqing Universi- [4]GOFERMAN S,ZELNIK-MANOR L,TAL A.Context-a- ty,2003,26(6):53-55. ware saliency detection [C]//2010 IEEE Conference on 作者简介： Computer Vision and Pattern Recognition.San Francisco, 吴家伟，男，1988年生，硕士研究 USA,2010:2376-2383. 生，主要研究方向为图像处理、机器学 [5]ZHAI Y,SHAH M.Visual attention detection in video se- 习与生物特征识别 quences using spatiotemporal cues[C]//Proceedings of the 14th Annual ACM Interational Conference on Multimedia. New York,USA:ACM,2006:815-824. [6]CHENG Mingming,ZHANG Guoxin,MITRA N J,et al. Global contrast based salient region detection[C]//2011 严京旗，男，1975年生，副教授.参 IEEE Conference on Computer Vision and Pattern Recogni- 与并主持了多项国家自然科学基金项 tion.Providence,USA,2011:409-416. 目.主要研究方向为图像图形综合技 [7]钟微，谢雪梅，石光明.一种灵活的图像频谱分割与去噪 术、可视计算、三维生物特征识别等。 方法[J].西安电子科技大学学报，2007,34(6)：935- 938. ZHONG Wei,XIE Xuemei,SHI Guangming.Image spec- trum segmentation and de-noising based on multi-channel 方志宏，男，1968年生，副教授，博 nonuniform filter banks[J].Journal of Xidian University, 士.主要研究方向为冶金自动化、图像 2007,34(6):935-938. 处理、信号处理和电子技术的应用等， [8]张红梅，卞正中，郭佑民，等.感兴趣区域高效提取算法 [J].软件学报，2005,16(1)：77-88. ZHANG Hongmei,BIAN Zhengzhong,GUO Youmin,et al