D0I:10.13374/i.issnl00113.2009.10.022 第31卷第10期 北京科技大学学报 Vol.31 No.10 2009年10月 Journal of University of Science and Technology Beijing 0t.2009 基于小波不变矩和保局投影的表面缺陷识别方法 吴秀永徐科徐金梧 北京科技大学高效轧制国家工程研究中心，北京100083 摘要提出了一种基于小波矩不变量和保局投影(LPP)的特征提取方法，并应用于中厚板表面缺陷自动识别，首先对图像 做三级小波变分解，将中厚板表面图像的细节分解到各个尺度的各个分量中并利用小波阈值收缩法降噪：然后对各分量的傅 里叶幅值谱提取H血不变矩作为原始特征向量，并利用LPP将该特征向量的维数从77维降到8维：最后利用AdaBoost分类器 对样本进行分类识别·实验结果表明，本文提出的特征提取方法适用于中厚板表面缺陷分类，识别率达到91.60%. 关键词小波；AdaBoost;不变矩：保局投影：表面检测 分类号TP391 Plate surface defect recognition method based on wavelet moment invariant and locality preserving projection WU Xiu-yong.XU Ke,XU Jin-wu National Engineering Research Center for Advanced Rolling.University of Science and Technology Beijing.Beijing 100083,China ABSTRACT A feature extraction method based on wavelet moment invariant and locality preserving projection(LPP)was presented and applied to the automatic recognition of plate surface defects.3-level wavelet decomposition was performed on the surface images. details of the plate surface images were decomposed into components on several scales.and then the noise scattered in detail compo- nents of all the scales was reduced by wavelet shrinkage.Moment invariants were extracted from amplitude spectra of all the compo- nents,and then the feature vector composed by all the moment invariants was reduced from 77-demension to 8-dimension via LPP. At last,an AdaBoost classifier based on decision trees was constructed to classify the samples.Experimental results demonstrated that the feature extraction method presented in this paper was applicable to the classification of plate surface defects,and the classification rate was 91.60%. KEY WORDS wavelet:AdaBoost:moment invariant:locality preserving projections(LPP):surface detection 中厚板表面缺陷在线检测系统能提高中厚板表 热轧中厚板表面缺陷形态复杂，即使是同一种 面质量检测结果的准确性和客观性，提高生产效率， 类型的缺陷，相互之间差别也很大；而不同类型缺陷 降低工人劳动强度，因此，中厚板表面缺陷在线检 的形态在某种程度上很相似，中厚板表面的氧化铁 测系统成为中厚板生产企业关注的重要内容. 皮比较多，而且氧化铁皮的颜色、形态各异，容易被 目前，基于机器视觉技术的表面缺陷在线检测 识别为缺陷，是影响中厚板表面检测的主要因素， 系统成为表面质量检测系统的主流，表面质量检测 在中厚板表面质量检测中，氧化铁皮不算缺陷；但为 算法是基于机器视觉技术的表面质量在线检测系统 了将氧化铁皮与真正的缺陷区分开来，本文将氧化 的核心，它主要包含以下四个步骤：图像预处理、缺 铁皮作为一类缺陷来处理， 陷检测、缺陷特征提取和分类识别，缺陷特征提取 中厚板表面缺陷可以分为两大类：形状缺陷和 对于后续分类识别起着至关重要的作用，是表面质 纹理缺陷，形状缺陷是指形状特征比较明显的缺 量检测算法研究的热点之一， 陷，例如划伤、裂纹和网纹；纹理缺陷是指纹理特征 收稿日期：2008-12-16 基金项目：国家自然科学基金资助项目(N。·60705017):“十一五"国家科技支撑计划资助项目(N。,2006BAE03A06) 作者简介：吴秀永(1981一)，男，博士研究生；徐金梧(1949一)，男，教授，博士生导师，E mail:jwxu@ustb-edu-cn
基于小波不变矩和保局投影的表面缺陷识别方法 吴秀永 徐 科 徐金梧 北京科技大学高效轧制国家工程研究中心北京100083 摘 要 提出了一种基于小波矩不变量和保局投影（LPP）的特征提取方法并应用于中厚板表面缺陷自动识别．首先对图像 做三级小波变分解将中厚板表面图像的细节分解到各个尺度的各个分量中并利用小波阈值收缩法降噪；然后对各分量的傅 里叶幅值谱提取 Hu 不变矩作为原始特征向量并利用 LPP 将该特征向量的维数从77维降到8维；最后利用 AdaBoost 分类器 对样本进行分类识别．实验结果表明本文提出的特征提取方法适用于中厚板表面缺陷分类识别率达到91∙60％． 关键词 小波；AdaBoost；不变矩；保局投影；表面检测 分类号 TP391 Plate surface defect recognition method based on wavelet moment invariant and locality preserving projection W U Xiu-yongXU KeXU Jin-w u National Engineering Research Center for Advanced RollingUniversity of Science and Technology BeijingBeijing100083China ABSTRACT A feature extraction method based on wavelet moment invariant and locality preserving projection （LPP） was presented and applied to the automatic recognition of plate surface defects．3-level wavelet decomposition was performed on the surface images details of the plate surface images were decomposed into components on several scalesand then the noise scattered in detail components of all the scales was reduced by wavelet shrinkage．Moment invariants were extracted from amplitude spectra of all the componentsand then the feature vector composed by all the moment invariants was reduced from 77-demension to 8-dimension via LPP． At lastan AdaBoost classifier based on decision trees was constructed to classify the samples．Experimental results demonstrated that the feature extraction method presented in this paper was applicable to the classification of plate surface defectsand the classification rate was91∙60％． KEY WORDS wavelet；AdaBoost；moment invariant；locality preserving projections （LPP）；surface detection 收稿日期：20081216 基金项目：国家自然科学基金资助项目（No．60705017）；“十一五”国家科技支撑计划资助项目（No．2006BAE03A06） 作者简介：吴秀永（1981—）男博士研究生；徐金梧（1949—）男教授博士生导师E-mail：jwxu＠ustb．edu．cn 中厚板表面缺陷在线检测系统能提高中厚板表 面质量检测结果的准确性和客观性提高生产效率 降低工人劳动强度．因此中厚板表面缺陷在线检 测系统成为中厚板生产企业关注的重要内容． 目前基于机器视觉技术的表面缺陷在线检测 系统成为表面质量检测系统的主流．表面质量检测 算法是基于机器视觉技术的表面质量在线检测系统 的核心它主要包含以下四个步骤：图像预处理、缺 陷检测、缺陷特征提取和分类识别．缺陷特征提取 对于后续分类识别起着至关重要的作用是表面质 量检测算法研究的热点之一． 热轧中厚板表面缺陷形态复杂即使是同一种 类型的缺陷相互之间差别也很大；而不同类型缺陷 的形态在某种程度上很相似．中厚板表面的氧化铁 皮比较多而且氧化铁皮的颜色、形态各异容易被 识别为缺陷是影响中厚板表面检测的主要因素． 在中厚板表面质量检测中氧化铁皮不算缺陷；但为 了将氧化铁皮与真正的缺陷区分开来本文将氧化 铁皮作为一类缺陷来处理． 中厚板表面缺陷可以分为两大类：形状缺陷和 纹理缺陷．形状缺陷是指形状特征比较明显的缺 陷例如划伤、裂纹和网纹；纹理缺陷是指纹理特征 第31卷 第10期 2009年 10月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol．31No．10 Oct．2009 DOI:10．13374／j．issn1001－053x．2009．10．022
第10期 吴秀永等：基于小波不变矩和保局投影的表面缺陷识别方法 ,1343 比较明显的缺陷，如压痕、结疤和麻点，在中厚板表 被分解到水平方向、垂直方向和对角方向细节分量 面质量检测中，一般从形状和纹理两个方面来提取 中；对表面图像做多级小波分解，则得到表面图像在 特征，形状缺陷是出现频率最高的缺陷，因此本文 多个尺度上的各个细节分量，如果能够找到一种有 主要讨论采用小波矩不变量和LPP算法提取缺陷 效地刻画各个细节分量特征的方法，则缺陷图像的 的形状特征 分类问题就迎刃而解， 文献[1]提出基于结构谱的特征提取方法并应 中厚板表面质量检测系统在工业现场采集到的 用于表面纹理缺陷识别，识别率达到80%；该方法 表面图像不可避免地含有噪声，降噪成为表面质量 只适用于麻点、夹杂、结疤等纹理缺陷，不适用于形 检测算法必须考虑的一个问题，本文采用了小波分 状缺陷.文献[2]提出了一种基于幅值谱的特征提 解来对图像进行多尺度分析，因此利用小波降噪方 取方法，并与LVQ神经网络对八种中厚板表面缺 法对图像进行降噪就显得顺理成章，常用的小波降 陷进行识别，总体识别率达到91.15%；该方法对出 噪方法有模极大值重构滤波可、空域相关滤波和 现频率最高的纵向裂纹和横向裂纹识别率分别为 小波域阈值滤波[⑧].本文采用小波域阈值滤波方法 92%和90%，从现场应用的角度来讲，识别率还需 来对图像降噪，去除散布在高频分量中的噪声 要提高，文献[3]对中厚板表面图像的幅值谱提取 不变矩，并应用于中厚板表面缺陷识别，识别率达到 2幅值谱与不变矩 81.5%,这个结果不太理想，究其原因，该文只是提 一幅实值图像经过傅里叶变换后得到一幅复值 取了表面图像在单一尺度上的不变矩；如果提取图 图像，取其幅值则得到了傅里叶幅值谱，简称幅值 像在多个尺度上的不变矩，识别率有望得到提高， 谱.幅值谱具有平移不变性，这使得缺陷目标的幅 因此，本文首先利用小波对表面图像进行多尺度分 值谱不随缺陷在图像上的位置变化而变化.幅值谱 解，在小波域降噪后提取表面图像在各个尺度上的 的能量集中在中低频部分，因此一般对中低频部分 不变矩特征，得到一个高维的特征向量，通常，样本 提取特征，图像的噪声一般集中在高频部分，在对 特征向量的维数比样本个数大，这是一个采样不足 幅值谱提取特征时，一般将高频部分去掉，以消除噪 的问题，这给分类带来了实际困难，因此需要对特征 声的影响，简单地将图像的高频部分去除会削弱图 向量降维，LPP算法是最近提出来的线性降维方 像的边缘细节所对应的高频部分，本文在计算幅值 法，计算方便并且速度快，而采用它降维后样本的区 分能力可以跟非线性降维方法LLE[)相媲美。因 谱之前采用了小波阈值收缩法对图像降噪，因此对 此，本文采用了LPP算法对提取到的原始特征向量 幅值谱提取特征时不去除幅值谱的高频部分 普通原点矩不满足平移、尺度和旋转不变性；中 进行了降维，最后，将降维得到的投影向量作为分 类器的输入进行分类，实验结果表明，该特征提取 心矩仅具有平移不变性，归一化中心矩具有平移不 方法适用于中厚板表面缺陷分类. 变性和尺度不变性，利用归一化中心矩的某些线性 组合可以构造对图像特征同时具有平移、尺度和旋 1小波变换 转不变性的不变矩.1962年，Hu利用二阶和三阶 傅里叶变换是处理平稳信号的理想工具，对非 中心矩构造了七个不变矩]，一般称之为H不变 平稳信号则不能很好地处理，而很多实际信号是非 矩，作为一种统计特征提取方法，不变矩具有平移、 平稳信号，因此，傅里叶变换有其固有的局限性，加 尺度及旋转不变性，可以很好地描述目标图像，不变 窗傅里叶变换虽然具有一定的时频局部化分析能 矩还具有如下特征：不论图像有多么相似，一定阶数 力，但是窗函数一经选定，则它的分辨率就确定了， 的矩特征能够唯一地描述各种图像，一定阶数的某 没有频率自适应性.小波变换克服了傅里叶变换 些不变矩不仅能反映图像的全局特征，而且能表示 和加窗傅里叶变换在时频局部化分析方面的缺陷， 其局部细节信息，虽然不变矩具有很高的区分能 它通过伸缩平移运算对信号进行多尺度分析，可聚 力，但是任何事物都具有两面性，不变矩也有缺点： 焦到信号的任意分辨率下的任意细节，具有良好的 七个不变矩中，第3个到第7个不变矩都是高阶矩 时频局部化分析能力，被誉为“数学显微镜”， (三阶中心矩)，对噪声特别敏感[0]，因此对噪声比 中厚板表面缺陷一般具有一定的形状特征，是 较大的场合不宜使用，本文在计算幅值谱之前采用 中厚板表面图像高频信息的重要组成部分；对钢板 了小波阈值收缩法对图像降噪，因此可以利用不变 表面图像进行一级小波分解后，缺陷的边缘和纹理 矩来提取幅值谱的特征
比较明显的缺陷如压痕、结疤和麻点．在中厚板表 面质量检测中一般从形状和纹理两个方面来提取 特征．形状缺陷是出现频率最高的缺陷因此本文 主要讨论采用小波矩不变量和 LPP 算法提取缺陷 的形状特征． 文献［1］提出基于结构谱的特征提取方法并应 用于表面纹理缺陷识别识别率达到80％；该方法 只适用于麻点、夹杂、结疤等纹理缺陷不适用于形 状缺陷．文献［2］提出了一种基于幅值谱的特征提 取方法并与 LVQ 神经网络对八种中厚板表面缺 陷进行识别总体识别率达到91∙15％；该方法对出 现频率最高的纵向裂纹和横向裂纹识别率分别为 92％和90％从现场应用的角度来讲识别率还需 要提高．文献［3］对中厚板表面图像的幅值谱提取 不变矩并应用于中厚板表面缺陷识别识别率达到 81∙5％这个结果不太理想．究其原因该文只是提 取了表面图像在单一尺度上的不变矩；如果提取图 像在多个尺度上的不变矩识别率有望得到提高． 因此本文首先利用小波对表面图像进行多尺度分 解在小波域降噪后提取表面图像在各个尺度上的 不变矩特征得到一个高维的特征向量．通常样本 特征向量的维数比样本个数大这是一个采样不足 的问题这给分类带来了实际困难因此需要对特征 向量降维．LPP 算法是最近提出来的线性降维方 法计算方便并且速度快而采用它降维后样本的区 分能力可以跟非线性降维方法 LLE ［4］ 相媲美．因 此本文采用了 LPP 算法对提取到的原始特征向量 进行了降维．最后将降维得到的投影向量作为分 类器的输入进行分类．实验结果表明该特征提取 方法适用于中厚板表面缺陷分类． 1 小波变换 傅里叶变换是处理平稳信号的理想工具对非 平稳信号则不能很好地处理而很多实际信号是非 平稳信号因此傅里叶变换有其固有的局限性．加 窗傅里叶变换虽然具有一定的时频局部化分析能 力但是窗函数一经选定则它的分辨率就确定了 没有频率自适应性．小波变换［5］克服了傅里叶变换 和加窗傅里叶变换在时频局部化分析方面的缺陷 它通过伸缩平移运算对信号进行多尺度分析可聚 焦到信号的任意分辨率下的任意细节具有良好的 时频局部化分析能力被誉为“数学显微镜”． 中厚板表面缺陷一般具有一定的形状特征是 中厚板表面图像高频信息的重要组成部分；对钢板 表面图像进行一级小波分解后缺陷的边缘和纹理 被分解到水平方向、垂直方向和对角方向细节分量 中；对表面图像做多级小波分解则得到表面图像在 多个尺度上的各个细节分量．如果能够找到一种有 效地刻画各个细节分量特征的方法则缺陷图像的 分类问题就迎刃而解． 中厚板表面质量检测系统在工业现场采集到的 表面图像不可避免地含有噪声降噪成为表面质量 检测算法必须考虑的一个问题．本文采用了小波分 解来对图像进行多尺度分析因此利用小波降噪方 法对图像进行降噪就显得顺理成章．常用的小波降 噪方法有模极大值重构滤波［6］、空域相关滤波［7］和 小波域阈值滤波［8］．本文采用小波域阈值滤波方法 来对图像降噪去除散布在高频分量中的噪声． 2 幅值谱与不变矩 一幅实值图像经过傅里叶变换后得到一幅复值 图像取其幅值则得到了傅里叶幅值谱简称幅值 谱．幅值谱具有平移不变性这使得缺陷目标的幅 值谱不随缺陷在图像上的位置变化而变化．幅值谱 的能量集中在中低频部分因此一般对中低频部分 提取特征．图像的噪声一般集中在高频部分在对 幅值谱提取特征时一般将高频部分去掉以消除噪 声的影响．简单地将图像的高频部分去除会削弱图 像的边缘细节所对应的高频部分本文在计算幅值 谱之前采用了小波阈值收缩法对图像降噪因此对 幅值谱提取特征时不去除幅值谱的高频部分． 普通原点矩不满足平移、尺度和旋转不变性；中 心矩仅具有平移不变性．归一化中心矩具有平移不 变性和尺度不变性．利用归一化中心矩的某些线性 组合可以构造对图像特征同时具有平移、尺度和旋 转不变性的不变矩．1962年Hu 利用二阶和三阶 中心矩构造了七个不变矩［9］一般称之为 Hu 不变 矩．作为一种统计特征提取方法不变矩具有平移、 尺度及旋转不变性可以很好地描述目标图像不变 矩还具有如下特征：不论图像有多么相似一定阶数 的矩特征能够唯一地描述各种图像一定阶数的某 些不变矩不仅能反映图像的全局特征而且能表示 其局部细节信息．虽然不变矩具有很高的区分能 力但是任何事物都具有两面性不变矩也有缺点： 七个不变矩中第3个到第7个不变矩都是高阶矩 （三阶中心矩）对噪声特别敏感［10］因此对噪声比 较大的场合不宜使用．本文在计算幅值谱之前采用 了小波阈值收缩法对图像降噪因此可以利用不变 矩来提取幅值谱的特征． 第10期 吴秀永等： 基于小波不变矩和保局投影的表面缺陷识别方法 ·1343·
.1344 北京科技大学学报 第31卷 <入1<<入-1所对应的特征向量，那么可以按 3保局投影算法 照x:→y:=Ax:进行嵌入，其中A是一个nXl的 保局投影算法(locality preserving projection, 矩阵，A=（a0,a1,,a-1),y:是一个1X1列向 LPP)山是最近提出的用于流形学习和分析的算 量，Y=[y1,y2,,ym]是数据集X在1维子空间 法，LPP算法主要考虑的是保留高维数据集的邻域 上的投影. 结构，它可以提取最具有判别性的特征来进行降维， LPP算法的主要问题在于建立邻域图，使它能 假设X=[x1,x2,…,xm],x:∈M,其中M是一个 够很好地表现数据集流形的局部结构，然后，根据 嵌入在R”空间中的(《n)维非线性流形，则LPP 建立的邻域图来获得数据集的投影，最终在投影子 算法流程如下2. 空间中进行分类识别 (1)创建邻域图. 4基于小波不变矩和LPP的特征提取 设G是一个具有m个节点的图，如果x:和x 通过以上理论分析，本文提出了一种表面缺陷 很“近”，那么就给节点i和节点j之间加一条边.在 特征提取方法：首先利用小波变换把图像细节分解 这里，邻域图有两种变体， (a)e邻域.如果‖x:一x‖2<e,e∈R+,则节 到各个尺度上的各个分量中，顺便利用小波阈值收 点i和节点j之间有边相连接，‖·‖表示R空间 缩法对高频分量进行降噪，接下来对所有分量的幅 值谱提取不变矩特征；然后利用LPP算法将提取到 中的欧氏范数， 的77维不变矩特征向量投影到一个8维的子空间； (b)k最近邻.如果i是j的k最近邻节点并 最后在这个子空间中对表面图像进行分类，具体步 且j是i的k最近邻节点，则节点i和节点j之间有 骤如下： 边相连接，其中k∈N (1)首先利用小波变换对图像做多尺度分解； (2)确定权重， (2)利用小波阈值收缩法对各细节分量降噪； 设W是mXm的对称稀疏矩阵，W,是连接顶 (3)对各分量做傅里叶变换，并对各分量的幅 点i和j的权重，如果没有连接，则W=0.有两种 值谱计算Hu不变矩，将所有尺度上所有分量的不 给边加权的方法 变矩作为原始特征向量； (a)热核，如果节点i和j有边相连，则W= (4)利用LPP算法将提取到77维的不变矩特 exp(-‖x-y‖2/t),其中t∈R 征向量投影到一个8维的子空间，得到一个投影向 (b)简化法，如果i和j有边相连，则W=1. 量，将此投影向量作为特征向量； (3)特征映射. (5)利用AdaBoost算法构建基于决策树的分 求解广义特征向量问题YLXT a=XDXT a的 类器，以投影向量作为分类器输入对图像进行分类 特征值和特征向量，其中D是一个对角矩阵，它的 图1是中厚板表面纵向裂纹、横向裂纹、网纹和 项是对W按列（也可按行，因为W是对称矩阵）求 氧化铁皮的图像，图2是与图1对应的各图像的三 和得到，D:=〉Wi,L=D一W是拉普拉斯矩 级小波分解，图3是与小波分解各分量对应的傅里 阵.设列向量ao,a1,,a4-1是所求得的特征值 叶幅值谱. (a) (b) (c) (d) 图1中厚板表面图像.(a)纵向裂纹：(b)横向裂纹；(c)网纹；()氧化铁皮 Fig.1 Plate surface images:(a)vertical crack:(b)horizontal crack:(c)net-like crack:(d)scale 5实验结果 五种形状缺陷（横向划伤、横向裂纹、纵向划伤、纵向 裂纹和网纹)、三种纹理缺陷（压痕、结疤和麻点）和 本文选取了从国内某中厚板生产线上采集到的 氧化铁皮共计1263个样本，其中632个作为训练样
3 保局投影算法 保局投影算法 （locality preserving projection LPP） ［11］是最近提出的用于流形学习和分析的算 法LPP 算法主要考虑的是保留高维数据集的邻域 结构它可以提取最具有判别性的特征来进行降维． 假设 X＝［ x1x2…xm ］xi∈ M其中 M 是一个 嵌入在 R n 空间中的 l（ l≪ n）维非线性流形则 LPP 算法流程如下［12］． （1） 创建邻域图． 设 G 是一个具有 m 个节点的图如果 xi 和 xj 很“近”那么就给节点 i 和节点 j 之间加一条边．在 这里邻域图有两种变体． （a） ε邻域．如果‖xi—xj‖2＜εε∈R ＋则节 点 i 和节点 j 之间有边相连接．‖·‖表示 R n 空间 中的欧氏范数． （b） k 最近邻．如果 i 是 j 的 k 最近邻节点并 且 j 是 i 的 k 最近邻节点则节点 i 和节点 j 之间有 边相连接其中 k∈N． （2） 确定权重． 设 W 是 m× m 的对称稀疏矩阵Wij是连接顶 点 i 和 j 的权重如果没有连接则 Wij＝0．有两种 给边加权的方法． （a） 热核．如果节点 i 和 j 有边相连则 Wij＝ exp（—‖xi—xj‖2／t）其中 t∈R． （b） 简化法．如果 i 和 j 有边相连则 Wij＝1． （3） 特征映射． 求解广义特征向量问题 XLX T a＝λXDX T a 的 特征值和特征向量其中 D 是一个对角矩阵它的 项是对 W 按列（也可按行因为 W 是对称矩阵）求 和得到Dii ＝ ∑ j WjiL＝ D— W 是拉普拉斯矩 阵．设列向量 a0a1…al—1是所求得的特征值 λ0＜λ1＜…＜λl—1所对应的特征向量那么可以按 照xi→yi＝ A T xi 进行嵌入其中 A 是一个n× l的 矩阵A＝（ a0a1…al—1）yi 是一个l×1列向 量．Y＝［ y1y2…ym ］是数据集 X 在 l 维子空间 上的投影． LPP 算法的主要问题在于建立邻域图使它能 够很好地表现数据集流形的局部结构．然后根据 建立的邻域图来获得数据集的投影最终在投影子 空间中进行分类识别． 4 基于小波不变矩和 LPP 的特征提取 通过以上理论分析本文提出了一种表面缺陷 特征提取方法：首先利用小波变换把图像细节分解 到各个尺度上的各个分量中顺便利用小波阈值收 缩法对高频分量进行降噪接下来对所有分量的幅 值谱提取不变矩特征；然后利用 LPP 算法将提取到 的77维不变矩特征向量投影到一个8维的子空间； 最后在这个子空间中对表面图像进行分类具体步 骤如下： （1） 首先利用小波变换对图像做多尺度分解； （2） 利用小波阈值收缩法对各细节分量降噪； （3） 对各分量做傅里叶变换并对各分量的幅 值谱计算 Hu 不变矩将所有尺度上所有分量的不 变矩作为原始特征向量； （4） 利用 LPP 算法将提取到77维的不变矩特 征向量投影到一个8维的子空间得到一个投影向 量将此投影向量作为特征向量； （5） 利用 AdaBoost 算法构建基于决策树的分 类器以投影向量作为分类器输入对图像进行分类． 图1是中厚板表面纵向裂纹、横向裂纹、网纹和 氧化铁皮的图像图2是与图1对应的各图像的三 级小波分解图3是与小波分解各分量对应的傅里 叶幅值谱． 图1 中厚板表面图像．（a） 纵向裂纹；（b ）横向裂纹；（c） 网纹；（d） 氧化铁皮 Fig．1 Plate surface images：（a） vertical crack；（b） horizontal crack；（c） net-like crack；（d） scale 5 实验结果 本文选取了从国内某中厚板生产线上采集到的 五种形状缺陷（横向划伤、横向裂纹、纵向划伤、纵向 裂纹和网纹）、三种纹理缺陷（压痕、结疤和麻点）和 氧化铁皮共计1263个样本其中632个作为训练样 ·1344· 北 京 科 技 大 学 学 报 第31卷
第10期 吴秀永等：基于小波不变矩和保局投影的表面缺陷识别方法 .1345. (a) (b) (c) (d) 图2三级小波分解.(a)图1(a)的小波分解；(b)图1(b)的小波分解：(c)图1(c)的小波分解；(d)图1(d)的小波分解 Fig-2 3-evel wavelet decomposition:(a)wavelet decomposition of Fig1(a):(b)wavelet decomposition of Fig-1(b).(c)wavelet decomposition of Fig.l(c).(d)wavelet decomposition of Fig-1(d) (a) (b) (c) ) 图3小波分解后分量对应的幅值谱.()图2(a)各分量对应的幅值谱；(b)图2(b)各分量对应的幅值谱；(c)图2(c)各分量对应的幅值 谱：(d)图2(d)各分量对应的幅值谱 Fig.3 Amplitude spectra corresponding to the components of wavelet decomposition:(a)amplitude spectrum corresponding to the components of Fig.2(a):(b)amplitude spectrum corresponding to the components of Fig.2(b):(e)amplitude spectrum corresponding to the components of Fig 2(c):(d)amplitude spectrum corresponding to the components of Fig-2(d) 本，另外631个作为测试集，每类缺陷的样本个数根 算法对77个不变矩进行降维后进行分类测试得到 据该类缺陷出现频率按比例选取，特征提取方法的 的分类混淆矩阵，它的每一行表示某一类缺陷被分 关键参数选择为：采用山2小波作三级小波分解，一 到各类的个数，从表1和表2可以得到以下结果. 共提取了7×(3×3+1+1)=77个不变矩特征值： (1)直接利用不变矩特征量对压痕、结疤和麻 用于降噪的阈值选为各分量小波系数模最大值乘以 点这三种纹理缺陷进行分类正确率非常低，采用 0.1;AdaBoost算法的弱分类器个数选为100个，表 LPP算法降维后，这三种纹理缺陷的识别率都有不 1列出了直接采用77个不变矩进行分类测试的结 同程度的提高，但是仍然不太理想，这是因为这三 果，同时列出了采用LPP算法对77个不变矩降到8 种纹理缺陷的纹理特征比较明显，形状特征相对来 维子空间后进行分类测试的结果，表2是采用LPP 说不明显，而不变矩特征量适用于描述形状特征， 表1分类测试结果 Table 1 Test results of classification 不降维 LPP降维 缺陷 样本总数 正确个数 正确率/% 样本总数 正确个数 正确率/% 压痕 12 2 16.67 12 9 75.00 横向划伤 42 30 71.43 42 35 83.33 横向裂纹 133 127 95.49 133 125 93.98 氧化铁皮 99 92 92.93 99 91 91.92 纵向划伤 43 35 81.40 43 35 81.40 纵向裂纹 226 224 99.12 226 225 99.56 结疤 10 0 0.00 10 3 30.00 网纹 中 40 76.92 52 44 84.62 麻点 14 8 57.14 14 11 78.57 总计 631 558 88.43 631 578 91.60
图2 三级小波分解．（a） 图1（a）的小波分解；（b） 图1（b）的小波分解；（c） 图1（c）的小波分解；（d） 图1（d）的小波分解 Fig．2 3-level wavelet decomposition：（a） wavelet decomposition of Fig．1（a）；（b） wavelet decomposition of Fig．1（b）（c） wavelet decomposition of Fig．1（c）（d） wavelet decomposition of Fig．1（d） 图3 小波分解后分量对应的幅值谱．（a） 图2（a）各分量对应的幅值谱；（b） 图2（b）各分量对应的幅值谱；（c） 图2（c）各分量对应的幅值 谱；（d） 图2（d）各分量对应的幅值谱 Fig．3 Amplitude spectra corresponding to the components of wavelet decomposition：（a） amplitude spectrum corresponding to the components of Fig．2（a）；（b） amplitude spectrum corresponding to the components of Fig．2（b）；（c） amplitude spectrum corresponding to the components of Fig． 2（c）；（d） amplitude spectrum corresponding to the components of Fig．2（d） 本另外631个作为测试集每类缺陷的样本个数根 据该类缺陷出现频率按比例选取．特征提取方法的 关键参数选择为：采用 db2小波作三级小波分解一 共提取了7×（3×3＋1＋1）＝77个不变矩特征值； 用于降噪的阈值选为各分量小波系数模最大值乘以 0∙1；AdaBoost 算法的弱分类器个数选为100个．表 1列出了直接采用77个不变矩进行分类测试的结 果同时列出了采用 LPP 算法对77个不变矩降到8 维子空间后进行分类测试的结果．表2是采用 LPP 算法对77个不变矩进行降维后进行分类测试得到 的分类混淆矩阵它的每一行表示某一类缺陷被分 到各类的个数．从表1和表2可以得到以下结果． （1） 直接利用不变矩特征量对压痕、结疤和麻 点这三种纹理缺陷进行分类正确率非常低．采用 LPP 算法降维后这三种纹理缺陷的识别率都有不 同程度的提高但是仍然不太理想．这是因为这三 种纹理缺陷的纹理特征比较明显形状特征相对来 说不明显而不变矩特征量适用于描述形状特征． 表1 分类测试结果 Table1 Test results of classification 缺陷 不降维 LPP 降维 样本总数 正确个数 正确率／％ 样本总数 正确个数 正确率／％ 压痕 12 2 16∙67 12 9 75∙00 横向划伤 42 30 71∙43 42 35 83∙33 横向裂纹 133 127 95∙49 133 125 93∙98 氧化铁皮 99 92 92∙93 99 91 91∙92 纵向划伤 43 35 81∙40 43 35 81∙40 纵向裂纹 226 224 99∙12 226 225 99∙56 结疤 10 0 0∙00 10 3 30∙00 网纹 52 40 76∙92 52 44 84∙62 麻点 14 8 57∙14 14 11 78∙57 总计 631 558 88∙43 631 578 91∙60 第10期 吴秀永等： 基于小波不变矩和保局投影的表面缺陷识别方法 ·1345·
,1346. 北京科技大学学报 第31卷 表2与LPP降维分类测试结果相对应的分类混淆矩阵 Table 2 Confusion matrix corresponding to the test results of dimension reduction via LPP 缺陷 压痕 横向划伤 横向裂纹氧化铁皮纵向划伤 纵向裂纹 结疤 网纹 麻点 压痕 9 0 0 1 0 0 0 横向划伤 0 35 3 2 0 0 0 2 0 横向裂纹 0 0 125 3 0 1 3 0 氧化铁皮 0 2 1 91 3 0 1 纵向划伤 0 0 0 2 35 4 0 1 1 纵向裂纹 0 0 0 0 225 0 0 结疤 1 个 0 3 0 0 网纹 0 0 3 0 名 麻点 0 0 2 0 0 任何一种特征提取方法都是有其适用范围的，本文 适用于中厚板表面缺陷检测 提出的方法也不例外，要想提高这三种缺陷的识别 率，必须在特征向量中加入表面图像的纹理特征量 参考文献 (2)五种形状缺陷的识别率比较高，在降维前 [1]Song Q.Xu K.Xu J W.Recognition of surface defects on medi- um and heavy plates based on structure spectrum.J Univ Sci 后都有一两个百分点的正常浮动，横向划伤和纵向 Technol Beijing.2007.29(3):342 划伤的正确率低于90%.通过分析混淆矩阵发现， (宋强，徐科，徐金梧.基于结构谱的中厚板表面缺陷识别方 这两种缺陷分别被误识为横向裂纹和纵向裂纹，根 法.北京科技大学学报，2007,29(3)：342) 据它们在形状上相似可以解释这一结果， [2]Li W F.Xu K.Yang C L.et al.Classifier design of on-line sur- (③)横向裂纹被误分为氧化铁皮和网纹，甚至 face defect inspection system for plates.Iron Steel.2006.41(4). 47 被误识为纵向裂纹，这是因为待识样本表面氧化铁 (李文蜂，徐科，杨朝霖，等.中厚板表面缺陷在线检测系统的分 皮比较多，导致误判：有一个纵向裂纹被误分为横向 类器设计.钢铁，2006,41(4)：47) 划伤，是因为某些裂纹非常窄，而在裂纹的周围出现 [3]Xu K.Li W F,Yang C L,et al.Feateure extraction based on 了白色的带状区域，导致误判， amplitude spectrum and moment invariants and its application (4)结疤识别率最低，从混淆矩阵中可以看 Acta Autom Sin,2006,32(3):470 (徐科，李文峰，杨朝霖，等。基于幅值谱与不变矩的特征提取 到，结疤主要被错分到纵向裂纹、横向裂纹和氧化铁 方法及应用.自动化学报，2006.32(3)，470) 皮中，这是因为结疤与后三者的图像特征很类似， [4]Roweis S T.Saul K L.Nonlinear dimensionality reduction by lo- 而结疤的样本数目很少，训练不够充分 cally linear embedding.Science.2000.290:2323 (5)采用LPP算法降维，将识别率从88.43% [5]Mallat S.A Wavelet Tour of Signal Processing-California:Aca- 提高到91.60%.这是因为，LPP算法在降维的同 demic Press,1999 [6]Mallat S,Wen L H.Singularity detection and processing with 时，保持样本集流形的局部结构不变，有效地消除了 wavelets.IEEE Trans Inform Theory.1992.38(2):617 一些离群点的影响 [7]Xu Y S,Weaver J B.Healy D M,et al.Wavelet transform do- (6)总体识别率达到91.60%，说明本文的特征 main filters:A spatially selective noise filtration technique.IEEE 提取方法对中厚板表面缺陷识别是有效的， Trans Image Process.1994.3(6):747 [8]Donoho D L.De noising by softthresholding.IEEE Trans In- 6结论 form Theory,1995,41(3):613 [9]Hu MK.Visual pattern recognition by moment invariants.IEEE (1)由于LPP算法能够在降维的同时，保持样 Trans Inform Theory,1962,8(2):179 本集流形的局部结构不变，消除一些离群点的影响： [10]Hupkens T M.de Clippeleir J.Noise and intensity invariant mo- 因此LPP算法的加入，有效地提高了本文方法的识 ments.Pattern Recognit,1995.16(4):371 别率. [11]He X F,Cai D.Niyogi P.Locality preserving projections//Ad- (2)该方法对纵向裂纹和横向裂纹等出现频率 vances in Neural Information Processing Systems 18(NIPS). Vancouver.2005 最高的形状缺陷识别率非常高，分别达到了 [12]He X F.Locality Preserving Projections [Dissertation ]Chica- 93.98%和99.56%，总体识别率达到91.60%，非常 go:The University of Chicago.2005
表2 与 LPP 降维分类测试结果相对应的分类混淆矩阵 Table2 Confusion matrix corresponding to the test results of dimension reduction via LPP 缺陷 压痕 横向划伤 横向裂纹 氧化铁皮 纵向划伤 纵向裂纹 结疤 网纹 麻点 压痕 9 0 1 1 0 1 0 0 0 横向划伤 0 35 3 2 0 0 0 2 0 横向裂纹 0 0 125 3 0 1 1 3 0 氧化铁皮 0 2 1 91 3 0 0 1 1 纵向划伤 0 0 0 2 35 4 0 1 1 纵向裂纹 0 1 0 0 0 225 0 0 0 结疤 1 0 2 1 0 3 3 0 0 网纹 0 2 0 3 0 3 0 44 0 麻点 0 1 0 0 0 2 0 0 11 任何一种特征提取方法都是有其适用范围的本文 提出的方法也不例外要想提高这三种缺陷的识别 率必须在特征向量中加入表面图像的纹理特征量． （2） 五种形状缺陷的识别率比较高在降维前 后都有一两个百分点的正常浮动横向划伤和纵向 划伤的正确率低于90％．通过分析混淆矩阵发现 这两种缺陷分别被误识为横向裂纹和纵向裂纹根 据它们在形状上相似可以解释这一结果． （3） 横向裂纹被误分为氧化铁皮和网纹甚至 被误识为纵向裂纹这是因为待识样本表面氧化铁 皮比较多导致误判；有一个纵向裂纹被误分为横向 划伤是因为某些裂纹非常窄而在裂纹的周围出现 了白色的带状区域导致误判． （4） 结疤识别率最低．从混淆矩阵中可以看 到结疤主要被错分到纵向裂纹、横向裂纹和氧化铁 皮中．这是因为结疤与后三者的图像特征很类似 而结疤的样本数目很少训练不够充分． （5） 采用 LPP 算法降维将识别率从88∙43％ 提高到91∙60％．这是因为LPP 算法在降维的同 时保持样本集流形的局部结构不变有效地消除了 一些离群点的影响． （6） 总体识别率达到91∙60％说明本文的特征 提取方法对中厚板表面缺陷识别是有效的． 6 结论 （1） 由于 LPP 算法能够在降维的同时保持样 本集流形的局部结构不变消除一些离群点的影响； 因此 LPP 算法的加入有效地提高了本文方法的识 别率． （2） 该方法对纵向裂纹和横向裂纹等出现频率 最高 的 形 状 缺 陷 识 别 率 非 常 高分 别 达 到 了 93∙98％和99∙56％总体识别率达到91∙60％非常 适用于中厚板表面缺陷检测． 参 考 文 献 ［1］ Song QXu KXu J W．Recognition of surface defects on medium and heavy plates based on structure spectrum．J Univ Sci Technol Beijing200729（3）：342 （宋强徐科徐金梧．基于结构谱的中厚板表面缺陷识别方 法．北京科技大学学报200729（3）：342） ［2］ Li W FXu KYang C Let al．Classifier design of on-line surface defect inspection system for plates．Iron Steel200641（4） 47 （李文峰徐科杨朝霖等．中厚板表面缺陷在线检测系统的分 类器设计．钢铁200641（4）：47） ［3］ Xu KLi W FYang C Let al．Feateure extraction based on amplitude spectrum and moment invariants and its application． Acta A utom Sin200632（3）：470 （徐科李文峰杨朝霖等．基于幅值谱与不变矩的特征提取 方法及应用．自动化学报2006．32（3）470） ［4］ Roweis S TSaul K L．Nonlinear dimensionality reduction by locally linear embedding．Science2000290：2323 ［5］ Mallat S．A Wavelet Tour of Signal Processing．California：Academic Press1999 ［6］ Mallat SWen L H．Singularity detection and processing with wavelets．IEEE T rans Inform Theory199238（2）：617 ［7］ Xu Y SWeaver J BHealy D Met al．Wavelet transform domain filters：A spatially selective noise filtration technique．IEEE T rans Image Process19943（6）：747 ［8］ Donoho D L．De-noising by soft-thresholding．IEEE T rans Inform Theory199541（3）：613 ［9］ Hu M K．Visual pattern recognition by moment invariants．IEEE T rans Inform Theory19628（2）：179 ［10］ Hupkens T Mde Clippeleir J．Noise and intensity invariant moments．Pattern Recognit199516（4）：371 ［11］ He X FCai DNiyogi P．Locality preserving projections∥ A dv ances in Neural Information Processing Systems 18（ NIPS）． Vancouver2005 ［12］ He X F．Locality Preserving Projections ［Dissertation］．Chicago：The University of Chicago2005 ·1346· 北 京 科 技 大 学 学 报 第31卷