工程科学学报,第37卷,增刊1:18-23,2015年5月 Chinese Journal of Engineering,Vol.37,Suppl.1:18-23,May 2015 DOI:10.13374/j.issn2095-9389.2015.s1.004:http://journals.ustb.edu.cn 基于多激光线的钢轨表面缺陷在线检测方法 周鹏四,徐科,张春阳,杨朝霖 北京科技大学高效轧制国家工程研究中心,北京100083 ☒通信作者,E-mail:zhoupeng(@nercar..ustb.edu.cn 摘要用多激光线代替单激光线应用于钢轨表面缺陷在线检测,解决了单激光线模式下由于钢轨跳动造成“伪缺陷”的问 题.对相机采集到的多激光线单幅图像进行了中心线提取、差值算法检测、缺陷判别及缺陷图像拼接等处理,实现了缺陷的 在线检测,并获得缺陷的完整区域图像.该方法利用多激光线单幅图像光带间的互相关和自相关深度信息提取图像的特征 区域进行检测,避免了单激光线模式的深度拼接步骤,从根本上解决了由于钢轨跳动造成的“误检”问题.该方法己经在线应 用于钢轨轨底的表面缺陷检测,相对于单激光线检测具有更高的准确率. 关键词钢轨:表面缺陷:三维检测:结构光 分类号TG156 Oninesurface defect detection for steel rails based on multiine lasers ZHOU Peng,XU Ke,ZHANG Chun-yang,YANG Chao-in National Engineering Research Center for Advanced Rolling Technology,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:zhoupeng@nercar.ustb.edu.cn ABSTRACT Multi-line lasers were applied to the on-ine defect detection for steel rails instead of single-ine laser,which solved the problem of "pseudo defects"due to the vibration of rails under the mode of single-ine laser.Images of multi-ine lasers captured by camera were processed to realize the online detection and the accurate defect feature area was acquired with steps of the extraction of strip centers,detection of difference algorithm,discrimination between real and pseudo defects,image mosaic,etc.Images of the defect area were extracted by the cross-correlation and self-correlation information of laser curves,and there was no need for the step of depth mapping under the single-line mode,so the problem of "fault detection"caused by the vibration of rails was solved fundamental- ly.The technique is applied to on-ine detection of defects for the bottom side of steel rails,and the detection rate is much higher than manual detection. KEY WORDS steel rail:surface defect:3-detection:structured lighting 钢轨的表面缺陷是影响钢轨质量的重要因素,因一定的深度,因此可采用基于结构光的二维投影测 此在钢轨出厂之前,需对钢轨表面进行严格检查.目 量方法实现钢轨表面缺陷在线检测.文献2]应用 前,在生产过程中对钢轨进行表面检查的主要方式是 单激光线检测方法和深度拼接算法实现钢轨表面深 人工目测,存在着效率低、劳动强度大、漏检严重等问 度缺陷的在线实时检测,基本上满足了在线检测的 题,已成为钢轨生产的“瓶颈” 要求 表面缺陷在线检测技术可解决人工目测法存在 然而,单激光线的应用,受生产线上钢轨跳动影 的问题,目前应用于钢轨的表面缺陷在线检测主要 响,不同图像间的光带位置会发生偏移、扭转,致使深 采用机器视觉技术▣.由于钢轨表面缺陷往往具有 度拼接过程产生许多“伪缺陷”,影响了检测准确率 收稿日期:201501-20 基金项目:国家科技支撑计划课题(2012BAB19B06):高等学校博士点专项基金资助课题(20120006110033)
工程科学学报,第 37 卷,增刊 1: 18--23,2015 年 5 月 Chinese Journal of Engineering,Vol. 37,Suppl. 1: 18--23,May 2015 DOI: 10. 13374 /j. issn2095--9389. 2015. s1. 004; http: / /journals. ustb. edu. cn 基于多激光线的钢轨表面缺陷在线检测方法 周 鹏,徐 科,张春阳,杨朝霖 北京科技大学高效轧制国家工程研究中心,北京 100083 通信作者,E-mail: zhoupeng@ nercar. ustb. edu. cn 摘 要 用多激光线代替单激光线应用于钢轨表面缺陷在线检测,解决了单激光线模式下由于钢轨跳动造成“伪缺陷”的问 题. 对相机采集到的多激光线单幅图像进行了中心线提取、差值算法检测、缺陷判别及缺陷图像拼接等处理,实现了缺陷的 在线检测,并获得缺陷的完整区域图像. 该方法利用多激光线单幅图像光带间的互相关和自相关深度信息提取图像的特征 区域进行检测,避免了单激光线模式的深度拼接步骤,从根本上解决了由于钢轨跳动造成的“误检”问题. 该方法已经在线应 用于钢轨轨底的表面缺陷检测,相对于单激光线检测具有更高的准确率. 关键词 钢轨; 表面缺陷; 三维检测; 结构光 分类号 TG156 On-linesurface defect detection for steel rails based on multi-line lasers ZHOU Peng ,XU Ke,ZHANG Chun-yang,YANG Chao-lin National Engineering Research Center for Advanced Rolling Technology,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail: zhoupeng@ nercar. ustb. edu. cn ABSTRACT Multi-line lasers were applied to the on-line defect detection for steel rails instead of single-line laser,which solved the problem of“pseudo defects”due to the vibration of rails under the mode of single-line laser. Images of multi-line lasers captured by camera were processed to realize the online detection and the accurate defect feature area was acquired with steps of the extraction of strip centers,detection of difference algorithm,discrimination between real and pseudo defects,image mosaic,etc. Images of the defect area were extracted by the cross-correlation and self-correlation information of laser curves,and there was no need for the step of depth mapping under the single-line mode,so the problem of“fault detection”caused by the vibration of rails was solved fundamentally. The technique is applied to on-line detection of defects for the bottom side of steel rails,and the detection rate is much higher than manual detection. KEY WORDS steel rail; surface defect; 3-D detection; structured lighting 收稿日期: 2015--01--20 基金项目: 国家科技支撑计划课题 ( 2012BAB19B06) ; 高等学校博士点专项基金资助课题( 20120006110033) 钢轨的表面缺陷是影响钢轨质量的重要因素,因 此在钢轨出厂之前,需对钢轨表面进行严格检查. 目 前,在生产过程中对钢轨进行表面检查的主要方式是 人工目测,存在着效率低、劳动强度大、漏检严重等问 题,已成为钢轨生产的“瓶颈”. 表面缺陷在线检测技术可解决人工目测法存在 的问题,目前应用于钢轨的表面缺陷在线检测主要 采用机器视觉技术[1]. 由于钢轨表面缺陷往往具有 一定的深度,因此可采用基于结构光的二维投影测 量方法实现钢轨表面缺陷在线检测. 文献[2]应用 单激光线检测方法和深度拼接算法实现钢轨表面深 度缺陷的在线实时检测,基本上满足了在线检测的 要求. 然而,单激光线的应用,受生产线上钢轨跳动影 响,不同图像间的光带位置会发生偏移、扭转,致使深 度拼接过程产生许多“伪缺陷”,影响了检测准确率.
周鹏等:基于多激光线的钢轨表面缺陷在线检测方法 19* 因此,本文提出用多激光线取代单激光线,以解决由于 条反映钢轨表面形状变化的光带曲线,这些曲线形态 钢轨跳动产生的“伪缺陷”问题.多激光线检测方法由 变化反映了钢轨表面的深度变化.图1是含有深度缺 于光带数量的增加,使单幅图像的信息量增大,可以用 陷的轨底和轨腰多激光线投射图像,图中白色椭圆区 单幅图像检测缺陷,不需要再采用深度拼接算法,从根 域为“轧痕”缺陷区域.从图1可以看出,正常钢轨表 本上避免了钢轨跳动产生的“伪缺陷”问题,提高检测 面的光带曲线变化一致,且彼此间间距近似相等,而缺 准确率 陷区域的光带曲线发生变形,相邻曲线间间距也出现 1检测方案 差异.多激光线检测方法正是利用这种单幅图像上缺 陷区域形成的二维图像上的光带形态变化关系完成缺 将多线激光光源垂直照射到钢轨表面,会形成多 陷检测 图1多激光线投射到钢轨表面的图像.()轨底图像:(b)轨腰图像 Fig.1 Images of laser projection on the rail:(a)rail bottom:(b)rail waist 多激光线检测方法的关键是在单幅图像上提取缺 陷的特征区域,本文利用差值算法提取缺陷区域.钢 2系统实现 轨表面是一个多平面及曲面的复合面,对不同的面需 2.1 检测原理 要不同的差值提取法.对于轨底和踏面主要是平面, 利用摄像机实时采集钢轨表面图像,传给计算机 可以利用光带缺陷间的间距差异,采用直接差值法计 处理,具体的算法实现步骤如图2所示 算;对于轨腰的曲面,从形态上分析,拐点处的曲线近 光带图像 细化图像 似二次曲线,其余部分接近直线,二者交替形成复合曲 提取中心线 范值算法 线,所以采用分段拟合的方法拟合出每条光带曲线的 突变特征区域 近似标准曲线,并将原曲线与标准曲线求差异.经过 报警 完整缺陷 缺陷图像 图像拼接 检测判别 输出 差值算法计算后,存在缺陷的区域,差值大于一定的域 值(应用中取5),超过域值范围点的像素值置为255, 图2多激光线检测系统的图像处理步骤 小于的置为0,从而获得反映缺陷区域的二值图像(钢 Fig.2 Image processing of the multi-line laser system 轨表面深度变化的分布图),在此基础上进行后续的 检测与分类. 摄像机采集到带有一定宽度的光带图像,提取光 在系统的实现中,将激光器安装在每个面的不同 带中心线后四,得到了反映深度信息的光带细化图像, 位置,垂直照射于钢轨表面,摄像机与表面法线成45° 图3是对图1所示光带图像提取中心线后的细化图 采集图像.目前,系统已经实现了轨底的在线检测应 像.在细化图像中,光带的突变特征表现为曲线间的 用,取得了较好的检测效果 间距变化及曲线本身的形态突变,利用间距差值提取 a 图3图1所示图像提取光带中心线结果.(a)轨底图像:(b)轨腰图像 Fig.3 Center extraction of images in Fig.I:(a)rail bottom:(b)rail waist
周 鹏等: 基于多激光线的钢轨表面缺陷在线检测方法 因此,本文提出用多激光线取代单激光线,以解决由于 钢轨跳动产生的“伪缺陷”问题. 多激光线检测方法由 于光带数量的增加,使单幅图像的信息量增大,可以用 单幅图像检测缺陷,不需要再采用深度拼接算法,从根 本上避免了钢轨跳动产生的“伪缺陷”问题,提高检测 准确率. 1 检测方案 将多线激光光源垂直照射到钢轨表面,会形成多 条反映钢轨表面形状变化的光带曲线,这些曲线形态 变化反映了钢轨表面的深度变化. 图 1 是含有深度缺 陷的轨底和轨腰多激光线投射图像,图中白色椭圆区 域为“轧痕”缺陷区域. 从图 1 可以看出,正常钢轨表 面的光带曲线变化一致,且彼此间间距近似相等,而缺 陷区域的光带曲线发生变形,相邻曲线间间距也出现 差异. 多激光线检测方法正是利用这种单幅图像上缺 陷区域形成的二维图像上的光带形态变化关系完成缺 陷检测. 图 1 多激光线投射到钢轨表面的图像. ( a) 轨底图像; ( b) 轨腰图像 Fig. 1 Images of laser projection on the rail: ( a) rail bottom; ( b) rail waist 多激光线检测方法的关键是在单幅图像上提取缺 陷的特征区域,本文利用差值算法提取缺陷区域. 钢 轨表面是一个多平面及曲面的复合面,对不同的面需 要不同的差值提取法. 对于轨底和踏面主要是平面, 可以利用光带缺陷间的间距差异,采用直接差值法计 算; 对于轨腰的曲面,从形态上分析,拐点处的曲线近 似二次曲线,其余部分接近直线,二者交替形成复合曲 线,所以采用分段拟合的方法拟合出每条光带曲线的 近似标准曲线,并将原曲线与标准曲线求差异. 经过 差值算法计算后,存在缺陷的区域,差值大于一定的域 值( 应用中取 5) ,超过域值范围点的像素值置为 255, 小于的置为 0,从而获得反映缺陷区域的二值图像( 钢 轨表面深度变化的分布图) ,在此基础上进行后续的 检测与分类. 图 3 图 1 所示图像提取光带中心线结果. ( a) 轨底图像; ( b) 轨腰图像 Fig. 3 Center extraction of images in Fig. 1: ( a) rail bottom; ( b) rail waist 在系统的实现中,将激光器安装在每个面的不同 位置,垂直照射于钢轨表面,摄像机与表面法线成 45° 采集图像. 目前,系统已经实现了轨底的在线检测应 用,取得了较好的检测效果. 2 系统实现 2. 1 检测原理 利用摄像机实时采集钢轨表面图像,传给计算机 处理,具体的算法实现步骤如图 2 所示. 图 2 多激光线检测系统的图像处理步骤 Fig. 2 Image processing of the multi - line laser system 摄像机采集到带有一定宽度的光带图像,提取光 带中心线后[3],得到了反映深度信息的光带细化图像, 图 3 是对图 1 所示光带图像提取中心线后的细化图 像. 在细化图像中,光带的突变特征表现为曲线间的 间距变化及曲线本身的形态突变,利用间距差值提取 ·19·
·20* 工程科学学报,第37卷,增刊1 这种变化信息,则可以进一步得到突变的实际区域 结果.直接差值法,原理简单、速度快,对于曲线平直 2.2提取缺陷特征区域 度较高图像有很好的特征提取效果,在轨底缺陷检测 缺陷沿钢轨长度和高度方向分布,具有一定的尺 中取得很好的应用.但对于轨腰图像的曲线,由于曲 寸,小于一定尺寸的缺陷不作为系统检测的缺陷.通 线的弯曲变化部分也会出现间距差异,该算法效果并 过差值算法获得缺陷的图像区域,再通过图像大小与 不好,误检现象严重 实际物体间的对应变换关系即可获得实际缺陷的 (2)拟合差值法 大小 图3()所示的轨腰图像中,曲线由上到下近似由 (1)直接差值算法 直线和二次曲线构成,可以分段对每条曲线拟合出标准 图3(a)所示的轨底图像基本上全是由平直的中 曲线,再计算原始曲线与标准曲线的差值。首先,按列 心线组成,在图像纵向上计算每一列像素间相邻线间 抽样计算获取曲线的数目:其次,利用中心线的连续性, 距的差异,大于一定阈值的则表示缺陷位置.首先,计 按邻域搜索的方法求得每一条中心线,对于断点的问 算纵向相邻两条线的间距,并记录当前位置:其次,计 题,可以适当增加邻域半径;最后,对每一条曲线利用最 算每个点距离上一条和下一条曲线的间距差值,忽略 小二乘法分段进行拟合以求得标准曲线,并计算差异. 最上面和最下面的两条曲线,并保留所有超过阙值范 拟合差值法,每条曲线的标准曲线都是自身的近似拟合 围的点,删除正常曲线的点:最后,搜索整张图像,过滤 曲线,不考虑曲线间的变化,因此相对于直接差值法,可 掉孤立点和小线段,减少断点和边缘突变造成的影响. 以很好的处理轨腰这种复杂的表面.图4(b)是图3(b) 图4(a)是图3(a)轨底图像进行直接差值算法得到的 轨腰图像用拟合差值法处理后的结果. a (b) 图4差值法提取的感兴趣区域.(a)轨底图像:(b)轨腰图像 Fig.4 Regions of interest extracted by differential analysis:(a)image of rail bottom:(b)image of rail waist 2.3缺陷检测与判别 定差异,可利用纹理特征判别. 含有缺陷的图像经过差值算法处理后,图像中只 (1)形状特征判别 剩下缺陷部分,正常的图像则无亮点像素,可以利用图 图像中特征区域是由一些点和线段勾勒出的具体 像质量直接区分两类图像.利用差值算法在轨底的检 的外形,采用求取外界凸多边形的凸包算法计算特征 测应用中,除了检测到的缺陷,还有由于钢轨表面附着 区域的边界以获得相应的形状特征.常用的凸包算法 水珠造成的伪缺陷.根据水珠的形态主要可以分为两 有卷包裹法、快速凸包算法、Graham算法等,其中卷 类:(1)体积较大聚集在一起的团状水珠:(2)体积小 包裹法可由其数据结构简单且图像中参与计算的点数 呈线形分布的线状水珠.缺陷与线性水珠在形状特征 目较少,相对于其他两种算法具有更快的算法速度. 上具有较大差别,可以利用形状特征进行判别;缺陷与 图5为提取边界后的水珠区域图像, 团状水珠在形状上则难以区分,但在内部纹理上有一 利用凸包提取的区域边界计算其矩形度、圆形度、 a 图5凸包算法求取的伪缺陷区域边界.(a)团状水珠:(b)线形水珠 Fig.5 Bounds of water drops extracted by convex hull analysis:(a)round-formed water drop:(b)line-formed water drop
工程科学学报,第 37 卷,增刊 1 这种变化信息,则可以进一步得到突变的实际区域. 2. 2 提取缺陷特征区域 缺陷沿钢轨长度和高度方向分布,具有一定的尺 寸,小于一定尺寸的缺陷不作为系统检测的缺陷. 通 过差值算法获得缺陷的图像区域,再通过图像大小与 实际物体间的对应变换关系即可获得实际缺陷的 大小. ( 1) 直接差值算法 图 3( a) 所示的轨底图像基本上全是由平直的中 心线组成,在图像纵向上计算每一列像素间相邻线间 距的差异,大于一定阈值的则表示缺陷位置. 首先,计 算纵向相邻两条线的间距,并记录当前位置; 其次,计 算每个点距离上一条和下一条曲线的间距差值,忽略 最上面和最下面的两条曲线,并保留所有超过阈值范 围的点,删除正常曲线的点; 最后,搜索整张图像,过滤 掉孤立点和小线段,减少断点和边缘突变造成的影响. 图 4( a) 是图 3( a) 轨底图像进行直接差值算法得到的 结果. 直接差值法,原理简单、速度快,对于曲线平直 度较高图像有很好的特征提取效果,在轨底缺陷检测 中取得很好的应用. 但对于轨腰图像的曲线,由于曲 线的弯曲变化部分也会出现间距差异,该算法效果并 不好,误检现象严重. ( 2) 拟合差值法 图 3( b) 所示的轨腰图像中,曲线由上到下近似由 直线和二次曲线构成,可以分段对每条曲线拟合出标准 曲线,再计算原始曲线与标准曲线的差值. 首先,按列 抽样计算获取曲线的数目; 其次,利用中心线的连续性, 按邻域搜索的方法求得每一条中心线,对于断点的问 题,可以适当增加邻域半径; 最后,对每一条曲线利用最 小二乘法分段进行拟合以求得标准曲线,并计算差异. 拟合差值法,每条曲线的标准曲线都是自身的近似拟合 曲线,不考虑曲线间的变化,因此相对于直接差值法,可 以很好的处理轨腰这种复杂的表面. 图 4( b) 是图 3( b) 轨腰图像用拟合差值法处理后的结果. 图 4 差值法提取的感兴趣区域. ( a) 轨底图像; ( b) 轨腰图像 Fig. 4 Regions of interest extracted by differential analysis: ( a) image of rail bottom; ( b) image of rail waist 图 5 凸包算法求取的伪缺陷区域边界. ( a) 团状水珠; ( b) 线形水珠 Fig. 5 Bounds of water drops extracted by convex hull analysis: ( a) round-formed water drop; ( b) line-formed water drop 2. 3 缺陷检测与判别 含有缺陷的图像经过差值算法处理后,图像中只 剩下缺陷部分,正常的图像则无亮点像素,可以利用图 像质量直接区分两类图像. 利用差值算法在轨底的检 测应用中,除了检测到的缺陷,还有由于钢轨表面附着 水珠造成的伪缺陷. 根据水珠的形态主要可以分为两 类: ( 1) 体积较大聚集在一起的团状水珠; ( 2) 体积小 呈线形分布的线状水珠. 缺陷与线性水珠在形状特征 上具有较大差别,可以利用形状特征进行判别; 缺陷与 团状水珠在形状上则难以区分,但在内部纹理上有一 定差异,可利用纹理特征判别. ( 1) 形状特征判别 图像中特征区域是由一些点和线段勾勒出的具体 的外形,采用求取外界凸多边形的凸包算法计算特征 区域的边界以获得相应的形状特征. 常用的凸包算法 有卷包裹法、快速凸包算法、Graham 算法等[4],其中卷 包裹法[5]由其数据结构简单且图像中参与计算的点数 目较少,相对于其他两种算法具有更快的算法速度. 图 5 为提取边界后的水珠区域图像. 利用凸包提取的区域边界计算其矩形度、圆形度、 ·20·
周鹏等:基于多激光线的钢轨表面缺陷在线检测方法 ·21 长宽比三个和区域大小无关只与形状有关的形状参 式为: 数.矩形度(R)的计算公式为: U= (3) 会 (1) t- 熵值公式为: 式中,A。是几何特征区域面积,A:是其最小的外接矩 e=- ∑P(i)log,P() (4) 形(minimum external rectangle,MER)的面积.圆形度 (C)的计算公式为: 式中,i为相对链码值,P()为码值i的概率密度. 表2为轧痕与团形水珠、线形水珠的各种纹理链 C= (2) 码统计特征值.轧痕与线形水珠在方差、一致性和熵 式中,P为区域周长,A。是几何特征区域的面积 值等参量上都存在明显的数值差异,可以获得合适的 表1为轧痕与团形水珠、线形水珠的各种形状特 判别阈值,从而区分两种图像 征值.轧痕与线形水珠在形状参数上存在较为明显的 表2纹理链码统计特征量 数值差异,可以作为判别标准,而与团状水珠的差别较 Table 2 Statistical feature values of textural chain coding 小,不容易获得判别阈值 图像样本 均值 方差 一致性 熵值 表1形状特征值 缺陷 0.0870 0.7613 0.5132 Table 1 Geometry feature values 团形水珠 0.00770.7153 0.1880 1.6893 图像样本 矩形度 圆形度 长宽比 线形水珠 0 0.7451 0.2153 1.6965 轧痕 0.409 24.760 3.630 团形水珠 0.725 13.200 1.887 2.4缺陷图像拼接 如果钢轨速度过快,则可能出现单幅图像无法包 线形水珠 0.134 74.273 14.178 含全部缺陷区域的情况,需要通过拼接的方法获得完 (2)纹理特征判别 整区域.图7分别为轨腰缺陷的左半部分和右半部分 对缺陷与水珠的特征区域内的线段利用霍夫曼码 特征区域图,根据图像的特点,采用了具有平移、旋转、 进行编码切,并计算相应的相对两码。具体的编码可 仿射不变性的夹角链码网对内部的线段编码,利用编 以根据图像中线段的特点,采用半边编码,并增加编码 码特征进行特征匹配,从而求得最佳拼接效果. 步长以获得更全的角度信息,如图6所示 夹角链码利用曲线的形状特征将曲线用等长折线 描述,如图8所示.等长折线的数目用最小面积法则 2 确定,即折线与曲线围成图形的面积之和满足一定的 阈值:等长折线的长度则用画圆逼近的方法获得.由 于等长折线的确定是由形状特征决定,所以匹配的曲 线的等长折线划分数应该近似相等,折线间的夹角链 码表示相互匹配 编码:4.6,6,44*,* 夹角的计算公式如下: 图6纹理链码编码示意图 a;=2arccos d(HH) Fig.6 Schematic drawings of textural chain coding 2l. 0102 a 图7缺陷区域特征图.(a)缺陷左半部分:(b)缺陷右半部分 Fig.7 Characteristic pattern of defect areas:(a)left side of the defect:(b)right side of the defect
周 鹏等: 基于多激光线的钢轨表面缺陷在线检测方法 长宽比三个和区域大小无关只与形状有关的形状参 数[6]. 矩形度( R) 的计算公式为: R = A0 AR . ( 1) 式中,A0 是几何特征区域面积,AR 是其最小的外接矩 形( minimum external rectangle,MER) 的面积. 圆形度 ( C) 的计算公式为: C = P2 A0 . ( 2) 式中,P 为区域周长,A0 是几何特征区域的面积 表 1 为轧痕与团形水珠、线形水珠的各种形状特 征值. 轧痕与线形水珠在形状参数上存在较为明显的 数值差异,可以作为判别标准,而与团状水珠的差别较 小,不容易获得判别阈值. 表 1 形状特征值 Table 1 Geometry feature values 图像样本 矩形度 圆形度 长宽比 轧痕 0. 409 24. 760 3. 630 团形水珠 0. 725 13. 200 1. 887 线形水珠 0. 134 74. 273 14. 178 ( 2) 纹理特征判别 图 7 缺陷区域特征图. ( a) 缺陷左半部分; ( b) 缺陷右半部分 Fig. 7 Characteristic pattern of defect areas: ( a) left side of the defect; ( b) right side of the defect 对缺陷与水珠的特征区域内的线段利用霍夫曼码 进行编码[7],并计算相应的相对两码. 具体的编码可 以根据图像中线段的特点,采用半边编码,并增加编码 步长以获得更全的角度信息,如图 6 所示. 图 6 纹理链码编码示意图 Fig. 6 Schematic drawings of textural chain coding 计算相对链码的统计特征量均值、方差、一致性、 熵值,作 为 特 征 区 域 的 纹 理 特 征 参 数[8]. 一 致 性 公 式为: U = ∑ N i = -N P( i) 3 . ( 3) 熵值公式为: e = - ∑ N i = -N P( i) log2P( i) . ( 4) 式中,i 为相对链码值,P( i) 为码值 i 的概率密度. 表 2 为轧痕与团形水珠、线形水珠的各种纹理链 码统计特征值. 轧痕与线形水珠在方差、一致性和熵 值等参量上都存在明显的数值差异,可以获得合适的 判别阈值,从而区分两种图像. 表 2 纹理链码统计特征量 Table 2 Statistical feature values of textural chain coding 图像样本 均值 方差 一致性 熵值 缺陷 0 0. 0870 0. 7613 0. 5132 团形水珠 0. 0077 0. 7153 0. 1880 1. 6893 线形水珠 ~ 0 0. 7451 0. 2153 1. 6965 2. 4 缺陷图像拼接 如果钢轨速度过快,则可能出现单幅图像无法包 含全部缺陷区域的情况,需要通过拼接的方法获得完 整区域. 图 7 分别为轨腰缺陷的左半部分和右半部分 特征区域图,根据图像的特点,采用了具有平移、旋转、 仿射不变性的夹角链码[9]对内部的线段编码,利用编 码特征进行特征匹配,从而求得最佳拼接效果. 夹角链码利用曲线的形状特征将曲线用等长折线 描述,如图 8 所示. 等长折线的数目用最小面积法则 确定,即折线与曲线围成图形的面积之和满足一定的 阈值; 等长折线的长度则用画圆逼近的方法获得. 由 于等长折线的确定是由形状特征决定,所以匹配的曲 线的等长折线划分数应该近似相等,折线间的夹角链 码表示相互匹配. 夹角的计算公式如下: αi [ = 2arccos d( Hi,Hi + 2 ) 2l ] c , θ1 < θ2 ; αi = 2π [ - 2arccos d( Hi,Hi + 2 ) 2l ] c { , θ1 > θ2 . ( 5) ·21·
·22· 工程科学学报,第37卷,增刊1 后两个截点;d(H,H2)表示H与H2间的距离. 根据夹角链码的最佳配准策略求得最佳曲线对应 关系,并在对应曲线上取四组对应链码节点,求得变 换模型参数@,对配准图进行透视变换,并与标准图 图8曲线的等长折线划分 Fig.8 Curve segmented by broken lines of equal length 合成最终的完整缺陷区域图.通过该方法获得的拼接 图像,并与相机采集到的完整缺陷图像对比,如图9所 式中,相邻折线间逆时针方向的夹角为日,:顺时针的 示.计算拼接图与标准图的形状特征参数值,并求取 夹角为62:l为等长折线的长度:H,、H,2为当前点的前 二者的相对误差,数据对比如表3所示. a b 图9缺陷拼接图(a)与标准图()对比 Fig.9 Comparision of the combination image (a)and standard image (b)of defects 表3拼接图与标准图的形状特征值对比 别编号为301-400)进行了应用测试,这些钢轨中共有 Table 3 Comparision of the geometry feature values of combination im- age and standard image 缺陷4个,分别在346、348、350、391号钢轨上.摄像机 对比项目 (本文采用DALSA公司的Genie HM640系列工业相 面积 周长 矩形度 长宽比 机)的采集速率设置为100帧/s,钢轨以1.5m/s的速 标准图 5643 357.0366 0.6442 2.89 度运行,每两幅图像的间隔为l5mm,相机的采集宽度 拼接图 5314 323.37970.6982 2.56 为100mm.测试中采用人工检测与机器检测同时进行 相对误差/% -5.83 -9.43 8.38 -11.42 的方式,机器检测方法检测到了全部4个缺陷,没有发 表3的数据表示,除了在长宽比上的误差超过了 生漏检.而人工检测只检测到348号钢轨上的缺陷, 10%,其他的参数误差均在10%以内,可以较为粗略 其他3个缺陷漏检.机器检测方法检测到4个缺陷的 获得缺陷的完整区域 光带图像,如图10所示,其中白色椭圆区域是缺陷 区域. 3工业应用 本文对于轨腰的检测是在实验室条件下完成的, 利用差值图像检测算法在现场对100根钢轨(分 还需在现场环境下进行实际验证。在未来的研究中, 图10缺陷区域光带图像.(a)346号钢轨:(b)348号钢轨:(c)350号钢轨:(d)391号钢轨 Fig.10 Images of laser strips of defect areas:(a)No.346 steel rail;(b)No.348 steel rail;(c)No.350 steel rail:(d)No.391 steel rail
工程科学学报,第 37 卷,增刊 1 图 8 曲线的等长折线划分 Fig. 8 Curve segmented by broken lines of equal length 式中,相邻折线间逆时针方向的夹角为 θ1 ; 顺时针的 夹角为 θ2 ; lc为等长折线的长度; Hi、Hi + 2为当前点的前 后两个截点; d( Hi,Hi + 2 ) 表示 Hi与 Hi + 2间的距离. 根据夹角链码的最佳配准策略求得最佳曲线对应 关系[9],并在对应曲线上取四组对应链码节点,求得变 换模型参数[10],对配准图进行透视变换,并与标准图 合成最终的完整缺陷区域图. 通过该方法获得的拼接 图像,并与相机采集到的完整缺陷图像对比,如图 9 所 示. 计算拼接图与标准图的形状特征参数值,并求取 二者的相对误差,数据对比如表 3 所示. 图 9 缺陷拼接图( a) 与标准图( b) 对比 Fig. 9 Comparision of the combination image ( a) and standard image ( b) of defects 表 3 拼接图与标准图的形状特征值对比 Table 3 Comparision of the geometry feature values of combination image and standard image 对比项目 面积 周长 矩形度 长宽比 标准图 5643 357. 0366 0. 6442 2. 89 拼接图 5314 323. 3797 0. 6982 2. 56 相对误差/% - 5. 83 - 9. 43 8. 38 - 11. 42 表 3 的数据表示,除了在长宽比上的误差超过了 10% ,其他的参数误差均在 10% 以内,可以较为粗略 获得缺陷的完整区域. 图 10 缺陷区域光带图像. ( a) 346 号钢轨; ( b) 348 号钢轨; ( c) 350 号钢轨; ( d) 391 号钢轨 Fig. 10 Images of laser strips of defect areas: ( a) No. 346 steel rail; ( b) No. 348 steel rail; ( c) No. 350 steel rail; ( d) No. 391 steel rail 3 工业应用 利用差值图像检测算法在现场对 100 根钢轨( 分 别编号为 301--400) 进行了应用测试,这些钢轨中共有 缺陷 4 个,分别在 346、348、350、391 号钢轨上. 摄像机 ( 本文采用 DALSA 公司的 Genie HM640 系列工业相 机) 的采集速率设置为 100 帧/s,钢轨以 1. 5 m/s 的速 度运行,每两幅图像的间隔为 15 mm,相机的采集宽度 为 100 mm. 测试中采用人工检测与机器检测同时进行 的方式,机器检测方法检测到了全部 4 个缺陷,没有发 生漏检. 而人工检测只检测到 348 号钢轨上的缺陷, 其他 3 个缺陷漏检. 机器检测方法检测到 4 个缺陷的 光带图像,如图 10 所示,其中白色椭圆区域是缺陷 区域. 本文对于轨腰的检测是在实验室条件下完成的, 还需在现场环境下进行实际验证. 在未来的研究中, ·22·
周鹏等:基于多激光线的钢轨表面缺陷在线检测方法 ·23 还可以利用结构光三维测量技术进一步获得缺陷的实 (徐科,杨朝霖,周鹏,等.基于激光线光源的钢轨表面缺陷 际深度,提高检测精度 三维检测方法.机械工程学报,2010,46(8):1) B]Wei ZZ,Zhang G J.A robust automatic method for extracting the 4结论 centric line of straight structured-ight stripe.Chin Sci Instrum, 2004,25(2):244 (1)基于多激光线的钢轨表面检测方法,利用结 (魏振忠,张广军.结构光直光条中心线的鲁棒性自动提取方 构光的二维测量技术在一张图像上完成检测过程,避 法.仪器仪表学报,2004,25(2):244) 免了深度图像拼接过程,从而解决了单激光线模式下 4]Liu B,Wang T.An efficient convex hull algorithm for planar poin 钢轨跳动造成伪缺陷过多的问题: set based on recursive method.Acta Autom Sinica,2012,38(8): (2)针对轨底和轨腰表面形态特征,分别采用直 1375 (刘斌,王涛.一种高效的平面点集凸包递归算法.自动化学 接差值算法和拟合差值算法检测两种特征不同的轨面 报,2012,38(8):1375) 缺陷,并利用缺陷的形状和纹理特征,对轨底检测应用 5]Chan T M.Optimal output-ensitive convex hull algorithms in two 中出现伪缺陷进行了判别,准确检测出轨底的缺陷,提 and three dimensions.Discrete Comput Geom,1996,16(4):361 高检测精度: 6]Bronnimann H,lacono J,Katajainen J,et al.Space-efficient pla- (3)采用基于夹角链码的配准方法,实现了相邻 nar convex hull algorithms.Theor Comput Sci,2004,321 (1):25 缺陷图像间的拼接,可以较为准确地获得缺陷的完整 ] Prisco R D,Santis A D.On the redundancy achieved by Huffman 区域 codes..Inf Sci,.1996,88(1-4):131 [8]Li J J,Wang A M,Yang H W.Detection method based on shape features study on rice injured kemnel.J Agr Mech Res,2012,34 参考文献 (8):18 1]Wang P,Liu Z,Wang W,et al.Rail defect identification using (李品品,王爱民,杨红卫.基于形状特征的大米虫蚀粒检测 digital image processing and characteristics extraction.Mod Sci In- 方法.衣机化研究,2012,34(8):18) sum,2012,4(2):24 ] Zhao Y,Chen Y Q.Included angle chain:A method for curve (王平,刘泽,王嵬,等.基于数字图像处理和特征提取的钢 representation.JSofi,2004,15(2):300 轨表面缺陷识别方法.现代科学仪器,2012,4(2):24) (赵宇,陈雁秋.曲线描述的一种方法:夹角链码.软件学 Xu K,Yang C L.Zhou P,et al.3D detection technique of sur- 报,2004,15(2):300) face defects for steel rails based on linear lasers.J Mech Eng, [10]Szeliski R.Video mosaics for virtual environments.IEEE Com- 2010,46(8):1 put Graphics Appl,1996,16 (2)22
周 鹏等: 基于多激光线的钢轨表面缺陷在线检测方法 还可以利用结构光三维测量技术进一步获得缺陷的实 际深度,提高检测精度. 4 结论 ( 1) 基于多激光线的钢轨表面检测方法,利用结 构光的二维测量技术在一张图像上完成检测过程,避 免了深度图像拼接过程,从而解决了单激光线模式下 钢轨跳动造成伪缺陷过多的问题; ( 2) 针对轨底和轨腰表面形态特征,分别采用直 接差值算法和拟合差值算法检测两种特征不同的轨面 缺陷,并利用缺陷的形状和纹理特征,对轨底检测应用 中出现伪缺陷进行了判别,准确检测出轨底的缺陷,提 高检测精度; ( 3) 采用基于夹角链码的配准方法,实现了相邻 缺陷图像间的拼接,可以较为准确地获得缺陷的完整 区域. 参 考 文 献 [1] Wang P,Liu Z,Wang W,et al. Rail defect identification using digital image processing and characteristics extraction. Mod Sci Instrum,2012,4( 2) : 24 ( 王平,刘泽,王嵬,等. 基于数字图像处理和特征提取的钢 轨表面缺陷识别方法. 现代科学仪器,2012,4( 2) : 24) [2] Xu K,Yang C L,Zhou P,et al. 3D detection technique of surface defects for steel rails based on linear lasers. J Mech Eng, 2010,46( 8) : 1 ( 徐科,杨朝霖,周鹏,等. 基于激光线光源的钢轨表面缺陷 三维检测方法. 机械工程学报,2010,46( 8) : 1) [3] Wei Z Z,Zhang G J. A robust automatic method for extracting the centric line of straight structured-light stripe. Chin J Sci Instrum, 2004,25( 2) : 244 ( 魏振忠,张广军. 结构光直光条中心线的鲁棒性自动提取方 法. 仪器仪表学报,2004,25( 2) : 244) [4] Liu B,Wang T. An efficient convex hull algorithm for planar point set based on recursive method. Acta Autom Sinica,2012,38( 8) : 1375 ( 刘斌,王涛. 一种高效的平面点集凸包递归算法. 自动化学 报,2012,38( 8) : 1375) [5] Chan T M. Optimal output-sensitive convex hull algorithms in two and three dimensions. Discrete Comput Geom,1996,16( 4) : 361 [6] Bronnimann H,Iacono J,Katajainen J,et al. Space-efficient planar convex hull algorithms. Theor Comput Sci,2004,321( 1) : 25 [7] Prisco R D,Santis A D. On the redundancy achieved by Huffman codes. Inf Sci,1996,88( 1 - 4) : 131 [8] Li J J,Wang A M,Yang H W. Detection method based on shape features study on rice injured kernel. J Agr Mech Res,2012,34 ( 8) : 18 ( 李晶晶,王爱民,杨红卫. 基于形状特征的大米虫蚀粒检测 方法. 农机化研究,2012,34( 8) : 18) [9] Zhao Y,Chen Y Q. Included angle chain: A method for curve representation. J Softw,2004,15( 2) : 300 ( 赵宇,陈雁秋. 曲线描述的一种方法: 夹角链码. 软件学 报,2004,15( 2) : 300) [10] Szeliski R. Video mosaics for virtual environments. IEEE Comput Graphics Appl,1996,16( 2) : 22 ·23·