第8卷第4期 智能系统学报 Vol.8 No.4 2013年8月 CAAI Transactions on Intelligent Systems Aug.2013 D0I:10.3969/i.issn.1673-4785.201304041 网络出版地址:http://www.cnki.net/kcms/detail/23.1538.TP.20130828.0821.001.html 基于近红外高光谱图像的苹果轻微损伤检测 陈姗姗,宁纪锋,彭艺伟,张叶 (西北农林科技大学信息工程学院,陕西杨凌712100) 摘要:针对苹果轻微损伤时,基于可见光的机器视觉方法难以有效检测的缺点,开展了近红外高光谱图像的苹果 轻微损伤检测研究.首先,用900-1700m近红外波段范围对轻微损伤苹果高光谱成像,图像显示损伤部分与正常 部分区别明显.其次,采用特征波段比方法和不均匀二次差分方法对损伤苹果光谱图像进行处理,增强损伤处与正常 位置的可分性.最后,利用3种分割方案,对损伤部分进行自动分割.对50个含轻微损伤和正常的苹果进行分割,实 验结果表明,不均匀二次差分方法的损伤检测准确率为92%,比主成分分析法和波段比方法具有更高的检测准确 率,为轻微损伤苹果的准确检测提供了一种新的方法. 关键词:高光谱图像:轻微损伤:苹果缺陷检测:波段比:不均匀二次差分 中图分类号:TP391.41文献标志码:A文章编号:1673-4785(2013)04-356-05 中文引用格式:陈姗姗,宁纪锋,彭艺伟,等.基于近红外高光谱图像的苹果轻微损伤检测[J].智能系统学报,2013,8(4):356 360. 英文引用格式:CHEN Shanshan,NING Jifeng,PENG Yiwei,.etal.Detection of slight bruises on apples using near-infrared hyper- spectral image[J].CAAI Transactions on Intelligent Systems,2013,8(4):356-360. Detection of slight bruises on apples using near-infrared hyperspectral image CHEN Shanshan,NING Jifeng,PENG Yiwei,ZHANG Ye College of Information Engineering,Northwest A&F University,Yangling 712100,China) Abstract:A research of apple slight bruises was conducted by using hyperspectral images,aimed at solving the dif- ficulty of the traditional defect detection method of machine vision.This study is in part based on the fact that visi- ble light faces great challenges on it.First,the hyperspectral images of slight bruise apples between 900 and 1 700 nm are acquired by a hyperspectral imaging system.It can be found that the differences between the normal part and the bruise part are obvious.Next,we analyzed the hyperspectral images via the feature band ratio method and asymmetric second difference method to improve the divisibility of the normal part and the bruise part.Finally, the bruise parts were automatically segmented from the normal part with three defect detection methods.The experi- mental results show that the accuracy of detecting slight bruises on the 50 apples using asymmetric second difference method is 92%,which is higher than the principal component analysis and band ratio methods.Therefore,the work provides a new method to detect the slight bruise apples accurately. Keywords:hyperspectral image;slight bruises;apple defect detection;band ratio;asymmetric second difference 苹果作为最广泛种植的水果品种之一,是世界中,尤其是长途运输过程中,苹果易受到碰撞、挤压、 上的第二大消费水果,具有丰富的营养价值,因此, 摔伤等损伤,轻微损伤在苹果表面没有缺口,肉眼难 其品质的好坏至关重要]在人工采摘运输的过程以发现,经过一段时间后,果肉发生褐变,损伤部位 变软,苹果内部的化学成分以及口感味道发生改变, 收稿日期:2013-04-15.网络出版日期:2013-08-28. 基金项目:国家自然科学基金资助项目(61003151):中央高校基本科 最终导致苹果腐烂变质起初损伤难于观察,并且在 研业务费专项基金资助项目(QN2013055,QN2013062):国 家级大学生创新创业训练计划资助项目(1210712132) 存储、运输处于不恰当的环境下发展很快,因此检测 通信作者:宁纪锋.E-mail:jf_ing@sina.com 苹果的轻微损伤十分必要由于苹果表面颜色、纹理
第 8 卷第 4 期 智 能 系 统 学 报 Vol.8 №.4 2013 年 8 月 CAAI Transactions on Intelligent Systems Aug. 2013 DOI:10.3969 / j.issn.1673⁃4785.201304041 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20130828.0821.001.html 基于近红外高光谱图像的苹果轻微损伤检测 陈姗姗,宁纪锋, 彭艺伟,张叶 (西北农林科技大学 信息工程学院,陕西 杨凌 712100) 摘 要:针对苹果轻微损伤时,基于可见光的机器视觉方法难以有效检测的缺点,开展了近红外高光谱图像的苹果 轻微损伤检测研究.首先,用 900~ 1 700 nm 近红外波段范围对轻微损伤苹果高光谱成像,图像显示损伤部分与正常 部分区别明显.其次,采用特征波段比方法和不均匀二次差分方法对损伤苹果光谱图像进行处理,增强损伤处与正常 位置的可分性.最后,利用 3 种分割方案,对损伤部分进行自动分割.对 50 个含轻微损伤和正常的苹果进行分割,实 验结果表明,不均匀二次差分方法的损伤检测准确率为 92%,比主成分分析法和波段比方法具有更高的检测准确 率,为轻微损伤苹果的准确检测提供了一种新的方法. 关键词:高光谱图像;轻微损伤;苹果缺陷检测;波段比;不均匀二次差分 中图分类号:TP391.41 文献标志码:A 文章编号:1673⁃4785(2013)04⁃356⁃05 中文引用格式:陈姗姗, 宁纪锋, 彭艺伟,等.基于近红外高光谱图像的苹果轻微损伤检测[ J]. 智能系统学报, 2013, 8( 4): 356⁃ 360. 英文引用格式:CHEN Shanshan, NING Jifeng, PENG Yiwei,et al. Detection of slight bruises on apples using near-infrared hyper⁃ spectral image[J]. CAAI Transactions on Intelligent Systems, 2013, 8(4): 356⁃360. Detection of slight bruises on apples using near⁃infrared hyperspectral image CHEN Shanshan, NING Jifeng, PENG Yiwei, ZHANG Ye (College of Information Engineering, Northwest A&F University, Yangling 712100, China) Abstract:A research of apple slight bruises was conducted by using hyperspectral images, aimed at solving the dif⁃ ficulty of the traditional defect detection method of machine vision. This study is in part based on the fact that visi⁃ ble light faces great challenges on it. First, the hyperspectral images of slight bruise apples between 900 and 1 700 nm are acquired by a hyperspectral imaging system. It can be found that the differences between the normal part and the bruise part are obvious. Next, we analyzed the hyperspectral images via the feature band ratio method and asymmetric second difference method to improve the divisibility of the normal part and the bruise part. Finally, the bruise parts were automatically segmented from the normal part with three defect detection methods. The experi⁃ mental results show that the accuracy of detecting slight bruises on the 50 apples using asymmetric second difference method is 92%, which is higher than the principal component analysis and band ratio methods. Therefore, the work provides a new method to detect the slight bruise apples accurately. Keywords:hyperspectral image; slight bruises; apple defect detection; band ratio; asymmetric second difference 收稿日期:2013⁃04⁃15. 网络出版日期:2013⁃08⁃28. 基金项目:国家自然科学基金资助项目(61003151);中央高校基本科 研业务费专项基金资助项目(QN2013055,QN2013062);国 家级大学生创新创业训练计划资助项目(1210712132). 通信作者:宁纪锋. E⁃mail: jf_ning@ sina.com. 苹果作为最广泛种植的水果品种之一,是世界 上的第二大消费水果,具有丰富的营养价值,因此, 其品质的好坏至关重要[1⁃2] .在人工采摘运输的过程 中,尤其是长途运输过程中,苹果易受到碰撞、挤压、 摔伤等损伤,轻微损伤在苹果表面没有缺口,肉眼难 以发现,经过一段时间后,果肉发生褐变,损伤部位 变软,苹果内部的化学成分以及口感味道发生改变, 最终导致苹果腐烂变质.起初损伤难于观察,并且在 存储、运输处于不恰当的环境下发展很快,因此检测 苹果的轻微损伤十分必要.由于苹果表面颜色、纹理
第4期 陈珊珊,等:基于近红外高光谱图像的苹果轻微损伤检测 ·357· 的影响以及苹果外部轻微损伤无明显表现,所以基 实验设备采用北京汉光卓立公司开发的Hyper- 于传统的机器视觉技术和人工可视检测的方法检测 SIS高光谱成像系统.如图1所示,该系统主要由推 苹果的轻微外部损伤非常困难,并且准确率较低, 扫型成像光谱仪(ImSpector,.N17E,Finland)、CCD 高光谱技术是近几年在国内外兴起的一项结合 面阵探测器(OPCAOS5G,日本滨松)、稳压电源箱和 传统成像技术和光谱技术的新方法.由于其信息量 暗箱组成.其中暗箱包括4个100W的白光漫反射 更大,比基于可见光的图像检测方法具有更大的优 型光源和电控位移样品台.数据采集软件为Spec 势,在农产品品质检测的研究中越来越受到重 tralSENS.高光谱相机测量的光谱波长范围为900~ 视3).Polder等[8]对396~736nm波段范围内的5 1700nm,光谱分辨率为5nm,成像分辨率为 个不同成熟度的西红柿进行研究,结果表明,使用高 320×250. 光谱图像比使用RGB图像更有利于对西红柿的成 熟度进行判定.Sivakumar)在400~1000nm范围 CMOS相机 内,使用人工神经网络方法对芒果含水量进行预测, CCD面阵探测器 预测相关系数为0.81.洪添胜等1通过人工神经网 镜头 络方法对雪花梨的含糖量和含水率建立预测模型, 漫反 检测雪花梨的内部品质,同时使用投影图像面积预 射型 光源 测雪花梨鲜重,取得了较好的结果.在苹果品质检测 方面,Huang等)对60个苹果样本在400~ PC机 1100nm波段范围内采集光谱图像,使用主成分分 析法对苹果损伤在果梗和花萼部分进行分类,结果 表明在果梗附近的损伤分类准确率为93.3%,在花 00 萼附近的损伤分类准确率为86.7%.Huang等12)]在 暗箱及电动位移台 电机控制电源箱 500~1000nm波段范围采用局部线性嵌入算法(lo- 图1高光谱图像采集系统 cally linear embedding,LLE)对580个红元帅苹果进 Fig.I Hyperspectral imaging system 行粉质化分类,分类准确率为80.4%.彭彦昆等) 1.3图像采集与标定 使用偏最小二乘回归方法(PLSR)在524~1016nm 采集高光谱图像数据前,对高光谱成像仪的参 范围内对苹果硬度进行检测,相关系数为0.88.这些 数进行调整,以降低图像噪声,确保拍摄的图像清 研究主要基于可见光、近红外的光谱波段,波长范围 晰,避免失真.经反复调整,确定成像光谱仪的各参 主要在400~1000nm,而国内外基于波长范围在 数如下:曝光时间为10ms,电控位移台移动速度为 1100~1700m的高光谱图像技术检测水果品质 20mm·s1,物距为200mm,采集到的高光谱图像 的研究仍未报道」 大小为320x250×255. 本研究主要采用900~1700nm波段范围的苹 图像采集时,对每一个苹果样本进行标号,每次 果近红外高光谱图像,选择特征波段,通过图像处理 取一个苹果样本,人工置于载物台上,使用线光源照 方法对苹果的外部轻微损伤进行提取.结果显示, 射放置于电控移动台上的样品,样品被线光源照射 900~1700nm波段范围对苹果的外部损伤具有良好 部分的影像通过镜头被高光谱成像仪捕获,在X轴 的分辨性,苹果缺陷检测准确率高。 向上被光谱仪分光,在Y轴上直接成像,从而得到 1实验材料与设备 一维的影像以及光谱信息,由电控移动台带动样品 连续运行,从而能够得到连续的一维影像以及光谱 1.1实验材料 信息,完成对整个苹果样本图像的采集, 实验研究对象为苹果,品种为红富士,从市场上 1.4图像标定 选购,数量共计50个,大小、形状基本一致,表面无 由于苹果表面形状的差异以及光源强度分布不 机械损伤,其中35个轻微损伤样本,15个正常样本. 均的影响,导致光谱相机采集到的高光谱图像中存 人工处理损伤样本过程如下:将样本置于距离平整 在着较大的噪声因此,必须对采集到的图像进行校 光滑水平面80cm处,使其自由下落,每个样本摔伤 正,以消除噪声影响.保持设备在相同的参数设定下 一处,室温放置24h后,进行高光谱图像采集。 采集样本,用扫描反射率为99%的标准白色校正板 1.2实验设备 得到全白的参考图像W,然后盖上镜头盖,采集全黑
的影响以及苹果外部轻微损伤无明显表现,所以基 于传统的机器视觉技术和人工可视检测的方法检测 苹果的轻微外部损伤非常困难,并且准确率较低. 高光谱技术是近几年在国内外兴起的一项结合 传统成像技术和光谱技术的新方法.由于其信息量 更大,比基于可见光的图像检测方法具有更大的优 势,在农 产 品 品 质 检 测 的 研 究 中 越 来 越 受 到 重 视[3⁃7] .Polder 等[8] 对 396 ~ 736 nm 波段范围内的 5 个不同成熟度的西红柿进行研究,结果表明,使用高 光谱图像比使用 RGB 图像更有利于对西红柿的成 熟度进行判定. Sivakumar [9] 在 400 ~ 1 000 nm 范围 内,使用人工神经网络方法对芒果含水量进行预测, 预测相关系数为 0.81.洪添胜等[10] 通过人工神经网 络方法对雪花梨的含糖量和含水率建立预测模型, 检测雪花梨的内部品质,同时使用投影图像面积预 测雪花梨鲜重,取得了较好的结果.在苹果品质检测 方面, Huang 等[11] 对 60 个 苹 果 样 本 在 400 ~ 1 100 nm波段范围内采集光谱图像,使用主成分分 析法对苹果损伤在果梗和花萼部分进行分类,结果 表明在果梗附近的损伤分类准确率为 93.3%,在花 萼附近的损伤分类准确率为 86.7%.Huang 等[12] 在 500~1 000 nm波段范围采用局部线性嵌入算法(lo⁃ cally linear embedding, LLE)对 580 个红元帅苹果进 行粉质化分类,分类准确率为 80.4%.彭彦昆等[13] 使用偏最小二乘回归方法(PLSR)在 524 ~ 1 016 nm 范围内对苹果硬度进行检测,相关系数为 0.88.这些 研究主要基于可见光、近红外的光谱波段,波长范围 主要在 400 ~ 1 000 nm,而国内外基于波长范围在 1 100~1 700 nm 的高光谱图像技术检测水果品质 的研究仍未报道. 本研究主要采用 900 ~ 1 700nm 波段范围的苹 果近红外高光谱图像,选择特征波段,通过图像处理 方法对苹果的外部轻微损伤进行提取.结果显示, 900~1 700nm 波段范围对苹果的外部损伤具有良好 的分辨性,苹果缺陷检测准确率高. 1 实验材料与设备 1.1 实验材料 实验研究对象为苹果,品种为红富士,从市场上 选购,数量共计 50 个,大小、形状基本一致,表面无 机械损伤,其中 35 个轻微损伤样本,15 个正常样本. 人工处理损伤样本过程如下:将样本置于距离平整 光滑水平面 80 cm 处,使其自由下落,每个样本摔伤 一处,室温放置 24 h 后,进行高光谱图像采集. 1.2 实验设备 实验设备采用北京汉光卓立公司开发的 Hyper⁃ SIS 高光谱成像系统.如图 1 所示,该系统主要由推 扫型成像光谱仪( ImSpector, N17E, Finland)、CCD 面阵探测器(OPCA05G,日本滨松)、稳压电源箱和 暗箱组成.其中暗箱包括 4 个 100 W 的白光漫反射 型光源和电控位移样品台.数据采集软件为 Spec⁃ tralSENS.高光谱相机测量的光谱波长范围为900~ 1 700 nm,光 谱 分 辨 率 为 5 nm, 成 像 分 辨 率 为 320×250. 图 1 高光谱图像采集系统 Fig.1 Hyperspectral imaging system 1.3 图像采集与标定 采集高光谱图像数据前,对高光谱成像仪的参 数进行调整,以降低图像噪声,确保拍摄的图像清 晰,避免失真.经反复调整,确定成像光谱仪的各参 数如下:曝光时间为 10 ms,电控位移台移动速度为 20 mm·s -1 ,物距为 200 mm,采集到的高光谱图像 大小为 320×250×255. 图像采集时,对每一个苹果样本进行标号,每次 取一个苹果样本,人工置于载物台上,使用线光源照 射放置于电控移动台上的样品,样品被线光源照射 部分的影像通过镜头被高光谱成像仪捕获,在 X 轴 向上被光谱仪分光,在 Y 轴上直接成像,从而得到 一维的影像以及光谱信息,由电控移动台带动样品 连续运行,从而能够得到连续的一维影像以及光谱 信息,完成对整个苹果样本图像的采集. 1.4 图像标定 由于苹果表面形状的差异以及光源强度分布不 均的影响,导致光谱相机采集到的高光谱图像中存 在着较大的噪声.因此,必须对采集到的图像进行校 正,以消除噪声影响.保持设备在相同的参数设定下 采集样本,用扫描反射率为 99%的标准白色校正板 得到全白的参考图像 W,然后盖上镜头盖,采集全黑 第 4 期 陈珊珊,等:基于近红外高光谱图像的苹果轻微损伤检测 ·357·
·358· 智能系统学报 第8卷 参考图像B,根据式(1)计算校正后的图像R 1060nm、1183nm、1442nm(位置如图3所示)这 R=(I-B)/(W-B). 3个波峰和波谷的波段作为特征波段来波段比运算 式中:1为原始采集的高光谱图像,B为全黑标定的图 和分析 像,W为白标定的图像,R为标定后的高光谱图像 图2是损伤苹果样本在可见光下的图像与 1160nm波段下的高光谱图像,从图中可以看出,轻 度损伤后的苹果,损伤部位仍不明显,肉眼很难进行 观察.因此采用传统的数字图像处理方法具有很大 的难度,同时检测得到的准确率往往不高:但在 1160nm波段下,可看出损伤部位明显呈黑色,与正 常部位存在较大差异,使损伤部位通过计算机视觉 方法检测提取成为可能。 1.2 1.4 .6×10 波长/nm 图3苹果损伤部位与正常部位的光谱曲线 Fig.3 The spectral data of the normal region and bruised region of an apple 图4中从左到右依次为1183/1060nm、1442/ 1060nm的波段比运算结果,可以看出,使用波段 (a)可见光图像 (b)高光谱图像 1183nm与波段1060nm进行波段比运算,损伤部 图2损伤苹果的可见光图像与1160nm高光谱图像 位与正常部位的差别最大,损伤部位颜色变暗,正常 Fig.2 Visible image and 1 160 nm band hyperspectral 部位颜色发亮,有利于损伤部位的提取,此时波段比 image of a bruised apple 算法的运算结果最好 由于近红外高光谱图像在光谱两端噪声较大, 使得图像质量不佳.经分析,本文采取光谱范围 934~1661nm波段的高光谱图像进行分析.通过掩 膜法对采集的高光谱图像去除背景,消除背景在数 据分析时对研究对象造成的影响. 2苹果轻微损伤检测方法 苹果近红外高光谱图像比可见光图像提供了更 (a)1183/1060nm(b)1442/1060nm 为丰富的光谱信息,包含着对苹果轻微损伤敏感的 图41183/1060nm和1442/1060nm的波段比结果 近红外波段,为进行无损检测提供了可靠的数据.本 图像 节基于波段比和不均匀二次差分法,得到能增强苹 Fig.4 Two band ratio results of 1 183/1 060 nm and 果缺陷区域的特征图像,从而提出苹果轻微损伤缺 1442/1060nm 陷检测的方法. 由于中值滤波能有效地去除噪声并且能较好 2.1基于波段比的苹果图像缺陷检测方法 地保护图像细节,因此,首先选择5×5大小的模板 波段比(band ratio)算法[i)可以有效地降低由 对图像进行中值滤波,然后再利用K-均值聚类 于苹果表面不平整导致的光线反射不均匀的影响, 法[)对损伤部位进行分割提取,从而完成对损伤部 同时增强波段之间的波谱差异,提供单一波段无法 位的检测.K-均值聚类算法是一种广泛使用的聚类 得到的独特信息.波段比算法的原理是用2个波段 算法,主要思想是通过迭代过程把数据集划分为不 相除从而获得一幅相对波段强度的图像 同的类别,使得评价聚类性能的准则函数达到最优, Bv(i,j)=Bv (i,j)/Bv (i,j). (2) 从而使生成的每个聚类类内紧凑、类间独立,算法对 于连续型属性具有较好的聚类效果.从图5中的检 式中:B,和B,为第g和h波段相同位置像素(i,) 测结果可以看出,损伤苹果中的损伤区域通过使用 的灰度值:B,为该(i,)位置下像素的比值, K-means算法可以有效地进行标定,检测结果准确. 根据图中的光谱信息曲线及反复实验确定选择
参考图像 B,根据式(1)计算校正后的图像 R. R = (I - B) / (W - B). 式中:I 为原始采集的高光谱图像,B 为全黑标定的图 像,W 为白标定的图像,R 为标定后的高光谱图像. 图 2 是损伤苹果样本在可见光下的图像与 1 160 nm波段下的高光谱图像,从图中可以看出,轻 度损伤后的苹果,损伤部位仍不明显,肉眼很难进行 观察.因此采用传统的数字图像处理方法具有很大 的难度, 同时检测得到的准确率往往不高; 但在 1 160 nm波段下,可看出损伤部位明显呈黑色,与正 常部位存在较大差异,使损伤部位通过计算机视觉 方法检测提取成为可能. (a)可见光图像 (b)高光谱图像 图 2 损伤苹果的可见光图像与1 160 nm高光谱图像 Fig.2 Visible image and 1 160 nm band hyperspectral image of a bruised apple 由于近红外高光谱图像在光谱两端噪声较大, 使得图像质量不佳. 经分析, 本文采取光谱范围 934~1 661 nm波段的高光谱图像进行分析.通过掩 膜法对采集的高光谱图像去除背景,消除背景在数 据分析时对研究对象造成的影响. 2 苹果轻微损伤检测方法 苹果近红外高光谱图像比可见光图像提供了更 为丰富的光谱信息,包含着对苹果轻微损伤敏感的 近红外波段,为进行无损检测提供了可靠的数据.本 节基于波段比和不均匀二次差分法,得到能增强苹 果缺陷区域的特征图像,从而提出苹果轻微损伤缺 陷检测的方法. 2.1 基于波段比的苹果图像缺陷检测方法 波段比(band ratio)算法[14] 可以有效地降低由 于苹果表面不平整导致的光线反射不均匀的影响, 同时增强波段之间的波谱差异,提供单一波段无法 得到的独特信息.波段比算法的原理是用 2 个波段 相除从而获得一幅相对波段强度的图像. BV r (i,j) = BV g (i,j) / BV h (i,j). (2) 式中:BV g 和 BV h 为第 g 和 h 波段相同位置像素(i,j) 的灰度值;BV r 为该(i,j)位置下像素的比值. 根据图中的光谱信息曲线及反复实验确定选择 1 060 nm、1 183 nm、1 442 nm(位置如图 3 所示)这 3 个波峰和波谷的波段作为特征波段来波段比运算 和分析. 图 3 苹果损伤部位与正常部位的光谱曲线 Fig. 3 The spectral data of the normal region and bruised region of an apple 图 4 中从左到右依次为 1 183 / 1 060nm、1 442 / 1 060 nm 的波段比运算结果,可以看出,使用波段 1 183 nm与波段 1 060 nm 进行波段比运算,损伤部 位与正常部位的差别最大,损伤部位颜色变暗,正常 部位颜色发亮,有利于损伤部位的提取,此时波段比 算法的运算结果最好. (a)1 183 / 1 060 nm (b)1 442 / 1 060 nm 图 4 1 183 / 1 060 nm 和 1 442 / 1 060 nm 的波段比结果 图像 Fig.4 Two band ratio results of 1 183 / 1 060 nm and 1 442 / 1 060 nm 由于中值滤波能有效地去除噪声并且能较好 地保护图像细节,因此,首先选择 5×5 大小的模板 对图像进行中值滤波, 然后再利用 K⁃均值聚类 法[15]对损伤部位进行分割提取,从而完成对损伤部 位的检测.K⁃均值聚类算法是一种广泛使用的聚类 算法,主要思想是通过迭代过程把数据集划分为不 同的类别,使得评价聚类性能的准则函数达到最优, 从而使生成的每个聚类类内紧凑、类间独立,算法对 于连续型属性具有较好的聚类效果.从图 5 中的检 测结果可以看出,损伤苹果中的损伤区域通过使用 K⁃means 算法可以有效地进行标定,检测结果准确. ·358· 智 能 系 统 学 报 第 8 卷
第4期 陈珊珊,等:基于近红外高光谱图像的苹果轻微损伤检测 ·359· 表13种方法的苹果缺陷检测结果比较 Table 1 The comparison of bruised apples detection results using 3 methods 检测结果/个 检测正 实验方法 检测出 未检测出 确率 主成分分析法 36 14 0.72 图5损伤苹果的检测结果 Fig.5 The detection results of bruised apples 波段比算法 43 0.86 2.2基于不均匀二次差分的苹果图像缺陷检测方法 不均匀二次差分方法 46 4 0.92 由于苹果形状和表面光滑程度造成的反射光线 对实验结果进一步分析可知,采用主成分分析 不均匀的影响,采集到的图像中心存在不同程度的 法的苹果轻度损伤检测正确率较低,主要是因为实 亮斑以及噪声采用不均匀二次差分法[16]消除这种 验样本表面形状和光滑程度的影响导致采集到的高 影响.不均匀二次差分方法在二次差分方法的基础 光谱图像存在差异,由于每个主成分图像都是由原 上,对中心波段采用相同波段间隔的方式,对中心波 始数据中各个波段下的图像经过线性组合而成,每 段的较高波段和较低波段使用不同的波段间隔,使 个主成分图像的线性组合中的权重系数不相同,因 苹果损伤部位与正常部位的区别更加明显.不均匀 此,对每个实验样本进行主成分分析后结果并不相 二次差分方法的数学表达式为 同,导致实验结果不太理想波段比算法可以降低光 S"(入n,g)=S(入n-g1)-2S(入n)+S(入.+g2) 照反射不均匀的影响,增强波段之间的波谱差异,从 式中:S”(入.,g)为中心波段下的不均匀二次差分结 高光谱数据中挖掘更多的特征信息.经过波段比运 果图像:S(入.)为中心波段下的原始图像;g1、g2为 算后的高光谱图像,可加强试验样本中正常部分与 波段间隔。 损伤部分的差异,以便准确地对损伤部位进行提取 实验采用1064nm为中心波段下的苹果图像, 不均匀二次差分方法有效地降低了苹果中心反射形 经反复实验,间隔g1和g2分别为15和80,此时,实 成的亮斑的影响,有利于阈值分割对苹果损伤部位 验效果最好对不均匀二次差分的结果图像使用5× 的检测提取,使检测准确率较高。 5大小的模板进行中值滤波,之后使用阈值分割方 4结束语 法对损伤部位进行检测,实验结果如图6所示,缺陷 部分与正常部分准确分割。 本文以苹果为研究对象,首次利用900~ 1700nm近红外高光谱图像检测轻微损伤苹果.在 该波段范围,对于轻微损伤苹果,缺陷部分与正常部 分光谱信息有较好的区分性,为进行损伤检测提供 了依据.采用波段比算法和不均匀二次差分算法处 理苹果的高光谱图像,提高苹果损伤部位与正常部 位的区分度,然后利用K-均值聚类法和阈值分割的 数字图像处理方法,对波段比结果和不均匀二次差 a)中心波段的山)不均匀二次(©)中值滤波(仙阈值分割 苹果图像 差分图像 图像 结果图像 分结果图像进行损伤检测提取实验结果表明,不均 图6不均匀二次差分检测苹果图像缺陷 匀二次差分方法比主成分分析和波段比方法具有更 Fig.6 The detection results of bruised apples using 好的轻微损伤检测率,检测准确率达到92%,为苹 asymmetric second difference 果轻微损伤的无损检测提供了一种有效的方法 3实验结果与分析 参考文献: 对50个实验样本采集到的高光谱图像进行外 「1]刘木华,赵杰文,郑建鸿.等.农畜产品品质无损检测中 部损伤检测.为了验证波段比方法的有效性,本文也 高光谱图像技术的应用进展[J刀.农业机械学报,2005, 36(9):139-143. 采用主成分分析法对苹果的轻微损伤进行缺陷检 LIU Muhua,ZHAO Jiewen,ZHENG Jianhong,et al.Re- 测,对比结果见表1. view of hyperspectral imaging in quality and safety inspec-
图 5 损伤苹果的检测结果 Fig.5 The detection results of bruised apples 2.2 基于不均匀二次差分的苹果图像缺陷检测方法 由于苹果形状和表面光滑程度造成的反射光线 不均匀的影响,采集到的图像中心存在不同程度的 亮斑以及噪声.采用不均匀二次差分法[16] 消除这种 影响.不均匀二次差分方法在二次差分方法的基础 上,对中心波段采用相同波段间隔的方式,对中心波 段的较高波段和较低波段使用不同的波段间隔,使 苹果损伤部位与正常部位的区别更加明显.不均匀 二次差分方法的数学表达式为 S″(λn ,g) = S(λn - g1 ) - 2S(λn ) + S(λn + g2 ). 式中:S″(λn ,g)为中心波段下的不均匀二次差分结 果图像;S(λn )为中心波段下的原始图像;g1 、g2 为 波段间隔. 实验采用 1 064 nm 为中心波段下的苹果图像, 经反复实验,间隔 g1 和 g2 分别为 15 和 80,此时,实 验效果最好.对不均匀二次差分的结果图像使用 5× 5 大小的模板进行中值滤波,之后使用阈值分割方 法对损伤部位进行检测,实验结果如图 6 所示,缺陷 部分与正常部分准确分割. 图 6 不均匀二次差分检测苹果图像缺陷 Fig. 6 The detection results of bruised apples using asymmetric second difference 3 实验结果与分析 对 50 个实验样本采集到的高光谱图像进行外 部损伤检测.为了验证波段比方法的有效性,本文也 采用主成分分析法对苹果的轻微损伤进行缺陷检 测,对比结果见表 1. 表 1 3 种方法的苹果缺陷检测结果比较 Table 1 The comparison of bruised apples detection results using 3 methods 实验方法 检测结果/ 个 检测出 未检测出 检测正 确率 主成分分析法 36 14 0.72 波段比算法 43 7 0.86 不均匀二次差分方法 46 4 0.92 对实验结果进一步分析可知,采用主成分分析 法的苹果轻度损伤检测正确率较低,主要是因为实 验样本表面形状和光滑程度的影响导致采集到的高 光谱图像存在差异,由于每个主成分图像都是由原 始数据中各个波段下的图像经过线性组合而成,每 个主成分图像的线性组合中的权重系数不相同,因 此,对每个实验样本进行主成分分析后结果并不相 同,导致实验结果不太理想.波段比算法可以降低光 照反射不均匀的影响,增强波段之间的波谱差异,从 高光谱数据中挖掘更多的特征信息.经过波段比运 算后的高光谱图像,可加强试验样本中正常部分与 损伤部分的差异,以便准确地对损伤部位进行提取. 不均匀二次差分方法有效地降低了苹果中心反射形 成的亮斑的影响,有利于阈值分割对苹果损伤部位 的检测提取,使检测准确率较高. 4 结束语 本文 以 苹 果 为 研 究 对 象, 首 次 利 用 900 ~ 1 700 nm近红外高光谱图像检测轻微损伤苹果.在 该波段范围,对于轻微损伤苹果,缺陷部分与正常部 分光谱信息有较好的区分性,为进行损伤检测提供 了依据.采用波段比算法和不均匀二次差分算法处 理苹果的高光谱图像,提高苹果损伤部位与正常部 位的区分度,然后利用 K⁃均值聚类法和阈值分割的 数字图像处理方法,对波段比结果和不均匀二次差 分结果图像进行损伤检测提取.实验结果表明,不均 匀二次差分方法比主成分分析和波段比方法具有更 好的轻微损伤检测率,检测准确率达到 92%,为苹 果轻微损伤的无损检测提供了一种有效的方法. 参考文献: [1]刘木华,赵杰文,郑建鸿,等. 农畜产品品质无损检测中 高光谱图像技术的应用进展[ J]. 农业机械学报, 2005, 36(9): 139⁃143. LIU Muhua, ZHAO Jiewen, ZHENG Jianhong, et al. Re⁃ view of hyperspectral imaging in quality and safety inspec⁃ 第 4 期 陈珊珊,等:基于近红外高光谱图像的苹果轻微损伤检测 ·359·
·360· 智能系统学报 第8卷 tions of agricultural and poultry products[].Transactions of HONG Tiansheng,QIAO Jun,NING Wang,et al.Non- the Chinese Society for Agricultural Machinery,2005,36 destructive inspection of Chinese pear quality based on hy- (9):139-143 perspectral imaging technique [J].Transactions of the [2]张立彬,胡海根,计时鸣,等.果蔬产品品质无损检测技 CSAE,2007,23(2):151-155. 术的研究进展[J].农业工程学报,2005,21(4):176- [11]HUANG Wengian,ZHANG Chi,LI Jiangbo.Detection of 180. bruise and stem-end/calyx of apples using hyperspectral ZHANG Libin,HU Haigen,JI Shiming,et al.Review of imaging and segmented principal component analysis nod-destructive quality evaluation technology for fruit and [C]//Amercian Society of Agricultural and Biological En- vegetable products[]Transactions of the CSAE,2005,21 gineers.Dallas,USA,2012:12-1340826. (4):176-180. [12]HUANG Min,WANG Bojin,ZHU Qibing.Analysis of hy- [3]SUN Dawen.Hyperspectral imaging for food quality analysis perspectral scattering images using locally linear embedding and control[M].[S.1.]:Elsevier,2010:1-98. algorithm for apple mealiness classification [J].Computers [4]BUTZ P,HOFMANN C.TAUSCHER B.Recent develop- and Electronics in Agriculture,2012,89:175-181. ments in non-invasive techniques for fresh fruit and vegeta- [13]彭彦昆,李永玉,赵娟,等.基于高光谱技术苹果硬度 ble internal quality analysis[J].Food Science,2005,70 快速无损检测方法的建立「J].食品安全质量检测学 (9):131-134. 报,2012,3(6):667-671. [5]洪添胜,李震,吴春胤,等。高光谱图像技术在水果品 PENG Yankun,LI Yongyu,ZHAO Juan,et al.Establish- 质无损检测中的应用[J].农业工程学报,2007,23 ment of rapid and non-destructive detection method of ap- (11):280-285. ple firmness using hyperspectral images [J].Journal of HONG Tiansheng,LI Zhen,WU Chunyin,et al.Review of Food Safety and Quality,2012,3(6):667-671. hyperspectral image technology for non-destructive inspec- [14]BENNEDSEN B S,PETERSON D L.Performance of a tion of fruit quality [J].Transactions of the CSAE,2007, system for apple surface defect identification in near-infra- 23(11):280-285. red images[J].Biosystems Engineering,2005,90(4): 6]NICOLAII B M,LOTZETZE E,PEIRS A,et al.Non-de- 419-431. structive measurement of bitter pit in apple fruit using NIR [15]FORSYTH D A,PONCE J.Computer vision:a modern hyperspectral imaging[J].Post Harvest Biology and Tech- approach[M].[S.1.],Pearson Educacion,Ine:2003: nology,2006,40(1):1-6. 446-450. [7]单佳佳,彭彦昆,王伟,等.基于高光谱成像技术的苹 [16]MEHL P,CHEN Y,KIM M,et al.Development of hyper- 果内外部品质同时检测[J].农业机械学报,2011,42 spectral imaging technique for the detection of apple sur- (3):141-144 face defects and contaminations[J].Journal of Food Engi- SHAN Jiajia,PENG Yankun,WANG Wei,et al.Simulta- neering,2004,61:67-81. neous detection of external and internal quality parameters of 作者简介: apples using hyperspectral technology[J].Transactions of 陈姗姗,女,1990年生,硕士研究 the Chinese Society for Agricultural Machinery,2011,42 生,主要研究方向为机器视觉在农业信 (3):141-144. 息化域中的应用. [8]POLDER G,HEIJDEN G W,YOUNG I T.Tomato sorting using independent component analysis on spectral images [J].Real-Time Imaging,2003,9(4):253-259. [9]SIVAKUMAR S S,QIAO Jun,WANG Ning.Detecting ma- turity parameters of mango using hyperspectral imaging tech- nique[C]//American Society of Agricultural Biological 宁纪锋,男,1975年生.副教授,硕 Engineers Annual Intemational Meeting.Portland,USA, 士生导师.主要研究方向为计算机视觉 2006:9-12. 与模式识别.发表学术论文30余篇,其 [l0]洪添胜,乔军,NING Wang,.等.基于高光谱图像技术的 中被SCI检索7篇,EI检索15篇. 雪花梨品质无损检测[J].农业工程学报,2007,23 (2):151-155
tions of agricultural and poultry products[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005, 36 (9): 139⁃143. [2]张立彬,胡海根,计时鸣,等. 果蔬产品品质无损检测技 术的研究进展[ J]. 农业工程学报, 2005, 21( 4): 176⁃ 180. ZHANG Libin, HU Haigen, JI Shiming, et al. Review of nod⁃destructive quality evaluation technology for fruit and vegetable products[J]. Transactions of the CSAE, 2005, 21 (4): 176⁃180. [3]SUN Dawen. Hyperspectral imaging for food quality analysis and control[M]. [S.l.]: Elsevier, 2010: 1⁃98. [4]BUTZ P, HOFMANN C, TAUSCHER B. Recent develop⁃ ments in non⁃invasive techniques for fresh fruit and vegeta⁃ ble internal quality analysis [ J]. Food Science, 2005, 70 (9): 131⁃134. [5]洪添胜, 李震, 吴春胤, 等. 高光谱图像技术在水果品 质无损检测中的应用[ J]. 农业工程学报, 2007, 23 (11): 280⁃285. HONG Tiansheng, LI Zhen, WU Chunyin, et al. Review of hyperspectral image technology for non⁃destructive inspec⁃ tion of fruit quality[ J]. Transactions of the CSAE, 2007, 23(11): 280⁃285. [6]NICOLAII B M, LOTZETZE E, PEIRS A, et al. Non⁃de⁃ structive measurement of bitter pit in apple fruit using NIR hyperspectral imaging[ J]. Post Harvest Biology and Tech⁃ nology, 2006, 40(1): 1⁃6. [7]单佳佳, 彭彦昆, 王伟, 等. 基于高光谱成像技术的苹 果内外部品质同时检测[ J]. 农业机械学报, 2011, 42 (3): 141⁃144. SHAN Jiajia, PENG Yankun, WANG Wei, et al. Simulta⁃ neous detection of external and internal quality parameters of apples using hyperspectral technology [ J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42 (3): 141⁃144. [8]POLDER G, HEIJDEN G W, YOUNG I T. Tomato sorting using independent component analysis on spectral images [J]. Real⁃Time Imaging, 2003, 9(4): 253⁃259. [9]SIVAKUMAR S S, QIAO Jun, WANG Ning. Detecting ma⁃ turity parameters of mango using hyperspectral imaging tech⁃ nique[ C] / / American Society of Agricultural & Biological Engineers Annual International Meeting. Portland, USA, 2006: 9⁃12. [10]洪添胜,乔军,NING Wang,等. 基于高光谱图像技术的 雪花梨品质无损检测[ J]. 农业工程学报, 2007, 23 (2): 151⁃155. HONG Tiansheng, QIAO Jun, NING Wang, et al. Non⁃ destructive inspection of Chinese pear quality based on hy⁃ perspectral imaging technique [ J ]. Transactions of the CSAE, 2007, 23(2): 151⁃155. [11]HUANG Wenqian, ZHANG Chi, LI Jiangbo. Detection of bruise and stem⁃end / calyx of apples using hyperspectral imaging and segmented principal component analysis [C] / / Amercian Society of Agricultural and Biological En⁃ gineers. Dallas, USA, 2012: 12⁃1340826. [12]HUANG Min, WANG Bojin, ZHU Qibing. Analysis of hy⁃ perspectral scattering images using locally linear embedding algorithm for apple mealiness classification [J]. Computers and Electronics in Agriculture, 2012, 89: 175⁃181. [13]彭彦昆, 李永玉, 赵娟, 等. 基于高光谱技术苹果硬度 快速无损检测方法的建立[ J]. 食品安全质量检测学 报, 2012, 3(6): 667⁃671. PENG Yankun, LI Yongyu, ZHAO Juan, et al. Establish⁃ ment of rapid and non⁃destructive detection method of ap⁃ ple firmness using hyperspectral images [ J ]. Journal of Food Safety and Quality, 2012, 3(6): 667⁃671. [14] BENNEDSEN B S, PETERSON D L. Performance of a system for apple surface defect identification in near⁃infra⁃ red images[ J]. Biosystems Engineering, 2005, 90 ( 4): 419⁃431. [15] FORSYTH D A, PONCE J. Computer vision: a modern approach[ M]. [ S. l.], Pearson Educacion, Inc: 2003: 446⁃450. [16]MEHL P, CHEN Y, KIM M, et al. Development of hyper⁃ spectral imaging technique for the detection of apple sur⁃ face defects and contaminations[J]. Journal of Food Engi⁃ neering, 2004, 61: 67⁃81. 作者简介: 陈姗姗,女,1990 年生,硕士研究 生,主要研究方向为机器视觉在农业信 息化域中的应用. 宁纪锋,男,1975 年生,副教授,硕 士生导师.主要研究方向为计算机视觉 与模式识别.发表学术论文 30 余篇,其 中被 SCI 检索 7 篇、EI 检索 15 篇. ·360· 智 能 系 统 学 报 第 8 卷