箱0第5用 农业工程学报 onsof the CSA 基于机器视觉的田间杂草识别技术研究进展 毛文华，王一鸣，张小超，王月青 (中国农业大学信息与电气工程学院，北京 00083 中国农业机械化科学研究院，北京100083) 环境的关健所在针对国内外在精细农业的杂草识别额全面 关键词杂草识别机器视觉研究进展 中图分类号TY39L41 文就标识码A 文意编号.1002-68192004)05-0043-04 0引言 征、多光谱特征和颜色特征 杂草对作物的生长有极大的危害，应及时加以控 伏特征识别田间杂草的技术 制，以保证作物的产量和质量。在诸多的杂草防除方法 中，化学除草法由于其高效的除草能力而备受广大农民 形状是识别植物的重要信息来源。单 的青睐已成为主要的除草方式但是 学除草剂的衡 为粗放式 喷 作物 叶植物（如小麦水楫、玉米等农作物）叶片狭小且竖 了浪费 还造成了潜 Z,双子叶植物（如藜、觅等杂草）叶片宽大且横展。因 此.可以利用植物叶片的形状差异进行识别。 的生态环境危害。如果对田地进行变量喷洒（或有选 L12形状特征参数 性的喷洒)，即仅在杂草滋生区施加除草剂或对整个地 形状特征参数没有统一的定义只要能充分反映物 块施加小剂量的除草剂而对杂草部分施加正常剂量的 除草剂就能显减少除草剂的伸用量】。要实现变量 体的形状，或者能有效区分物体之间的形状差异，并且 能方便、快速获取的参数都可作为形状特征参数。因此 喷酒除草剂技术首要问题就是如何准确、智能的检测 形状描述的途径很多，可直接对区域、边缘作出描述，也 田间杂草分布信息即将杂草滋生区分割出来并确定 田间杂草的特征（位置、密度或种类等） 可以对能代表物体形状的其它线（或图形）进行描述，甚 田间杂草的识别方法主要有3种：人工识别法遥 一些特征参数系列 感识 和基于机器觉的识别法 人单个 方法 该方法 体的经验与知识 持征包括面积 长度 根据这 的组合，可以提 一些 人工识别是无能为力的。遥 量的形状特征参数.如：分散度(Com pactness)、圆店 感识别法则克服了人工监测的诸多弊端，利用遥感系统 提供的空间和光谱信总自动识别田间杂草。但是，由于 Roundness)、伸长度(Elongaton、叶状(Lobaton 等。矩特征是指利用力学中矩的概念.将图形内部的像 遥成图俊的空间和光谱分罐率较低该方法只能识别理 索作为质心，像素的坐标作为力肾，从而以各阶矩的形 些个体尺寸大、密度大的杂草致使杂草识别率较低。这 式来表示图形的形状特征的一种矩描绘子。常用的矩装 种半自动的、主观的人工监测和自动但粗略的遥感监测 正有质心，Pmn)(Centroid、等被猪圆的长轴MAX 手段无法满足“数字农业”中田间杂草的精确定位控制 raiS)和短轴M N M inor axis)、环度Cir、朝向 4r (A spect ratp)、中心矩Mc(Da)等 1L3研究状况 1基于机器视觉的田间杂草识别技术 是在1986年，Guy 等人就研究了利用叶片的形 长度、中心 主轴矩)识别不 植物本身的 些特性 识别，如 T行性并 19年开 了基 物形状特征的知识库。 Woebbeck 人 用整株 物冠层的形状特征参数（圆度、朝向比周长厚度、伸： 度和初始不变中心矩)，识别了2种单子叶杂草和8利 双子叶杂草，结果发现：在出苗1~23d之间，运用形 状特征因子区分单子叶植物和双子叶植物的效果最好 中田农业 分类准确率为60%~80%，识别这些植物最好的形状 特征是朝向比和初始不变中心矩l。Yonekaw a等人对 1995-2005 Tsinghua Tongfang Oplical Dise Co.Lid.All rights reserved
第 20 卷 第 5 期 2004 年 9 月 农 业 工 程 学 报 T ransactions of the CSA E V o l. 20 N o. 5 Sep t. 2004 基于机器视觉的田间杂草识别技术研究进展 毛文华1 , 王一鸣1※ , 张小超2 , 王月青1 (1. 中国农业大学信息与电气工程学院, 北京 100083; 2. 中国农业机械化科学研究院, 北京 100083) 摘 要: 田间杂草识别技术是实现变量喷洒除草剂以保护环境的关键所在。针对国内外在精细农业的杂草识别领域, 全面、 系统地分析了基于机器视觉的田间杂草识别技术的研究进展与应用状况, 以促进该项技术在中国的应用和发展。分别阐述 了利用植物和背景形状特征、纹理特征、颜色特征和多光谱特征识别田间杂草技术的理论依据、特征参数、研究状况和问题 所在, 并指出了实现田间实时识别的难点。 关键词: 杂草识别; 机器视觉; 研究进展 中图分类号: T Y391. 41 文献标识码: A 文章编号: 100226819 (2004) 0520043204 收稿日期: 2002211205 修订日期: 2004204205 基 金 项 目: 国 家“863”高 新 技 术 发 展 计 划 基 金 资 助 项 目 (2001AA 245012) 作者简介: 毛文华(1974- ) , 博士生, 讲师, 北京 中国农业大学信 息与电气工程学院, 100083。Em ail: mw h2924@ 163. com ※通讯作者: 王一鸣(1940- ) , 博士生导师, 教授, 北京 中国农业 大学信息与电气工程学院, 100083。Em ail: ymw ang@ 263. net 0 引 言 杂草对作物的生长有极大的危害, 应及时加以控 制, 以保证作物的产量和质量。在诸多的杂草防除方法 中, 化学除草法由于其高效的除草能力而备受广大农民 的青睐, 已成为主要的除草方式。但是, 化学除草剂的使 用方式普遍为粗放式的大面积喷洒, 喷洒到作物和土壤 等无杂草区域的除草剂不仅造成了浪费, 还造成了潜在 的生态环境危害。如果对田地进行变量喷洒(或有选择 性的喷洒) , 即仅在杂草滋生区施加除草剂, 或对整个地 块施加小剂量的除草剂而对杂草部分施加正常剂量的 除草剂, 就能显著减少除草剂的使用量[ 1 ]。要实现变量 喷洒除草剂技术, 首要问题就是如何准确、智能的检测 田间杂草分布信息, 即将杂草滋生区分割出来, 并确定 田间杂草的特征(位置、密度或种类等)。 田间杂草的识别方法主要有 3 种: 人工识别法、遥 感识别法和基于机器视觉的识别法。其中, 人工识别法 是世界上大多数国家和地区普遍沿用的方法, 该方法效 率低下、劳动强度大、完全依赖人工主体的经验与知识, 在大面积杂草苗情观测上, 人工识别是无能为力的。遥 感识别法则克服了人工监测的诸多弊端, 利用遥感系统 提供的空间和光谱信息自动识别田间杂草。但是, 由于 遥感图像的空间和光谱分辨率较低, 该方法只能识别那 些个体尺寸大、密度大的杂草, 致使杂草识别率较低。这 种半自动的、主观的人工监测和自动但粗略的遥感监测 手段无法满足“数字农业”中田间杂草的精确定位控制 要求, 因此, 能精确、客观、自动识别田间杂草的基于机 器视觉的识别技术成为该领域的主攻方向。 1 基于机器视觉的田间杂草识别技术 总体上, 基于机器视觉的田间杂草识别技术利用了 植物本身的一些特性进行识别, 如: 形状特征、纹理特 征、多光谱特征和颜色特征。 1. 1 利用形状特征识别田间杂草的技术 1. 1. 1 理论依据 植物叶片的形状是识别植物的重要信息来源。单子 叶植物和双子叶植物在叶片形状上有着显著差异: 单子 叶植物 (如: 小麦、水稻、玉米等农作物) 叶片狭小且竖 立, 双子叶植物(如: 藜、苋等杂草) 叶片宽大且横展。因 此, 可以利用植物叶片的形状差异进行识别。 1. 1. 2 形状特征参数 形状特征参数没有统一的定义, 只要能充分反映物 体的形状, 或者能有效区分物体之间的形状差异, 并且 能方便、快速获取的参数都可作为形状特征参数。因此, 形状描述的途径很多, 可直接对区域、边缘作出描述, 也 可以对能代表物体形状的其它线(或图形) 进行描述, 甚 至可以通过数学方法产生一些特征参数系列。 从单个叶片(或整株冠层) 中所提取主要形状特征 参数: 基本形状特征参数和矩特征参数两类。基本形状 特征包括面积A 、周长 P、长度L 、宽度W 等。根据这些 基本形状特征参数, 经过适当的组合, 可以提取一些无 量纲的形状特征参数, 如: 分散度 (Com pactness)、圆度 (Roundness)、伸长度 (E longation )、叶状 (L obation ) 等。矩特征是指利用力学中矩的概念, 将图形内部的像 素作为质心, 像素的坐标作为力臂, 从而以各阶矩的形 式来表示图形的形状特征的一种矩描绘子。常用的矩特 征有质心 C (m , n) (Cen tro id)、等效椭圆的长轴M A X (M ajo r ax is) 和短轴M IN (M ino r ax is)、环度 C ir、朝向 比A r (A spect ratio)、中心矩M c (p , q) 等。 1. 1. 3 研究状况 早在 1986 年, Guyer 等人就研究了利用叶片的形 状特征参数(复杂度、伸长度、中心矩和主轴矩) 识别不 同植物的可行性[ 2 ] , 并在 1993 年开发和构建了基于植 物形状特征的知识库[ 3 ]。W oebbecke 等人利用整株植 物冠层的形状特征参数(圆度、朝向比、周长ö厚度、伸长 度和初始不变中心矩) , 识别了 2 种单子叶杂草和 8 种 双子叶杂草, 结果发现: 在出苗 14～ 23 d 之间, 运用形 状特征因子区分单子叶植物和双子叶植物的效果最好, 分类准确率为 60%～ 80% , 识别这些植物最好的形状 特征是朝向比和初始不变中心矩[ 4 ]。Yonekaw a 等人对 34 © 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved
农业工程学报 2004年 紧密度、圆度、伸长度、叶状度和粗糙度这5个简单的无 减少了颜色共生矩阵的运算量，而且由于亮度易受光照 量的形状因子讲行了课价认为这些形状因子对识别 变化的影响所以使用该方法可以成少光照变化造成的 植物非常有效日无需高速计算机和大的存贮容量) 影响】。Tan。等人利用Gahor小波变换提取捕物的纹 114存在的问题 理信息利用人工神经网络分类器将所研究的植物分为 形状特征识别方法的关糖点在于寻找到具有RS 禾本和阔叶两类，准确率达到了100%1。 不变性的形状特征因子（即对于图像的旋转、比例、平移 124存在的问题 变化都是恒定的)。另外，植物叶片的遮挡问题也是形状 虽然纹理特征识别法的正确识别率很高，甚至边 特征识别中的主要问题。 ,等人曾利用FO, 挡的叶片重新抽取 100%,但是，纹理分析的分制算法需要进行大量的计算 和比较，因此识别速度 慢，不利于实时 数的 部 提取 诗征 别方法 13 用多 谱特征识别田间 单的技 增强而降低 理论依 齿数的叶片的识别，所以，该算法并不能完全解决植物 光是一种具有一定频率范围的电破波，以电磁辐 叶片的遮挡对分类率的影响问题 的方式在空间传播。投射到物体表面的辐射. 12利用纹理特征识别田间杂草的技术 物体表面反射，另一部分被物体吸收。反射（或吸收）的 121理论依据 比率因辐射波长、物体的光谱学特性而异，因此，在一定 物体的纹理特征反映了物体本身的属性，有助于区 的波段（或波长）范围内，可利用物体的光谱特征来识别 别不同的物体。纹理是由纹理基元排列组合而成的，在 物体。在可见光波段内，有生命的植物叶片中所含的叶 局部区域内可能呈现不规则性，但整体上则表现出某种 绿素吸收红色光和蓝色光、反射绿色光.叶绿素含量的 规律性其灰度分布往往表现出某种周期性。从宏观上 差异导致不同植物吸收与反射能力的不同，而土壤、岩 杂草和农作物丛展现出不同的纹理从微观上，植物叫 石和无生命的植物残余物则反射红色光在近红外光波 片异现不同的纹理（单子叶物的叶脉平行的或弧形 段下，因叶子内部结构不同，对入射光能的透射、反射能 纹理，双子叶植物的叶脉呈网状纹理) 利用 也不同。造成不同类 的枯物 反射率显示出明显的 士壤背景的反射率明显低于植物的反射 分析所采集的光谱信息以寻找特征波长点 间相关性或是图像灰度和 色随空间位置变化的视 然后根据选定的特征波长点选择合适的滤光片.Bw 表现。使用数 学或信息论的方法抽取的纹理度量称为纹 等人运用分光辐射谱仪在自然光照条件下测定了棉日 理特征，用于特征提取的纹理特征有：傅立叶变换能量 中的几种杂草在400一900m范用内的反射率，通过 局部极值，共生矩阵，方向性灰度级能量，方向滤波掩 分折得到了440.530.650.730m4个特征波长点 (如Gabor滤波器)和分形维数等。Gaussian-Markov V rindts等人运用分光辐射谱仪测定了马铃薯、甜菜玉 随机场模型和Gbbs随机场模型也可用于求取纹理特 米和各种杂草以及土壤在200~2000mm范围内的反 征。而特征分害割方法一般堪于风域增长、分袋.合并 对率分析结果表明运用1925m和1715m两个 Bves3n分米筏分举和神经网络方法等 征波长点到别分析甜菜、杂草和土速的错误识别密为 1)3研究状况 0.运用1085、645、695m3个特征波长点判别分析玉 Shearer等人在1990年在基于植物色纹理特州 米和杂草的错误识别率为0.运用765、515、1935m 的基础上，对7种人工培有的植物进行了识别，分别由 个特征波长点判别分析马铃要、杂草和土壤的错误识别 鱼调、饱和度、度得出 个颜色共生矩阵，从每个颜色 率为15%叫 共生矩阵中计算出1个纹理特征，共产生3个颜色纹 理特征，用于植物 识别的准确率 汉光谱信息，研究人员专门设计了各种独特 的纹理信息对两种禾本 r等人利用所 发自 独特的传 用由 场景 光的荧光 识别作物和 物分 B iller利月 套光电传感 ,但要将这4种草 统"Detectsp ray”来识别土壤中的植物，另 全分开时.准确率在30%一77%之间.并且指出.将来 “Spray V ision'”,通过感知场景在4种不同的波长（蓝、 的植物识别方法应该把纹理和形状信息结合起来。 绿、红和近红外光)下的反射光来识别杂草1。Borre Buks利用颜色共生法对土壤和5种杂草进行了识别 aa「d等人运用成像光谱仪测定了马铃蔡和甜菜以及 使用色调和饱和度的1】个纹理特征参数区分土壤和5 几种杂草在670~1070m范围内的反射率.选定649 种杂草，准确率为93%，这种方法的准确率比M eyer等 070、856、686726、879、078mm作为特征被长占田日 的方法有提高.该方法没有用到亮度的纹理特征参数 试验中马铃薯和杂草的识别率达到了94%.甜菜和杂 c 1995-2005 Isinghu All right e
紧密度、圆度、伸长度、叶状度和粗糙度这 5 个简单的无 量纲的形状因子进行了评价, 认为这些形状因子对识别 植物非常有效, 且无需高速计算机和大的存贮容量[ 5 ]。 1. 1. 4 存在的问题 形状特征识别方法的关键点在于寻找到具有 R ST 不变性的形状特征因子(即对于图像的旋转、比例、平移 变化都是恒定的)。另外, 植物叶片的遮挡问题也是形状 特征识别中的主要问题。F ranz 等人曾利用 Fou rier2 M ellin 的相关性, 计算对部分被遮挡的叶片重新抽取叶 片边缘的弯曲率函数的比例因子, 从而识别部分被遮挡 的叶片[ 6 ]。但是, 该算法的正确识别率随着遮挡程度的 增强而降低; 另外, 弯曲率函数并不适用于具有不定锯 齿数的叶片的识别; 所以, 该算法并不能完全解决植物 叶片的遮挡对分类率的影响问题。 1. 2 利用纹理特征识别田间杂草的技术 1. 2. 1 理论依据 物体的纹理特征反映了物体本身的属性, 有助于区 别不同的物体。纹理是由纹理基元排列组合而成的, 在 局部区域内可能呈现不规则性, 但整体上则表现出某种 规律性, 其灰度分布往往表现出某种周期性。从宏观上, 杂草和农作物丛展现出不同的纹理; 从微观上, 植物叶 片呈现不同的纹理(单子叶植物的叶脉呈平行的或弧形 纹理, 双子叶植物的叶脉呈网状纹理)。因此, 可利用植 物冠层或叶面的纹理信息, 识别作物和杂草。 1. 2. 2 纹理特征参数 数字图像中的纹理是相邻像素的灰度或颜色的空 间相关性或是图像灰度和颜色随空间位置变化的视觉 表现。使用数学或信息论的方法抽取的纹理度量称为纹 理特征, 用于特征提取的纹理特征有: 傅立叶变换能量, 局部极值, 共生矩阵, 方向性灰度级能量, 方向滤波掩模 (如 Gabo r 滤波器) 和分形维数等。Gau ssian- M arkov 随机场模型和 Gibb s 随机场模型也可用于求取纹理特 征。而特征分割方法一般基于区域增长、分裂- 合并、 Bayesian 分类、簇分类和神经网络方法等。 1. 2. 3 研究状况 Shearer 等人在 1990 年在基于植物颜色纹理特性 的基础上, 对 7 种人工培育的植物进行了识别, 分别由 色调、饱和度、亮度得出一个颜色共生矩阵, 从每个颜色 共生矩阵中计算出 11 个纹理特征, 共产生 33 个颜色纹 理特征, 用于植物识别的准确率可达 91% [ 7 ]。M eyer 等 人利用植物的纹理信息对两种禾本科杂草和两种阔叶 杂草进行了识别, 发现利用由灰度共生矩阵获得的纹理 特征量均匀度、惯性和角二次积率把植物分为草类和宽 叶类时, 准确率分别为 93% 和 85% , 但要将这 4 种草完 全分开时, 准确率在 30%～ 77% 之间, 并且指出, 将来 的植物识别方法应该把纹理和形状信息结合起来[ 8 ]。 Bu rk s 利用颜色共生法对土壤和 5 种杂草进行了识别。 使用色调和饱和度的 11 个纹理特征参数区分土壤和 5 种杂草, 准确率为 93% , 这种方法的准确率比M eyer 等 的方法有提高, 该方法没有用到亮度的纹理特征参数, 减少了颜色共生矩阵的运算量, 而且由于亮度易受光照 变化的影响, 所以使用该方法可以减少光照变化造成的 影响[ 9 ]。T ang 等人利用 Gabo r 小波变换提取植物的纹 理信息, 利用人工神经网络分类器将所研究的植物分为 禾本和阔叶两类, 准确率达到了 100% [ 10 ]。 1. 2. 4 存在的问题 虽然纹理特征识别法的正确识别率很高, 甚至达 100% , 但是, 纹理分析的分割算法需要进行大量的计算 和比较, 因此识别速度较慢, 不利于实时性的实现。快速 提取纹理特征方法是纹理特征识别方法的关键。 1. 3 利用多光谱特征识别田间杂草的技术 1. 3. 1 理论依据 光是一种具有一定频率范围的电磁波, 以电磁辐射 的方式在空间传播。投射到物体表面的辐射, 一部分被 物体表面反射, 另一部分被物体吸收。反射(或吸收) 的 比率因辐射波长、物体的光谱学特性而异, 因此, 在一定 的波段(或波长) 范围内, 可利用物体的光谱特征来识别 物体。在可见光波段内, 有生命的植物叶片中所含的叶 绿素吸收红色光和蓝色光、反射绿色光, 叶绿素含量的 差异导致不同植物吸收与反射能力的不同, 而土壤、岩 石和无生命的植物残余物则反射红色光; 在近红外光波 段下, 因叶子内部结构不同, 对入射光能的透射、反射能 力也不同, 造成不同类型的植物反射率显示出明显的差 异, 土壤背景的反射率明显低于植物的反射率。 1. 3. 2 特征波长点 先统计分析所采集的光谱信息以寻找特征波长点, 然后根据选定的特征波长点选择合适的滤光片。B row n 等人运用分光辐射谱仪在自然光照条件下测定了棉田 中的几种杂草在 400～ 900 nm 范围内的反射率, 通过 分析得到了 440、530、650、730 nm 4 个特征波长点[ 11 ]。 V rindts 等人运用分光辐射谱仪测定了马铃薯、甜菜、玉 米和各种杂草以及土壤在 200～ 2000 nm 范围内的反 射率, 分析结果表明: 运用1 925 nm 和1 715 nm 两个特 征波长点判别分析甜菜、杂草和土壤的错误识别率为 0, 运用 1 085、645、695 nm 3 个特征波长点判别分析玉 米和杂草的错误识别率为 0, 运用 765、515、1 935 nm 3 个特征波长点判别分析马铃薯、杂草和土壤的错误识别 率为 1. 5% [ 12 ]。 1. 3. 3 研究状况 为了获取光谱信息, 研究人员专门设计了各种独特 的光电传感器。V isser 等人利用所开发的一种独特的传 感器, 通过感知场景反射光的荧光性来识别作物和杂草 (所有杂草归为一“类”) [ 13 ]。B iller 利用一套光电传感系 统“D etectsp ray”来识别土壤中的植物, 另一套系统 “Sp ray V ision”, 通过感知场景在 4 种不同的波长(蓝、 绿、红和近红外光) 下的反射光来识别杂草[ 14 ]。Bo rre2 gaard 等人运用成像光谱仪测定了马铃薯和甜菜以及 几种杂草在 670～ 1070 nm 范围内的反射率, 选定 649、 970、856、686、726、879、978 nm 作为特征波长点, 田间 试验中马铃薯和杂草的识别率达到了 94% , 甜菜和杂 44 农业工程学报 2004 年 © 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved
筑期 毛文华等：基于机器视觉的田间杂草识别技术研究进展 草的识别率达到了87% 不敏感，增加了田间执行的可行性。但该方法只适于 134存在的问题 识别有红色茎的杂草杂草的正确识别率较低。另外 利用多光谱特征识别田间杂草的技术的算法比较 Eki等的研究表明土壤含水率、光照条件和摄像头的 简单，在实时性方面具有明显的优势。但是，光谱成像设 焦距品影响领色特征识别方法的3个士要因素 备是由光谱仪和摄像机组成成本费用较高。而且绿色 总之.形状、纹理、光谱和颜色特征各有优缺点 叶子对光的反射受到含水量、含氨量、描物病虫害和生 Zhag等人在识别小麦地里的杂草时.采用了形状、致 长期等诸多附加因素的影响，而且有些杂草和作物表面 理和颜色分析3种方法，研究表明颜色分析法能识别 的反射波长十分相近。因此。在实际的田间环境下，只利 田间带红色茎的杂草形状分析法能非常有效地把阔叶 一定的 杂草从小麦叶中分离出来，但对阔叶杂草之间的分离作 的要求 用很小 傅里叶频谱分析表明小麦具有单方向的纹理模 ”利用色特征识别田间 式，而阔叶杂草表现为多方向纹理，可用该方法描述 141 ,论 理的粗细。以检测 别 、早期 在自然界，作物呈绿色 土壤呈黄褐色 ,岩石和无 该信 命的植物残渣呈淡黄色。因此可根据植物（呈绿色）和背 息的线 以便 确，快捷的识别 景（土壤颜色为主）的色特征差异将植物从背景中分 割出来。另外，杂草和作物之间也存在颜色特征差异，某 2结语 些杂草茎呈红色，比如野养麦、雀麦俄国鹤、黄狐尾草 从20世纪80年代至今，基于机器视觉的杂草识别 和红根攀等以，而植物和杂草叶片呈绿色。美国的杂 技术的研究经历了从室 到田间、从非 寸到实时的发 草科学协会列出的大豆田里最常见的10种杂草中有7 只有少 1器视觉的 种有红色的茎.麦地里的10种主要杂草中也有7种有 微红的茎。因此，还可根据杂草茎和作物的颜色特征的 史现 田间杂草的实 际应用 更少数的成 美国的Lce等人利用Shaughie 苏异识别田间杂草 人开发的 名为UC Davis Robotic Cultivator"的实时行中 142颜伍特征参 系统，研制 彩色图像有多种颜色空间的表达方式其分割方法 了智能杂草控制系统，该系统能根据植物开 状特征的差异识别作物和杂草并确定其位置，喷酒杂 的作物植株。 法对所有颜色特征 知细分 在番茄地的实验表明：番茄的准确 集的 识别率为731%，杂草的准确识别幸为688% 于RGB 的，在此颜色空间中最 随若图像处理和机器视觉等技术的不断发展再结 里(Extra-green,ExG= 合功能强大、成本低魔的计算机.能精确地识别田间杂 R-B)。为了减少阴影的影响，把RGB颜色空间转换 草的基干机器视觉的技术也会越来越成孰。或日前来 为rgb色度空间，Woebbecke比较分析了(r-g)、(g 看，仍有一些技术难题还须进一步研究解决，耻 b)、(gb)/八rg卜(2g-rb)等颜色特征因子，发 )多数研究是在可以采集高质量图像的具有可控 现(2g下b)这一因子用于植物检测最为有效。在 光照、没有环境影响因素的实验室（温室）内进行的，而 面向彩色处理的最常用的HS颜色空间中，最常用的 田间则有机械震动、光照不匀、风、晴阴天等许多影响 颜色特征参数是色府分量H山e)。 因素，这就增加了图像预处理的难度，尚待研究 143肝究状况 2)多数研究是静态的，先从室内（或田间）采集图 Tang等人还研究了在室外自然光照条件下.以人 工分割的结果为导师信号，在HSI颜色空间利用遗传 十算机立即处理所采集的图像，精 算法分割植物和背景。该算法有效克服了田间光照的 度，决策系统据此 大变化对分割性能的影响， ,笔人评价了颜任 人械上的机我针算机立即处理所汉生的因堂多一 是研 决的 他们指出利 颜色特征能识 ,而多特征的综合利用 %的杂草 是发展方向，也是提高杂草识别率的有效 径。但多特 研究了利 和杂草的颜 特征识别的东 万 正的是取题也是机器视觉识别田间杂草的难点 用4个颜色 并有选择地进行组合， 然后把 4)基于机器视觉的田间杂草识别技术尚没有形成 些组合作为输入变量分别输入 个统计分类器和两 通用的理论和方法。由于各研究的对象、时间、地点以及 人工神经网络分类器。结果表明，统计分类器的效果最 环境条件都有所不同.导致所研究的方法具有一定的局 好，对大豆和小麦的正确分类率为54%、622% 限性.一般只适用于所研究的植物： 144存在的问题 5)基于机器视觉的杂草识别技术在中国尚处在试 较之基于植物形状和纹理的识别方法基于额色特 验研究阶段，与国外差距大。国内学者在这方面已做过 征的方法对叶片重叠、叶方位、摄像机聚焦和风的影响 一些有意义的探索，但距离实际应用尚远。 45 e 1995-2005 Tsinghua Tongfang Optical Disc Co..Lid.All rights reserved
草的识别率达到了 87% [ 15 ]。 1. 3. 4 存在的问题 利用多光谱特征识别田间杂草的技术的算法比较 简单, 在实时性方面具有明显的优势。但是, 光谱成像设 备是由光谱仪和摄像机组成, 成本费用较高。而且, 绿色 叶子对光的反射受到含水量、含氮量、植物病虫害和生 长期等诸多附加因素的影响, 而且有些杂草和作物表面 的反射波长十分相近。因此, 在实际的田间环境下, 只利 用几个较窄的波长范围识别较多植物种类具有一定的 困难, 对传感器的分辨率提出了较高的要求。 1. 4 利用颜色特征识别田间杂草的技术 1. 4. 1 理论依据 在自然界, 作物呈绿色, 土壤呈黄褐色, 岩石和无生 命的植物残渣呈淡黄色。因此可根据植物(呈绿色) 和背 景(土壤颜色为主) 的颜色特征差异将植物从背景中分 割出来。另外, 杂草和作物之间也存在颜色特征差异, 某 些杂草茎呈红色, 比如: 野荞麦、雀麦、俄国蓟、黄狐尾草 和红根藜等[ 12, 16 ] , 而植物和杂草叶片呈绿色。美国的杂 草科学协会列出的大豆田里最常见的 10 种杂草中有 7 种有红色的茎, 麦地里的 10 种主要杂草中也有 7 种有 微红的茎。因此, 还可根据杂草茎和作物的颜色特征的 差异识别田间杂草。 1. 4. 2 颜色特征参数 彩色图像有多种颜色空间的表达方式, 其分割方法 都与颜色特征及颜色坐标的选择有关, 没有一种分类方 法对所有颜色特征都是有效的。摄像机所采集的原始彩 色图像是基于 R GB 颜色空间的, 在此颜色空间中最常 用的颜色特征参数是超绿分量(Ex tra2green, ExG= 2G - R- B)。为了减少阴影的影响, 把R GB 颜色空间转换 为 rgb 色度空间,W oebbecke 比较分析了(r- g) 、(gb)、(g- b)öû r- gû、(2g- r- b) 等颜色特征因子, 发 现(2g- r- b) 这一因子用于植物检测最为有效[ 16 ]。在 面向彩色处理的最常用的 H IS 颜色空间中, 最常用的 颜色特征参数是色度分量(H ue)。 1. 4. 3 研究状况 T ang 等人还研究了在室外自然光照条件下, 以人 工分割的结果为导师信号, 在 H S I 颜色空间利用遗传 算法分割植物和背景。该算法有效克服了田间光照的巨 大变化对分割性能的影响[ 17 ]。Zhang 等人评价了颜色 特征在杂草识别中的效力, 观察了 38 种主要杂草, 发现 其中 28 种有淡红的茎。他们指出利用颜色特征能识别 堪萨斯州麦地和大豆地里 80% 的杂草[ 18 ]。据此, E lfak i 研究了利用作物和杂草的颜色特征识别的杂草方法, 采 用 4 个颜色特征参数, 并有选择地进行组合, 然后把这 些组合作为输入变量分别输入一个统计分类器和两个 人工神经网络分类器。结果表明, 统计分类器的效果最 好, 对大豆和小麦的正确分类率为 54%、62. 2% [ 19 ]。 1. 4. 4 存在的问题 较之基于植物形状和纹理的识别方法, 基于颜色特 征的方法对叶片重叠、叶方位、摄像机聚焦和风的影响 不敏感, 增加了田间执行的可行性[ 19 ]。但该方法只适于 识别有红色茎的杂草, 杂草的正确识别率较低。另外, E lfak i 等的研究表明土壤含水率、光照条件和摄像头的 焦距是影响颜色特征识别方法的 3 个主要因素[ 20 ]。 总之, 形状、纹理、光谱和颜色特征各有优缺点。 Zhang 等人在识别小麦地里的杂草时, 采用了形状、纹 理和颜色分析 3 种方法, 研究表明: 颜色分析法能识别 田间带红色茎的杂草; 形状分析法能非常有效地把阔叶 杂草从小麦叶中分离出来, 但对阔叶杂草之间的分离作 用很小; 傅里叶频谱分析表明小麦具有单方向的纹理模 式, 而阔叶杂草表现为多方向纹理, 可用该方法描述纹 理的粗细, 以检测一些杂草的类别[ 18 ]。早期研究, 侧重 单一信息提取, 以检验利用该信息的可行性。如今, 则侧 重于多种信息的综合利用, 以便更准确、快捷的识别杂 草。 2 结 语 从 20 世纪 80 年代至今, 基于机器视觉的杂草识别 技术的研究经历了从室内到田间、从非实时到实时的发 展过程。目前, 只有少数基于机器视觉的杂草识别系统 实现了田间杂草的实时识别, 更少数的成果开始走向实 际应用。美国的L ee 等人利用 Slaugh ter 等人开发的命 名为“U C D avis Robo tic Cu ltivato r”的实时行中心引导 系统, 研制了智能杂草控制系统, 该系统能根据植物形 状特征的差异识别作物和杂草并确定其位置, 喷洒杂草 和细小的作物植株。在番茄地的实验表明: 番茄的准确 识别率为 73. 1% , 杂草的准确识别率为 68. 8% [ 21 ]。 随着图像处理和机器视觉等技术的不断发展, 再结 合功能强大、成本低廉的计算机, 能精确地识别田间杂 草的基于机器视觉的技术也会越来越成熟。就目前来 看, 仍有一些技术难题还须进一步研究解决, 如: 1) 多数研究是在可以采集高质量图像的具有可控 光照、没有环境影响因素的实验室(温室) 内进行的; 而 田间则有机械震动、光照不匀、风、晴ö阴天等许多影响 因素, 这就增加了图像预处理的难度, 尚待研究。 2) 多数研究是静态的, 先从室内(或田间) 采集图 像, 再用计算机处理图像; 而实时(动态) 识别要求除草 机械上的机载计算机立即处理所采集的图像, 精确地确 定杂草的位置和密度, 决策系统据此控制喷嘴的开ö关。 满足实时性的图像处理算法一直是机器视觉技术的瓶 颈所在, 也是研究人员要着重解决的难题。 3) 多数研究以单特征为主, 而多特征的综合利用 是发展方向, 也是提高杂草识别率的有效途径。但多特 征的提取问题也是机器视觉识别田间杂草的难点。 4) 基于机器视觉的田间杂草识别技术尚没有形成 通用的理论和方法。由于各研究的对象、时间、地点以及 环境条件都有所不同, 导致所研究的方法具有一定的局 限性, 一般只适用于所研究的植物。 5) 基于机器视觉的杂草识别技术在中国尚处在试 验研究阶段, 与国外差距大。国内学者在这方面已做过 一些有意义的探索, 但距离实际应用尚远。 54 第 5 期 毛文华等: 基于机器视觉的田间杂草识别技术研究进展 © 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved
农业工程学报 2004年 [参考文献] 1994.37(1):297.302 [1]PaiceM ER,Miller PCH,Bodk J D.An expermental 【121 Weed detection using canopy re nceA】 In Precison A griculture'9 ng ing Researc 107.116 C11999.257.26 [2]Guyer D E.M iles G E.Schreber MM,et al Machine [13]V isser R.A.Tm sIM WEED-Ir-a se vison and mage processing for plant identification[] tive weed control system [A Proceedings of SPIE,Op- Transactonsof theA SAE,1986.29(6):1500-1507 tics in Agriculture.Forestry,and Bgica Processing [3]GuyerD E.MilesGE.Gaultney L D.et al Application 2907[C1996.120-129 (14]Biller R H nput of herbicides by use of opto 6(1): A gricultural Engmnee .171 heckeD M.Mever G E.Von Bargen K.et al 151B u No etal c disr by line magin analysis[J]Transactions of the A SAE.199538(1):271 of Agricultural Engineering Research.2000.75(4):389 281 400 5) wa S,SakaiN.KitaniC kentificaton of deal 16]wo eD M,Meyer G E.Von B argen K,et a on under varous 41.1525153 AS4E,1995,381259.269 [6]Franz E,GebhardtM R.Unklsbay K B.Shape descrp- 1171 TangL.TianL,StewardBL.Cobr mage se ton of completely visible and partially occluded leaves for ton w ith genetic algorithm for in-field weed sensing[J dentify ing p lants n digital mages[J T ransactons of the Transactons of the ASA E.2000.43(4):1019-1027 ASAE,199L,342:673 ·68 [18] Zhang N,Chaisattapagon C Effectie criteria for weec m ach 100033/61.0371044 19 nach ine ng and discrm mant analysisor distinguishing weedsor 3134 pot raying [J]Transactons of the ASAE,1998,41 [201 ElfakiM S.Zhang N.Peterson D E Ficld factors af (4):1189119 ecgweed detecton[AASAE Pper 1997.No 97 [9]BurksT F earer S A,Gates RS cural network design and evalua [21]LeeW S,SlaughterD C.GilesD K Robotic weed co 4c4E2004341.100.1037 10]TangL.Tian F.Steward B L.et al Texture based Na973093,15pP weed classificaton using gabor wavelets and neural net- [22]纪寿文，王荣本，陈佳娟，等应用计算机图象处理技术识 work or realtme selective herbicide applicaton [A] 别玉米苗期田间杂草的研究)1农业工程学报，2000,1 A SA E paper.1997 2:154-155 [J]ASAE paper St JosephM ich.1997 l23 Research advances of weed iden tif ication technology using machine vision 9 Mao Wenhua',Wang Yin ing',Zhang Xiaochao',W ang Yue e100083.C5 Abstract weed identificaton techno bgy is the key to the realicaton of seleetively spraving herbicide for the envi ronm ental pmotecton in order to promote the research and applicaton of this technology in china the research methods and advances ofw eed identification technology using machine vision in precision fam ing were analyzed The theory.feature parameters.research advances and probles using the shape,texture.cobr- tral features to identify weed were discussed, The difficulties of reatme dentificaton were cluded Key words weed identification research advanc
[参 考 文 献] [1 ] Paice M E R, M iller P C H , Bodle J D. A n experim ental sp rayer fo r the spatially selective app lication of herbicides [J ]. Journal of A gricultural Engineering R esearch, 1995, 60: 107- 116. [2 ] Guyer D E, M iles G E, Sch reiber M M , et al. M ach ine vision and im age p rocessing fo r p lant identification [J ]. T ransactions of the A SA E, 1986, 29 (6): 1500- l507. [3 ] Guyer D E, M iles G E, Gaultney L D , et al. A pp lication of m ach ine vision to shape analysis in leaf and p lant identi2 fication [J ]. T ransactions of the A SA E, 1993, 36 (1): 163 - 171. [4 ] W oebbecke D M , M eyer G E, V on Bargen K, et al. Shape features fo r identifying young w eeds using im age analysis[J ]. T ransactions of the A SA E, 199538 (1): 271 - 281. [5 ] Yonekaw a S, Sakai N , K itani O. Identification of ideal2 ized leaf types using simp le dim ensionless shape facto rs by im age anlysis [J ]. T ransactions of the A SA E, 1996, 39 (4): 1525- 1533. [6 ] F ranz E, GebhardtM R, U nk lesbay K B. Shape descrip2 tion of comp letely visible and partially occluded leaves fo r identifying p lants in digital im ages[J ]. T ransactions of the A SA E, 1991, 34 (2): 673- 681. [7 ] Shearer S A , Ho lm es R G. P lant identification using co lo r co2occurrence m atrices [J ]. T ransactions of the A SA E, 1990, 33 (6): 2037- 2044. [8 ] M eyer G E, M eh ta T , KocherM F, et al. T extural im ag2 ing and discrim inant analysis fo r distinguish ing w eeds fo r spo t sp raying [J ]. T ransactions of the A SA E, 1998, 41 (4): 1189- 1197. [9 ] Burk s T F, Shearer S A , Gates R S. Backp ropagation neural netw o rk design and evaluation fo r classifying w eed species using co lo r im age texture [J ]. T ransactions of the A SA E, 2000, 43 (4): 1029- 1037. [10 ] T ang L , T ian F, Stew ard B L , et al. T exture based w eed classification using gabo r w avelets and neural net2 w o rk fo r real2tim e selective herbicide app lication [A ]. A SA E paper, 1997. T im e selective herbicide app lication [J ]. A SA E paper. St Jo seph M ich, 1997. [11 ] B row n R B, et al. R emo te sensing fo r identification of w eeds in on2till co rn [J ]. T ransactions of the A SA E, 1994, 37 (1): 297- 302. [12 ] V rindts E, et al. W eed detection using canopy re2 flectance [A ]. In P recision A griculture’99: P roceedings of the 2nd European Conference on P recision A griculture [C ]. 1999, 257- 264. [13 ] V isser R, A. T imm erm ansJ M. W EED2IT: a new selec2 tive w eed contro l system [A ]. P roceedings of SP IE, Op2 tics in A griculture, Fo restry, and B io logical P rocessing II 2907[C ]. 1996, 120- 129. [14 ] B iller R H. R educed input of herbicides by use of op to2 electronic senso rs[J ]. Journal of A gricultural Engineer2 ing R esearch, 1998, 71: 357- 362. [15 ] Bo rregaard T , N ielsen H , N o rgaard L , et al. C rop2w eed discrim ination by line im aging spectro scopy [J ]. Journal of A gricultural Engineering R esearch, 2000, 75 (4): 389 - 400. [16 ] W oebbecke D M , M eyer G E, V on Bargen K, et al. Co lo r indices fo r w eed identification under various so il, residue, and ligh ting conditions[J ]. T ransactions of the A SA E, 1995, 38 (1): 259- 269. [17 ] T ang L , T ian L , Stew ard B L. Co lo r im age segm enta2 tion w ith genetic algo rithm fo r in2field w eed sensing[J ]. T ransactions of the A SA E, 2000, 43 (4): 1019- 1027. [18 ] Zhang N , Chaisattapagon C. Effective criteria fo r w eed identification in w heat fields using m ach ine vision [J ]. T ransactions of the A SA E, 1995, 38 (3): 965- 975. [19 ] E lfak iM S, Zhang N , Peterson D E. W eed detection us2 ing co lo r m ach ine vision [J ]. A SA E Paper, 1997,N o. 97 - 3134. [20 ] E lfak iM S, Zhang N , Peterson D E. F ield facto rs af2 fecting w eed detection[A ]. A SA E Paper, 1997,N o. 97- 3098. [21 ] L eeW S, Slaugh ter D C, Giles D K. Robo tic w eed con2 tro l system fo r tom atoes using m ach ine vision system and p recision chem ical app lication [J ]. A SA E Paper, 1997. N o. 973093, 15 pp. [ 22 ] 纪寿文, 王荣本, 陈佳娟, 等. 应用计算机图象处理技术识 别玉米苗期田间杂草的研究[J ]. 农业工程学报, 2000, 17 (2): 154- 155. [ 23 ] 相阿荣, 王一鸣. 利用色度法识别杂草和土壤背景物[J ]. 中国农业大学学报, 2000, 5 (4): 98- 100. Research advances of weed iden tif ication technology using mach ine v ision M a o W e nhua 1 , W a ng Yim ing 1 , Zha ng Xia ocha o2 , W a ng Yue q ing 1 (1. Colleg e of Inf orm ation and E lectronic E ng ineering , Ch ina A g ricu ltu ral U niversity , B eij ing 100083, Ch ina; 2. Ch inese A cad em y of A g ricu ltu ral M echaniz ation S ciences, B eij ing 100083, Ch ina) Abstract: W eed iden tification techno logy is the key to the realization of selectively sp raying herb icide fo r the envi2 ronm en tal p ro tection. In o rder to p rom o te the research and app lication of th is techno logy in Ch ina, the research m ethods and advances of w eed iden tification techno logy u sing m ach ine vision in p recision farm ing w ere analyzed. T he theo ry, featu re param eters, research advances and p rob lem s u sing the shape, tex tu re, co lo r and m u lti2spec2 tral featu res to iden tify w eed w ere discu ssed, respectively. T he difficu lties of real2tim e iden tification w ere con2 cluded. Key words: w eed iden tification; m ach ine vision; research advance 64 农业工程学报 2004 年 © 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved