2020年3月 农业机械学报 第51卷第3期 doi:10.6041/.issn.1000-1298.2020.03.001 植物表型平台与图像分析技术研究进展与展望 张慧春2周宏平郑加强葛玉峰李杨先 (1.南京林业大学机械电子工程学院,南京210037;2.内布拉斯加大学林肯分校生物系统工程学院,林肯NE68583) 摘要:近年来,植物基因组得到迅猛发展,但因缺乏足够的表型数据而限制了人类解析数量性状遗传学的能力。通 过开发植物表型信息采集平台和进行图像分析可以加以解决。高通量、自动化、高分辨率的植物表型信息采集平 台与分析技术对于加快植物改良和育种、提高产量和抗病虫害能力至关重要。将植物表型平台信息采集平台与分 析技术用于解析基因组信息,定量研究与生长、产量和适应生物或非生物胁迫相关的复杂性状,是建立植物生长模 型和采集农作物高维、丰富表型数据集的重要途径,能够满足填补基因组信息与植物表型可塑性之间空白的需要, 闸述了基于光学成像的植物表型信息采集平台与图像分析技术的研究进展,从室内、田间不同的使用环境出发,根 据不同搭载方式,总结分析了各表型平台的功能和特点。最后,分析了目前植物表型信息采集平台与分析技术存 在的瓶颈问題,提出了以下建议与展望:开发植物表型信息采集平台的多传感器集成系统;将植物生长环境监测模 块融入植物表型信息采集平台中;开发针对林木的表型信息采集平台;对传感器获取的表型数据进行更好的集成 与挖掘;采用无损原位根系信息采集技术得到植物地下部分的表型数据;构建表型数据统一开放的标准,进行学科 交叉的深度合作。 关键词:植物表型;表型平台;高通量;光学成像;图像采集;图像分析技术 中图分类号:TP391.41;TP212文献标识码:A文章编号:1000-1298(2020)03-0001-17 OSID Research Progress and Prospect in Plant Phenotyping Platform and Image analysis technology ZHANG Huichun ZHOU Hongping ZHENG Jiaqiang GE Yufeng LI Yangxian (1. College of Mechanical and Electronic Engineering, Nanjing Forestry Unirersity, Nanjing 210037, China 2. Biological Systems Engineering Department, University of Nebraska-Lincoln, Lincoln NE 68583, USA) Abstract: In recent years, the rapid development of plant genomes, but the lack of sufficient phenotypic data limits the ability of humans to analyze the genetics of quantitative traits. This problem can be effectively solved by developing a plant phenotypic monitoring platform. High-throughput, automated and high-resolution phenotyping platform is critical for accelerating crop improvement and breeding strategies for higher yield and disease tolerance. Plant phenotyping has been advancing at an accelerated rate as a response to the need to fill the gap between genomic information and the plasticity of the plant phenome Domestic and international efforts have been made to develop phenotyping facilities, and these devices are actively contributing to the generation of high-dimensional, richly informative datasets about the phenotype of model and crop plants. The plant phenotypic monitoring platform integrates multiple sensors for quantitative research on complex traits related to growth, yield, and adaptation to biotic or abiotic stresses such as plant height, leaf number and area, root morphology, biomass, and fruit characteristics The research progress of plant phenotypic monitoring technology and research status of platform at home and abroad was mainly introduced. The research progress of plant phenotypic information collection platform and technology was introduced, and the functions and characteristics of each were summarized and analyzed. Thus, various phenotypic platform based on indoor and field environments were presented together with applications of these platforms with different mounting modes. An overview of the most 攵稿日期:2019-09-23修回日期:2019-10-18 基金项目:国家自然科学基金项目(31371963)、江苏省六大人才高峰项目(NY-058)、江苏省青蓝工程项目(苏教201842)、江苏省333工 程项目(苏人20186)、福建省林木种苗科技攻关六期项目(20192021)和江苏高校优势学科建设工程项目 作者简介:张慧春(1978-),女,教授,博士,主要从事农林信息技术与装备、表型分析平台与技术研究,E-mail:;zhanghe@hotmail.com
书 2020年 3月 农 业 机 械 学 报 第 51卷 第 3期 doi:10.6041/j.issn.10001298.2020.03.001 植物表型平台与图像分析技术研究进展与展望 张慧春1,2 周宏平1 郑加强1 葛玉峰2 李杨先1 (1.南京林业大学机械电子工程学院,南京 210037;2.内布拉斯加大学林肯分校生物系统工程学院,林肯 NE68583) 摘要:近年来,植物基因组得到迅猛发展,但因缺乏足够的表型数据而限制了人类解析数量性状遗传学的能力。通 过开发植物表型信息采集平台和进行图像分析可以加以解决。高通量、自动化、高分辨率的植物表型信息采集平 台与分析技术对于加快植物改良和育种、提高产量和抗病虫害能力至关重要。将植物表型平台信息采集平台与分 析技术用于解析基因组信息,定量研究与生长、产量和适应生物或非生物胁迫相关的复杂性状,是建立植物生长模 型和采集农作物高维、丰富表型数据集的重要途径,能够满足填补基因组信息与植物表型可塑性之间空白的需要。 阐述了基于光学成像的植物表型信息采集平台与图像分析技术的研究进展,从室内、田间不同的使用环境出发,根 据不同搭载方式,总结分析了各表型平台的功能和特点。最后,分析了目前植物表型信息采集平台与分析技术存 在的瓶颈问题,提出了以下建议与展望:开发植物表型信息采集平台的多传感器集成系统;将植物生长环境监测模 块融入植物表型信息采集平台中;开发针对林木的表型信息采集平台;对传感器获取的表型数据进行更好的集成 与挖掘;采用无损原位根系信息采集技术得到植物地下部分的表型数据;构建表型数据统一开放的标准,进行学科 交叉的深度合作。 关键词:植物表型;表型平台;高通量;光学成像;图像采集;图像分析技术 中图分类号:TP39141;TP212 文献标识码:A 文章编号:10001298(2020)03000117 OSID: 收稿日期:2019 09 23 修回日期:2019 10 18 基金项目:国家自然科学基金项目(31371963)、江苏省六大人才高峰项目(NY 058)、江苏省青蓝工程项目(苏教 201842)、江苏省 333工 程项目(苏人 20186)、福建省林木种苗科技攻关六期项目(20192021)和江苏高校优势学科建设工程项目 作者简介:张慧春(1978—),女,教授,博士,主要从事农林信息技术与装备、表型分析平台与技术研究,Email:njzhanghc@hotmail.com ResearchProgressandProspectinPlantPhenotypingPlatform andImageAnalysisTechnology ZHANGHuichun1,2 ZHOUHongping1 ZHENGJiaqiang1 GEYufeng2 LIYangxian1 (1.CollegeofMechanicalandElectronicEngineering,NanjingForestryUniversity,Nanjing210037,China 2.BiologicalSystemsEngineeringDepartment,UniversityofNebraskaLincoln,LincolnNE68583,USA) Abstract:Inrecentyears,therapiddevelopmentofplantgenomes,butthelackofsufficientphenotypic datalimitstheabilityofhumanstoanalyzethegeneticsofquantitativetraits.Thisproblem canbe effectivelysolvedbydevelopingaplantphenotypicmonitoringplatform.Highthroughput,automatedand highresolutionphenotypingplatformiscriticalforacceleratingcropimprovementandbreedingstrategies forhigheryieldanddiseasetolerance.Plantphenotypinghasbeenadvancingatanacceleratedrateasa responsetotheneedtofillthegapbetweengenomicinformationandtheplasticityoftheplantphenome. Domesticandinternationaleffortshavebeenmadetodevelopphenotypingfacilities,andthesedevicesare activelycontributing to the generation ofhighdimensional, richly informative datasetsaboutthe phenotypeofmodelandcropplants.Theplantphenotypicmonitoringplatformintegratesmultiplesensors forquantitativeresearchoncomplextraitsrelatedtogrowth,yield,andadaptationtobioticorabiotic stressessuchasplantheight,leafnumberandarea,rootmorphology,biomass,andfruitcharacteristics. Theresearchprogressofplantphenotypicmonitoringtechnologyandresearchstatusofplatform athome andabroadwasmainlyintroduced.Theresearchprogressofplantphenotypicinformationcollection platformandtechnologywasintroduced,andthefunctionsandcharacteristicsofeachweresummarized andanalyzed.Thus,variousphenotypicplatformbasedonindoorandfieldenvironmentswerepresented togetherwithapplicationsoftheseplatformswithdifferentmountingmodes.Anoverview ofthemost
农业机械学报 2020 年 commonly used sensors that empower digital phenotyping and the information they provide were presented. Function and feature of each phenotype platform was also analyzed. Meanwhile, an in-depth nalysis of image processing with its major issues was given, and the algorithms that were used or emerged as useful to obtain data out of images in an automatic fashion. In this review, the current and emerging methods of image acquisition and processing that allow image-based phenomics were covered. The main bottlenecks that still remained in the field was concluded and the application prospect of plant phenotypic monitoring technology and platform were expected, which pointed out the following challenges developing plant phenotyping platform of multi-sensor integrated system, introducing plant growth environment monitoring module into plant phenotypic information collection platform, designing forest phenotypic information collection platform, conducting integration and mining phenotype data captured by sensors, collecting the phenotypic data of underground part by nondestructive in situ plant root measurement technology, building unified open standards for phenotypic data and prompting interdisciplinary cooperation Key words: plant phenotype; phenotyping platform; high-throughput; optical imaging; image acquisition; image analysis technique 0引言 生产领域的重大革新,通过这项技术,可以快速获取 植物的结构、形态、生长、光合作用等特征,客观准确 高通量测序技术的快速发展提供了经济和高效地得到各项表型数据,对生物体进行从宏观到微观 的基因组信息,极大地加速了对调控作物重要性状的系统展示,监测作物生长状况,从而有利于培育出 基因的挖掘。然而,由于植物表型的复杂性、受环境更优良的品种,为调控作物生长环境提供可靠依据 影响多变及全程动态变化等特性,表型研究严重滞也为农作物优质丰产研究提供新的方法。 后于基因型研究,造成植物信息之间无法互联互通, 本文从应用环境的室内和田间角度,汇总当前 也使海量的基因数据的科研价值降低。只有将国内外的各种类型表型平台,分析其原理构成、获取 大量可用的基因型信息与表型性状相匹配,架设起的表型参数和优势特点,阐述面向植物表型信息采 数据之间沟通的桥梁,才能充分挖掘基因组、转录组集的图像采集技术和图像数据分析算法,对采集植 和蛋白质组等组学信息,揭示特征多样性随时间变物表型图像的分析和处理方法、流程加以总结,对根 化的趋势。基于光学成像的表型采集平台和图像分据提取的性状参数进行作物产量预测制定相应的栽 析技术是当前植物表型测定的主要瓶颈,由于受限培管理措施等智能决策应用进行分析,并对未来植物 于平台与技术,缺乏足够数量与精度的表型数据,限表型信息采集技术和平台的发展进行展望。 制了解析植物生长速率、产量和适应压力相关基因 的能力。表型采集与分析技术结合基因组信息,可1植物表型信息采集平台研究进展 培育出更高产、更优质、更耐胁迫的作物,从而大大 传统的植物表型信息采集方法存在样本量小 提高育种改良效率2。 (测量性状少)、效率低(多为人工测量)、误差大(主 作物收获的是表型,而不是基因型。表型是指观性严重)、适应性差(多针对单一植物)等缺 受基因和环境决定或影响的复杂植物性状,包括生点,无法适应大批量、快速、准确、无损的表型测 长、发育、耐性、抗性、生理、结构、产量等3。可测量要求,已成为制约植物生物学研究的重要因 量参数包括植物高度、叶形态(如叶片长度、叶片宽素[。随着科研需求的增长及成像传感器技术的 度、叶片数量、叶面积、叶面倾角、叶空间分布发展,进行高通量、高效率、高精度、低误差、低成本 等)-3、根形态(如根长度、根的数量等)、生物的自动表型信息采集已成为可能。成像传感器监测 量(指某一时刻单位面积内实存生活的有机物质总的数据具有客观性,且可以对植物进行实时监测与 量)(7、果实特征(如果实大小、果实形状、果实颜色分析,因此自动表型信息采集技术开始广泛用于植 等)及生物胁迫(包括病害、虫害、杂草危害等)与物表型信息采集平台13-1。植物表型信息采集平 非生物胁迫(包括干旱、盐碱、洪涝等)90 台的应用需要以下条件:高分辨率的成像传感器;能 早在DNA和分子标记被发现之前,人们就已经进行数据自动采集的高精度环境传感器;有利于进 根据表型对品种进行选择、确定和改良,依靠肉眼观行计算机视觉、机器学习等处理的优质数据;数据管 察进行表型评估,将田间小块作物的长势、倒伏和衰理和分析技术6-m。 老等作为判断依据。植物表型信息采集技术是农业 随着现代化、智能化农业装备的发展,学者们希
commonlyused sensorsthatempowerdigitalphenotyping and the information they provide were presented.Functionandfeatureofeachphenotypeplatform wasalsoanalyzed.Meanwhile,anindepth analysisofimageprocessingwithitsmajorissueswasgiven,andthealgorithmsthatwereusedoremerged asusefultoobtaindataoutofimagesinanautomaticfashion.Inthisreview,thecurrentandemerging methodsofimageacquisitionandprocessingthatallowimagebasedphenomicswerecovered.Themain bottlenecksthatstillremainedinthefieldwasconcludedandtheapplicationprospectofplantphenotypic monitoringtechnology and platform were expected, which pointed outthe following challenges: developing plantphenotyping platform ofmultisensorintegrated system, introducing plantgrowth environmentmonitoringmoduleintoplantphenotypicinformationcollectionplatform,designingforest phenotypicinformationcollectionplatform,conductingintegrationandminingphenotypedatacapturedby sensors,collecting the phenotypic data ofunderground partby nondestructive in situ plantroot measurementtechnology, building unified open standards for phenotypic data and prompting interdisciplinarycooperation. Key words: plantphenotype; phenotyping platform; highthroughput; opticalimaging; image acquisition;imageanalysistechnique 0 引言 高通量测序技术的快速发展提供了经济和高效 的基因组信息,极大地加速了对调控作物重要性状 基因的挖掘。然而,由于植物表型的复杂性、受环境 影响多变及全程动态变化等特性,表型研究严重滞 后于基因型研究,造成植物信息之间无法互联互通, 也使海量的基因数据的科研价值降低[1] 。只有将 大量可用的基因型信息与表型性状相匹配,架设起 数据之间沟通的桥梁,才能充分挖掘基因组、转录组 和蛋白质组等组学信息,揭示特征多样性随时间变 化的趋势。基于光学成像的表型采集平台和图像分 析技术是当前植物表型测定的主要瓶颈,由于受限 于平台与技术,缺乏足够数量与精度的表型数据,限 制了解析植物生长速率、产量和适应压力相关基因 的能力。表型采集与分析技术结合基因组信息,可 培育出更高产、更优质、更耐胁迫的作物,从而大大 提高育种改良效率[2] 。 作物收获的是表型,而不是基因型。表型是指 受基因和环境决定或影响的复杂植物性状,包括生 长、发育、耐性、抗性、生理、结构、产量等[3] 。可测 量参数包括植物高度、叶形态(如叶片长度、叶片宽 度、叶 片 数 量、叶 面 积、叶 面 倾 角、叶 空 间 分 布 等)[4-5] 、根形态(如根长度、根的数量等)[6] 、生物 量(指某一时刻单位面积内实存生活的有机物质总 量)[7] 、果实特征(如果实大小、果实形状、果实颜色 等)及生物胁迫(包括病害、虫害、杂草危害等)[8] 与 非生物胁迫(包括干旱、盐碱、洪涝等)[9-10] 等。 早在 DNA和分子标记被发现之前,人们就已经 根据表型对品种进行选择、确定和改良,依靠肉眼观 察进行表型评估,将田间小块作物的长势、倒伏和衰 老等作为判断依据。植物表型信息采集技术是农业 生产领域的重大革新,通过这项技术,可以快速获取 植物的结构、形态、生长、光合作用等特征,客观准确 地得到各项表型数据,对生物体进行从宏观到微观 的系统展示,监测作物生长状况,从而有利于培育出 更优良的品种,为调控作物生长环境提供可靠依据, 也为农作物优质丰产研究提供新的方法。 本文从应用环境的室内和田间角度,汇总当前 国内外的各种类型表型平台,分析其原理构成、获取 的表型参数和优势特点,阐述面向植物表型信息采 集的图像采集技术和图像数据分析算法,对采集植 物表型图像的分析和处理方法、流程加以总结,对根 据提取的性状参数进行作物产量预测、制定相应的栽 培管理措施等智能决策应用进行分析,并对未来植物 表型信息采集技术和平台的发展进行展望。 1 植物表型信息采集平台研究进展 传统的植物表型信息采集方法存在样本量小 (测量性状少)、效率低(多为人工测量)、误差大(主 观性 严 重 )、适 应 性 差 (多 针 对 单 一 植 物 )等 缺 点[11] ,无法适应大批量、快速、准确、无损的表型测 量 要 求,已 成 为 制 约 植 物 生 物 学 研 究 的 重 要 因 素[12] 。随着科研需求的增长及成像传感器技术的 发展,进行高通量、高效率、高精度、低误差、低成本 的自动表型信息采集已成为可能。成像传感器监测 的数据具有客观性,且可以对植物进行实时监测与 分析,因此自动表型信息采集技术开始广泛用于植 物表型信息采集平台[13-15] 。植物表型信息采集平 台的应用需要以下条件:高分辨率的成像传感器;能 进行数据自动采集的高精度环境传感器;有利于进 行计算机视觉、机器学习等处理的优质数据;数据管 理和分析技术[16-20] 。 随着现代化、智能化农业装备的发展,学者们希 2 农 业 机 械 学 报 2020年
第3期 张慧春等:植物表型平台与图像分析技术研究进展与展望 望在大批量植株中挖掘物种功能多样性、比较品种荷耦合器件( Charge coupled device,CCD)相机、近红 性能及植株对环境的响应,以获取表型性状之间的外仪( Near infrared,NR)、红外仪( Infrared,IR)、热 关联,基因、环境与表型之间的关系等,高通量植物成像仪、光谱成像仪、荧光成像仪等对室内、田间的 表型信息采集平台应运而生1-2。高通量(HTTP)植物进行监测,从而在短时间内获取较多的表型参 指的是与人工表型分析相比,能够测量更多样品和/数。由于植物表型信息采集技术在农业领域存 或更多数据点,不仅在单位时间内采样数量高,同时在巨大潜力,各国的科研机构与企业都在积极开发 数据处理和参数获取的同步性和高效性也与硬件平构建高通量植物表型信息采集平台0。 台扫描源数据相匹配。高通量表型依赖于快速输 植物表型采集平台按照搭载方式可分为台式 送、自动化传感、数据采集、数据分析方法和技术装传送带式、车载式、自走式、门架式、悬索式以及无人 备,通过在平台(包括拖拉机、机器人、无人机、固定机式植物表型平台,表1列举对比了部分表型信息 轨道、传送带、悬索缆架等)搭载多种传感器,如电采集平台性能。 表1植物表型信息采集平台性能对比 Tab 1 Performance comparison of plant phenotyping platf orm 表型平台 研发单位 平台类型使用环境 功能优势 实际应用 作物表型参数全自动、无损、高通量 华中农业大学和传送带式高通 011年已由华中农业大学和 HRPE 室内提取,以及植物栽培输送全自动 华中科技大学 量表型平台 体化 华中科技大学使用2-21 北京数字绿土科技无人机植物表 视野广阔,日测2km2,累计工作时2012年开始应用于农林业表 LiAr 有限公司 型平台 长超8000h 型领域 荷兰 Pheno Spex公门架式植物表田间、不受环境影响,效率达5000株/h,2018年应用于南京农业大学 Fieldsman 司 型平台 室内每天可重复测量 搭建的田间表型平台 中国科学院植物研 rop 3D 台式表型平台室内 集成激光雷达、相机、多光谱和热成2014年开始应用于中国科学 像仪4种传感器 院植物研究所[ 美国内布拉斯加大悬索式高通量 覆盖4000m2的田间,悬索平台上2017年在内布拉斯加大学林 Spidercam 田间搭载有可见RGB、近红外线、激光雷肯分校的试验田间已经使 学林肯分校 表型平台 达和多光谱等多个摄像头和传感器用 在生长箱内可控条件下,记录微气 法国农业科学研究 台式表型平台室内 象条件,配备垂直和水平架设的两2006年在法国农业科学研究 架RGB摄像机、红外摄像机和荧光院的生长箱内已经使用2 摄像机,并能进行自动浇水 德国 Lemnatec公台式高通量表 在生长箱中配备了一个机械臂,可 017年在美国阿肯色州立大 Scanalyzer H T S 室内以容纳3个高分辨率的相机,在可 型平台 学的生长箱使用3 见光、荧光和近红外光谱上成像 美国爱荷华州立大自走式表型平 多个立体摄像头同步触发,多组立 014年在美国爱荷华州立大 PhenotypingRobe 田间体镜头叠加确保对高大作物的表型 分析 学的试验田间使用 美国乔治亚大学 车载式植物表田同高通量 可基于现有机器搭载,成本较低,较2017年在美国乔治亚大学的 型平台 棉田中使用[31 澳大利亚联邦科学无人机植物表 Helipod 田间搭载热成像仪和RGB相机,获取冠在澳大利亚堪培拉州进行高强 与工业研究组织型平台 层温度和RGB图像 度表型实验 荷兰 Phenol ation传送带式表型田间、实时测量光和效率,估算植物叶片在荷兰瓦赫宁根大学试验田中 平台 温室对土壤覆盖度 进行实验 超高通量,每天数万盆植物,不受恶为 Crop Design、英美烟草等110 WPScan 荷兰WPS公司传送带式表型 平台 劣温室环境限制,效率高 多家大型园艺公司建造的平台 德 hoFer传送带式植物 直径200μm以上根系的高通 TuberCt 室内断层扫描,扫描后完成3D重建 表型平台 量CT扫描 德国生物与地球科传送带式植物 可测量植物的根长度,以及主根与利用高分辨率相机采集种植在 室内 分支的侧根角度 琼脂培养皿中植株的根图像 DroughtSpotter 荷兰 Pheno Spex公传送带式植物 室内精确灌溉功能,评估植物的蒸腾动2015年在阿德莱德大学进行 干旱胁迫实验
望在大批量植株中挖掘物种功能多样性、比较品种 性能及植株对环境的响应,以获取表型性状之间的 关联,基因、环境与表型之间的关系等,高通量植物 表型信息采集平台应运而生[21-24] 。高通量(HTTP) 指的是与人工表型分析相比,能够测量更多样品和 / 或更多数据点,不仅在单位时间内采样数量高,同时 数据处理和参数获取的同步性和高效性也与硬件平 台扫描源数据相匹配。高通量表型依赖于快速输 送、自动化传感、数据采集、数据分析方法和技术装 备,通过在平台(包括拖拉机、机器人、无人机、固定 轨道、传送带、悬索缆架等)搭载多种传感器,如电 荷耦合器件(Chargecoupleddevice,CCD)相机、近红 外仪(Nearinfrared,NIR)、红外仪(Infrared,IR)、热 成像仪、光谱成像仪、荧光成像仪等对室内、田间的 植物进行监测,从而在短时间内获取较多的表型参 数[25] 。由于植物表型信息采集技术在农业领域存 在巨大潜力,各国的科研机构与企业都在积极开发 构建高通量植物表型信息采集平台[26] 。 植物表型采集平台按照搭载方式可分为台式、 传送带式、车载式、自走式、门架式、悬索式以及无人 机式植物表型平台,表 1列举对比了部分表型信息 采集平台性能。 表 1 植物表型信息采集平台性能对比 Tab.1 Performancecomparisonofplantphenotypingplatform 表型平台 研发单位 平台类型 使用环境 功能优势 实际应用 HRPF 华 中 农 业 大 学 和 华中科技大学 传送带式高通 量表型平台 室内 作物表型参数全自动、无损、高通量 提取,以及植物栽培输送全自动一 体化 2011年已 由 华 中 农 业 大 学 和 华中科技大学使用[27-29] LiAir 北京数字绿土科技 有限公司 无人机植物表 型平台 田间 视野广阔,日测 2km2,累计工作时 长超 8000h 2012年开 始 应 用 于 农 林 业 表 型领域 FieldScan 荷兰 PhenoSpex公 司 门架式植物表 型平台 田间、 室内 不受环境影响,效率达 5000株 /h, 每天可重复测量 2018年应 用 于 南 京 农 业 大 学 搭建的田间表型平台 Crop3D 中国科学院植物研 究所 台式表型平台 室内 集成激光雷达、相机、多光谱和热成 像仪 4种传感器 2014年开 始 应 用 于 中 国 科 学 院植物研究所[30] Spidercam 美国内布拉斯加大 学林肯分校 悬索式高通量 表型平台 田间 覆盖 4000m2 的田间,悬索平台上 搭载有可见 RGB、近红外线、激光雷 达和多光谱等多个摄像头和传感器 2017年在 内 布 拉 斯 加 大 学 林 肯 分 校 的 试 验 田 间 已 经 使 用[31] Ppes 法国农业科学研究 院 台式表型平台 室内 在生长箱内可控条件下,记录微气 象条件,配备垂直和水平架设的两 架 RGB摄像机、红外摄像机和荧光 摄像机,并能进行自动浇水 2006年在 法 国 农 业 科 学 研 究 院的生长箱内已经使用[32] ScanalyzerHTS 德 国 LemnaTec公 司 台式高通量表 型平台 室内 在生长箱中配备了一个机械臂,可 以容纳 3个高分辨率的相机,在可 见光、荧光和近红外光谱上成像 2017年在 美 国 阿 肯 色 州 立 大 学的生长箱使用[33] PhenotypingRobot 美国爱荷华州立大 学 自走式表型平 台 田间 多个立体摄像头同步触发,多组立 体镜头叠加确保对高大作物的表型 分析 2014年在 美 国 爱 荷 华 州 立 大 学的试验田间使用 GPhenoVision 美国乔治亚大学 车载式植物表 型平台 田间 可基于现有机器搭载,成本较低,较 高通量 2017年在 美 国 乔 治 亚 大 学 的 棉田中使用[34] Helipod 澳大利亚联邦科学 与工业研究组织 无人机植物表 型平台 田间 搭载热成像仪和 RGB相机,获取冠 层温度和 RGB图像 在澳大利亚堪培拉州进行高强 度表型实验 CropObserver 荷 兰 PhenoVation 公司 传送带式表型 平台 田间、 温室 实时测量光和效率,估算植物叶片 对土壤覆盖度 在荷兰瓦赫宁根大学试验田中 进行实验 WPScan 荷兰 WPS公司 传送带式表型 平台 室内 超高通量,每天数万盆植物,不受恶 劣温室环境限制,效率高 为 CropDesign、英美烟草等 110 多家大型园艺公司建造的平台 TuberCT 德 国 FraunhoFer EZRT 传送带式植物 表型平台 室内 断层扫描,扫描后完成 3D重建 直径 200μm以上根系的高通 量 CT扫描 GrowScreenAgar 德国生物与地球科 学研究所 传送带式植物 表型平台 室内 可测量植物的根长度,以及主根与 分支的侧根角度 利用高分辨率相机采集种植在 琼脂培养皿中植株的根图像 DroughtSpotter 荷兰 PhenoSpex公 司 传送带式植物 表型平台 室内 精确灌溉功能,评估植物的蒸腾动 态 2015年在 阿 德 莱 德 大 学 进 行 干旱胁迫实验[35] 第 3期 张慧春 等:植物表型平台与图像分析技术研究进展与展望 3
农业机械学报 2020 年 植物表型信息采集平台按照使用环境分为温室境胁迫的表型响应、萌发试验或生态毒理测试效果 植物表型平台和田间植物表型平台。室内容易控制较好 气象环境,包括气候箱、生长室、温室等,方便开展不 同水分、光照、养分、温湿度等对植物的影响以及植 物对生物和非生物胁迫反应的研究-,实验可重 复性好,有助于完成基因定位和机理分析。 1.1面向温室的植物表型平台 1.1.1台式植物表型平台 台式植物表型平台是一种专门针对小型植物、 小批量采样的系统,通常以气候生长箱为依托,用于 实验室中。可选择可见光、近红外、红外或荧光成像 图2 Lemnatec的台式扫描分析表型信息采集系统 摄像头中的一种或多种,一般采用摄像头固定、植物 Fig 2 Lab seanning analysis phenotype measurement 运动的方式进行成像。由于没有传送装置,只能间 system by LemnaTec 接进行植物运动测量(必须手工更换样品)。图1 中国科学院联合其它机构研发了高通量植物监 为荷兰的台式多光谱植物表型信息采集平台测平台—Cmp3D(图3),该平台以激光雷达 Plant monitor.。该平台包括一个可见光相机和一个荧为主,并集成高分辨率相机、热成像仪、高光谱成像 光相机,通过可见光相机可获取植物在R.G、B(红、仪等传感器。Cmp3D高通量植物监测平台对田间 绿蓝)通道下的图像,这些图像可独立使用,也可或温室作物的各生长时期进行多源数据获取,结合 以自动合成高分辨率的可见光图像用于分析。荧光自主开发的软件,可提取株高、株幅、叶长、叶宽、叶 相机可用于叶绿素荧光成像,由于除植物之外包括倾角和叶面积等表型参数。 花盆、土壤等在内的其他部分都不含有叶绿素,因此 叶绿素荧光成像直接去除了花盆、土壤等背景噪声, 达到图像分割的目的。此外,对于拟南芥等冠层平 展的小型植物,可以自动进行叶片计数。 图3高通量植物监测平台Crop3D Fig 3 Crop 3D platform for 3D high-throughput 美国阿拉斯加大学台式表型信息采集系统主要 图1台式多光谱植物表型信息采集系统 Plant Monitor 针对小型植物,如图4所示,能自动进行高通量 Fig 1 Benchtop multispectral plant phenotype 测试。该生长箱除了可以精确控制温度、湿度、光照 measurement system PlantMonitor 强度外,还在轨道上安装了可见光相机、荧光成像仪 matEd的台式扫描分析表型信息采集平台和近红外成像仪来定时采集植物图像。需要手动检 是一种多功能成像分析系统(图2),它专为低成本查托盘的目标质量,用水分测量仪来测试土壤水分 的植物表型分析和小型生物的表型参数提取而设数据。当叶片足够大时,还可测定植物的光合作用 计。在平台中,一个RGB传感器安装在顶部,下效率。 方有光源,底部也有可用照明。样品需经手工装载,1.1.2传送带式植物表型平台 该平台主要用于花盆植物、小托盘里的植物、培养皿 传送带式植物表型平台是在温室内将各类成像 中的植物(如种子、叶盘)、烧杯中的植物(如浮萍)、装置和传感器固定,盆栽植物装在与牵引件连结在 植物的部分片段(如树叶、水果)等样品的表型信息起的承载构件内,或直接装在输送带上,利用工作 采集。测量的参数包括尺寸、颜色等信息,这种台式构件的旋转运动或往复运动,使盆栽植物向前输送, 扫描分析表型信息采集系统对表型参数测试准确性运动到有成像装置的暗箱或传感器处,进行表型数 高、可重复性强,对于研究植物生长过程中植物对环据的采集,采集完成后继续移动,形成闭合环路
植物表型信息采集平台按照使用环境分为温室 植物表型平台和田间植物表型平台。室内容易控制 气象环境,包括气候箱、生长室、温室等,方便开展不 同水分、光照、养分、温湿度等对植物的影响以及植 物对生物和非生物胁迫反应的研究[36-37] ,实验可重 复性好,有助于完成基因定位和机理分析。 11 面向温室的植物表型平台 111 台式植物表型平台 台式植物表型平台是一种专门针对小型植物、 小批量采样的系统,通常以气候生长箱为依托,用于 实验室中。可选择可见光、近红外、红外或荧光成像 摄像头中的一种或多种,一般采用摄像头固定、植物 运动的方式进行成像。由于没有传送装置,只能间 接进行植物运动测量 (必须手工更换样品)。图 1 为 荷 兰 的 台 式 多 光 谱 植 物 表 型 信 息 采 集 平 台 PlantMonitor。该平台包括一个可见光相机和一个荧 光相机,通过可见光相机可获取植物在 R、G、B(红、 绿、蓝)通道下的图像,这些图像可独立使用,也可 以自动合成高分辨率的可见光图像用于分析。荧光 相机可用于叶绿素荧光成像,由于除植物之外包括 花盆、土壤等在内的其他部分都不含有叶绿素,因此 叶绿素荧光成像直接去除了花盆、土壤等背景噪声, 达到图像分割的目的。此外,对于拟南芥等冠层平 展的小型植物,可以自动进行叶片计数。 图 1 台式多光谱植物表型信息采集系统 PlantMonitor Fig.1 Benchtopmultispectralplantphenotype measurementsystemPlantMonitor LemnaTec的台式扫描分析表型信息采集平台 是一种多功能成像分析系统(图 2),它专为低成本 的植物表型分析和小型生物的表型参数提取而设 计[38] 。在平台中,一个 RGB传感器安装在顶部,下 方有光源,底部也有可用照明。样品需经手工装载, 该平台主要用于花盆植物、小托盘里的植物、培养皿 中的植物(如种子、叶盘)、烧杯中的植物(如浮萍)、 植物的部分片段(如树叶、水果)等样品的表型信息 采集。测量的参数包括尺寸、颜色等信息,这种台式 扫描分析表型信息采集系统对表型参数测试准确性 高、可重复性强,对于研究植物生长过程中植物对环 境胁迫的表型响应、萌发试验或生态毒理测试效果 较好。 图 2 LemnaTec的台式扫描分析表型信息采集系统 Fig.2 Labscanninganalysisphenotypemeasurement systembyLemnaTec 中国科学院联合其它机构研发了高通量植物监 测平台———Crop3D[39](图 3),该平台以激光雷达 为主,并集成高分辨率相机、热成像仪、高光谱成像 仪等传感器。Crop3D高通量植物监测平台对田间 或温室作物的各生长时期进行多源数据获取,结合 自主开发的软件,可提取株高、株幅、叶长、叶宽、叶 倾角和叶面积等表型参数。 图 3 高通量植物监测平台 Crop3D Fig.3 Crop3Dplatformfor3Dhighthroughput cropphenotyping 美国阿拉斯加大学台式表型信息采集系统主要 针对小型植物,如图 4所示[40] ,能自动进行高通量 测试。该生长箱除了可以精确控制温度、湿度、光照 强度外,还在轨道上安装了可见光相机、荧光成像仪 和近红外成像仪来定时采集植物图像。需要手动检 查托盘的目标质量,用水分测量仪来测试土壤水分 数据。当叶片足够大时,还可测定植物的光合作用 效率。 112 传送带式植物表型平台 传送带式植物表型平台是在温室内将各类成像 装置和传感器固定,盆栽植物装在与牵引件连结在 一起的承载构件内,或直接装在输送带上,利用工作 构件的旋转运动或往复运动,使盆栽植物向前输送, 运动到有成像装置的暗箱或传感器处,进行表型数 据的采集,采集完成后继续移动,形成闭合环路。 4 农 业 机 械 学 报 2020年
第3期 张慧春等:植物表型平台与图像分析技术研究进展与展望 m 图6内布拉斯加大学的传送带式温室高通量 图4针对小型植物的自动高通量台式表型信息采集系统 植物扫描成像暗室表型平台 Fig 4 Automated high-throughput phenotyping system Fig 6 Chamber high-throughput phenoty ping platform r small plants for greenhouse in UNL A.可见光相机B.荧光成像仪 外成像仪 型平台从近端到远距离精确、连续采集单个叶片或 图5为荷兰WPS公司的温室植物表型平台,该 植物器官、单株植物、小地块和整个农场,主要包括 平台通过传送带将植物传送到指定成像模块,并依 次对植物进行成像。对成像后的植物进行参数提车载式、自走式门架式、悬索式以及无人机、航空遥 感和光谱卫星成像等几种类型(图7)4。 取,从而获取植物生长状况。由于所有植物都采用 条形码进行标记,其各个生长阶段的所有表型数据 都可定期、自动进行监测,适用于盆栽、小型作物。 荷兰 Ovata应用这种温室高通量植物表型平台实现 了多肉植物从播种、灌溉、施肥到清洗苗床等过程的 全自动作业。 车载式自走式 门架式悬索式无人机航空光谱 遥感卫星 图7面向田间的植物表型平台 Fig. 7 Phenoty ping platform used in field 1.2.1车载式植物表型平台 车载式植物表型平台主要是指由拖拉机等 进行驱动{-4,按照植物种类和生长状况布置传感 器,并搭载其他配件(如电力设备、数据存储器等) 的平台。这种平台旨在降低成本、减少人力和提高 图5WPS公司的传送带式温室植物表型平台 工作效率。这类平台可以在GPS、陀螺仪等配合下 Fig 5 WPS greenhouse phenotyping platform 实现自动导航。由于田间土壤分布异质化等特点, 美国内布拉斯加大学林肯分校建立了传送带式车载系统在行进过程中不可避免地存在颠簸和抖 温室高通量植物表型平台(图6),可实现对最高动。同时,它对作物生长有较大的机械影响,常引起 4m的玉米、高粱等高大作物的表型信息提取,传送土壤压实,从而对植物造成损害,且由于机身高度有 带输送系统将植物自动送人RGB、近红外、热成像、限,主要适用于小麦、棉花等低矮作物,并受到行株 稳态荧光、高光谱等5个独立的成像暗室,采集植物距和植物空间限制。除了田间土壤条件可能限制操 的形态结构参数和生理生化参数,以此来分析植物作外,许多地面车辆需要人工操作,无法快速通过试 生长、水分利用、生物量等表型信息。 验田,也限制了该方法的高通量表型分析能力。在 1.2面向田间的植物表型平台 特定的气候时期,潮湿的土壤条件可能是一个限制 温室中的植物表型信息与田间的植物表型信息因素。如对于冬季作物来说,只要土壤没有冻结,车 相关性有限,不能代替田间表型研究。田间环境可载式表型平台就无法顺利下地,因此阻碍了表型信 以研究植物在自然条件下的性状,气象环境真实,土息的采集。 壤不受限于盆,且环境开阔,有利于高通量植物表型 爱荷华州立大学开发了搭载在约翰迪尔1026R 的研究,方便全球定位系统(GPS)、地理信息系统等型小型拖拉机上的植物表型平台,如图8所示(。该 技术的融合使用,空间解析度好,有助于发现野外自系统除了拥有多个进行植物表型数据采集的GRAS 然条件对于生物变异和生物多样性的影响,研究成20s4C-C型深度相机外,还配备了 Topcon350型自 果也可直接应用于生产实践中。面向田间的植物表动导航系统和AGⅠ-4型接收器/转向控制器,实现
图 4 针对小型植物的自动高通量台式表型信息采集系统 Fig.4 Automatedhighthroughputphenotypingsystem forsmallplants A.可见光相机 B.荧光成像仪 C.近红外成像仪 图 5为荷兰 WPS公司的温室植物表型平台,该 平台通过传送带将植物传送到指定成像模块,并依 次对植物进行成像。对成像后的植物进行参数提 取,从而获取植物生长状况。由于所有植物都采用 条形码进行标记,其各个生长阶段的所有表型数据 都可定期、自动进行监测,适用于盆栽、小型作物。 荷兰 Ovata应用这种温室高通量植物表型平台实现 了多肉植物从播种、灌溉、施肥到清洗苗床等过程的 全自动作业。 图 5 WPS公司的传送带式温室植物表型平台 Fig.5 WPSgreenhousephenotypingplatform 美国内布拉斯加大学林肯分校建立了传送带式 温室高通量植物表型平台(图 6)[41] ,可实现对最高 4m的玉米、高粱等高大作物的表型信息提取,传送 带输送系统将植物自动送入 RGB、近红外、热成像、 稳态荧光、高光谱等 5个独立的成像暗室,采集植物 的形态结构参数和生理生化参数,以此来分析植物 生长、水分利用、生物量等表型信息。 12 面向田间的植物表型平台 温室中的植物表型信息与田间的植物表型信息 相关性有限,不能代替田间表型研究。田间环境可 以研究植物在自然条件下的性状,气象环境真实,土 壤不受限于盆,且环境开阔,有利于高通量植物表型 的研究,方便全球定位系统(GPS)、地理信息系统等 技术的融合使用,空间解析度好,有助于发现野外自 然条件对于生物变异和生物多样性的影响,研究成 果也可直接应用于生产实践中。面向田间的植物表 图 6 内布拉斯加大学的传送带式温室高通量 植物扫描成像暗室表型平台 Fig.6 Chamberhighthroughputphenotypingplatform forgreenhouseinUNL 型平台从近端到远距离精确、连续采集单个叶片或 植物器官、单株植物、小地块和整个农场,主要包括 车载式、自走式、门架式、悬索式以及无人机、航空遥 感和光谱卫星成像等几种类型(图 7)[42] 。 图 7 面向田间的植物表型平台 Fig.7 Phenotypingplatformusedinfield 121 车载式植物表型平台 车载式植物表型平台[43]主要是指由拖拉机等 进行驱动[44-46] ,按照植物种类和生长状况布置传感 器,并搭载其他配件(如电力设备、数据存储器等) 的平台。这种平台旨在降低成本、减少人力和提高 工作效率。这类平台可以在 GPS、陀螺仪等配合下 实现自动导航。由于田间土壤分布异质化等特点, 车载系统在行进过程中不可避免地存在颠簸和抖 动。同时,它对作物生长有较大的机械影响,常引起 土壤压实,从而对植物造成损害,且由于机身高度有 限,主要适用于小麦、棉花等低矮作物,并受到行株 距和植物空间限制。除了田间土壤条件可能限制操 作外,许多地面车辆需要人工操作,无法快速通过试 验田,也限制了该方法的高通量表型分析能力。在 特定的气候时期,潮湿的土壤条件可能是一个限制 因素。如对于冬季作物来说,只要土壤没有冻结,车 载式表型平台就无法顺利下地,因此阻碍了表型信 息的采集。 爱荷华州立大学开发了搭载在约翰迪尔 1026R 型小型拖拉机上的植物表型平台,如图 8所示[47] 。该 系统除了拥有多个进行植物表型数据采集的 GRAS 20S4C C型深度相机外,还配备了 Topcon350型自 动导航系统和 AGI 4型接收器 /转向控制器,实现 第 3期 张慧春 等:植物表型平台与图像分析技术研究进展与展望 5
6 农业机械学报 2020 年 了自动在田间行驶采集表型数据。结合天线、接收 器和转向控制器,可达到2cm的定位精度。一个可 旋转的平台连接在拖拉机前,用于支持立体摄像机 和调节摄像头到作物之间的距离,一次拍摄两排立 体图像,多幅图像进行拼接来实现作物表型信息的 全采集 (a}前臂配备铝槽安装包括惯性测量单元(IMU)和实时运 动全球定位系统(RTK-GPS)的近端传感器 图8搭载在小型拖拉机上的表型平台 Fig8 Phenotyping platform mounted on John Deere 1026R sub-compact utility tractor 美国内布拉斯加大学林肯分校开发的田间高通 well LidarLite Pepper+Fuchs 前臂安装的采集数据的其他传感器阵列 量表型分析平台(图9)用于大豆和小麦的田间数据 图10搭载在高地隙拖拉机上的田间高通量 采集[“],搭载了超声波传感器、热红外辐射仪、植被 表型分析平台 覆盖指数传感器、光谐测定仪和RGB相机,将这些 Fig 10 High-clearance tractor fitted with front 传感器按照模块固定在传感条上,并配有GPS定位 和温湿度环境条件采集等功能能在野外田间进行1.2.2自走式植物表型平台 大范围的快速表型数据采集提取。 自走式植物表型平台也称为机器人表型平台 其自身可以提供驱动动力、行走动力,不需要其它动 力提供就能完成表型信息采集作业。在设计自走式 植物表型系统时,需要考虑4个主要的部分,即移动 平台、导航定位、仪器装备和数据管理。图11为美 国密苏里大学研制的 Dinobot机器人表型平台。 9美国内布拉斯加大学林肯分校的田间 该平台搭载深度相机(获取深度信息)和环境传感 高通量表型分析平台 器(温度传感器和光强度传感器),按照预定导航线 Fig9 Platform to mount multi-sensor system 路进行田间表型信息采集,从而减少人力,提高工作 for high throughput field phenoty ping 效率。该平台适用于高粱、玉米等田间作物。机器 美国农业部开发了搭载在高地隙拖拉机上的田人表型平台的优势是设置好行走导航线路后就不需 间高通量表型分析平台(图10),主要用于棉花等冠 层结构复杂、株型矮小植物的表型信息监测{。有 4个可调臂搭载在该高地隙拖拉机前臂上,集成安 装了多个可进行近距离拍摄的传感器同时采集数 据。传感器臂的高度可根据植物生长的时间进行调 节,安装了惯性测量单元(IMU)和实时动态差分定 位系统(RTK-GPS),前臂还采用阵列的形式安装 了超声波传感器 Honeywell和 Pepperl+ Fuchs、激光 雷达传感器 Lidarlite、扫描波束传感器LMS51l。试 验结果表明该传感器集成系统可以提供更精确的植 物株高,用于鉴定水分和营养缺乏引起的植物胁迫 图I1 Dinobot机器人表型平台 表型反应。 Fig. l1 Vinobot phenotyping robotics
了自动在田间行驶采集表型数据。结合天线、接收 器和转向控制器,可达到 2cm的定位精度。一个可 旋转的平台连接在拖拉机前,用于支持立体摄像机 和调节摄像头到作物之间的距离,一次拍摄两排立 体图像,多幅图像进行拼接来实现作物表型信息的 全采集。 图 8 搭载在小型拖拉机上的表型平台 Fig.8 PhenotypingplatformmountedonJohn Deere1026Rsubcompactutilitytractor 美国内布拉斯加大学林肯分校开发的田间高通 量表型分析平台(图 9)用于大豆和小麦的田间数据 采集[48] ,搭载了超声波传感器、热红外辐射仪、植被 覆盖指数传感器、光谱测定仪和 RGB相机,将这些 传感器按照模块固定在传感条上,并配有 GPS定位 和温湿度环境条件采集等功能,能在野外田间进行 大范围的快速表型数据采集提取。 图 9 美国内布拉斯加大学林肯分校的田间 高通量表型分析平台 Fig.9 Platformtomountmultisensorsystem forhighthroughputfieldphenotyping 美国农业部开发了搭载在高地隙拖拉机上的田 间高通量表型分析平台(图 10),主要用于棉花等冠 层结构复杂、株型矮小植物的表型信息监测[49] 。有 4个可调臂搭载在该高地隙拖拉机前臂上,集成安 装了多个可进行近距离拍摄的传感器同时采集数 据。传感器臂的高度可根据植物生长的时间进行调 节,安装了惯性测量单元(IMU)和实时动态差分定 位系统(RTK GPS),前臂还采用阵列的形式安装 了超声波传感器 Honeywell和 Pepperl+Fuchs、激光 雷达传感器 LidarLite、扫描波束传感器 LMS511。试 验结果表明该传感器集成系统可以提供更精确的植 物株高,用于鉴定水分和营养缺乏引起的植物胁迫 表型反应。 图 10 搭载在高地隙拖拉机上的田间高通量 表型分析平台 Fig.10 Highclearancetractorfittedwithfront boomusingphenotypingproximalsensors 122 自走式植物表型平台 图 11 Vinobot机器人表型平台 Fig.11 Vinobotphenotypingrobotics 自走式植物表型平台也称为机器人表型平台, 其自身可以提供驱动动力、行走动力,不需要其它动 力提供就能完成表型信息采集作业。在设计自走式 植物表型系统时,需要考虑 4个主要的部分,即移动 平台、导航定位、仪器装备和数据管理。图 11为美 国密苏里大学研制的 Vinobot机器人表型平台[50] 。 该平台搭载深度相机(获取深度信息)和环境传感 器(温度传感器和光强度传感器),按照预定导航线 路进行田间表型信息采集,从而减少人力,提高工作 效率。该平台适用于高粱、玉米等田间作物。机器 人表型平台的优势是设置好行走导航线路后就不需 6 农 业 机 械 学 报 2020年
第3期 张慧春等:植物表型平台与图像分析技术研究进展与展望 要人工控制,可全天24h连续获取表型信息,且体 积较小。 图12为爱荷华州立大学开发的机器人表型平 台5。通过集成3D机器视觉,采集侧视图3D点 云作物行数据,建立的点云处理算法可估算预测植 物整个生长阶段的高度、叶角、植物朝向和茎干直径 等表型参数,机器人平台从连续深度帧中获得侧视 点云数据,并进行信息记录,在RTK-GPS传感器的 图13 Fieldsman门架式植物表型平台 作用下产生匹配精准定位的表型数据信息。 Fig 13 FieldScan gantry phenotyping platic (a)机器人数据采集系统b夜间作业的深度图像采集系统 图12基于3D机器视觉的表型信息自动采集机器人平台 图14 Field Scanalyzer门架式植物表型平台 Fig 12 Automated plant phenoty ping robot using Fig 14 Field Scanalyzer gantry phenoty ping platform 升降装置,Z轴是升降单元上下移动的方向。X轴 1.2.3门架式植物表型平台 田间环境条件复杂,不利于人工控制,比如从白运动单元是由两个变频电源组成,被绑定在支撑梁 上,Y轴包括门式框架,并保护Z轴的运动, Field 天到夜间的光照强度变化会影响成像技术的准确 Scanalyzer系统的推进包括两个电动逆变器供电引 性;另外,车载式平台可能会因路面不平导致设备抖擎,驱动底部两个齿轮传输,y轴和Z轴同样是由电 动,进而影响成像质量。为获得高精度表型信息,且动逆变器和齿条一起供应运转确保系统在X、YZ 对植物进行全天监测、不因设备抖动而影响成像质轴上的精密运动。门架式植物表型平台所搭载的照 量,门架式田间表型平台应运而生。门架式表型平明装置方便数据的收集,传感器包括多波长成像系 台是指在田间搭建固定轨道,利用电机驱动传感器统、测量叶绿素荧光传感器、三维可视化系统和测定 系统对植物进行监测的移动平台。该系统可在任何作物高度的激光系统。 环境下进行全天候测量,且不会由于机构抖动而影1.2.4悬索式植物表型平台 响成像质量,是采集高分辨率表型信息较为理想的 悬索式植物表型平台固定在某一个田间地 田间平台。 块,采集的表型数据来源于自然环境,可靠度高 比较有代表性的门架式植物表型平台有荷兰但它的缺点是采样地块固定,植物种植面积和品 leno Spex公司的 Fieldsman平台(图13)121,它采 种有限。 用植物激光三维扫描测量仪 PlantEye作为核心,并 瑞士联邦理工学院建立的田间高通量植物表型 集成了其它多种传感器来获取植物生长情况。通过平台是一个悬索式多传感器平台,用于自动化、精 3D的顶部成像,不仅能获得叶面积、叶倾角、冠层等确、高通量地进行植物表型数据采集。它位于瑞 参数,还可在任何环境条件下全天候测量,同时还能士苏黎世植物科学研究站,在1hm2的矩形田块内配 确保较高的精度和通量。 备4根24m高的塔柱(图15a),塔柱顶端的滑轮引 英国洛桑研究所使用的 Field Scanalyzer门架式导缆绳,缆绳由位于每根塔柱底部的绞车操作 植物表型平台(图14)是利用门架式起重系统设计(图15b)。配有多个成像装置的传感器头连接在电 和组建的3轴表型系统圓,可对10m×110m范围缆上(图15c),通过控制绞车调整缆绳的长度,从而 内的作物以高分辨率进行全天24h自动化监视。X调整传感器头的位置。每根绞车有2根缆绳,总质 轴方向的运动是通过轨道系统进入地面,以允许自量为90kg的传感器头由8根缆绳携带,不仅确保 然排水和无障碍运行,传统的混凝土地基可以充当传感器头不会在缆绳断裂的情况下坠毁,还起到了 流动屏障,Y轴垂直于轨道,并且承担摄像机设置的抗风、防倾的作用。传感器头在田间上方任何位置
要人工控制,可全天 24h连续获取表型信息,且体 积较小。 图 12为爱荷华州立大学开发的机器人表型平 台[51] 。通过集成 3D机器视觉,采集侧视图 3D点 云作物行数据,建立的点云处理算法可估算预测植 物整个生长阶段的高度、叶角、植物朝向和茎干直径 等表型参数,机器人平台从连续深度帧中获得侧视 点云数据,并进行信息记录,在 RTK GPS传感器的 作用下产生匹配精准定位的表型数据信息。 图 12 基于 3D机器视觉的表型信息自动采集机器人平台 Fig.12 Automatedplantphenotypingrobotusing 3Dmachinevision 123 门架式植物表型平台 田间环境条件复杂,不利于人工控制,比如从白 天到夜间的光照强度变化会影响成像技术的准确 性;另外,车载式平台可能会因路面不平导致设备抖 动,进而影响成像质量。为获得高精度表型信息,且 对植物进行全天监测、不因设备抖动而影响成像质 量,门架式田间表型平台应运而生。门架式表型平 台是指在田间搭建固定轨道,利用电机驱动传感器 系统对植物进行监测的移动平台。该系统可在任何 环境下进行全天候测量,且不会由于机构抖动而影 响成像质量,是采集高分辨率表型信息较为理想的 田间平台。 比较有代表性的门架式植物表型平台有荷兰 PhenoSpex公司的 FieldScan平台(图 13)[52] ,它采 用植物激光三维扫描测量仪 PlantEye作为核心,并 集成了其它多种传感器来获取植物生长情况。通过 3D的顶部成像,不仅能获得叶面积、叶倾角、冠层等 参数,还可在任何环境条件下全天候测量,同时还能 确保较高的精度和通量。 英国洛桑研究所使用的 FieldScanalyzer门架式 植物表型平台(图 14)是利用门架式起重系统设计 和组建的 3轴表型系统[53] ,可对 10m×110m范围 内的作物以高分辨率进行全天 24h自动化监视。X 轴方向的运动是通过轨道系统进入地面,以允许自 然排水和无障碍运行,传统的混凝土地基可以充当 流动屏障,Y轴垂直于轨道,并且承担摄像机设置的 图 13 FieldScan门架式植物表型平台 Fig.13 FieldScangantryphenotypingplatform 图 14 FieldScanalyzer门架式植物表型平台 Fig.14 FieldScanalyzergantryphenotypingplatform 升降装置,Z轴是升降单元上下移动的方向。X轴 运动单元是由两个变频电源组成,被绑定在支撑梁 上,Y轴 包 括 门 式 框 架,并 保 护 Z轴 的 运 动,Field Scanalyzer系统的推进包括两个电动逆变器供电引 擎,驱动底部两个齿轮传输,Y轴和 Z轴同样是由电 动逆变器和齿条一起供应运转,确保系统在 X、Y、Z 轴上的精密运动。门架式植物表型平台所搭载的照 明装置方便数据的收集,传感器包括多波长成像系 统、测量叶绿素荧光传感器、三维可视化系统和测定 作物高度的激光系统。 124 悬索式植物表型平台 悬索式 植 物 表 型 平 台 固 定 在 某 一 个 田 间 地 块,采集的 表 型 数 据 来 源 于 自 然 环 境,可 靠 度 高, 但它的缺点 是 采 样 地 块 固 定,植 物 种 植 面 积 和 品 种有限。 瑞士联邦理工学院建立的田间高通量植物表型 平台是一个悬索式多传感器平台,用于自动化、精 确、高通量地进行植物表型数据采集[54] 。它位于瑞 士苏黎世植物科学研究站,在 1hm2 的矩形田块内配 备 4根 24m高的塔柱(图 15a),塔柱顶端的滑轮引 导 缆 绳,缆 绳 由 位 于 每 根 塔 柱 底 部 的 绞 车 操 作 (图 15b)。配有多个成像装置的传感器头连接在电 缆上(图 15c),通过控制绞车调整缆绳的长度,从而 调整传感器头的位置。每根绞车有 2根缆绳,总质 量为 90kg的传感器头由 8根缆绳携带,不仅确保 传感器头不会在缆绳断裂的情况下坠毁,还起到了 抗风、防倾的作用。传感器头在田间上方任何位置 第 3期 张慧春 等:植物表型平台与图像分析技术研究进展与展望 7
农业机械学报 2020 年 的定位高度最大可达6m,位移速度最快为2m/s。MarkⅡ)、激光扫描仪( Faro focus3D)、热成像仪 搭载的传感器(图15d)包括2个单反相机(佳能5D( Infratec varioCAM)。 (a)全局俯视图 b)悬索式多传感器系统的塔柱(c)传感器头 (d)各传感器 图15瑞士联邦理工学院的田间高通量植物表型平台 Fig 15 Field cable-suspended high-throughput phenotyping platform at ETH Zurich 美国内布拉斯加大学林肯分校建立了田间悬索缆绳中间的交汇处。缆绳上的张紧力根据其位置进 式植物表型平台 Spidercam,如图16所示。该悬行实时动态调整,通过缩短和延长每一根缆绳,精确 索平台上搭载有多个摄像头和传感器,如RGB相控制传感器系统到达一个特定的位置,从地面上升 机、近红外相机、激光雷达和多光谱仪,可以准确地最高高度达9m。该场地还配备了先进的自动化气 定位在一个田块进行信息传感和表型成像。该象站,以及先进的地下滴灌系统,用于在15mx 系统有4个塔杄牵引若干缆绳,传感器集成系统在20m的地块上进行水和肥料的精确施用。 (a)全局俯视图 (b)传感器集成系统 (o)各传感器 图16美国内布拉斯加大学林肯分校的 Spiderman田间悬索式高通量植物表型平台 Fig. 16 Spidercam field high-throughput phenoty ping platform at UNL 1.2.5无人机植物表型平台 力,且对起降条件要求较低,只需要较短的停靠时 无人机植物表型平台是指将用于测量作物生长间。图17为 HiSystems公司安装有RGB传感器的 和发育的传感器搭载到小型无人机,以获得作物生MK- Oktokopter旋翼无人机。与多旋翼飞行器 长参数的平台5。它相比车载平台具有更广泛的相比,固定翼飞行器(图18)的飞行时间较长,且具 测量面积与更高的测量效率。但是无人机植物表型有更快的飞行速度和更高的飞行高度,且续航较长 平台通常飞行时间短,受载荷限制,只能携带小型传但无法悬停,且由于高速拍摄会导致图像模糊,需使 感器,比车载平台能搭载的传感器数量要少,因此采用高快门速度的成像传感器。目前在田间作物表型 集的表型信息有限。而且,在多风、大风的条件下操解析应用中,多旋翼飞行器表型平台的应用较为广 作会导致很多问题发生,同时,在无人机下面的空气 湍流会强烈影响冠层结构。另外,基于无人机的植 物表型平台通常离作物冠层很远,因此,图像的分辨 率通常很低。目前利用无人机植物表型平台搭载热 像仪监测小麦和玉米冠层温度、气孔导度和叶片水 分状态等指标的精度较高,而在棉花应用上精度较 低 [58] 考虑到灵活性与飞行时间,最广泛使用的小型 无人机类型是多旋翼飞行器和固定翼飞行器 图17 HiSystems公司安装有RCB传感器的 多旋翼飞行器由4~8个螺旋桨驱动,可以在不同高 MK- Oktokopter旋翼无人机 度飞行且可以在不同高度悬停,具有较强的灵活性, Fig 17 Rotary-wing UAV with RGB sensors developed 它能在GPS引导下水平或者垂直飞行,具有悬停能
的定位高度最大可达 6m,位移速度最快为 2m/s。 搭载的传感器(图 15d)包括 2个单反相机(佳能 5D MarkⅡ)、激光扫描仪 (FaroFocus3D)、热成像仪 (InfratecVarioCAM)。 图 15 瑞士联邦理工学院的田间高通量植物表型平台 Fig.15 FieldcablesuspendedhighthroughputphenotypingplatformatETHZürich 美国内布拉斯加大学林肯分校建立了田间悬索 式植物表型平台 Spidercam,如图 16所示[55] 。该悬 索平台上搭载有多个摄像头和传感器,如 RGB相 机、近红外相机、激光雷达和多光谱仪,可以准确地 定位在一个田块进行信息传感和表型成像[56] 。该 系统有 4个塔杆牵引若干缆绳,传感器集成系统在 缆绳中间的交汇处。缆绳上的张紧力根据其位置进 行实时动态调整,通过缩短和延长每一根缆绳,精确 控制传感器系统到达一个特定的位置,从地面上升 最高高度达 9m。该场地还配备了先进的自动化气 象站,以 及 先 进 的 地 下 滴 灌 系 统,用 于 在 15m × 20m的地块上进行水和肥料的精确施用。 图 16 美国内布拉斯加大学林肯分校的 Spidercam田间悬索式高通量植物表型平台 Fig.16 SpidercamfieldhighthroughputphenotypingplatformatUNL 125 无人机植物表型平台 无人机植物表型平台是指将用于测量作物生长 和发育的传感器搭载到小型无人机,以获得作物生 长参数的平台[57] 。它相比车载平台具有更广泛的 测量面积与更高的测量效率。但是无人机植物表型 平台通常飞行时间短,受载荷限制,只能携带小型传 感器,比车载平台能搭载的传感器数量要少,因此采 集的表型信息有限。而且,在多风、大风的条件下操 作会导致很多问题发生,同时,在无人机下面的空气 湍流会强烈影响冠层结构。另外,基于无人机的植 物表型平台通常离作物冠层很远,因此,图像的分辨 率通常很低。目前利用无人机植物表型平台搭载热 像仪监测小麦和玉米冠层温度、气孔导度和叶片水 分状态等指标的精度较高,而在棉花应用上精度较 低[58] 。 考虑到灵活性与飞行时间,最广泛使用的小型 无人机类型是多旋翼飞行器和固定翼飞行器[59] 。 多旋翼飞行器由 4~8个螺旋桨驱动,可以在不同高 度飞行且可以在不同高度悬停,具有较强的灵活性, 它能在 GPS引导下水平或者垂直飞行,具有悬停能 力,且对起降条件要求较低,只需要较短的停靠时 间。图 17为 HiSystems公司安装有 RGB传感器的 图 17 HiSystems公司安装有 RGB传感器的 MK Oktokopter旋翼无人机 Fig.17 RotarywingUAVwithRGBsensorsdeveloped byHiSystemscompany MK Oktokopter旋翼无人机[60] 。与多旋翼飞行器 相比,固定翼飞行器(图 18)的飞行时间较长,且具 有更快的飞行速度和更高的飞行高度,且续航较长, 但无法悬停,且由于高速拍摄会导致图像模糊,需使 用高快门速度的成像传感器。目前在田间作物表型 解析应用中,多旋翼飞行器表型平台的应用较为广 8 农 业 机 械 学 报 2020年
第3期 张慧春等:植物表型平台与图像分析技术研究进展与展望 泛,然而,续航时间短、有效载荷不足和易受天气影集规模尺度大等问题,其难点在于环境尤其是光照 响是限制其广泛推广应用的主要瓶颈因素。在的复杂性和不稳定性,这给图像处理带来了很大的 这种高速条件下采集作物的表型信息,会导致图像难度。另外,在田间,植株以群体而非单株的形式生 模糊,可以通过改进成像传感器功能来改善-6。长,不同植株间相互遮挡,不同器官间密度也存在差 目前正在改进电池与电机的性能以延长飞行时间,异,这给研究田间群体条件下单株植株的表型带来 如使用太阳能资源等。 了很大困难。 2面向植物表型信息的图像分析技术 植物表型信息平台可进行精确、自动化和可重 复的植物特性参数测量,涉及形态结构、幼苗活力 生物量、产量等,还可用于获取光合作用、蒸腾作用、 病虫害和抗逆性等性状。植物表型信息采集系统主 要通过图像采集技术对植物的物理、生理、生化等信 图18固定翼式无人机植物表型平台 息进行成像-6,然后通过图像数据分析技术对获 ig. 18 Fixed-wing UAV phenotyping platform 取的表型参数进行解析,提取影响植物产量的相关 参数,用于分析表型与基因组的关系,从而为生长监 1.2.6其他远距离遥测植物表型平台 测、种植管理、胁迫响应和大田估产智能决策提供理 随着技术的发展,高分辨率、高质量的传感器成 论依据和技术支持,对需要进行操作的植物采取 像系统重量已经超过了无人机的有效我荷限制,因定作业措施。 此面向田间的遥测植物表型需要更大的平台,如飞2.1图像采集技术 机和卫星。田间大规模的植物表型监测和大面积的 量化植物表型是实施植物表型分类的关键步 病虫害识别对指导不同的田间管理和植物栽培具有骤。现代图像采集技术具有很高的分辨率,可以实 重要的现实意义。最近,遥测植物表型卫星平台现多维和多参数数据可视化。成像技术用于量化植 陆续投入使用,其配备多个传感器,包括美国国家航物生长和产量的复杂性状,以便在室内或田间对植 空航天局的星载热辐射计、土壤水分监测仪、高光谱物表型进行分析。使用图像采集技术来实时监测植 红外成像仪等,这些传感器在卫星平台上大尺度收物生长和胁迫下的动态反应也可以更容易地实现。 集高分辨率光谱和环境数据,并提供缓解土地干旱目前,植物表型主要成像技术包括可见光成像、高光 和植物水分利用效率低下的方案65-的1 谱成像、红外成像、近红外成像、热成像、荧光成像 综上可见,面向温室的植物表型平台主要按照三维成像、激光成像、CT技术等m0-,这些成像技 植物移动或传感器移动两种方式来实现,“植物移术对应的传感器能够进行图像采集从而得到不同的 动”就是传感器保持固定位置、目标植物通过传送植物表型参数。表2对当前主流图像采集技术的传 带等运输平台进入到采集区进行图像采集,但传送感器、原始数据、获取参数、应用优势和成像环境等 带的搬移或转盘的旋转会导致植物尤其是叶片微方面进行了分析2-。 小、茎秆细长类型植物的器官抖动,影响表型信息采 图19展示了利用不同图像采集技术获取和分 集的质量,使得图像的噪声过大,影响对植物表型信析的拟南芥图像。使用可见光成像技术获取的图 息的采集和分析。“传感器移动”就是植物原地生像用来测量植株的大小、颜色和形态结构,使用荧 长、通过移动传感器到目标植物种植区域进行图像光成像技术获得的图像用来分析评估植物叶绿素 采集等表型信息获取,这种扫描作业方式保持了植含量,以及使用近红外成像技术获得的图像用于 物位置的固定,对植物的真实生长干扰少,传感器移监测植物的含水量。开发准确、自动、稳健的图 动的灵活性大,工作效率高,成为当前研发的主要方像分析算法,从图像中提取感兴趣的表型性状,是 向。但是,传感器在移动过程中实时采集大规模植自动化表型测量的关键。植物生长是一个复杂的 物的群体数据并实现高通量的表型参数提取,对于动态系统,随着时间推移,植株的外观表现如形 硬件集成和软件开发而言都是巨大的挑战。面向田状、大小、颜色、形态、结构、纹理等都会不断改变。 间的植物其种植模式决定了只能采用“传感器移同一时间节点下不同品种的植株,其外观表现差 动”的方式对固定有效观测区内植物进行连续观异也很大,这些因素都增加了自动化植物图像分 测,表型平台面临着环境因素互作、高密度种植、采析的难度
泛,然而,续航时间短、有效载荷不足和易受天气影 响是限制其广泛推广应用的主要瓶颈因素[61] 。在 这种高速条件下采集作物的表型信息,会导致图像 模糊,可以通过改进成像传感器功能来改善[62-63] 。 目前正在改进电池与电机的性能以延长飞行时间, 如使用太阳能资源等。 图 18 固定翼式无人机植物表型平台 Fig.18 FixedwingUAVphenotypingplatform 126 其他远距离遥测植物表型平台 随着技术的发展,高分辨率、高质量的传感器成 像系统重量已经超过了无人机的有效载荷限制,因 此面向田间的遥测植物表型需要更大的平台,如飞 机和卫星。田间大规模的植物表型监测和大面积的 病虫害识别对指导不同的田间管理和植物栽培具有 重要的现实意义[64] 。最近,遥测植物表型卫星平台 陆续投入使用,其配备多个传感器,包括美国国家航 空航天局的星载热辐射计、土壤水分监测仪、高光谱 红外成像仪等,这些传感器在卫星平台上大尺度收 集高分辨率光谱和环境数据,并提供缓解土地干旱 和植物水分利用效率低下的方案[65-67] 。 综上可见,面向温室的植物表型平台主要按照 植物移动或传感器移动两种方式来实现,“植物移 动”就是传感器保持固定位置、目标植物通过传送 带等运输平台进入到采集区进行图像采集,但传送 带的搬移或转盘的旋转会导致植物尤其是叶片微 小、茎秆细长类型植物的器官抖动,影响表型信息采 集的质量,使得图像的噪声过大,影响对植物表型信 息的采集和分析。“传感器移动”就是植物原地生 长、通过移动传感器到目标植物种植区域进行图像 采集等表型信息获取,这种扫描作业方式保持了植 物位置的固定,对植物的真实生长干扰少,传感器移 动的灵活性大,工作效率高,成为当前研发的主要方 向。但是,传感器在移动过程中实时采集大规模植 物的群体数据并实现高通量的表型参数提取,对于 硬件集成和软件开发而言都是巨大的挑战。面向田 间的植物其种植模式 决 定 了 只 能 采 用 “传 感 器 移 动”的方式对固定有 效 观 测 区 内 植 物 进 行 连 续 观 测,表型平台面临着环境因素互作、高密度种植、采 集规模尺度大等问题,其难点在于环境尤其是光照 的复杂性和不稳定性,这给图像处理带来了很大的 难度。另外,在田间,植株以群体而非单株的形式生 长,不同植株间相互遮挡,不同器官间密度也存在差 异,这给研究田间群体条件下单株植株的表型带来 了很大困难。 2 面向植物表型信息的图像分析技术 植物表型信息平台可进行精确、自动化和可重 复的植物特性参数测量,涉及形态结构、幼苗活力、 生物量、产量等,还可用于获取光合作用、蒸腾作用、 病虫害和抗逆性等性状。植物表型信息采集系统主 要通过图像采集技术对植物的物理、生理、生化等信 息进行成像[68-69] ,然后通过图像数据分析技术对获 取的表型参数进行解析,提取影响植物产量的相关 参数,用于分析表型与基因组的关系,从而为生长监 测、种植管理、胁迫响应和大田估产智能决策提供理 论依据和技术支持,对需要进行操作的植物采取一 定作业措施。 21 图像采集技术 量化植物表型是实施植物表型分类的关键步 骤。现代图像采集技术具有很高的分辨率,可以实 现多维和多参数数据可视化。成像技术用于量化植 物生长和产量的复杂性状,以便在室内或田间对植 物表型进行分析。使用图像采集技术来实时监测植 物生长和胁迫下的动态反应也可以更容易地实现。 目前,植物表型主要成像技术包括可见光成像、高光 谱成像、红外成像、近红外成像、热成像、荧光成像、 三维成像、激光成像、CT技术等[70-71] ,这些成像技 术对应的传感器能够进行图像采集从而得到不同的 植物表型参数。表 2对当前主流图像采集技术的传 感器、原始数据、获取参数、应用优势和成像环境等 方面进行了分析[72-74] 。 图 19展示了利用不同图像采集技术获取和分 析的拟南芥图像。使用可见光成像技术获取的图 像用来测量植株的大小、颜色和形态结构,使用荧 光成像技术获得的图像用来分析评估植物叶绿素 含量,以及使 用 近 红 外 成 像 技 术 获 得 的 图 像 用 于 监测植物的含水量[91] 。开发准确、自动、稳健的图 像分析算法,从图像中提取感兴趣的表型性状,是 自动化表型测量的关键。植物生长是一个复杂的 动态系 统,随 着 时 间 推 移,植 株 的 外 观 表 现 如 形 状、大小、颜色、形态、结构、纹理等都会不断改变。 同一时间节 点 下 不 同 品 种 的 植 株,其 外 观 表 现 差 异也很大,这 些 因 素 都 增 加 了 自 动 化 植 物 图 像 分 析的难度。 第 3期 张慧春 等:植物表型平台与图像分析技术研究进展与展望 9
农业机械学报 2020 年 表2不同图像采集技术在植物表型中的应用 Tab 2 Summary of different sensors used in plant phenotyping research 戊像技术 传感器 原始数据 获取参数 应用优势 成像环境 尺寸、株型、几何结构、绿度等冠层和形 可见光成像CD相机17灰色或彩色图像(BCB态参数,投影面积,生长动态,地上部生成本低,具有色伯室内、田间 吸萌发率、胚轴生长、开花时间 高光谱成像光谱成像仪[ 连续或离散光谱 叶面及冠层水分状况、植被健康指数、圆获取植物的健康状 室内,田间 健康状况、覆盖密度 况,植物类型识别 红外成像红外相机 红外区域每个像素的连 冠层或叶片温度、昆虫/病原体感染情况 通过气孔反应测量作 续或离散光谱 室内、田间 物应力 近红外成像近红外相机[x 红外区域每个像素的 冠层机构信息获取 含水率、叶面积指数、叶绿素含量 室内、田间 连续或离散光谱 效率高 热成像热成像仪[ 近红外区域每个像素的 虫害和水分胁迫响应 冠层或叶片温度受虫害侵染情况 室内,田间 连续或离散光谱 监控 红、远红区域的基于像 叶绿素监测、光合作用相关参数 片健康状况,光合 荧光成像荧光成像仪 素的荧光发射图 室内、田间 立体相机【81]、深 植物高度、芽结构、叶角分布、分枝结构、三维参数获取,速度 三维成像度相机82、飞行深度图 室内、田间 树冠结构、根结构 快,成本低 时间相机【 激光雷达扫描 激光成像 深度图、3D点云 位置、冠层结构、植物高度叶角分布、郁三维形态获取,精度室内、田间 闭度、叶面积指数、生物量 高,穿透性好 蘖数量、种子品质、根参数、三维形态 X射线 体素和组织切片 参数、植物显微结构 品质检测 位置、植株高度、地上部分生物量、冠层 雷达[7- 维形态获取 室内、田间 覆盖和叶面积指数 磁共振成像磁共振成像系 映射图 三维形态参数、含水率、根系 维形态获取 正电子发射正电子发射探测放射性示踪剂图和与正 植物的生理活动,如 器[90 电子发射信号的配准物质的分配和转运,营养的流动 光合作用和碳分配至内 2.2图像分析方法 过基于多光谱图像中识别的终端元件进行光谱分 图像数据分析是对成像传感器得到的植物图像离,还可以使用基于对象的分类法标记图像片段来 进行处理分析。通过对传感器捕获的图像进行处确定覆盖指数-明。 理,提取出可能影响作物产量的表型参数,然后对获 图20为基于图像的植物表型分析技术和工作 取到的表型参数进行整合分析,从而准确分析计算流程,总结了当前的图像数据分析处理方法,并介绍 生物量、叶面积指数、生长速率等与作物产量相关的了基于图像的植物表型工作流程,这些分析技术促 性状,进一步研究控制该性状的基因,实现基因改进了基于图像的表型学的发展。图像数据分析包括 良,提高作物产量的目标。植物叶片在电磁波谱上图像预处理、图像分割、特征提取和机器分类等环节。 的吸收和反射率特性可以用来评价许多生物物理特 图像预处理的目的是提高对比度和消除噪声, 性,对光谱反射数据进行经验性处理与分析,能够构从而增强给定图像中感兴趣的部分,可以使用图像 建大量的植被指数,可用来监测作物的叶面积指数、裁剪、区域限制、对比度改善等简单操作或主成分分 叶绿素含量、植株养分和水分状态、生物量和产量等析、聚类分析等复杂算法来进行图像预处理,然后才 表型信息。在图像数据分析算法中,重点考虑的两能进行有意义的图像分割 个因素是获取的图像类型以及如何对其进行分析处 从图像中提取信息是通过分割来完成的,图像 理。例如作为生物量的重要指标之一,归一化植被分割是植物表型图像处理的核心,其目的是提取感 指数( Normalized difference vegetation index,NDVI)兴趣的部分,即去除图像的背景或其它无关的组件。 被用来表征作物生长状况和预测叶面积指数、产量,因此,最终得到一个具有重要区域的分区图像,重要 确定NDⅥ有多种方法,可以使用无人机采集的植区域可以定义为前景对背景,或者通过从图像中选 被覆盖度图和RGB图像之间的降尺度与随机回归择多个单独的组件。所选区域的构建可以基于 来预测裸地、光合植被和非光合植被覆盖,也可以通颜色、光谱辐射度(植被指数)、边缘检测、相邻近似
表 2 不同图像采集技术在植物表型中的应用 Tab.2 Summaryofdifferentsensorsusedinplantphenotypingresearch 成像技术 传感器 原始数据 获取参数 应用优势 成像环境 可见光成像 CCD相机[75-76] 灰色或 彩 色 图 像 (RGB 通道) 尺寸、株型、几何结构、绿度等冠层和形 态参数、投影面积、生长动态、地上部生 物量、产量性状、穗部性状、根系结构、自 吸萌发率、胚轴生长、开花时间 成本低,具 有 颜 色 信 息 室内、田间 高光谱成像 光谱成像仪[77] 连续或离散光谱 叶面及冠层水分状况、植被健康指数、圆 锥花序健康状况、覆盖密度 获取 植 物 的 健 康 状 况,植物类型识别 室内、田间 红外成像 红外相机 红外区域每个像素的连 续或离散光谱 冠层或叶片温度、昆虫 /病原体感染情况 通过气孔反应测量作 物应力 室内、田间 近红外成像 近红外相机[78] 近红外区域每个像素的 连续或离散光谱 含水率、叶面积指数、叶绿素含量 冠层 机 构 信 息 获 取, 效率高 室内、田间 热成像 热成像仪[79] 近红外区域每个像素的 连续或离散光谱 冠层或叶片温度、受虫害侵染情况 虫害和水分胁迫响应 监控 室内、田间 荧光成像 荧光成像仪[80] 红、远红区域的基于 像 素的荧光发射图 叶绿素监测、光合作用相关参数 叶片健 康 状 况,光 合 状况 室内、田间 三维成像 立 体 相 机[81]、深 度 相 机[82]、飞 行 时间相机[83] 深度图 植物高度、芽结构、叶角分布、分枝结构、 树冠结构、根结构 三维参 数 获 取,速 度 快,成本低 室内、田间 激光成像 激 光 雷 达 扫 描 仪[84-85] 深度图、3D点云 位置、冠层结构、植物高度、叶角分布、郁 闭度、叶面积指数、生物量 三维形 态 获 取,精 度 高,穿透性好 室内、田间 CT X射线[86] 体素和组织切片 分蘖数量、种子品质、根参数、三维形态 参数、植物显微结构 品质检测 室内 雷达 雷达[87-88] 点云 位置、植株高度、地上部分生物量、冠层 覆盖和叶面积指数 三维形态获取 室内、田间 磁共振成像 磁 共 振 成 像 系 统[89] 映射图 三维形态参数、含水率、根系 三维形态获取 室内 正电子发射 探测 正电子发射探测 器[90] 放射性示踪剂图和与正 电子发射信号的配准 物质的分配和转运、营养的流动 植物的 生 理 活 动,如 光合作用和碳分配 室内 22 图像分析方法 图像数据分析是对成像传感器得到的植物图像 进行处理分析。通过对传感器捕获的图像进行处 理,提取出可能影响作物产量的表型参数,然后对获 取到的表型参数进行整合分析,从而准确分析计算 生物量、叶面积指数、生长速率等与作物产量相关的 性状,进一步研究控制该性状的基因,实现基因改 良,提高作物产量的目标。植物叶片在电磁波谱上 的吸收和反射率特性可以用来评价许多生物物理特 性,对光谱反射数据进行经验性处理与分析,能够构 建大量的植被指数,可用来监测作物的叶面积指数、 叶绿素含量、植株养分和水分状态、生物量和产量等 表型信息。在图像数据分析算法中,重点考虑的两 个因素是获取的图像类型以及如何对其进行分析处 理。例如作为生物量的重要指标之一,归一化植被 指数 (Normalizeddifferencevegetationindex,NDVI) 被用来表征作物生长状况和预测叶面积指数、产量, 确定 NDVI有多种方法,可以使用无人机采集的植 被覆盖度图和 RGB图像之间的降尺度与随机回归 来预测裸地、光合植被和非光合植被覆盖,也可以通 过基于多光谱图像中识别的终端元件进行光谱分 离,还可以使用基于对象的分类法标记图像片段来 确定覆盖指数[92-93] 。 图 20为基于图像的植物表型分析技术和工作 流程,总结了当前的图像数据分析处理方法,并介绍 了基于图像的植物表型工作流程,这些分析技术促 进了基于图像的表型学的发展。图像数据分析包括 图像预处理、图像分割、特征提取和机器分类等环节。 图像预处理的目的是提高对比度和消除噪声, 从而增强给定图像中感兴趣的部分,可以使用图像 裁剪、区域限制、对比度改善等简单操作或主成分分 析、聚类分析等复杂算法来进行图像预处理,然后才 能进行有意义的图像分割。 从图像中提取信息是通过分割来完成的,图像 分割是植物表型图像处理的核心,其目的是提取感 兴趣的部分,即去除图像的背景或其它无关的组件。 因此,最终得到一个具有重要区域的分区图像,重要 区域可以定义为前景对背景,或者通过从图像中选 择多个单独的组件[94] 。所选区域的构建可以基于 颜色、光谱辐射度(植被指数)、边缘检测、相邻近似 10 农 业 机 械 学 报 2020年