第3卷第4期 智能系统学报 Vol 3 Ng 4 2008年8月 CAA I Transactions on Intelligent Systems Aug 2008 多源监测信息融合仿生复眼型系统模式 及感知计算机理 徐立中2，石爱业2，黄凤辰2，马贞立 (1河海大学计算机及信息工程学院，江苏南京210098,2河海大学通信与信息系统工程研究所，江苏南京 210098) 摘要：借鉴昆虫复眼获取与处理信息的机理和过程来构造多源、多尺度监测信息融合仿生处理系统模式，在水资 源水环境的空中、地面多传感器时空定量监测应用中，多种卫星遥感传感器和地面监测传感器被设计“集成”在一个 虚拟的仿生复眼平台上，通过模仿蝇类昆虫视觉信息获取和生物神经网络感知与计算的机理，实现大场景(LF)、小 场景(S)的协同监测和专题信息融合与决策.提出了空中地面多传感器时空定量信息获取与处理的仿蝇复眼型信 息融合系统模式，设计了基于仿蝇复眼感知与计算机理的多源信息融合工程模型和算法，包括虚拟复眼设计，虚拟 复眼图像的预处理模型，LF系统和S系统的感知与计算机理以及复眼图像超分辨率重构算法.仿真实验中验证了 空中地面多源多尺度监测信息融合的仿生复眼型系统模式、LF和SF系统计算模型以及复眼图像超分辨率重构的 可行性与合理性」 关键词：信息融合；遥感图像处理；仿生复眼；水环境监测 中图分类号：X87文献标识码：A文章编号：16734785(2008)04032808 A perceptual and com putational mechan ism for bion ic com pound eye systems with multi-source nforma tion fusion XU Li-zhong,SHIAi-ye,HUANG Feng-chen',MA Zhen-li (1.College of Computer and Inmation Engineering.HohaiUniversity,Nanjing 210098,China,2 Institute ofCommunication and In- omation System Engineering.HohaiUniversity,Nanjing 210098,China) Abstract:The compound eyes of flying insects are highly efficient at processing received infomation The authors m itated this action when develop ing a bionic compound eye system to monitor water resources by fusing quantitative space-tme infomation obtained from many sensors in the air and on the ground This virtual bionic compound eye platfom integrated multiple satellite remote sensors and ground monitoring sensors By m itating the infomation ac- quisition mode of flies and the perceptual and computational mechaniss of their biobgical neural netorks,it is possible to perfom synergistic monitoring of large field (LF)and sall field (SF)data sufficient for thematic infor mation fusion and decision making The proposed mathematical model and algorithm were designed on the basis of perceptual and computationalmechaniss of bionic compound eyes Work covered in the paper includes design of virtual compound eyes,amathematical model for virtual compound eye mages,perception and computation mecha- nisn ofLF and SF systems,and super-resolution reconstruction of virtual compound eye mages The computation model of the LF and SF system and the super-resolution of virtual compound eye mages were smulated in a series of experments which proved that the p roposed model is effective Keywords:infomation fusion;processing of remotely sensed mages bionic compound eye;water envirommentmo- nibring 水资源水环境空中G遥感)、地面多传感器动态 这要求多个种、异质)传感器在不同的地理空间位 地、实时地监测，是以广域计算机通信网络、数据库 置和时间标度上对环境进行观测，将多传感器获得 为基础的多源、多尺度传感器数据及信息融合系统 的信息进行融合与集成，以实现对水环境状况实时、 动态、准确地反映」 收稿日期：2007-11-14 在这样的时空定量信息获取与处理过程中，涉 基金项目：国家自然科学基金资助项目(60774092)：高等学校博士学 科点专项科研基金资助项目(20070294027)：江苏省高技 及对不同类型遥感实测数据地面传感器遥测数据、 术研究重大项目(BG2006003). 通信作者：徐立中.Emailt bhxu@hhu edu cn 知识库以及历史数据库数据、地理和GPS位置信息 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
第 3卷第 4期 智 能 系 统 学 报 Vol. 3 №. 4 2008年 8月 CAA I Transactions on Intelligent System s Aug. 2008 多源监测信息融合仿生复眼型系统模式 及感知计算机理 徐立中 1, 2 ,石爱业 1, 2 ,黄凤辰 1, 2 ,马贞立 1 (1. 河海大学 计算机及信息工程学院 ,江苏 南京 210098; 2. 河海大学 通信与信息系统工程研究所 ,江苏 南京 210098) 摘 要 :借鉴昆虫复眼获取与处理信息的机理和过程来构造多源、多尺度监测信息融合仿生处理系统模式. 在水资 源水环境的空中、地面多传感器时空定量监测应用中 ,多种卫星遥感传感器和地面监测传感器被设计“集成 ”在一个 虚拟的仿生复眼平台上 ,通过模仿蝇类昆虫视觉信息获取和生物神经网络感知与计算的机理 ,实现大场景 (LF)、小 场景 ( SF)的协同监测和专题信息融合与决策. 提出了空中、地面多传感器时空定量信息获取与处理的仿蝇复眼型信 息融合系统模式 ,设计了基于仿蝇复眼感知与计算机理的多源信息融合工程模型和算法 ,包括虚拟复眼设计 ,虚拟 复眼图像的预处理模型 ,LF系统和 SF系统的感知与计算机理以及复眼图像超分辨率重构算法. 仿真实验中验证了 空中、地面多源多尺度监测信息融合的仿生复眼型系统模式、LF和 SF系统计算模型以及复眼图像超分辨率重构的 可行性与合理性. 关键词 :信息融合 ;遥感图像处理 ;仿生复眼 ;水环境监测 中图分类号 : X87 文献标识码 : A 文章编号 : 167324785 (2008) 0420328208 A perceptual and computational mechan ism for bion ic compound eye system s with multi2source information fusion XU L i2zhong 1, 2 , SH IA i2ye 1, 2 , HUANG Feng2chen 1, 2 ,MA Zhen2li 1 ( 1. College of Computer and Information Engineering, HohaiUniversity, Nanjing 210098, China; 2. Institute of Communication and In2 formation System Engineering, Hohai University, Nanjing 210098, China) Abstract: The compound eyes of flying insects are highly efficient at p rocessing received information. The authors im itated this action when develop ing a bionic compound eye system to monitorwater resources by fusing quantitative space2time information obtained from many sensors in the air and on the ground. This virtual bionic compound eye p latform integrated multip le satellite remote sensors and ground monitoring sensors. By im itating the information ac2 quisition mode of flies and the percep tual and computational mechanism s of their biological neural networks, it is possible to perform synergistic monitoring of large field (LF) and small field (SF) data sufficient for thematic infor2 mation fusion and decision making. The p roposed mathematical model and algorithm were designed on the basis of percep tual and computationalmechanism s of bionic compound eyes. Work covered in the paper includes: design of virtual compound eyes, a mathematicalmodel for virtual compound eye images, percep tion and computation mecha2 nism of LF and SF system s, and super2resolution reconstruction of virtual compound eye images. The computation model of the LF and SF system and the super2resolution of virtual compound eye images were simulated in a series of experiments which p roved that the p roposed model is effective. Keywords: information fusion; p rocessing of remotely sensed images; bionic compound eye; water environmentmo2 nitoring 收稿日期 : 2007211214. 基金项目 :国家自然科学基金资助项目 (60774092) ;高等学校博士学 科点专项科研基金资助项目 ( 20070294027) ;江苏省高技 术研究重大项目 (BG2006003). 通信作者 :徐立中. E2mail: lzhxu@hhu. edu. cn. 水资源水环境空中 (遥感 )、地面多传感器动态 地、实时地监测 ,是以广域计算机通信网络、数据库 为基础的多源、多尺度传感器数据及信息融合系统. 这要求多个 (种、异质 )传感器在不同的地理空间位 置和时间标度上对环境进行观测 ,将多传感器获得 的信息进行融合与集成 ,以实现对水环境状况实时、 动态、准确地反映. 在这样的时空定量信息获取与处理过程中 ,涉 及对不同类型遥感实测数据、地面传感器遥测数据、 知识库以及历史数据库数据、地理和 GPS位置信息
第4期 徐立中，等：多源监测信息融合仿生复眼型系统模式及感知计算机理 ·329. 等数据的处理，这是一个复杂、非结构化的过程.另 蝇类复眼的这种能够同时接收多视角信息的机理和 外，遥感数据易受环境及水体本身相互作用的影响， 生物神经网络处理复杂感知与计算能力的启发，提 易产生局部数据缺乏或错误地面传感器的性能可 出并设计了基于仿蝇复眼型信息融合系统模式.该 能降低或失效，使得多源、多尺度监测数据及其之间 模式借鉴自然界昆虫复眼获取和处理信息的过程和 具有相当的复杂性、不确定性和相关性.在处理过程 机理，在信息融合过程中进行多级处理，将空中（遥 中的各个不同层次可能出现不确定性、非结构化问 感)地面多传感器获取的一维或多维信息按照某 题以及建模困难等口」 种规则映射为若干个虚拟的“小眼图像”，并构造仿 迄今为止，多源信息融合的绝大部分工作都是 蝇复眼的感知算法，试图跳出传统的研究思路，为进 针对特定应用领域开展的.目前国内外，结合对地观 一步深入解决水资源水环境多源监测信息融合处理 测应用领域的多源信息融合理论和技术取得的成果 存在的难点提供了新的策略 很多.但是，这些领域的应用成果与水资源水环境多 1蝇视觉系统的生理结构 源监测信息融合应用的情况类似，地面传感器之间、 空间与地面传感器之间，都没有有效地解决信息的 根据米勒的昆虫视觉图像拼接理论，复眼是由 关联和互补；尚未形成较成熟的不同时空尺度数据、 许多小眼紧密排列而成.复眼主要有并列型复眼和 特征、证据和策略的多源信息融合理论框架，也没有重叠型复眼两大类，前者复眼的每只小眼都独立形 建立反演精度高且普遍有效的融合模型与算法；在成整个目标的部分像，整个复眼形成目标的镶嵌 系统级上所开展的信息获取、融合系统模式（或称 像”而后者的每个小眼形成的像是目标的重叠像。 系统模型、体系结构)以及层次划分、算法（库）选择 并列型复眼形成的图像分辨率高于重叠型复眼，但 及调度策略的研究鲜见报道，也很不成熟；融合系统 是重叠型复眼具有较高的光能利用率和灵敏度 的容错性或稳健性远未解决【23] 苍蝇的2只复眼如图1所示，其对应的纵向截 与当前多源信息融合基本理论方法研究存在的 面图如图2所示.蝇眼是由许多六角形结构的小眼 问题和最新进展一样，面向对地观测领域信息获取 组成，蝇的每只复眼大约有3000~3200只小眼.每 与处理的应用，信息融合系统模式共同的中心思想 只小眼自成体系，都有由角膜和晶维组成的成像系 是在信息融合过程中进行多级处理 统，有由对光敏感的视觉细胞构成的视网膜，还有通 国内外现有的信息融合系统模型大致可以分为 向脑的视神经，每只小眼都能单独目视 两大类：1)功能型系统模型，主要根据节点顺序构 建：2)数据型系统模型，主要根据数据提取加以构 建.比较典型的功能型系统模型主要有UK情报环 和Boyd控制回路.典型的数据型系统模型则有DL 模型.近年来又发展了瀑布模型、Dasarathy模型和 混合模型等21 面向水资源水环境监测这样复杂应用背景的信 息融合，在系统级上，延用类似于美国DL等模型 图1蝇复眼 的典型数据型系统模式对其加以修改，或者试图通 Fig 1 The compound eyes of a fly 过多源异类信息在数学意义”上的统一表述，以解 决多源、多尺度信息（数据、特征、证据和策略）的融 图2中，A为重叠孔径，c为角膜透镜，P为起屏 合问题是相当困难的山，) 蔽作用的色素细胞，cc为晶锥，cz为空区，h为感杆 考虑到自然界蝇类重叠型复眼有许多小眼，每 束，为焦距，角膜和晶锥组成屈光器，可以将光聚 个小眼都独立成像，并把受不同强度刺激得到的图 焦到感光器上，其本质相当于1个微透镜.感光器由 像经过生物神经网络处理形成一个完整的视像.受 8个小网膜细胞组成（感杆束），并围绕着小眼形成 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
等数据的处理 ,这是一个复杂、非结构化的过程. 另 外 ,遥感数据易受环境及水体本身相互作用的影响 , 易产生局部数据缺乏或错误. 地面传感器的性能可 能降低或失效 ,使得多源、多尺度监测数据及其之间 具有相当的复杂性、不确定性和相关性. 在处理过程 中的各个不同层次可能出现不确定性、非结构化问 题以及建模困难等 [ 1 ] . 迄今为止 ,多源信息融合的绝大部分工作都是 针对特定应用领域开展的. 目前国内外 ,结合对地观 测应用领域的多源信息融合理论和技术取得的成果 很多. 但是 ,这些领域的应用成果与水资源水环境多 源监测信息融合应用的情况类似 ,地面传感器之间、 空间与地面传感器之间 ,都没有有效地解决信息的 关联和互补 ;尚未形成较成熟的不同时空尺度数据、 特征、证据和策略的多源信息融合理论框架 ,也没有 建立反演精度高且普遍有效的融合模型与算法 ;在 系统级上所开展的信息获取、融合系统模式 (或称 系统模型、体系结构 )以及层次划分、算法 (库 )选择 及调度策略的研究鲜见报道 ,也很不成熟 ;融合系统 的容错性或稳健性远未解决 [ 223 ] . 与当前多源信息融合基本理论方法研究存在的 问题和最新进展一样 ,面向对地观测领域信息获取 与处理的应用 ,信息融合系统模式共同的中心思想 是在信息融合过程中进行多级处理. 国内外现有的信息融合系统模型大致可以分为 两大类 : 1) 功能型系统模型 ,主要根据节点顺序构 建 ; 2) 数据型系统模型 ,主要根据数据提取加以构 建. 比较典型的功能型系统模型主要有 UK情报环 和 Boyd控制回路. 典型的数据型系统模型则有 JDL 模型. 近年来又发展了瀑布模型、Dasarathy模型和 混合模型等 [ 2 ] . 面向水资源水环境监测这样复杂应用背景的信 息融合 ,在系统级上 ,延用类似于美国 JDL 等模型 的典型数据型系统模式对其加以修改 ,或者试图通 过多源异类信息在“数学意义 ”上的统一表述 ,以解 决多源、多尺度信息 (数据、特征、证据和策略 )的融 合问题是相当困难的 [ 1, 324 ] . 考虑到自然界蝇类重叠型复眼有许多小眼 ,每 个小眼都独立成像 ,并把受不同强度刺激得到的图 像经过生物神经网络处理形成一个完整的视像. 受 蝇类复眼的这种能够同时接收多视角信息的机理和 生物神经网络处理复杂感知与计算能力的启发 ,提 出并设计了基于仿蝇复眼型信息融合系统模式. 该 模式借鉴自然界昆虫复眼获取和处理信息的过程和 机理 ,在信息融合过程中进行多级处理 ,将空中 (遥 感 )、地面多传感器获取的一维或多维信息按照某 种规则映射为若干个虚拟的“小眼图像 ”,并构造仿 蝇复眼的感知算法 ,试图跳出传统的研究思路 ,为进 一步深入解决水资源水环境多源监测信息融合处理 存在的难点提供了新的策略. 1 蝇视觉系统的生理结构 根据米勒的昆虫视觉图像拼接理论 ,复眼是由 许多小眼紧密排列而成. 复眼主要有并列型复眼和 重叠型复眼两大类 ,前者复眼的每只小眼都独立形 成整个目标的部分像 ,整个复眼形成目标的“镶嵌 像 ”. 而后者的每个小眼形成的像是目标的重叠像. 并列型复眼形成的图像分辨率高于重叠型复眼 ,但 是重叠型复眼具有较高的光能利用率和灵敏度. 苍蝇的 2只复眼如图 1所示 ,其对应的纵向截 面图如图 2所示. 蝇眼是由许多六角形结构的小眼 组成 ,蝇的每只复眼大约有 3 000～3 200只小眼. 每 只小眼自成体系 ,都有由角膜和晶维组成的成像系 统 ,有由对光敏感的视觉细胞构成的视网膜 ,还有通 向脑的视神经 ,每只小眼都能单独目视. 图 1 蝇复眼 Fig. 1 The compound eyes of a fly 图 2中 , A为重叠孔径 , c为角膜透镜 , P为起屏 蔽作用的色素细胞 , cc为晶锥 , cz为空区 , rh为感杆 束 , f为焦距 . 角膜和晶锥组成屈光器 ,可以将光聚 焦到感光器上 ,其本质相当于 1个微透镜. 感光器由 8个小网膜细胞组成 (感杆束 ) ,并围绕着小眼形成 第 4期 徐立中 ,等 :多源监测信息融合仿生复眼型系统模式及感知计算机理 ·329·
·330· 智能系统学报 第3卷 一束圆柱体，即小网膜，每个小网膜细胞伸出一根神 第2个层次实现（虚拟的）复眼信息融合处理.第2个 经纤维与脑的视觉中枢相连.其中内部的空区 层次包括：1)信息预处理，遥感“小眼图像的几何、 (clean zone)消除了小眼之间的光隔离，可以使得该 大气校正以及地面“小眼”与遥感“小眼图像配准， 类型的复眼具有较大的通光孔径，从而可以改善复 2)基于大场景(arge-field,LF)、小场景(sall field, 眼的光子捕获能力.隔光器位于小眼之间，其主要由 SF)系统的遥感“复眼”反演专题信息，以提高反演精 主色素细胞和附色素细胞组成，其色素颗粒能够随 度；3)LF和SF系统协同地提取专题信息，利用不同 着外界环境的变化而移动.隔光器能够控制和调节 空间分辨率和光谱分辨率遥感“小眼的优势互补，实 进入小眼内的光线.外界信息进入复眼的每只小眼 现较高精度局部环境区域的专题信息提取和对感兴 后，传递到复眼和脑之间的视觉中枢，并经过加工处 趣的水体组分（叶绿素、悬浮物等）或大气组分等的监 理后将指令传递给运动器官[5) 测；4)仿池细胞系统管理“复眼信息处理过程，及 协调LF和SF系统算法的分类应用.蝇生理上的LF 和SF系统中各自有相应的池细胞，可以将它们的池 细胞构建成一个逻辑上的仿池细胞工程模型，以便突 出其协调和管理LF、SF的功能 3信息融合仿蝇复眼系统的感知与计 算机理 图2重叠型复眼纵向截面图 31虚拟复眼设计 Fig 2 Cross section of superposition compound eye 虚拟小眼的选择和设计分配应根据领域应用需 求而定.将卫星搭载的成像仪器看作复眼成像系统 2 仿蝇复眼型融合层次与系统模式 相应获取的每个波段的图像在逻辑概念上可以映射 空中遥感)、地面多传感器时空定量信息获取 为虚拟小眼图像 与处理是一个具有现代高性能、多层次、复杂的过 下面以Landsat-5卫星的M遥感数据和TER- 程.多源信息融合仿生复眼系统拟将其划分为2个 RA卫星的MODS数据为例阐述虚拟复眼的设计. 研究层次，如图3所示.即：)虚拟“小眼图像的生 Landsat-5卫星的专题制图仪M共有l00个， 成卫星平台、相应波段以及传感器光谱特性的设 分7个波段，采用带通滤光片分光，滤光片紧贴于探 计选择和分配：2)多源信息仿生复眼融合处理包 测器阵列的前面.其中第1~4个波段用硅探测器 括遥感图像数据融合和空地数据融合)： 此处，将滤光片和相应的探测器阵列在逻辑上看成 一个虚拟复眼成像系统.以水环境监测为例，考虑到 大场景系统仿“池细小场景系 LF系统)胞”系统(SF系统) 昆虫复眼的光谱反映范围，选择M1~M3的数据 作为“小眼图像，3个小眼的光谱反应波长分别为 融全中心 虚拟复眼 融合结果 450520m、520~600m、630~690m,对应的小 监测环境 用户界面 眼图像空间分辨率为30m 图3仿蝇复眼的信息融合层次与系统模式 TERRA卫星上搭载有MODS传感器，它具有 Fig 3 Infomation fusion level and system mode of bion- 从可见光到热红外的36个波段的扫描成像辐射计， ic compound eye system 分布在04~14μm电磁波谱范围内，扫描宽度为 2330m波段1~2的空间分辨率为250m,波段 第1层次实现“复眼图像监测数据)实时、动 3~的空间分辨率为500m,波段8~36的空间分辨 态地获取和映射处理，为第2个层次提供输入信息」 率为1000m,波段设置适合于监测Ⅱ类水体.MoDS 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
一束圆柱体 ,即小网膜 ,每个小网膜细胞伸出一根神 经纤维与脑的视觉中枢相连. 其中内部的空区 ( clean zone)消除了小眼之间的光隔离 ,可以使得该 类型的复眼具有较大的通光孔径 ,从而可以改善复 眼的光子捕获能力. 隔光器位于小眼之间 ,其主要由 主色素细胞和附色素细胞组成 ,其色素颗粒能够随 着外界环境的变化而移动. 隔光器能够控制和调节 进入小眼内的光线. 外界信息进入复眼的每只小眼 后 ,传递到复眼和脑之间的视觉中枢 ,并经过加工处 理后将指令传递给运动器官 [ 5 ] . 图 2 重叠型复眼纵向截面图 Fig. 2 Cross section of superposition compound eye 2 仿蝇复眼型融合层次与系统模式 空中 (遥感 ) 、地面多传感器时空定量信息获取 与处理是一个具有现代高性能、多层次、复杂的过 程. 多源信息融合仿生复眼系统拟将其划分为 2个 研究层次 ,如图 3所示. 即 : 1)虚拟“小眼图像 ”的生 成 (卫星平台、相应波段以及传感器光谱特性的设 计选择和分配 ) ; 2)多源信息仿生复眼融合处理 (包 括遥感图像数据融合和空、地数据融合 ). 图 3 仿蝇复眼的信息融合层次与系统模式 Fig. 3 Information fusion level and system mode of bion2 ic compound eye system 第 1层次实现“复眼 ”图像 (监测数据 )实时、动 态地获取和映射处理 ,为第 2个层次提供输入信息. 第 2个层次实现 (虚拟的 )复眼信息融合处理. 第 2个 层次包括: 1)信息预处理 ,遥感“小眼 ”图像的几何、 大气校正以及地面“小眼 ”与遥感“小眼 ”图像配准 ; 2) 基于大场景 ( large2 field,LF)、小场景 ( small field, SF) 系统的遥感“复眼 ”反演专题信息 ,以提高反演精 度; 3)LF和 SF系统协同地提取专题信息 ,利用不同 空间分辨率和光谱分辨率遥感“小眼 ”的优势互补 ,实 现较高精度局部环境区域的专题信息提取和对感兴 趣的水体组分 (叶绿素、悬浮物等 )或大气组分等的监 测; 4)仿“池细胞 ”系统管理“复眼 ”信息处理过程 ,及 协调 LF和 SF系统算法的分类应用. 蝇生理上的 LF 和 SF系统中各自有相应的池细胞 ,可以将它们的池 细胞构建成一个逻辑上的仿池细胞工程模型 ,以便突 出其协调和管理 LF、SF的功能. 3 信息融合仿蝇复眼系统的感知与计 算机理 3. 1 虚拟复眼设计 虚拟小眼的选择和设计分配应根据领域应用需 求而定. 将卫星搭载的成像仪器看作复眼成像系统 , 相应获取的每个波段的图像在逻辑概念上可以映射 为虚拟小眼图像. 下面以 Landsat25卫星的 TM遥感数据和 TER2 RA卫星的 MOD IS数据为例阐述虚拟复眼的设计. Landsat25卫星的专题制图仪 TM 共有 100个 , 分 7个波段 ,采用带通滤光片分光 ,滤光片紧贴于探 测器阵列的前面. 其中第 1～4个波段用硅探测器. 此处 ,将滤光片和相应的探测器阵列在逻辑上看成 一个虚拟复眼成像系统. 以水环境监测为例 ,考虑到 昆虫复眼的光谱反映范围 ,选择 TM1～TM3的数据 作为“小眼 ”图像 , 3个小眼的光谱反应波长分别为 450～520 nm、520～600 nm、630～690 nm,对应的小 眼图像空间分辨率为 30m. TERRA卫星上搭载有 MOD IS传感器 ,它具有 从可见光到热红外的 36个波段的扫描成像辐射计 , 分布在 0. 4～14μm 电磁波谱范围内 ,扫描宽度为 2 330 km. 波段 1～2的空间分辨率为 250 m,波段 3～7的空间分辨率为 500m,波段 8～36的空间分辨 率为 1 000m,波段设置适合于监测 Ⅱ类水体. MOD IS ·330· 智 能 系 统 学 报 第 3卷
第4期 徐立中，等：多源监测信息融合仿生复眼型系统模式及感知计算机理 ·331· 具有较高的时间分辨率（一天2次成像）和辐射分 统在视网膜图像的低频偏移情况下产生扭矩响应， 辨率，并且包括多达36个波段的光谱数据.以水环 所产生的扭矩用于消除在飞行过程中因空气扰动、 境监测为例，MODS是内陆较大湖泊水质遥感监测 自身飞行动力失衡等原因所形成的意外偏差，稳定 最有潜力的遥感数据源之一.选择MODS传感器作 其飞行路线.以Landsat-7和TERRA这两类卫星遥 为虚拟复眼成像系统，选择其成像的1、3、4这3个 感数据的融合为例，考虑到在同一坐标系下，Land- 波段图像作为“小眼图像.这3个波段的波谱分别 sa7卫星在相对低的时间频率下对地观测得到具 为620~670m、459~479m、545~565m,其中1 有较高空间分辨率(15/30/60m)的M影像数据， 波段的“小眼图像空间分辨率为250m,3波段与4和Ter卫星在相对高的时间频率下观测得到具有 波段的“小眼图像空间分辨率为500m 较低空间分辨率(250/500/1000m)的MODS影像 虚拟的复眼系统共构建3种类型的仿复眼.第 数据.通过Landsat-7或者TERRA以及后续的算法 1类复眼由“小眼图像”M数据构成，其每个“复 可以单独形成LF大场景的宏观监测，而Landsa7 眼由3个较高空间分辨率的“小眼图像”M数据 和Tera协同感知的SF小场景监测，有可能同时实 构建；第2类复眼由“小眼图像MODS数据构成， 现局部区域对地观测的准实时、粗空间分辨率的宏 在某一时相，先由较低空间分辨率的MODS“小眼 观监测和较高空间分辨率的精细监测，从而更有利 图像构建为一个“复眼”，且这样的每个复眼都包于动态监测和提高遥感反演精度 含3个“小眼图像”，第3类虚拟复眼由地面监测传 生物学家在理论分析、行为实验和电生理细胞 感器构成，其监测数据作为复眼图像数据 记录的基础上，提出了池细胞的概念，在蝇复眼 32复眼图像的预处理 的LF和SF系统中分别有池细胞用来控制和管 对于仿蝇复眼系统中的虚拟复眼遥感图像，在 理各自的输出.其中，LF系统中池细胞”具有饱和 不同程度上与地物的辐射能量或亮度分布有差异， 性质，它分流抑制每个运动检测器的输出；而SF系 即存在着畸变和降质.其中遥感图像的降质主要可 统中有2类具有方向选择性的复眼池细胞”，它们 分为两大类，即遥感图像的辐射失真和几何畸变.虚 对于顺时针与逆时针方向的运动具有不同的敏感 拟的复眼图像的预处理就是使处理后的图像能够逼 性，且受到对侧眼信息的抑制.受池细胞功能的 近原始景物，故所处理的图像必须经过几何校正、辐 启发，通过模仿LF系统和SF系统的池细胞机 射校正以及噪声抑制处理？ 理有可能实现对不同层次的模型或算法进行集成、 在仿蝇复眼系统中，往往还需要对不同时相、不 调度和分类应用 同传感器获得的多种遥感数据进行综合研究.这就 3.31LF系统和SF系统的算法 要求不同来源的图像互相配准，即要求统一的物的 LF系统由各遥感卫星独立监测来完成，其中高 影像在不同图像中的位置相互重叠.配准和几何校 空间分辨率的卫星提供较精细的大场景监测.利用 正一样，包括2步：1)确定图像中相应的控制点对； 虚拟遥感复眼图像间的空间分辨率、光谱分辨率和 2)将待配准的图像中的一幅作为参考图像，另一幅 时间分辨率的优势互补，可以较好地从宏观上获取 作为配准图像，进而确定参考图像和配准图像之间 相应的环境专题信息.仿蝇复眼的LF系统由仿池 的对应关系 细胞来提供调度，如当某一卫星数据缺损时，可调用 3.3LF系统和SF系统的感知与计算机理 仿蝇复眼遥感系统中的其他种类的卫星来监测；如 蝇具有卓越的视觉系统和飞行控制系统.它是 果所有的数据都失效，可以启动预警机制等 由2个独立的并行通道来完成的，即大场景(LF)系 SF系统则对监测总视场中的感兴趣区域进行 统和小场景(SF)系统.小场景系统在视网膜图像相 监测，是通过N个虚拟复眼共同的追踪与凝视” 对高的振动频率下对小的目标产生响应，响应过程 以提取所研究的感兴趣区域的专题信息.具体实现 中的尖峰在图形背景分辨行为中意味着目标被检 时可以采用相应的图像分割算法将各虚拟复眼的感 测，从而实现对目标物体的分辨和凝视.而大场景系 兴趣区域提取出来，然后再采用适当的融合算子整 1994-2009 China Academic Joural Electronic Publishing House.All rights reserved.http://www.cnki.net
具有较高的时间分辨率 (一天 2次成像 )和辐射分 辨率 ,并且包括多达 36个波段的光谱数据. 以水环 境监测为例 ,MOD IS是内陆较大湖泊水质遥感监测 最有潜力的遥感数据源之一. 选择 MOD IS传感器作 为虚拟复眼成像系统 ,选择其成像的 1、3、4这 3个 波段图像作为“小眼 ”图像. 这 3个波段的波谱分别 为 620～670 nm、459～479 nm、545～565 nm,其中 1 波段的“小眼 ”图像空间分辨率为 250m, 3波段与 4 波段的“小眼 ”图像空间分辨率为 500m. 虚拟的复眼系统共构建 3种类型的仿复眼 ,第 1类复眼由“小眼图像 ”TM 数据构成 ,其每个“复 眼 ”由 3个较高空间分辨率的“小眼图像 ”TM 数据 构建 ;第 2类复眼由“小眼图像 ”MOD IS数据构成 , 在某一时相 ,先由较低空间分辨率的 MOD IS“小眼 图像 ”构建为一个“复眼 ”,且这样的每个复眼都包 含 3个“小眼图像 ”;第 3类虚拟复眼由地面监测传 感器构成 ,其监测数据作为复眼图像数据. 3. 2 复眼图像的预处理 对于仿蝇复眼系统中的虚拟复眼遥感图像 ,在 不同程度上与地物的辐射能量或亮度分布有差异 , 即存在着畸变和降质. 其中遥感图像的降质主要可 分为两大类 ,即遥感图像的辐射失真和几何畸变. 虚 拟的复眼图像的预处理就是使处理后的图像能够逼 近原始景物 ,故所处理的图像必须经过几何校正、辐 射校正以及噪声抑制处理 [ 6 ] . 在仿蝇复眼系统中 ,往往还需要对不同时相、不 同传感器获得的多种遥感数据进行综合研究. 这就 要求不同来源的图像互相配准 ,即要求统一的物的 影像在不同图像中的位置相互重叠. 配准和几何校 正一样 ,包括 2步 : 1)确定图像中相应的控制点对; 2)将待配准的图像中的一幅作为参考图像 ,另一幅 作为配准图像 ,进而确定参考图像和配准图像之间 的对应关系. 3. 3 LF系统和 SF系统的感知与计算机理 蝇具有卓越的视觉系统和飞行控制系统. 它是 由 2个独立的并行通道来完成的 ,即大场景 (LF)系 统和小场景 (SF)系统. 小场景系统在视网膜图像相 对高的振动频率下对小的目标产生响应 ,响应过程 中的尖峰在图形背景分辨行为中意味着目标被检 测 ,从而实现对目标物体的分辨和凝视. 而大场景系 统在视网膜图像的低频偏移情况下产生扭矩响应 , 所产生的扭矩用于消除在飞行过程中因空气扰动、 自身飞行动力失衡等原因所形成的意外偏差 ,稳定 其飞行路线. 以 Landsat27和 TERRA 这两类卫星遥 感数据的融合为例 ,考虑到在同一坐标系下 , Land2 sat27卫星在相对低的时间频率下对地观测得到具 有较高空间分辨率 ( 15 /30 /60 m )的 TM 影像数据 , 和 Terra卫星在相对高的时间频率下观测得到具有 较低空间分辨率 (250 /500 /1 000 m)的 MOD IS影像 数据. 通过 Landsat27或者 TERRA以及后续的算法 可以单独形成 LF大场景的宏观监测 ,而 Landsa27 和 Terra协同感知的 SF小场景监测 ,有可能同时实 现局部区域对地观测的准实时、粗空间分辨率的宏 观监测和较高空间分辨率的精细监测 ,从而更有利 于动态监测和提高遥感反演精度. 生物学家在理论分析、行为实验和电生理细胞 记录的基础上 ,提出了“池细胞 ”的概念 ,在蝇复眼 的 LF和 SF系统中分别有“池细胞 ”用来控制和管 理各自的输出. 其中 , LF系统中“池细胞 ”具有饱和 性质 ,它分流抑制每个运动检测器的输出 ;而 SF系 统中有 2类具有方向选择性的复眼“池细胞 ”,它们 对于顺时针与逆时针方向的运动具有不同的敏感 性 ,且受到对侧眼信息的抑制. 受“池细胞 ”功能的 启发 ,通过模仿 LF系统和 SF系统的“池细胞 ”机 理 ,有可能实现对不同层次的模型或算法进行集成、 调度和分类应用. 3. 3. 1 LF系统和 SF系统的算法 LF系统由各遥感卫星独立监测来完成 ,其中高 空间分辨率的卫星提供较精细的大场景监测. 利用 虚拟遥感复眼图像间的空间分辨率、光谱分辨率和 时间分辨率的优势互补 ,可以较好地从宏观上获取 相应的环境专题信息. 仿蝇复眼的 LF系统由仿池 细胞来提供调度 ,如当某一卫星数据缺损时 ,可调用 仿蝇复眼遥感系统中的其他种类的卫星来监测 ;如 果所有的数据都失效 ,可以启动预警机制等. SF系统则对监测总视场中的感兴趣区域进行 监测 ,是通过 N 个虚拟复眼共同的“追踪 ”与“凝视 ” 以提取所研究的感兴趣区域的专题信息. 具体实现 时可以采用相应的图像分割算法将各虚拟复眼的感 兴趣区域提取出来 ,然后再采用适当的融合算子整 第 4期 徐立中 ,等 :多源监测信息融合仿生复眼型系统模式及感知计算机理 ·331·
·332· 智能系统学报 第3卷 合各感兴趣的监测信息.仿蝇复眼的S℉系统也有 2)依据LF系统的监测结果w,选择相应的图 相应的仿池细胞来提供调度，其调度能与LF系统 像分割算法，提取所研究环境的感兴趣区域S,: 中的仿池细胞类似 3)融合各虚拟复眼S的监测信息； 仿蝇复眼遥感系统中的LF系统和SF系统协 4)在实现SF系统监测时，启动“彷池细胞系 同监测，既可以整体上获取相应的环境专题信息，也 统进行SF系统监测的管理与调度 可以对局部区域获取相应的环境专题信息，然后再 332LF和SF系统仿真实验及分析 采用分类前变化信息提取法对监测区域的水、气体 以TERRA卫星和Landsat卫星组成的仿蝇复眼 的组分浓度等进行变化监测.与此同时，在积累多时 信息融合系统为例来仿真LF、SF系统的算法.该系统 相遥感监测结果的基础上，再对监测区域的组分变 共有2个虚拟复眼.TERRA卫星的MODS数据以及 异特征进行分析.其中LF系统、SF系统的数据处理 Landsat卫星的M数据来完成LF、SF系统监测，监 过程由池细胞来加以管理和控制，以协调LF、SF系 测区域为太湖，监测的组分为叶绿素浓度分布 统的输出」 图4是由TERRA卫星（提供MOD IS数据）和 LF系统算法流程为 Landsat卫星（提供M数据）组成的LF、SF系统对 1)针对不同的传感器平台，进行虚拟复眼的设 太湖水体叶绿素浓度分布监测结果 计，复眼数目由遥感平台、地面传感器的数目确定 MODS遥感数据获取的时间为2003年10月 2不失一般性，设仿生复眼信息融合系统共有27日，选用的波段为1~2波段，其空间分辨率为 n个虚拟遥感复眼，1个虚拟地面传感器复眼 250m,211波段组合的数据见图4(a)所示.使用1 3)LF系统监测的输出共包含m个环境专题信息. 波段和2波段的反射率，建立相关模型，得到LF系 4)设第个虚拟遥感复眼共有E,个虚拟小眼， 统的监测结果叶绿素浓度分布)，如图4(b)所示 对应的图像数据为1(E,).则第个虚拟遥感复眼的 M数据的获取时间为2003年10月28日，所使用 环境专题信息为w,=∫(1(E,),g),1≤i≤n 的遥感波段为1~4波段，空间分辨率为30m,432 1≤≤m,式中表示采用的环境专题信息的反演函 波段组合的数据见图4(c)所示.使用波段1一4的 数，w,表示LF系统输出的环境专题信息，g表示与 反射率，建立回归模型，得到LF系统的监测结果 1(E,同期的虚拟地面监测复眼数据 叶绿素浓度分布)如图4(d)所示 5)针对n个LF系统的监测结果，进行分析比较 图4中，（浅）黑色表示叶绿素浓度高 6)在实现LF系统监测时，启动“仿池细胞系 (≥155μgL),(浅)灰色表示叶绿色浓度较高 统”进行LF系统监测的管理与调度：如果所有虚拟 (≥56μgL),灰白色表示叶绿素浓度较低 复眼数据缺失，启动预警：如果有某一虚拟复眼数据 (≤56μgL).SF系统监测仅选用一个虚拟复眼数 缺失，可调用其他虚拟复眼数据来进行补充监测 据，即采用和图4(a)相同的数据源，选用太湖的梅 SF系统算法流程为 梁湾区作为感兴趣区域，在ERDAS9.0遥感软件 1)选择虚拟复眼图像数据1(E,)以及虚拟地面 中，采用图像分割方法将该区域提取出来，该区域的 传感器复眼数据： 叶绿素浓度分布见图4()所示经过插值放大). (a)太湖的MODIS数掘 (b)依据LF系统算法，由图4(a (211波段组合） 获取的太湖叶绿素浓度分布 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
合各感兴趣的监测信息. 仿蝇复眼的 SF系统也有 相应的仿池细胞来提供调度 ,其调度能与 LF系统 中的仿池细胞类似. 仿蝇复眼遥感系统中的 LF系统和 SF系统协 同监测 ,既可以整体上获取相应的环境专题信息 ,也 可以对局部区域获取相应的环境专题信息 ,然后再 采用分类前变化信息提取法对监测区域的水、气体 的组分浓度等进行变化监测. 与此同时 ,在积累多时 相遥感监测结果的基础上 ,再对监测区域的组分变 异特征进行分析. 其中 LF系统、SF系统的数据处理 过程由池细胞来加以管理和控制 ,以协调 LF、SF系 统的输出. LF系统算法流程为 1)针对不同的传感器平台 ,进行虚拟复眼的设 计 ,复眼数目由遥感平台、地面传感器的数目确定. 2)不失一般性 ,设仿生复眼信息融合系统共有 n个虚拟遥感复眼 , 1个虚拟地面传感器复眼. 3) LF系统监测的输出共包含 m个环境专题信息. 4)设第 i个虚拟遥感复眼共有 Ei 个虚拟小眼 , 对应的图像数据为 I( Ei ). 则第 i个虚拟遥感复眼的 环境专题信息为 wj = f ( I ( Ei ) , g ) , 1 ≤ i ≤ n, 1≤j≤m ,式中 f表示采用的环境专题信息的反演函 数 , wj表示 LF系统输出的环境专题信息 , g表示与 I( Ei )同期的虚拟地面监测复眼数据. 5)针对 n个 LF系统的监测结果,进行分析比较. 6)在实现 LF系统监测时 , 启动“仿池细胞系 统 ”进’ 行 LF系统监测的管理与调度;如果所有虚拟 复眼数据缺失 ,启动预警;如果有某一虚拟复眼数据 缺失 ,可调用其他虚拟复眼数据来进行补充监测. SF系统算法流程为 1)选择虚拟复眼图像数据 I( Ei )以及虚拟地面 传感器复眼数据; 2)依据 LF系统的监测结果 wi ,选择相应的图 像分割算法 ,提取所研究环境的感兴趣区域 Si ; 3)融合各虚拟复眼 Si 的监测信息; 4)在实现 SF系统监测时 , 启动“仿池细胞系 统 ”进行 SF系统监测的管理与调度. 3. 3. 2 LF和 SF系统仿真实验及分析 以 TERRA卫星和 Landsat卫星组成的仿蝇复眼 信息融合系统为例来仿真 LF、SF系统的算法. 该系统 共有 2个虚拟复眼. TERRA卫星的 MOD IS数据以及 Landsat卫星的 TM数据来完成 LF、SF系统监测 ,监 测区域为太湖 ,监测的组分为叶绿素浓度分布. 图 4是由 TERRA 卫星 (提供 MOD IS数据 )和 Landsat卫星 (提供 TM数据 )组成的 LF、SF系统对 太湖水体叶绿素浓度分布监测结果. MOD IS遥感数据获取的时间为 2003年 10月 27日 ,选用的波段为 1～2波段 ,其空间分辨率为 250 m, 211波段组合的数据见图 4 ( a)所示. 使用 1 波段和 2波段的反射率 ,建立相关模型 ,得到 LF系 统的监测结果 (叶绿素浓度分布 ) ,如图 4 ( b)所示. TM数据的获取时间为 2003年 10月 28日 ,所使用 的遥感波段为 1～4波段 ,空间分辨率为 30 m, 432 波段组合的数据见图 4 ( c)所示. 使用波段 1～4的 反射率 ,建立回归模型 ,得到 LF系统的监测结果 (叶绿素浓度分布 )如图 4 ( d)所示. 图 4 中 , (浅 ) 黑 色 表 示 叶 绿 素 浓 度 高 (≥155μg/L) , (浅 ) 灰 色表示叶 绿色浓度 较 高 (≥56μg/L) , 灰 白 色 表 示 叶 绿 素 浓 度 较 低 (≤56μg/L). SF系统监测仅选用一个虚拟复眼数 据 ,即采用和图 4 ( a)相同的数据源 ,选用太湖的梅 梁湾区作为感兴趣区域 ,在 ERDAS 9. 0遥感软件 中 ,采用图像分割方法将该区域提取出来 ,该区域的 叶绿素浓度分布见图 4 ( e)所示 (经过插值放大 ). ·332· 智 能 系 统 学 报 第 3卷
第4期 徐立中，等：多源监测信息融合仿生复眼型系统模式及感知计算机理 ·333 (c)太湖的TM数据 (d)依据LF系统算法，由图4(c) (e)依据SF系统算法，由图4(a)获取的 (432波段组合) 获取的太湖叶绿素浓度分府 太湖梅梁湾区域叶绿素浓度分布 图4LF、SF系统对太湖水体叶绿素浓度分布监测结果 Fig 4 Chla concentration distribution of TaiLake usingLF and SF system 由图4(b)和图4(d)可见，MODS数据和M 考虑到自然蝇采用较复杂的神经网络来处理信 数据所形成的LF系统监测结果都表明太湖的周边 息，为证明其可行性，以神经网络来做同一遥感平台 地区的叶绿素浓度较高，特别是东北部和西南部叶 的虚拟复眼图像超分辨率重构) 绿素浓度更高，而太湖的中部、南部和东部局部区域 仿真实验时作如下假设：1)考虑到自然复眼的 的叶绿素浓度较低.由此验证LF系统可对整个太 每个小眼的光瞳基本一样，在仿真时虚拟复眼图像 湖区域的叶绿素浓度进行宏观上的监测，并可以提 的降质只考虑纯移位和降采样：2)虚拟复眼图像是 供250mMOD1S数据提供)和30m(M数据提供) 通过模拟产生的：3)超分辨率重构的分辨率提高倍 2种空间分辨率的叶绿素浓度分布图.采用的虚拟 数为2 复眼数目越多，则可得到更多不同空间分辨率的叶 仿真算法具体实现步骤为 绿素浓度分布图.采用多个虚拟复眼，可以在某一虚 )选取一幅航拍的遥感图像，y作为参考图像 拟复眼数据缺失时，还能够对观测区域实行大场景 S表示分辨率的大小 监测.由图4(e)可知，单一MODS数据形成的SF 2将y分别在水平、垂直方向移位为(1 系统，可对太湖的梅梁湾区这一特定区域的叶绿素 i=0,1然后将移位后的图像进行2倍的降采样 浓度进行有效的监测，如果再融合M虚拟复眼数 得到4幅更低分辨率的图像，分别记为品、、品 据对该区域的监测，则可以更有效地进行水质监测 ,目标就是将4幅较低分辨率的虚拟复眼图像 34复眼图像超分辨率重构算法与仿真实验 重构为更高分辨率的图像x,记为：→x 对于以卫星遥感平台为基础的仿蝇复眼系统， 3)从中选择一幅图像，如，对它进行双线 会受到探测器的辐射分辨率的影响.为了使获得的 性插值，放大到和)一样大小，然后对放大后的图 遥感图像数据具有可以接受的信噪比，就不得不在 像执行与2)相同的操作得到4幅更低，分辨率的虚 光谱分辨率和空间分辨率之间保持平衡.高光谱分 辨率的卫星遥感图像数据往往具有较低的空间分辨 拟复眼图像，分别记为8、、、州 率，因此可使用基于超分辨率重构的技术对低空间 4)选择一幅更低分辨率的图像，如，对它进 分辨率遥感数据进行补偿，以使其在保持原始光谱 行插值放大到和一样大小，然后作为神经网络的 特性的基础上提高空间分辨率 输入，作为神经网络的输出。 常用的遥感图像超分辨率重构算法主要有频域 神经网络选择BP神经网络，共包括3层：输入 法和空域法？仿蝇信息融合系统的超分辨率重构 层、隐层和输出层.学习函数采用LevenbergMar 主要包括3个方面：1)不同或者相同)遥感平台的 quard反向传播算法.神经网络训练完成以后，就得 不同空间分辨率图像的融合；2同一遥感平台的虚 到网络的权值矩阵.然后将虚拟复眼图像输入训练好 拟复眼图像的超分辨率重构：3)多个虚拟复眼图像 的神经网络，从而得到重构图像，仿真实验结果如图 监测信息的反演结果的超分辨率重构 5所示.实验采用航拍遥感图像进行超分辨率重构， 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
图 4 LF、SF系统对太湖水体叶绿素浓度分布监测结果 Fig. 4 Chl2α concentration distribution of Tai Lake using LF and SF system 由图 4 ( b)和图 4 ( d)可见 ,MOD IS数据和 TM 数据所形成的 LF系统监测结果都表明太湖的周边 地区的叶绿素浓度较高 ,特别是东北部和西南部叶 绿素浓度更高 ,而太湖的中部、南部和东部局部区域 的叶绿素浓度较低. 由此验证 LF系统可对整个太 湖区域的叶绿素浓度进行宏观上的监测 ,并可以提 供 250 m (MOD IS数据提供 )和 30 m (TM数据提供 ) 2种空间分辨率的叶绿素浓度分布图. 采用的虚拟 复眼数目越多 ,则可得到更多不同空间分辨率的叶 绿素浓度分布图. 采用多个虚拟复眼 ,可以在某一虚 拟复眼数据缺失时 ,还能够对观测区域实行大场景 监测. 由图 4 ( e)可知 , 单一 MOD IS数据形成的 SF 系统 ,可对太湖的梅梁湾区这一特定区域的叶绿素 浓度进行有效的监测 ,如果再融合 TM 虚拟复眼数 据对该区域的监测 ,则可以更有效地进行水质监测. 3. 4 复眼图像超分辨率重构算法与仿真实验 对于以卫星遥感平台为基础的仿蝇复眼系统 , 会受到探测器的辐射分辨率的影响. 为了使获得的 遥感图像数据具有可以接受的信噪比 ,就不得不在 光谱分辨率和空间分辨率之间保持平衡. 高光谱分 辨率的卫星遥感图像数据往往具有较低的空间分辨 率 ,因此可使用基于超分辨率重构的技术对低空间 分辨率遥感数据进行补偿 ,以使其在保持原始光谱 特性的基础上提高空间分辨率. 常用的遥感图像超分辨率重构算法主要有频域 法和空域法 [ 7 ] . 仿蝇信息融合系统的超分辨率重构 主要包括 3个方面 : 1)不同 (或者相同 )遥感平台的 不同空间分辨率图像的融合; 2)同一遥感平台的虚 拟复眼图像的超分辨率重构; 3)多个虚拟复眼图像 监测信息的反演结果的超分辨率重构 [ 8 ] . 考虑到自然蝇采用较复杂的神经网络来处理信 息 ,为证明其可行性 ,以神经网络来做同一遥感平台 的虚拟复眼图像超分辨率重构 [ 9 ] . 仿真实验时作如下假设 : 1)考虑到自然复眼的 每个小眼的光瞳基本一样 ,在仿真时虚拟复眼图像 的降质只考虑纯移位和降采样; 2)虚拟复眼图像是 通过模拟产生的; 3)超分辨率重构的分辨率提高倍 数为 2. 仿真算法具体实现步骤为 1)选取一幅航拍的遥感图像 y S 作为参考图像 , S表示分辨率的大小. 2)将 y S 分别在水平、垂直方向移位为 ( i, j) , i, j = 0, 1. 然后将移位后的图像进行 2倍的降采样 , 得到 4幅更低分辨率的图像 ,分别记为 y 2S 00、y 2S 01、y 2S 10、 y 2S 11 ,目标就是将 4幅较低分辨率的虚拟复眼图像 y 2S ij 重构为更高分辨率的图像 x S ,记为 : y 2S ij →x S . 3)从 y 2S ij中选择一幅图像 ,如 y 2S 00 ,对它进行双线 性插值 ,放大到和 y S 一样大小 ,然后对放大后的图 像执行与 2)相同的操作得到 4幅更低 ,分辨率的虚 拟复眼图像 ,分别记为 y 4S 00、y 4S 01、y 4S 01、y 4S 11 . 4)选择一幅更低分辨率的图像 ,如 y 4S 00 ,对它进 行插值放大到和 y S 一样大小 ,然后作为神经网络的 输入 , y 2S 00作为神经网络的输出. 神经网络选择 BP神经网络,共包括 3层:输入 层、隐层和输出层. 学习函数采用 Levenberg2Mar2 quardt反向传播算法. 神经网络训练完成以后,就得 到网络的权值矩阵. 然后将虚拟复眼图像输入训练好 的神经网络,从而得到重构图像 ,仿真实验结果如图 5所示. 实验采用航拍遥感图像进行超分辨率重构. 第 4期 徐立中 ,等 :多源监测信息融合仿生复眼型系统模式及感知计算机理 ·333·
·334· 智能系统学报 第3卷 关于本文的神经网络算法与常规的2种图像超 究思路，提出和设计的多源监测信息融合仿蝇复眼型 分辨率重构算法（即双线性插值和凸集投影算法） 系统模式，以及基于仿蝇复眼感知与计算机理的信息 的信噪比SNR性能比较见表1设超分辨率重构结 融合工程模型和算法，为进一步深入解决多源监测信 果的信噪比SNR为：SNR=10bg|o,s2,式中：o, 息融合处理存在的难点提供了新的策略.另外在多源 表示原始参考图像的标准差，·、表示参考图像和重 监测信息融合仿蝇复眼型系统模式中，LF、SF系统相 构图像的差值的标准差.神经网络重构的图像的 互协调工作以及仿“池细胞的系统管理都只是初级 SNR为1546，而将8进行双线性插值所得的NR 层次上的实现，还没有实现真正的高层次的类蝇机 为1378，凸集投影算法所得的NR为1542由表 理，这是需要进一步深入解决的问题 1可见，神经网络算法的SNR优于双线性插值，稍 好于凸集投影算法 参考文献： 【1]除立中，林志贵，黄凤辰.基于信息融合的水质自动监测 系统体系结构[J]河海大学学报，2003,31(6)：694- 697 XU L izhong,L N Zhigui,HUANG Fengchen Ifomation fuson-based automatic water quality monitoring system [J. Joumal of Hohai University,2003,31(6):694-697. (a)原始航拍图像y b)一幅较低分辨率图像y [2潘泉，于昕，程咏梅，等.信息融合理论的基本方法 与进展[J1.自动化学报，2003(4)：599-615 PAN Quan,YU Xin,CHENG Yongei,et al Essential method and progress of infomation fusion theory [J ]Acta Autmatica Sinica,2003(4):599-615. [3 ]XU L izhong,L N Zhigui Qualitative analysis and quanti- fied evaluation of infomation fuson efficiency in multi-sen- (c)…幅更低分辨率图像 (d)重构的图像 sor systems[J ]Dynam ics of Continuous Discrete and m- 图5航拍遥感图像超分辨率重构 pulsive Systems Series B:Applications A lgorithm s,2005, Fig 5 Superresolution reconstruction of aerial mage 1(1):208-212 表1航拍遥感图像超分辨率重构3种算法的性能比较 [4石爱业，徐立中，黄凤辰.基于神经网络证据理论的 遥感图像数据融合与湖泊水质状况识别[J).中国图象 Table 1 Performance com parison of three algorithms for 图形学报，2005,10(3)：372-377 superresolution recon struction of aeril remotely SHIA iye,XU Lizhong,HUANG Fengchen Remote-sensed sensed inage mages fusion and lake water quality identification based on 算法 SNR/dB neural netorks and evidence theory [J].Joumal of mage 双线性插值算法 1378 and Graphics..2005,10(3):372-377 凸集投影算法 1542 神经网络算法 1546 [5郭爱克.计算神经科学[M]上海：上海科技教育出版 社，2000 4结束语 [6戴昌达，姜小光，唐伶俐.遥感图像应用处理与分析 M].北京：清华大学出版社，2004 针对水资源水环境空中地面多传感器监测信息 [7]PARK S C,PARK M K,EI-SAMIE F A.Superresolution 融合这样一个复杂、非结构化过程的研究，尚未形成 mage reconstruction:a technical overview [J].IEEE Sig- 较成熟的不同时空尺度数据、特征、证据和策略的多 nal Processing Magazine,2003,20(3):21-36 源信息融合与计算理论和技术.受昆虫复眼获取与处 [8]LIM in,XU Lizhong Reconstruction of bonic compound 理信息的机理和过程的启发，本文试图跳出传统的研 eye mages based on superresolution algorithm [C]//Po- 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
关于本文的神经网络算法与常规的 2种图像超 分辨率重构算法 (即双线性插值和凸集投影算法 ) 的信噪比 SNR性能比较见表 1. 设超分辨率重构结 果的信噪比 SNR为 : SNR = 10 log |σr /σS | 2 ,式中 :σr 表示原始参考图像的标准差 ,σS 表示参考图像和重 构图像的差值的标准差. 神经网络重构的图像的 SNR为 15. 46,而将 y 2S 00进行双线性插值所得的 SNR 为 13. 78,凸集投影算法所得的 SNR为 15. 42. 由表 1可见 ,神经网络算法的 SNR优于双线性插值 ,稍 好于凸集投影算法. 图 5 航拍遥感图像超分辨率重构 Fig. 5 Superresolution reconstruction of aerial image 表 1 航拍遥感图像超分辨率重构 3种算法的性能比较 Table 1 Performance com par ison of three a lgor ithm s for superresolution recon struction of aer ia l rem otely sen sed image 算法 SNR /dB 双线性插值算法 13. 78 凸集投影算法 15. 42 神经网络算法 15. 46 4 结束语 针对水资源水环境空中、地面多传感器监测信息 融合这样一个复杂、非结构化过程的研究 ,尚未形成 较成熟的不同时空尺度数据、特征、证据和策略的多 源信息融合与计算理论和技术. 受昆虫复眼获取与处 理信息的机理和过程的启发 ,本文试图跳出传统的研 究思路 ,提出和设计的多源监测信息融合仿蝇复眼型 系统模式 ,以及基于仿蝇复眼感知与计算机理的信息 融合工程模型和算法 ,为进一步深入解决多源监测信 息融合处理存在的难点提供了新的策略. 另外在多源 监测信息融合仿蝇复眼型系统模式中 ,LF、SF系统相 互协调工作以及仿“池细胞 ”的系统管理都只是初级 层次上的实现 ,还没有实现真正的高层次的“类蝇 ”机 理 ,这是需要进一步深入解决的问题. 参考文献 : [ 1 ]徐立中 ,林志贵 ,黄凤辰. 基于信息融合的水质自动监测 系统体系结构 [ J ]. 河海大学学报 , 2003, 31 ( 6 ) : 6942 697. XU L izhong, L IN Zhigui, HUANG Fengchen. Information fusion2based automatic water quality monitoring system [J ]. Journal of Hohai University, 2003, 31 (6) : 6942697. [ 2 ]潘 泉 ,于 昕 ,程咏梅 ,等. 信息融合理论的基本方法 与进展 [J ]. 自动化学报 , 2003 (4) : 5992615. PAN Quan, YU Xin, CHENG Yongmei, et al. Essential method and p rogress of information fusion theory[J ]. Acta Automatica Sinica, 2003 (4) : 5992615. [ 3 ] XU L izhong, L IN Zhigui. Qualitative analysis and quanti2 fied evaluation of information fusion efficiency in multi2sen2 sor systems[J ]. Dynam ics of Continuous D iscrete and Im2 pulsive System s SeriesB: App lications &A lgorithm s, 2005, 1 (1) : 2082212. [ 4 ]石爱业 ,徐立中 ,黄凤辰. 基于神经网络 ———证据理论的 遥感图像数据融合与湖泊水质状况识别 [J ]. 中国图象 图形学报 , 2005, 10 (3) : 3722377. SH IA iye, XU L izhong, HUANG Fengchen. Remote2sensed images fusion and lake water quality identification based on neural networks and evidence theory[J ]. Journal of Image and Graphics, 2005, 10 (3) : 3722377. [ 5 ]郭爱克. 计算神经科学 [M ]. 上海 :上海科技教育出版 社 , 2000. [ 6 ]戴昌达 ,姜小光 ,唐伶俐. 遥感图像应用处理与分析 [M ]. 北京 :清华大学出版社 , 2004. [ 7 ] PARK S C, PARK M K, El2SAM IE F A. Superresolution image reconstruction: a technical overview [ J ]. IEEE Sig2 nal ProcessingMagazine, 2003, 20 (3) : 21236. [ 8 ]L I M in, XU L izhong. Reconstruction of bionic compound eye images based on superresolution algorithm [ C ] / /Pro2 ·334· 智 能 系 统 学 报 第 3卷
第4期 徐立中，等：多源监测信息融合仿生复眼型系统模式及感知计算机理 ·335· ceedings of the IEEE Intemational Conference on Integration 苏省科技进步二等奖2项，三等奖4项，获国家发明专利3 Technobgy Shenzhen,2007,20-24 项，实用新型专利6项，计算机软件著作权证书2项，发表学 [9 ]LU Y,NAMURA M.Superresolution of the undersamp led 术论文100余篇，出版著作4部. and subpixel shifted mage sequence by a neural netork [J].Intemational Joumal of maging System s and Technol- 石爱业，男，1969年生，讲师，主要 0gy,2004,14(1):8-15 研究方向为信息融合、图像处理与分 作者简介 析、遥感技术应用.发表学术论文10余 徐立中，男，1958年生，教授，博士 篇，出版专著1部 生导师，计算机及信息工程学院副院 长，通信与信息系统工程研究所所长， 中国电子学会高级会员，中国计算机学 黄凤辰，男，1964年生，副研究员， 会高级会员，中国神经网络委员会委 中国电子学会高级会员，主要研究方向 员，江苏省电子学会信号与线路专业委员会委员，江苏省计 为遥测遥控、信号处理与系统.获国家 算机学会人工智能专业委员会委员，江苏省制造业信息化示 专利4项，发表学术论文10余篇. 范工程咨询专家组专家，主要研究方向为信息获取与处理、 遥测遥控、智能信息系统.主持和完成8项国家和省部级科 技计划项目，10余项测控系统和设备的研制工作，曾获江 The 3 th Iterna tional Conference on Itelligen t System Knowledge Engneering 第三届智能系统与知识工程国际会议 ISKE 2008 is the 3th Intemational Conference on Intelligent System Knowledge Engineering The confer ence this year is technically co-sponsored by IEEE,Ghent University and Belgian Nuclear Research Centre,and organized by Xiamen University,Fuzhou University,Fujian Agri Fore University,JmeiUniversity,Sarm ing University and Hunan Institute of Humanities,Science Tech.It will be held fiom 17 to 18 Nov 2008 in Xia- men,Fujian,China We invite subm issions of papers presenting a high-quality original research and devebpment for the conference tracks Accepted papers will be published in the IEEE categorized conference proceedings sub- m itted for indexing to EI and ISTP Authors of selected papers will be invited to subm it revised and expanded ver sion of the ir papers to be considered for publication in the well-known intemational joumals(SCIor ED or english Joumals Ema il:suxiaxu@xmu edu cn,iske2008@xmu edu cn W ebsite:htp://iske2008.xmu edu cn/ 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.enki.net
生导师 ,计算机及信息工程学院副院 长 ,通信与信息系统工程研究所所长 , 中国电子学会高级会员 ,中国计算机学 会高级会员 ,中国神经网络委员会委 ceedings of the IEEE International Conference on Integration Technology. Shenzhen, 2007, 20224. [ 9 ]LU Y, INAMURA M. Superresolution of the undersamp led and subp ixel shifted image sequence by a neural network [J ]. International Journal of Imaging System s and Technol2 ogy, 2004, 14 (1) : 8215. 作者简介 : 徐立中 ,男 , 1958年生 ,教授 ,博士 苏省科技进步二等奖 2项 ,三等奖 4项 ,获国家发明专利 3 项 ,实用新型专利 6项 ,计算机软件著作权证书 2项 ,发表学 术论文 100余篇 ,出版著作 4部. 石爱业 ,男 , 1969年生 ,讲师 ,主要 研究方向为信息融合、图像处理与分 析、遥感技术应用. 发表学术论文 10余 篇 ,出版专著 1部. 黄凤辰 ,男 , 1964年生 ,副研究员 , 中国电子学会高级会员 ,主要研究方向 为遥测遥控、信号处理与系统. 获国家 专利 4项 ,发表学术论文 10余篇. The 3th Interna tiona l Conference on Intelligent System & Knowledge Eng ineer ing 第三届智能系统与知识工程国际会议 ISKE 2008 is the 3 th International Conference on Intelligent System & Knowledge Engineering. The confer2 ence this year is technically co2sponsored by IEEE, Ghent University and Belgian Nuclear Research Centre, and organized by Xiamen University, Fuzhou University, Fujian Agri. & Fore. University, Jimei University, Sanm ing University and Hunan Institute of Humanities, Science & Tech. . It will be held from 17 to 18 Nov 2008 in Xia2 men, Fujian, China. W e invite subm issions of papers p resenting a high2quality original research and development for the conference tracks. Accep ted papers will be published in the IEEE categorized conference p roceedings sub2 m itted for indexing to EI and ISTP. Authors of selected papers will be invited to subm it revised and expanded ver2 sion of their papers to be considered for publication in the well2known international journals (SCI or E I) or english Journals. E2ma il: suxiaxu@xmu. edu. cn, iske2008@xmu. edu. cn W ebsite: http: / /iske2008. xmu. edu. cn / 第 4期 徐立中 ,等 :多源监测信息融合仿生复眼型系统模式及感知计算机理 ·335· 员,江苏省电子学会信号与线路专业委员会委员,江苏省计 算机学会人工智能专业委员会委员,江苏省制造业信息化示 范工程咨询专家组专家,主要研究方向为信息获取与处理、 遥测遥控、智能信息系统. 主持和完成 8项国家和省部级科 技计划项目 , 10余项测控系统和设备的研制工作 ,曾获江
