工程科学学报.第41卷.第12期：1512-1519.2019年12月 Chinese Journal of Engineering,Vol.41,No.12:1512-1519,December 2019 D0L:10.13374/.issn2095-9389.2019.03.08.001,http://journals.ustb.edu.cn 仿生扑翼飞行器的视觉感知系统研究进展 付强2)，陈向阳)，郑子亮)，李擎12)，贺 威1,2)✉ 1)北京科技大学自动化学院，北京1000832)北京科技大学人工智能研究院，北京100083 ☒通信作者，E-mail:wehe@ieee.org 摘要仿生扑翼飞行器是一类模仿鸟及昆虫通过机翼主动运动产生升力和推力的飞行器.因具有飞行效率高，机动性强、 隐蔽性好等优点，扑翼飞行器近年来受到越来越多的关注和研究.小型扑翼飞行器由于其精巧的结构和可操作性，能够适应 更复杂的环境，但也限制了其飞行负载能力和电池续航时间.在许多场景中，高质量和高功耗的传感器不再适用于扑翼飞行 器.自然界生物得到的信息绝大多数是通过视觉途径获取的.视觉作为一个获取信息的有效途径，在扑翼飞行器的应用中有 着不可替代的作用.视觉传感器具有质量轻、功耗低、图像信息丰富等优点，因此非常适合于搭载在扑翼飞行器上.随着微 电子、图像处理等技术的不断发展，以扑翼飞行器为平台的视觉感知系统也取得了重要进展.本文首先介绍了国内外几款有 代表性的扑翼飞行器的视觉感知系统，分为机载视觉感知系统和外部视觉感知系统两类：然后简述了三个系统关键技术即图像 消抖技术、目标检测与识别技术、目标跟踪技术的发展现状，进而总结发现扑冀飞行器的视觉感知系统研究目前还处于起步 阶段：最后指出图像消抖、机载实时处理、目标检测与识别、三维重建等可以作为扑翼飞行器视觉感知系统的未来研究方向 关键词扑翼飞行器：视觉感知：图像消抖：目标检测：目标跟踪 分类号TP242.6 Research progress on visual perception system of bionic flapping-wing aerial vehicles FU Qiang.CHEN Xiang-yang,ZHENG Zi-liang,LI Qing2 HE Wei2 1)School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:weihe@ieee.org ABSTRACT The bionic flapping-wing aerial vehicle(FWAV)is a kind of aerial vehicle that imitates birds and insects and generates lift and thrust forces using active wing movement Given its advantages,such as high flight efficiency,strong maneuverability,and good imperceptibility,FWAVs have attracted considerable attention from researchers in recent years.Given its compact structure and easy operation,the small FWAV can adapt itself to complex environments.However,some restrictions are also imposed on its onboard load capacity and battery endurance time.That is,sensors with large weight and high power consumption are no longer suitable for FWAVs in many scenarios.To the best of our knowledge,most of the information obtained by organisms from nature is acquired through vision. As an efficient way to obtain information,vision plays an irreplaceable role in the application of FWAVs.Vision sensors have many advantages,such as light weight,low power consumption,and rich image information.Therefore,these sensors are suitable for FWAVs. With the development of microelectronics and image processing technologies,visual perception systems of the FWAV have also made important progress.First,this study introduces the visual perception system of several representative FWAVs at home and abroad,which can be classified into two categories,ie.,onboard and off-board visual perception systems.Then,this study briefly reviews three key technologies of the visual perception system of FWAVs,namely,image stabilization,object detection and recognition,and object tracking technologies.As a result,research on the visual perception system of FWAVs is still at the initial stage.Finally,this study 收稿日期：2019-03-08 基金项目：国家重点研发计划资助项目(2017YFB1300102):国家自然科学基金青年基金资助项目(61803025)
仿生扑翼飞行器的视觉感知系统研究进展 付 强1,2)，陈向阳1)，郑子亮1)，李 擎1,2)，贺 威1,2) 苣 1) 北京科技大学自动化学院，北京 100083 2) 北京科技大学人工智能研究院，北京 100083 苣通信作者，E-mail: weihe@ieee.org 摘 要 仿生扑翼飞行器是一类模仿鸟及昆虫通过机翼主动运动产生升力和推力的飞行器. 因具有飞行效率高，机动性强、 隐蔽性好等优点，扑翼飞行器近年来受到越来越多的关注和研究. 小型扑翼飞行器由于其精巧的结构和可操作性，能够适应 更复杂的环境，但也限制了其飞行负载能力和电池续航时间. 在许多场景中，高质量和高功耗的传感器不再适用于扑翼飞行 器. 自然界生物得到的信息绝大多数是通过视觉途径获取的. 视觉作为一个获取信息的有效途径，在扑翼飞行器的应用中有 着不可替代的作用. 视觉传感器具有质量轻、功耗低、图像信息丰富等优点，因此非常适合于搭载在扑翼飞行器上. 随着微 电子、图像处理等技术的不断发展，以扑翼飞行器为平台的视觉感知系统也取得了重要进展. 本文首先介绍了国内外几款有 代表性的扑翼飞行器的视觉感知系统，分为机载视觉感知系统和外部视觉感知系统两类；然后简述了三个系统关键技术即图像 消抖技术、目标检测与识别技术、目标跟踪技术的发展现状，进而总结发现扑翼飞行器的视觉感知系统研究目前还处于起步 阶段；最后指出图像消抖、机载实时处理、目标检测与识别、三维重建等可以作为扑翼飞行器视觉感知系统的未来研究方向. 关键词 扑翼飞行器；视觉感知；图像消抖；目标检测；目标跟踪 分类号 TP242.6 Research progress on visual perception system of bionic flapping-wing aerial vehicles FU Qiang1,2) ，CHEN Xiang-yang1) ，ZHENG Zi-liang1) ，LI Qing1,2) ，HE Wei1,2) 苣 1) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 苣 Corresponding author, E-mail: weihe@ieee.org ABSTRACT The bionic flapping-wing aerial vehicle (FWAV) is a kind of aerial vehicle that imitates birds and insects and generates lift and thrust forces using active wing movement. Given its advantages, such as high flight efficiency, strong maneuverability, and good imperceptibility, FWAVs have attracted considerable attention from researchers in recent years. Given its compact structure and easy operation, the small FWAV can adapt itself to complex environments. However, some restrictions are also imposed on its onboard load capacity and battery endurance time. That is, sensors with large weight and high power consumption are no longer suitable for FWAVs in many scenarios. To the best of our knowledge, most of the information obtained by organisms from nature is acquired through vision. As an efficient way to obtain information, vision plays an irreplaceable role in the application of FWAVs. Vision sensors have many advantages, such as light weight, low power consumption, and rich image information. Therefore, these sensors are suitable for FWAVs. With the development of microelectronics and image processing technologies, visual perception systems of the FWAV have also made important progress. First, this study introduces the visual perception system of several representative FWAVs at home and abroad, which can be classified into two categories, i.e., onboard and off-board visual perception systems. Then, this study briefly reviews three key technologies of the visual perception system of FWAVs, namely, image stabilization, object detection and recognition, and object tracking technologies. As a result, research on the visual perception system of FWAVs is still at the initial stage. Finally, this study 收稿日期: 2019−03−08 基金项目: 国家重点研发计划资助项目（2017YFB1300102）；国家自然科学基金青年基金资助项目（61803025） 工程科学学报，第 41 卷，第 12 期：1512−1519，2019 年 12 月 Chinese Journal of Engineering, Vol. 41, No. 12: 1512−1519, December 2019 DOI：10.13374/j.issn2095-9389.2019.03.08.001; http://journals.ustb.edu.cn
付强等：仿生扑翼飞行器的视觉感知系统研究进展 ·1513· provides the future research directions of the visual perception system of FWAVs,such as image stabilization,onboard real-time processing,object detection and recognition,and three-dimensional reconstruction. KEY WORDS flapping-wing aerial vehicle;visual perception;image stabilization;object detection:object tracking 扑翼飞行器具有仿生的外形，早期在军事侦 察领域受到一定的关注，具有非常大的军事价值四 在工业界、政府和军队的不断推动下，扑翼飞行器 经历了一段快速发展的时期.相比于旋翼飞行器 和固定翼飞行器，扑翼飞行器具有较高的飞行效 率四，而且扑翼飞行器飞行时的噪音相比于另外两 者而言几乎可以忽略不计，其仿生的外形在执行 图1DeFyⅡ扑翼飞行器及立体视觉感知系统 侦察任务时也具有得天独厚的优势.在旋翼飞行 Fig.1 DelFly II flapping-wing aerial vehicle and stereo visual 器和固定翼飞行器大放异彩的今天，扑翼飞行器 perception system 也在朝着相似的方向不断发展，即智能化.视觉是 合并为一个，由来自左右摄像头的图像线交替组成 实现智能化不可缺少的手段，相较于其他传感器 在72s的飞行实验中，DeFyⅡ多次成功地避 而言，视觉传感器能够获取的信息非常丰富.因 开了室内办公空间7.3×8.2m2的墙壁.相比于单目 此，为扑翼飞行器装上一双“眼睛”是扑翼飞行器 视觉解决方案有了相当大的改进，甚至可以对低 能够跃上新的发展阶段不可缺少的一环， 纹理白墙进行合理的障碍物检测.实验清楚地展 由于飞行机制相较于其他无人飞行器有所不 示了立体视觉用于扑翼飞行器自主避障的潜力 同，扑翼飞行器可以做到很小的尺寸，同时在室内 结合现有的速度和高度控制方法，该系统使 飞行的能力允许扑翼飞行器执行人类不能做的任 扑翼飞行器完全自主控制成为可能.但是该扑翼 务.对于一些较为危险的地方，例如即将倒塌的建 机续航时间较短，且该视觉感知系统成像质量很 筑物，扑翼飞行器可以充分利用其灵活的飞行方 差，测量距离仅为4m,误差达到了30cm,只能应 式进行侦察，也可以对敌方的领土进行侦察.但是 用于简单的避障任务中，不能胜任较为复杂的任 由于扑翼飞行器的尺寸较小，载荷量较低，难以搭 务，这需要在未来的研究中继续改进 载较为先进的传感器以及应对计算量较大的视觉 1.1.2X翼型扑翼机 信息处理，进而导致采用视觉传感器较难完成预 韩国首尔大学的Seungwan Ryu等人改装了一 定的任务.然而，一些学者另辟蹊径，通过其他途 款已经商用的X翼型扑翼机（如图2所示），为其 径成功实现了一些视觉任务 配备了轻量级的第一人称主视角(first person view, 本文组织结构如下：第1部分列举了目前较为 FPV)摄像头.这款扑翼飞行器能够实现基本的目 典型的扑翼飞行器视觉感知系统的基本概况、原 标跟踪功能.Seungwan Ryu等人为其构建了一个 理以及其优缺点；第2部分介绍了视觉感知系统 控制和视觉算法集成的系统，该系统的地面站部 中的关键技术；第3部分归纳总结了扑翼飞行器 分（如图3所示）由视频转换单元、运动捕捉系统 视觉感知系统现阶段的不足及未来的发展方向； 和地面控制系统(ground control system,GCS)组成. 第4部分为论文的总结 (al (b) 1扑翼飞行器视觉感知系统的概况 1.1机载视觉感知系统 1.1.1 DelFlyII 荷兰代尔夫特理工大学的DelFly,包含一 个机载立体视觉感知系统（如图1所示）.该系统 包括两个以30Hz同步运行的采用互补金属氧化 物半导体(complementary metal oxide semiconductor, 图2修改过的X翼扑翼机的实验平台.()原始模型：(b)修改模型 CMOS)图像传感器的摄像头（分辨率为720×240像 Fig.2 Experimental platform of modified X-wing FWAV:(a)original 素).由于系统只有一个发射器，两个摄像头的视频流 model;(b)modified model
provides the future research directions of the visual perception system of FWAVs, such as image stabilization, onboard real-time processing, object detection and recognition, and three-dimensional reconstruction. KEY WORDS flapping-wing aerial vehicle；visual perception；image stabilization；object detection；object tracking 扑翼飞行器具有仿生的外形，早期在军事侦 察领域受到一定的关注，具有非常大的军事价值[1] . 在工业界、政府和军队的不断推动下，扑翼飞行器 经历了一段快速发展的时期. 相比于旋翼飞行器 和固定翼飞行器，扑翼飞行器具有较高的飞行效 率[2] ，而且扑翼飞行器飞行时的噪音相比于另外两 者而言几乎可以忽略不计，其仿生的外形在执行 侦察任务时也具有得天独厚的优势. 在旋翼飞行 器和固定翼飞行器大放异彩的今天，扑翼飞行器 也在朝着相似的方向不断发展，即智能化. 视觉是 实现智能化不可缺少的手段，相较于其他传感器 而言，视觉传感器能够获取的信息非常丰富. 因 此，为扑翼飞行器装上一双“眼睛”是扑翼飞行器 能够跃上新的发展阶段不可缺少的一环. 由于飞行机制相较于其他无人飞行器有所不 同，扑翼飞行器可以做到很小的尺寸，同时在室内 飞行的能力允许扑翼飞行器执行人类不能做的任 务. 对于一些较为危险的地方，例如即将倒塌的建 筑物，扑翼飞行器可以充分利用其灵活的飞行方 式进行侦察，也可以对敌方的领土进行侦察. 但是 由于扑翼飞行器的尺寸较小，载荷量较低，难以搭 载较为先进的传感器以及应对计算量较大的视觉 信息处理，进而导致采用视觉传感器较难完成预 定的任务. 然而，一些学者另辟蹊径，通过其他途 径成功实现了一些视觉任务. 本文组织结构如下：第 1 部分列举了目前较为 典型的扑翼飞行器视觉感知系统的基本概况、原 理以及其优缺点；第 2 部分介绍了视觉感知系统 中的关键技术；第 3 部分归纳总结了扑翼飞行器 视觉感知系统现阶段的不足及未来的发展方向； 第 4 部分为论文的总结. 1 扑翼飞行器视觉感知系统的概况 1.1 机载视觉感知系统 1.1.1 DelFlyII 荷兰代尔夫特理工大学的 DelFly II[3] ，包含一 个机载立体视觉感知系统（如图 1 所示）. 该系统 包括两个以 30 Hz 同步运行的采用互补金属氧化 物半导体（complementary metal oxide semiconductor, CMOS）图像传感器的摄像头（分辨率为 720×240 像 素）. 由于系统只有一个发射器，两个摄像头的视频流 合并为一个，由来自左右摄像头的图像线交替组成[4] . 在 72 s 的飞行实验中，DelFly II 多次成功地避 开了室内办公空间 7.3×8.2 m2 的墙壁. 相比于单目 视觉解决方案有了相当大的改进，甚至可以对低 纹理白墙进行合理的障碍物检测. 实验清楚地展 示了立体视觉用于扑翼飞行器自主避障的潜力. 结合现有的速度和高度控制方法，该系统使 扑翼飞行器完全自主控制成为可能. 但是该扑翼 机续航时间较短，且该视觉感知系统成像质量很 差，测量距离仅为 4 m，误差达到了 30 cm，只能应 用于简单的避障任务中，不能胜任较为复杂的任 务，这需要在未来的研究中继续改进. 1.1.2 X 翼型扑翼机 韩国首尔大学的 Seungwan Ryu 等人改装了一 款已经商用的 X 翼型扑翼机[5] （如图 2 所示），为其 配备了轻量级的第一人称主视角（first person view, FPV）摄像头. 这款扑翼飞行器能够实现基本的目 标跟踪功能. Seungwan Ryu 等人为其构建了一个 控制和视觉算法集成的系统，该系统的地面站部 分（如图 3 所示）由视频转换单元、运动捕捉系统 和地面控制系统（ground control system, GCS）组成. 图 1 DelFly II 扑翼飞行器及立体视觉感知系统 Fig.1 DelFly II flapping-wing aerial vehicle and stereo visual perception system (a) (b) 图 2 修改过的 X 翼扑翼机的实验平台. (a) 原始模型 ；(b) 修改模型 Fig.2 Experimental platform of modified X-wing FWAV： （a） original model； （b） modified model 付 强等： 仿生扑翼飞行器的视觉感知系统研究进展 · 1513 ·
.1514 工程科学学报，第41卷，第12期 示)仿照狐蝠的外形，并以技术手段模拟了它独特 的飞行模式门.通过一个外置运动捕捉系统， BionicFlyingFox能够在特定空间内进行半自主飞 封算机 行.这套运动捕捉系统主要由两台红外相机组成， 如图5所示.通过与运动捕捉系统相互配合， 图3X翼扑翼飞行器与地面站的集成架构 BionicFlyingFox的整个飞行过程都能够被实时捕 Fig.3 Integration architecture of the X-wing FWAV platform with 捉.主机会对BinoicFlyingFox的运动路径进行实 ground station 时计算，预先确定下一时刻的飞行轨迹.主机能对 该视觉感知系统有很多优点.首先，可以通过 算法进行学习，同时这套算法也能通过自主学习 与地面站的通信实时查看飞行器拍摄的图像.其 被不断改进.通过运动捕捉系统，BionicFlyingFox 次，将复杂的图像处理移至地面站进行.此外，将 可在飞行中不断地优化飞行轨迹，更精准地沿着 视觉检测算法应用到FPV摄像头拍摄的图像上来 既定轨迹进行绕圈飞行 检测静态目标.实验结果也验证了这套视觉感知 系统的目标检测和跟踪功能达到了令人满意的性能 但是它使用的轻量级第一人称主视角摄像头依然 存在成像质量较差的问题，同时其使用的图传系 统传输距离较短难以实现远距离的目标跟踪.此 外，对动态目标检测功能的缺失使其实用性不高 1.1.3 Dove 国内西北工业大学宋笔锋教授团队研发了一 款名为Dove的扑翼飞行器（如图4所示）.Dove 图5 BinoicFlyingFox与外部红外相机系统 机载摄像头使用OV7725感光器，可以将现场稳定 Fig.5 BionicFlyingFox and off-board infrared camera system 的彩色视频传输到4km以外的地面站 BinoicFlyingFox具有十分优秀的飞行能力， 且BinoicFlyingFox的外观与自然界的孤蝠十分相 数据链路天线 似，具有良好的仿生性.然而BinoicFlyingFox使用 的红外相机场景信息还原性较差，由于没有机载 摄像头，视觉应用的场景较为单一图 扑翼机械结构 一舵机 1.2.2 H2Bird 数据链接 飞控系统 美国加州大学伯克利分校Julian等人开发了 空速计 摄像头 一款名为H2Bird的扑翼飞行器9（如图6所示）， GPS天线 电池 针对该扑翼机开发了一个地面站，H2Bird的板载 图4Dove的结构图 控制器携带一个采用视频图形阵列(video graphics Fig.4 Structure of Dove array,VGA)接口的摄像头.在常规飞行中，H2Bird Dove的视觉感知系统是由一个微型彩色摄像 的平均地面速度为1.2ms,飞行时间约为10min 机和图像处理单元相结合的数字数据链子系统组 成.数字数据链子系统用于执行可靠的数字通信， 以此来传输远程控制命令、遥测数据以及视频流 数据.经过实验验证，Dove已经具备了一定的执 行视觉任务的能力，不仅飞行时长长达30min,视 频传输距离也达到了4km以上.但Dove的视觉 感知系统的功能目前还仅限于航拍，功能还较为 单一，仍有广阔的发展空间. 1.2外部视觉感知系统 1.2.1 BinoicFlyingFox 图6H2Bird扑翼机 德国Festo公司的BinoicFlyingFox(如图5所 Fig.6 H2Bird ornithopter MAV
该视觉感知系统有很多优点. 首先，可以通过 与地面站的通信实时查看飞行器拍摄的图像. 其 次，将复杂的图像处理移至地面站进行. 此外，将 视觉检测算法应用到 FPV 摄像头拍摄的图像上来 检测静态目标. 实验结果也验证了这套视觉感知 系统的目标检测和跟踪功能达到了令人满意的性能. 但是它使用的轻量级第一人称主视角摄像头依然 存在成像质量较差的问题，同时其使用的图传系 统传输距离较短难以实现远距离的目标跟踪. 此 外，对动态目标检测功能的缺失使其实用性不高. 1.1.3 Dove 国内西北工业大学宋笔锋教授团队研发了一 款名为 Dove 的扑翼飞行器[6] （如图 4 所示）. Dove 机载摄像头使用 OV7725 感光器，可以将现场稳定 的彩色视频传输到 4 km 以外的地面站. Dove 的视觉感知系统是由一个微型彩色摄像 机和图像处理单元相结合的数字数据链子系统组 成. 数字数据链子系统用于执行可靠的数字通信， 以此来传输远程控制命令、遥测数据以及视频流 数据. 经过实验验证，Dove 已经具备了一定的执 行视觉任务的能力，不仅飞行时长长达 30 min，视 频传输距离也达到了 4 km 以上. 但 Dove 的视觉 感知系统的功能目前还仅限于航拍，功能还较为 单一，仍有广阔的发展空间. 1.2 外部视觉感知系统 1.2.1 BinoicFlyingFox 德 国 Festo 公 司 的 BinoicFlyingFox（ 如 图 5 所 示）仿照狐蝠的外形，并以技术手段模拟了它独特 的飞行模式 [7] . 通过一个外置运动捕捉系统 ， BionicFlyingFox 能够在特定空间内进行半自主飞 行. 这套运动捕捉系统主要由两台红外相机组成， 如 图 5 所 示 . 通过与运动捕捉系统相互配合 ， BionicFlyingFox 的整个飞行过程都能够被实时捕 捉. 主机会对 BinoicFlyingFox 的运动路径进行实 时计算，预先确定下一时刻的飞行轨迹. 主机能对 算法进行学习，同时这套算法也能通过自主学习 被不断改进. 通过运动捕捉系统，BionicFlyingFox 可在飞行中不断地优化飞行轨迹，更精准地沿着 既定轨迹进行绕圈飞行. BinoicFlyingFox 具有十分优秀的飞行能力 ， 且 BinoicFlyingFox 的外观与自然界的狐蝠十分相 似，具有良好的仿生性. 然而 BinoicFlyingFox 使用 的红外相机场景信息还原性较差，由于没有机载 摄像头，视觉应用的场景较为单一[8] . 1.2.2 H2Bird 美国加州大学伯克利分校 Julian 等人开发了 一款名为 H2Bird 的扑翼飞行器[9] （如图 6 所示）， 针对该扑翼机开发了一个地面站. H2Bird 的板载 控制器携带一个采用视频图形阵列（video graphics array，VGA）接口的摄像头. 在常规飞行中，H2Bird 的平均地面速度为 1.2 m·s−1，飞行时间约为 10 min. 致动器 电机 电池 遥控接收器 扑翼机 FPV摄像头 发射器 电池 视觉模块 + 地面站 接收器 视频转换器 视频转换单元 计算机 Ardunio板 电机驱动 遥控发射器 Vicon系统 地面控制系统 图 3 X 翼扑翼飞行器与地面站的集成架构 Fig.3 Integration architecture of the X-wing FWAV platform with ground station 扑翼机械结构 GPS天线 电池 摄像头 飞控系统 数据链接 数据链路天线 舵机 空速计 图 4 Dove 的结构图 Fig.4 Structure of Dove 图 5 BinoicFlyingFox 与外部红外相机系统 Fig.5 BionicFlyingFox and off-board infrared camera system 图 6 H2Bird 扑翼机 Fig.6 H2Bird ornithopter MAV · 1514 · 工程科学学报，第 41 卷，第 12 期
付强等：仿生扑冀飞行器的视觉感知系统研究进展 1515 地面站使用基于粒子滤波的运动跟踪算法© 配合机载的采用视频图形阵列接口的摄像头及地 面摄像头对H2Bird进行简单的二维姿态估计.整 个协作系统如图7所示.在实际飞行实验中，H2Bird 与地面站配合实现了飞跃窗口等动作，并使用计 算机视觉技术成功完成了目标搜索任务，为扑翼 飞行器提供航向估计 相机框架位置 指向 致动器 目标 错误 「开始 微控 摄像头 指向 无线电 计算 单元 飞行动力 估计指向 图8哈佛仿昆虫飞行器 气压计 地面站 姿态 H2bird 信息 Fig.8 Insect-scale flapping-wing aerial vehicle by Harvard 图7H2Bird的协同控制系统 无线收发器 Vicon摄像头 Fig.7 Cooperative control system of H2Bird Julian为整个协作系统开发了一个动力学模型 来确定真实系统的模型参数，并使用狭窄通道飞行 FWAV 用户 实验来验证了这个模型.该模型准确地预测了 高速相机 H2Bird的飞行路径，使其成功飞过了狭窄的通道 监控计算机系统 这种建模方法可用于以低计算成本预测协作系统的 性能，即使缺乏关于扑翼飞行器完整的姿态信息，此 模型也可用于确定何时开始控制具有较高的成功概 图9仿昆虫飞行器的Vicon运动捕捉系统 率.但是这种控制系统的实用性还有待进一步提高 Fig.9 Vicon motion capture system of insect-scale flapping-wing aerial vehicle 1.2.3哈佛仿昆虫飞行器 哈佛微机器人实验室Rosen等研发了一种新 飞行器的推力产生、空气动力学特性和飞行性能 型仿昆虫扑翼微型飞行器（如图8所示）.这款 等方面具有非常大的价值.另一方面，目前面向扑 扑翼飞行器的重量仅为3.2g,翼展为l6cm.Rosen 翼飞行器的建模研究还处于起步阶段，这套运动 等利用Vicon搭建了一套视觉运动捕捉系统（如 捕捉系统对扑翼飞行器建模领域具有重要的意义) 图9所示)，扑翼飞行器在十个ViconT系列摄像 从上面的描述和表1可以看出，目前以扑翼飞 机的运动捕捉区域中飞行.在实验中，扑翼飞行器 行器为平台的视觉感知系统功能还相对单一，对 能够进行一系列稳定飞行.飞行的数据被Vicon 于在旋翼和固定翼飞行器平台上应用较为成熟的 系统、高速摄像机和机载传感器同时捕获2) 目标跟踪、导航定位等实用性较高的视觉功能，扑 这套基于视觉的运动捕捉系统，在研究扑翼 翼飞行器仍未大规模使用. 表1视觉感知系统对比 Table 1 Comparison of visual perception systems 系统平台 制作单位 种类 摄像头数量 消抖跟踪 DelFly II Delft 机载 双目 有 无 X翼扑翼机 首尔大学 机载+外部 单目+地面Vicon系统 无 有 Dove 西北工业大学 机载 单目 有 无 BinoicFlyingFox Festo 外部 双红外镜头 无 无 H2Bird UC Berkeley 外部 单目 无 在 仿昆虫飞行器 哈佛大学 外部 10个Vicon摄像头 无 无 2系统关键技术 运转，不可避免地会有一定程度的振动.尤其是扑 2.1图像消抖技术 翼飞行器采用扑动翅膀来产生升力的飞行机制， 无人机在飞行过程中，由于驱动结构的高速 会产生十分强烈的振动.这就造成了机载摄像头
地面站使用基于粒子滤波的运动跟踪算法[10] 配合机载的采用视频图形阵列接口的摄像头及地 面摄像头对 H2Bird 进行简单的二维姿态估计. 整 个协作系统如图 7 所示. 在实际飞行实验中，H2Bird 与地面站配合实现了飞跃窗口等动作，并使用计 算机视觉技术成功完成了目标搜索任务，为扑翼 飞行器提供航向估计. Julian 为整个协作系统开发了一个动力学模型 来确定真实系统的模型参数，并使用狭窄通道飞行 实验来验证了这个模型. 该模型准确地预测了 H2Bird 的飞行路径，使其成功飞过了狭窄的通道. 这种建模方法可用于以低计算成本预测协作系统的 性能，即使缺乏关于扑翼飞行器完整的姿态信息，此 模型也可用于确定何时开始控制具有较高的成功概 率. 但是这种控制系统的实用性还有待进一步提高. 1.2.3 哈佛仿昆虫飞行器 哈佛微机器人实验室 Rosen 等研发了一种新 型仿昆虫扑翼微型飞行器[11] （如图 8 所示）. 这款 扑翼飞行器的重量仅为 3.2 g，翼展为 16 cm. Rosen 等利用 Vicon 搭建了一套视觉运动捕捉系统（如 图 9 所示），扑翼飞行器在十个 Vicon T 系列摄像 机的运动捕捉区域中飞行. 在实验中，扑翼飞行器 能够进行一系列稳定飞行. 飞行的数据被 Vicon 系统、高速摄像机和机载传感器同时捕获[12] . 这套基于视觉的运动捕捉系统，在研究扑翼 飞行器的推力产生、空气动力学特性和飞行性能 等方面具有非常大的价值. 另一方面，目前面向扑 翼飞行器的建模研究还处于起步阶段，这套运动 捕捉系统对扑翼飞行器建模领域具有重要的意义[13] . 从上面的描述和表 1 可以看出，目前以扑翼飞 行器为平台的视觉感知系统功能还相对单一，对 于在旋翼和固定翼飞行器平台上应用较为成熟的 目标跟踪、导航定位等实用性较高的视觉功能，扑 翼飞行器仍未大规模使用. 2 系统关键技术 2.1 图像消抖技术 无人机在飞行过程中，由于驱动结构的高速 运转，不可避免地会有一定程度的振动. 尤其是扑 翼飞行器采用扑动翅膀来产生升力的飞行机制， 会产生十分强烈的振动. 这就造成了机载摄像头 摄像头 开始 计算 相机框架位置 地面站 无线电 微控制 单元 指向 错误 估计指向 致动器 输入 气压计 H2bird 目标 指向 姿态 信息 飞行动力 图 7 H2Bird 的协同控制系统 Fig.7 Cooperative control system of H2Bird 图 8 哈佛仿昆虫飞行器 Fig.8 Insect-scale flapping-wing aerial vehicle by Harvard Vicon摄像头 FWAV 无线收发器 发射台 高速相机 监控计算机系统 用户 图 9 仿昆虫飞行器的 Vicon 运动捕捉系统 Fig.9 Vicon motion capture system of insect-scale flapping-wing aerial vehicle 表 1 视觉感知系统对比 Table 1 Comparison of visual perception systems 系统平台 制作单位 种类 摄像头数量 消抖 跟踪 DelFly II Delft 机载 双目 有 无 X翼扑翼机 首尔大学 机载+外部 单目+地面Vicon系统 无 有 Dove 西北工业大学 机载 单目 有 无 BinoicFlyingFox Festo 外部 双红外镜头 无 无 H2Bird UC Berkeley 外部 单目 无 无 仿昆虫飞行器 哈佛大学 外部 10个Vicon摄像头 无 无 付 强等： 仿生扑翼飞行器的视觉感知系统研究进展 · 1515 ·
1516 工程科学学报，第41卷，第12期 拍摄出来的视频会有抖动，想要获得清晰稳定 题，消抖算法在完成航拍及其它任务中起着至关 的航拍图像，消抖是其中重要的一环，目前采用云 重要的作用 台消抖和图像算法消抖已经成为主流的手段 无人机在飞行过程中，如果向某一角度倾斜 时，陀螺仪捕捉到这个变化后会利用算法加强倾 斜角度方向的动力，通过补偿使无人机恢复平衡) 无人机机载云台正是利用了类似的原理6一般 无人机云台都能满足相机活动的三个自由度：绕 X、Y、Z轴旋转，每个轴心内都安装有电机或者舵 图11Dove的机载摄像头捕获的图像 机.如图10所示为国内生产的一款微型机载云 Fig.11 Image captured by the onboard camera of Dove 台，重量只有30g左右.当无人机倾斜时，控制系 统会配合陀螺仪给相应的云台舵机发出信息以加 扑翼机要获得清晰的航拍图像，消抖是迫切 强反方向的动力刃，防止相机跟着无人机“倾斜”， 需要解决的问题.对于扑翼机突然变化飞行动作， 从而避免相机剧烈抖动 硬件消抖主要能够对机载相机拍摄图像起着缓冲 的作用，保证相机的平缓拍摄.后期算法的消抖， 主要是对飞行器自身规律的飞行动作进行图像的 消抖处理2]通过硬件上缓解相机的抖动和图像 后期算法的消抖处理，有望得到理想的航拍图像. 2.2目标检测与识别技术 当下旋翼飞行器和固定翼飞行器的快速发 展，使无人机对地面目标检测和识别技术成为研 图10微型机载云台 究的热点网，传统的基于图像特征的视觉检测算 Fig.10 Miniature onboard pan-tilt 法由于其速度快的优点，在无人机领域应用较多 随着人工智能的兴起，计算机视觉得到了极大的 电子稳像算法的过程就是通过对系统捕捉到 发展，涌现出了许多优秀的目标检测算法，基于 的视频进行运动补偿1，之后输出补偿过的视频 深度学习的目标检测算法也逐渐在无人机领域应 通过这种补偿方法，能够在一定程度上消除抖动例 用开来 视频图像消抖的方法一般是通过相邻两帧图像的 目前的目标检测与识别技术在旋翼和固定翼 信息计算出一个全局运动参数，之后对全局运动 飞行器平台应用较多.例如，亚利桑那大学Minaeian 参数进行滤波操作来达到消除抖动的效果.如何 团队提出了一种新的基于视觉的目标检测和定位 通过相邻两帧的信息得到全局运动参数是视频消 系统，充分利用了无人机和无人车协同作战的能 抖的关键20 力27.澳大利亚新南威尔士大学Lin等设计了一 目前针对旋翼和固定翼飞行器已经有很多成 种新的视觉感知系统，将目标的边缘信息用于线 熟的消抖算法.例如，西班牙加泰罗尼亚理工大学 段检测，特征点映射和聚类，然后将级联滤波方案 Aguilar与Angulo提出了一种新的视频稳定方法， 应用于目标识别对于扑翼飞行器，目标检测与 可以实时使用而不会产生错误的运动，采用几何 识别技术应用较少.加州大学伯克利分校Baek等 变换和拒绝异常值的组合来获得帧间运动估计川 利用小型X翼扑翼机及摄像头实现了扑翼飞行器 新加坡国立大学Lim等设计了一个适用于无人机 自主飞向指定目标的功能，.利用机载视觉传感 全局运动的模型并提出了一种新的稳像算法，以 器等检测目标的位置信息，同时利用机载处理器 解决无人机的实时视频稳定问题.如今面向扑 实现对扑翼飞行器的控制.Baek等利用卡尔曼滤 翼飞行器的消抖算法较少，国内西北工业大学为 波方法和摄像头开发了一种航位推算算法，即使 其Dove扑翼飞行器设计了一款图像消抖软件，可 目标信息暂时丢失，也能够使扑翼飞行器飞向目 以在地面站计算机上实时运行，进行图像的消抖 标.实验结果显示，飞向目标的28cm翼展扑翼飞 处理.机载摄像头拍摄的图像清晰可辨（如图1山 行器能降落在离目标0.5m半径范围内，成功率超 所示)，消除了扑动飞行引起的大部分图像抖动问 过85%
拍摄出来的视频会有抖动[14] . 想要获得清晰稳定 的航拍图像，消抖是其中重要的一环. 目前采用云 台消抖和图像算法消抖已经成为主流的手段. 无人机在飞行过程中，如果向某一角度倾斜 时，陀螺仪捕捉到这个变化后会利用算法加强倾 斜角度方向的动力，通过补偿使无人机恢复平衡[15] . 无人机机载云台正是利用了类似的原理[16] . 一般 无人机云台都能满足相机活动的三个自由度：绕 X、Y、Z 轴旋转，每个轴心内都安装有电机或者舵 机. 如图 10 所示为国内生产的一款微型机载云 台，重量只有 30 g 左右. 当无人机倾斜时，控制系 统会配合陀螺仪给相应的云台舵机发出信息以加 强反方向的动力[17] ，防止相机跟着无人机“倾斜”， 从而避免相机剧烈抖动. 电子稳像算法的过程就是通过对系统捕捉到 的视频进行运动补偿[18] ，之后输出补偿过的视频. 通过这种补偿方法，能够在一定程度上消除抖动[19] . 视频图像消抖的方法一般是通过相邻两帧图像的 信息计算出一个全局运动参数，之后对全局运动 参数进行滤波操作来达到消除抖动的效果. 如何 通过相邻两帧的信息得到全局运动参数是视频消 抖的关键[20] . 目前针对旋翼和固定翼飞行器已经有很多成 熟的消抖算法. 例如，西班牙加泰罗尼亚理工大学 Aguilar 与 Angulo 提出了一种新的视频稳定方法， 可以实时使用而不会产生错误的运动，采用几何 变换和拒绝异常值的组合来获得帧间运动估计[21] . 新加坡国立大学 Lim 等设计了一个适用于无人机 全局运动的模型并提出了一种新的稳像算法，以 解决无人机的实时视频稳定问题[22] . 如今面向扑 翼飞行器的消抖算法较少，国内西北工业大学为 其 Dove 扑翼飞行器设计了一款图像消抖软件，可 以在地面站计算机上实时运行[6] ，进行图像的消抖 处理. 机载摄像头拍摄的图像清晰可辨（如图 11 所示），消除了扑动飞行引起的大部分图像抖动问 题，消抖算法在完成航拍及其它任务中起着至关 重要的作用. 扑翼机要获得清晰的航拍图像，消抖是迫切 需要解决的问题. 对于扑翼机突然变化飞行动作， 硬件消抖主要能够对机载相机拍摄图像起着缓冲 的作用，保证相机的平缓拍摄. 后期算法的消抖， 主要是对飞行器自身规律的飞行动作进行图像的 消抖处理[23] . 通过硬件上缓解相机的抖动和图像 后期算法的消抖处理，有望得到理想的航拍图像. 2.2 目标检测与识别技术 当下旋翼飞行器和固定翼飞行器的快速发 展，使无人机对地面目标检测和识别技术成为研 究的热点[24] . 传统的基于图像特征的视觉检测算 法由于其速度快的优点，在无人机领域应用较多. 随着人工智能的兴起，计算机视觉得到了极大的 发展，涌现出了许多优秀的目标检测算法[25] ，基于 深度学习的目标检测算法也逐渐在无人机领域应 用开来[26] . 目前的目标检测与识别技术在旋翼和固定翼 飞行器平台应用较多. 例如，亚利桑那大学 Minaeian 团队提出了一种新的基于视觉的目标检测和定位 系统，充分利用了无人机和无人车协同作战的能 力[27] . 澳大利亚新南威尔士大学 Lin 等设计了一 种新的视觉感知系统，将目标的边缘信息用于线 段检测，特征点映射和聚类，然后将级联滤波方案 应用于目标识别[28] . 对于扑翼飞行器，目标检测与 识别技术应用较少. 加州大学伯克利分校 Baek 等 利用小型 X 翼扑翼机及摄像头实现了扑翼飞行器 自主飞向指定目标的功能[29] . 利用机载视觉传感 器等检测目标的位置信息，同时利用机载处理器 实现对扑翼飞行器的控制. Baek 等利用卡尔曼滤 波方法和摄像头开发了一种航位推算算法，即使 目标信息暂时丢失，也能够使扑翼飞行器飞向目 标. 实验结果显示，飞向目标的 28 cm 翼展扑翼飞 行器能降落在离目标 0.5 m 半径范围内，成功率超 过 85%. 图 10 微型机载云台 Fig.10 Miniature onboard pan–tilt (a) (b) 图 11 Dove 的机载摄像头捕获的图像 Fig.11 Image captured by the onboard camera of Dove · 1516 · 工程科学学报，第 41 卷，第 12 期
付强等：仿生扑翼飞行器的视觉感知系统研究进展 ·1517 随着计算机视觉技术的不断发展，目标检测 的时候没有更新网络，只有一个计算前馈网络的 与识别技术的准确率不断地增长.在2015年的 过程，使得算法运行速度达到了100fps3,克服了 ImageNet的分类比赛中，由微软亚洲研究院何恺 基于深度学习的目标跟踪算法速度较慢的缺点 明团队提出的深度残差网络(deep residual 目前已经有了许多以旋翼飞行器为平台的目 networks)B0取得了3.57%的分类错误率，不仅夺 标跟踪技术的应用.例如，澳大利亚阿德莱德大 得了当年的ImageNet的分类大赛冠军，同时这个 学Milan等提出了一种基于循环神经网络的在线 成绩更是超过了接受过训练的人在ImageNet数据 多目标跟踪的新方法阿，用以解决多目标跟踪时 集上对图片进行分类的成绩(5.1%).2015年美国 应用复杂模型需要繁琐的参数调整问题.浙江大 华盛顿大学Redmon等提出的YOLO目标检测算 学陈朋等基于高通公司的Snapdragon飞控平台提 法别代表着当下目标检测算法的最高水平之一， 出了一种目标跟踪方法，通过融合惯性测量单元 同时，YOLO算法较高的运行速度以及较高的准 数据、全球定位系统数据和运动物体检测结果来 确率已经满足了工业应用的要求.随着深度学习 计算物体坐标系与无人机之间的相对位置，所有 技术的不断发展，速度更快、准确率更高的算法将 算法都在Qualcomm平台上实时运行3o目标跟踪 会越来越多 技术对于小型扑翼飞行器的室内飞行是不可或缺 将优秀的目标检测与识别算法应用到无人机 的.例如，代尔夫特理工大学Scheper等利用DelFly 平台，能够使无人机更加智能.扑翼飞行器的视觉 Explorer来执行室内自主多房间导航探索任务B7 感知系统要实现智能化，首先就要将目标检测与 使用基于单目彩色图像的Snake-.gate检测算法得 识别技术成功的移植到扑翼飞行器上.由于扑翼 到门的位置，触发基于航向的门通道算法，并朝着 飞行器自身的载重问题限制，无法搭载高性能处 门的方向飞行.实际测试中，在由走廊隔开的两个 理器进行实时检测，所以现阶段的目标检测与识 房间之间，扑翼飞行器可以连续成功导航，展示了 别的中间计算过程大多需要地面计算机辅助处理 扑翼飞行器进行自主导航的潜力 2.3目标跟踪技术 目标跟踪技术是实现扑翼飞行器自主飞行的 目标跟踪技术是目标检测与识别技术的一种 关键技术，例如对于障碍物的躲避，需要目标检 延伸.但对于无人机而言是一个巨大的桃战.在高 测与识别算法能够发现和识别障碍物，而对于移 空飞行时，摄像头的视野极其开阔，但是目标的面 动的物体，则需要目标跟踪技术预测物体的移动 积相对于视野的面积而言，显得很小.同时由于建 方向，及时调整扑翼飞行器的方向.扑翼飞行器在 筑物遮挡，相似的背景干扰，光照问题等，使得目 这个技术上主要的问题是在高空飞行时，目标物 标跟踪变得十分困难四， 体在全局下不明显，存在遮挡、光照等影响跟踪效 大多数无人机目标跟踪算法都会包括图像输 果的问题，要通过选用较高像素的摄像头以及鲁 入、外观特征描述、环境信息集成、决策和模态更 棒性更高、稳定性更强的算法来提高跟踪效果，保 新等过程.对于不同的方法，重点不一样，因此设 证自主飞行的安全性 计的目标跟踪的方案会有所不同，早期的目标跟 3未来发展趋势 踪多以经典跟踪方法为主，如粒子滤波(particle filter)、均值漂移(meanshift)等.粒子滤波方法在 通过第1节和第2节的内容介绍，我们可以看 目标跟踪领域取得了巨大成功，它首先对跟踪 出现阶段扑翼飞行器的视觉感知系统研究还处于 目标进行建模，并定义一种相似度度量确定粒子 一个起步阶段o尽管近几年来出现了一些突破 与目标的匹配程度来确保在更大概率上跟踪上目 性成果，但是相比于旋翼和固定翼飞行器的视觉 标).近几年来深度学习的高速发展也带动了目 感知系统而言，仍处于一个较低的水平，扑翼飞行 标跟踪算法的发展.斯坦福大学David Held提出 器的视觉感知系统仍有大量问题有待进一步的深 了GOTURN算法，该算法将上一帧图像中的目标 入研究，主要涉及以下几个方面： 和当前帧的图像同时输入卷积神经网络 (I)目前的图像消抖技术还不足以应对扑翼 (convolutional neural network,CNN)的卷积层(conv 飞行所带来的剧烈抖动.图像的剧烈抖动一方面 layers),然后将直接传入通过全连接层(fully- 会造成图像模糊，另一方面对图像处理单元造成 connected layers),通过这种方法得到当前帧中目 较大的负担)目前的微型云台虽然一定程度上 标的位置信息.同时网络的训练是离线的，在跟踪 能够减轻抖动，但随着扑翼飞行器的不断发展，其
随着计算机视觉技术的不断发展，目标检测 与识别技术的准确率不断地增长. 在 2015 年的 ImageNet 的分类比赛中，由微软亚洲研究院何恺 明 团 队 提 出 的 深 度 残 差 网 络 （ deep residual networks） [30] 取得了 3.57% 的分类错误率，不仅夺 得了当年的 ImageNet 的分类大赛冠军，同时这个 成绩更是超过了接受过训练的人在 ImageNet 数据 集上对图片进行分类的成绩（5.1%）. 2015 年美国 华盛顿大学 Redmon 等提出的 YOLO 目标检测算 法[31] 代表着当下目标检测算法的最高水平之一， 同时，YOLO 算法较高的运行速度以及较高的准 确率已经满足了工业应用的要求. 随着深度学习 技术的不断发展，速度更快、准确率更高的算法将 会越来越多. 将优秀的目标检测与识别算法应用到无人机 平台，能够使无人机更加智能. 扑翼飞行器的视觉 感知系统要实现智能化，首先就要将目标检测与 识别技术成功的移植到扑翼飞行器上. 由于扑翼 飞行器自身的载重问题限制，无法搭载高性能处 理器进行实时检测，所以现阶段的目标检测与识 别的中间计算过程大多需要地面计算机辅助处理. 2.3 目标跟踪技术 目标跟踪技术是目标检测与识别技术的一种 延伸，但对于无人机而言是一个巨大的挑战. 在高 空飞行时，摄像头的视野极其开阔，但是目标的面 积相对于视野的面积而言，显得很小. 同时由于建 筑物遮挡，相似的背景干扰，光照问题等，使得目 标跟踪变得十分困难[32] . 大多数无人机目标跟踪算法都会包括图像输 入、外观特征描述、环境信息集成、决策和模态更 新等过程. 对于不同的方法，重点不一样，因此设 计的目标跟踪的方案会有所不同. 早期的目标跟 踪多以经典跟踪方法为主，如粒子滤波（ particle filter）、均值漂移（meanshift）等. 粒子滤波方法在 目标跟踪领域取得了巨大成功，它首先对跟踪 目标进行建模，并定义一种相似度度量确定粒子 与目标的匹配程度来确保在更大概率上跟踪上目 标[33] . 近几年来深度学习的高速发展也带动了目 标跟踪算法的发展. 斯坦福大学 David Held 提出 了 GOTURN 算法，该算法将上一帧图像中的目标 和 当 前 帧 的 图 像 同 时 输 入 卷 积 神 经 网 络 （convolutional neural network，CNN）的卷积层（conv layers） ，然后将直接传入通过全连接层 （ fullyconnected layers），通过这种方法得到当前帧中目 标的位置信息. 同时网络的训练是离线的，在跟踪 的时候没有更新网络，只有一个计算前馈网络的 过程，使得算法运行速度达到了 100 fps[34] ，克服了 基于深度学习的目标跟踪算法速度较慢的缺点. 目前已经有了许多以旋翼飞行器为平台的目 标跟踪技术的应用. 例如，澳大利亚阿德莱德大 学 Milan 等提出了一种基于循环神经网络的在线 多目标跟踪的新方法[35] ，用以解决多目标跟踪时 应用复杂模型需要繁琐的参数调整问题. 浙江大 学陈朋等基于高通公司的 Snapdragon 飞控平台提 出了一种目标跟踪方法，通过融合惯性测量单元 数据、全球定位系统数据和运动物体检测结果来 计算物体坐标系与无人机之间的相对位置，所有 算法都在 Qualcomm 平台上实时运行[36] . 目标跟踪 技术对于小型扑翼飞行器的室内飞行是不可或缺 的. 例如，代尔夫特理工大学 Scheper 等利用 DelFly Explorer 来执行室内自主多房间导航探索任务[37] . 使用基于单目彩色图像的 Snake-gate 检测算法得 到门的位置，触发基于航向的门通道算法，并朝着 门的方向飞行. 实际测试中，在由走廊隔开的两个 房间之间，扑翼飞行器可以连续成功导航，展示了 扑翼飞行器进行自主导航的潜力. 目标跟踪技术是实现扑翼飞行器自主飞行的 关键技术[38] ，例如对于障碍物的躲避，需要目标检 测与识别算法能够发现和识别障碍物，而对于移 动的物体，则需要目标跟踪技术预测物体的移动 方向，及时调整扑翼飞行器的方向. 扑翼飞行器在 这个技术上主要的问题是在高空飞行时，目标物 体在全局下不明显，存在遮挡、光照等影响跟踪效 果的问题，要通过选用较高像素的摄像头以及鲁 棒性更高、稳定性更强的算法来提高跟踪效果，保 证自主飞行的安全性[39] . 3 未来发展趋势 通过第 1 节和第 2 节的内容介绍，我们可以看 出现阶段扑翼飞行器的视觉感知系统研究还处于 一个起步阶段[40] . 尽管近几年来出现了一些突破 性成果，但是相比于旋翼和固定翼飞行器的视觉 感知系统而言，仍处于一个较低的水平. 扑翼飞行 器的视觉感知系统仍有大量问题有待进一步的深 入研究，主要涉及以下几个方面： （1）目前的图像消抖技术还不足以应对扑翼 飞行所带来的剧烈抖动. 图像的剧烈抖动一方面 会造成图像模糊，另一方面对图像处理单元造成 较大的负担[41] . 目前的微型云台虽然一定程度上 能够减轻抖动，但随着扑翼飞行器的不断发展，其 付 强等： 仿生扑翼飞行器的视觉感知系统研究进展 · 1517 ·
·1518 工程科学学报，第41卷，第12期 不够灵活、质量依然过重的缺点也暴露出来.同 三维重建等.在扑翼飞行器的载重无较大提升的 时，针对扑翼飞行器剧烈的图像抖动，目前暂无消 情况下，如何研究和设计更优秀的视觉感知算法、 抖算法能够很好的处理.要完成预定的视觉任务， 质量更小且性能更强的硬件系统是未来的研究 保证扑翼飞行器的视觉感知系统能够稳定的获取 方向 图像是关键2如何通过质量更轻、转动更加灵活 的云台和消抖效果更好的软件算法结合起来输出 参考文 献 清晰稳定的图像，是扑翼飞行器视觉感知系统下 [1]Lee N,Lee S,Cho H,et al.Effect of flexibility on flapping wing 一步要解决的问题 characteristics in hover and forward flight.Comput Fluids,2018, (2)现阶段大部分扑翼飞行器的视觉感知系 173:111 统都是采用机载摄像头与地面站配合的方式来完 [2]Zhang C.Rossi C.A review of compliant transmission mechanisms for bio-inspired flapping-wing micro air vehicles. 成预定的任务.借用地面计算机端进行图像处理 Bioinspir Biomim,2017,12(2):025005 固然是一个好办法，但是这也限制了扑翼飞行器 [3] De Croon G,Percin M,Remes B D W,et al.The DelFly:Design 不能进行远距离飞行.一旦离开视频接收的范围， Aerodynamics and Artificial Intelligence of a Flapping Wing 整个系统便会失去用武之地，这使其实用性大大 Robot.Netherlands:Springer,2016 降低.面对扑翼飞行器本身载重不足的问题，如何 [4 Tijmons S.Stereo Vision for Flapping Wing MAVs:Design of an 通过质量更轻性能更强的处理器和提高算法的运 Obstacle Avoidance System [Dissertation].Delft:Delft University 行效率使视觉感知系统能够做到机载实时处理， of Technology,2012 仍是一个巨大的挑战 [5] Ryu S,Kwon U,Kim H J.Autonomous flight and vision-based target tracking for a flapping-wing MAV 2016 IEEE/RSJ (3)现有的扑翼飞行器视觉感知系统功能较 International Conference on Intelligent Robots Systems 为单一，只能实现一些简单的任务，如航拍等.虽 Daejeon,2016:5645 然已经出现了如Delfly IⅡ这样的双目视觉感知系 [6] Yang W Q,Wang L G,Song B F.Dove:a biomimetic flapping- 统，但功能也仅限于简单的避障.使扑翼飞行器的 wing micro air vehicle.Int J Micro Air Veh,2018,10(1):70 视觉感知系统能够像鸟类的双眼一样，能够完成 [7] Festo AG Co.KG.BionicFlyingFox:ultra-lightweight flying 多种视觉任务，进行智能的检测、识别、跟踪以及 object with intelligent kinematics[EB/OL].Festo (2018-03)[2019- 进行三维重建来智能地规划飞行路径)，是研究 03-08].https://www.festo.com/group/en/cms/13130.htm [8]MeCurdy L Y,Maniscalco B.Metcalfe J,et al.Anatomical 者们努力的方向 coupling between distinct metacognitive systems for memory and (4)旋翼飞行器如四旋翼飞行器很容易实现 visual perception./Neurosci,2013,33(5):1897 悬停.然而由于飞行机制的不同，悬停是扑翼飞行 [9]Julian R C.Rose C J.Hu H.et al.Cooperative control and 器面临的一项重大挑战，这大大提高了扑翼飞 modeling for narrow passage traversal with an ornithopter MAV 行器集群控制的危险程度.在进行基于多视觉感 and lightweight ground station /Proceedings of the 2013 知系统的集群控制时，如何获取各子感知系统之 International Conference on Autonomous Agents and Multi-agent 间的相对位置、相对姿态等信息，从而提前预知 Systems.St.Paul,2013:103 危险以及计算不同扑翼飞行器的预定飞行路径，将 [10]Bourque A E,Bedwani S,Carrier J F,et al.Particle filter-based target tracking algorithm for magnetic resonance-guided 是未来扑翼飞行器视觉感知系统研究的发展方向 respiratory compensation:robustness and accuracy assessment.Int 4结束语 J Radiat Oncol Biol Phys,2018,100(2):325 [11]Rosen M H,le Pivain G,Sahai R,et al.Development of a 3.2 g 本文主要讨论了基于扑翼飞行器的视觉感知 untethered flapping-wing platform for flight energetics and control 系统的研究进展以及一些亟待解决的问题.对于 experiments I IEEE International Conference on Robotics and 传统的以旋翼及固定翼飞行器为平台的视觉感知 Automation.Stockholm,2016:3227 系统，不管是从算法还是硬件来说都已经相对成 [12]Dorociak R D.Cuddeford TJ.Determining 3-D system accuracy 熟.但是面对扑翼飞行器载荷量较低等诸多限制 for the Vicon 370 system.Gait Posture,1995,3(2):88 [13]Toure B,Schanen J L,Gerbaud L,et al.EMC modeling of drives 条件，现有的视觉感知系统在扑翼飞行器上的实 for aircraft applications:modeling process,EMI filter 际应用中仍然未达到理想的效果.目前以扑翼飞 optimization,and technological choice.IEEE Trans Power 行器为平台的视觉感知系统还仅限于完成航拍等 Electron,2013,28(3:1145 简单的任务，不能胜任一些复杂任务如目标跟踪、 [14]Tran X T,Oh H,Kim I R,et al.Attitude stabilization of flapping
不够灵活、质量依然过重的缺点也暴露出来. 同 时，针对扑翼飞行器剧烈的图像抖动，目前暂无消 抖算法能够很好的处理. 要完成预定的视觉任务， 保证扑翼飞行器的视觉感知系统能够稳定的获取 图像是关键[42] . 如何通过质量更轻、转动更加灵活 的云台和消抖效果更好的软件算法结合起来输出 清晰稳定的图像，是扑翼飞行器视觉感知系统下 一步要解决的问题. （2）现阶段大部分扑翼飞行器的视觉感知系 统都是采用机载摄像头与地面站配合的方式来完 成预定的任务. 借用地面计算机端进行图像处理 固然是一个好办法，但是这也限制了扑翼飞行器 不能进行远距离飞行. 一旦离开视频接收的范围， 整个系统便会失去用武之地，这使其实用性大大 降低. 面对扑翼飞行器本身载重不足的问题，如何 通过质量更轻性能更强的处理器和提高算法的运 行效率使视觉感知系统能够做到机载实时处理， 仍是一个巨大的挑战. （3）现有的扑翼飞行器视觉感知系统功能较 为单一，只能实现一些简单的任务，如航拍等. 虽 然已经出现了如 Delfly II 这样的双目视觉感知系 统，但功能也仅限于简单的避障. 使扑翼飞行器的 视觉感知系统能够像鸟类的双眼一样，能够完成 多种视觉任务，进行智能的检测、识别、跟踪以及 进行三维重建来智能地规划飞行路径[43] ，是研究 者们努力的方向. （4）旋翼飞行器如四旋翼飞行器很容易实现 悬停. 然而由于飞行机制的不同，悬停是扑翼飞行 器面临的一项重大挑战[44] ，这大大提高了扑翼飞 行器集群控制的危险程度. 在进行基于多视觉感 知系统的集群控制时，如何获取各子感知系统之 间的相对位置、相对姿态等信息[45] ，从而提前预知 危险以及计算不同扑翼飞行器的预定飞行路径，将 是未来扑翼飞行器视觉感知系统研究的发展方向. 4 结束语 本文主要讨论了基于扑翼飞行器的视觉感知 系统的研究进展以及一些亟待解决的问题. 对于 传统的以旋翼及固定翼飞行器为平台的视觉感知 系统，不管是从算法还是硬件来说都已经相对成 熟. 但是面对扑翼飞行器载荷量较低等诸多限制 条件，现有的视觉感知系统在扑翼飞行器上的实 际应用中仍然未达到理想的效果. 目前以扑翼飞 行器为平台的视觉感知系统还仅限于完成航拍等 简单的任务，不能胜任一些复杂任务如目标跟踪、 三维重建等. 在扑翼飞行器的载重无较大提升的 情况下，如何研究和设计更优秀的视觉感知算法、 质量更小且性能更强的硬件系统是未来的研究 方向. 参 考 文 献 Lee N, Lee S, Cho H, et al. Effect of flexibility on flapping wing characteristics in hover and forward flight. Comput Fluids, 2018, 173: 111 [1] Zhang C, Rossi C. A review of compliant transmission mechanisms for bio-inspired flapping-wing micro air vehicles. Bioinspir Biomim, 2017, 12（2）: 025005 [2] De Croon G, Perçin M, Remes B D W, et al. The DelFly: Design Aerodynamics and Artificial Intelligence of a Flapping Wing Robot. Netherlands: Springer, 2016 [3] Tijmons S. Stereo Vision for Flapping Wing MAVs: Design of an Obstacle Avoidance System [Dissertation]. Delft: Delft University of Technology, 2012 [4] Ryu S, Kwon U, Kim H J. Autonomous flight and vision-based target tracking for a flapping-wing MAV // 2016 IEEE/RSJ International Conference on Intelligent Robots & Systems. Daejeon, 2016: 5645 [5] Yang W Q, Wang L G, Song B F. Dove: a biomimetic flappingwing micro air vehicle. Int J Micro Air Veh, 2018, 10（1）: 70 [6] Festo AG & Co. KG. BionicFlyingFox: ultra-lightweight flying object with intelligent kinematics[EB/OL]. Festo (2018-03)[2019- 03-08].https://www.festo.com/group/en/cms/13130.htm [7] McCurdy L Y, Maniscalco B, Metcalfe J, et al. Anatomical coupling between distinct metacognitive systems for memory and visual perception. J Neurosci, 2013, 33（5）: 1897 [8] Julian R C, Rose C J, Hu H, et al. Cooperative control and modeling for narrow passage traversal with an ornithopter MAV and lightweight ground station // Proceedings of the 2013 International Conference on Autonomous Agents and Multi-agent Systems. St. Paul, 2013: 103 [9] Bourque A E, Bedwani S, Carrier J F, et al. Particle filter-based target tracking algorithm for magnetic resonance-guided respiratory compensation: robustness and accuracy assessment. Int J Radiat Oncol Biol Phys, 2018, 100（2）: 325 [10] Rosen M H, le Pivain G, Sahai R, et al. Development of a 3.2 g untethered flapping-wing platform for flight energetics and control experiments // IEEE International Conference on Robotics and Automation. Stockholm, 2016: 3227 [11] Dorociak R D, Cuddeford T J. Determining 3-D system accuracy for the Vicon 370 system. Gait Posture, 1995, 3（2）: 88 [12] Touré B, Schanen J L, Gerbaud L, et al. EMC modeling of drives for aircraft applications: modeling process, EMI filter optimization, and technological choice. IEEE Trans Power Electron, 2013, 28（3）: 1145 [13] [14] Tran X T, Oh H, Kim I R, et al. Attitude stabilization of flapping · 1518 · 工程科学学报，第 41 卷，第 12 期
付强等：仿生扑冀飞行器的视觉感知系统研究进展 ·1519 micro-air vehicles via an observer-based sliding mode control [31]Redmon J,Divvala S,Girshick R,et al.You only look once: method.Aerosp Sci Technol,2018,76:386 unified,real-time object detection /IEEE Conference on [15]Grip H F,Fossen T I,Johansen T A,et al.Attitude estimation Computer Vision and Pattern Recognition.Las Vegas,2016:779 using biased gyro and vector measurements with time-varying [32]Liu Y,Jing X Y,Nie J H,et al.Context-aware three-dimensional reference vectors.IEEE Trans Autom Control,2012,57(5):1332 mean-shift with occlusion handling for robust object tracking in [16]Wang T.Stabili-ing Platform:U.S.Patent,8938160.2015-1-20 RGB-D videos.IEEE Trans Multimedia,2019,21(3):664 [17]Koh L P,Wich S A.Dawn of drone ecology:low-cost autonomous [33]Gan M G,Cheng Y L,Wang Y N,et al.Hierarchical particle filter aerial vehicles for conservation.Trop Conser Sci,2012,5(2): tracking algorithm based on multi-feature fusion.J Syst Eng 121 Electron,2016,27(1):51 [18]Dong J,Liu H B.Video stabilization for strict real-time [34]Held D,Thrun S,Savarese S.Learning to track at 100 fps with applications.IEEE Trans Circuits Syst Video Technol,2017, deep regression networks /European Conference on Computer 27(4):716 Vision.Amsterdam,2016:749 [19]Aguilar W G,Angulo C,Pardo J A.Motion intention optimization [35]Milan A,Rezatofighi S H,Dick A,et al.Online multi-target for multirotor robust video stabilization /2017 CHILEAN tracking using recurrent neural networks /Proceedings of the Conference on Electrical,Electronics Engineering.Information Thirty-First AAAI Conference on Artificial Intelligence.San and Communication Technologies.Pucon,2017:1 Francisco,2017:4225 [20]Mingkhwan E,Khawsuk W.Digital image stabilization technique [36]Chen P,Dang Y J,Liang R H,et al.Real-time object tracking on a for fixed camera on small size drone /2017 Third Asian drone with multi-inertial sensing data.IEEE Trans Intell Transp Conference on Defence Technology.Phuket,2017:12 ys,2018,19(1):131 [21]Aguilar W G,Angulo C.Real-time model-based video [37]Scheper K Y W,Karasek M,De Wagter C,et al.First autonomous stabilization for microaerial vehicles.Neural Process Lett,2016, multi-room exploration with an insect-inspired flapping wing 43(2):459 vehicle 2018 IEEE International Conference on Robotics and [22]Lim A,Ramesh B,Yang Y,et al.Real-time optical flow-based Automation.Brisbane,2018:5546 video stabilization for unmanned aerial vehicles.J Real-Time [38]Lee J,Ryu S,Kim T,et al.Leaming-based path tracking control of Image Process,2017:1 a flapping-wing micro air vehicle /2018 IEEE/RSJ International [23]Pae D S,An C G,Kang T K,et al.Advanced digital image Conference on Intelligent Robots and Systems.Madrid,2018:7096 stabilization using similarity-constrained optimization.Multimedia Tools4ppl,2018,78(12):16489 [39]Butt AA,Collins R T.Multi-target tracking by lagrangian relaxation to min-cost network flow /IEEE Conference on [24]Han J H,Ma Y,Zhou B,et al.A robust infrared small target Computer Vision and Pattern Recognition.Portland,2013:1846 detection algorithm based on human visual system.IEEE Geosc Remote Sens Lett,2014,11(12):2168 [40]He W,Ding S Q,Sun C Y.Research progress on modeling and [25]Zorbas D,Razafindralambo T,Luigi D P P,et al.Energy efficient control of flapping-wing air vehicles.Acta Automatica Sin,2017, 43(5):685 mobile target tracking using flying drones.Procedia Comput Sci, 2013,19:80 (贺威，丁施强，孙长银.扑翼飞行器的建模与控制研究进展.自 [26]Chen S Z,Wang H P,Xu F,et al.Target classification using the 动化学报，2017,43(5)：685） deep convolutional networks for SAR images.IEEE Trans Geosci [41]Lukin V P,Nosov VV,Torgaev A V.Features of optical image Remote Sens,2016,54(8):4806 jitter in a random medium with a finite outer scale.App/Opt,2014, [27]Minaeian S,Liu J,Son Y J.Vision-based target detection and 53(10:B196 localization via a team of cooperative UAV and UGVs.IEEE [42]He W,Huang H F,Chen Y N,et al.Development of an Trans Syst Man Cybern Syst,2016,46(7):1005 autonomous flapping-wing aerial vehicle.Sci China Inform Sci, [28]Lin S G,Garratt M A,Lambert A J.Monocular vision-based real- 2017,60(6):063201 time target recognition and tracking for autonomously landing an [43]Tijmons S,de Croon G C H E,Remes B D W,et al.Obstacle UAV in a cluttered shipboard environment.Auton Robot,2017, avoidance strategy using onboard stereo vision on a flapping wing 41(4):881 MAV.IEEE Trans Robot,2017,33(4):858 [29]Baek SS,Bermudez F L G,Fearing R S.Flight control for target [44]Ryu S,Kim H J.Development of a flapping-wing micro air vehicle seeking by 13 gram ornithopter /2011 IEEE/RSJ International capable of autonomous hovering with onboard measurements Conference on Intelligent Robots and Systems.San Francisco IEEE/RSJ International Conference on Intelligent Robots and 2011:2674 Systems.Vancouver,2017:3239 [30]He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for [45]Harik E H C,Guerin F,Guinand F,et al.UAV-UGV cooperation image recognition IEEE Conference on Computer Vision and for objects transportation in an industrial area /IEEE International Pattern Recognition.Las Vegas,2016:770 Conference on Industrial Technology.Seville,2015:547
micro-air vehicles via an observer-based sliding mode control method. Aerosp Sci Technol, 2018, 76: 386 Grip H F, Fossen T I, Johansen T A, et al. Attitude estimation using biased gyro and vector measurements with time-varying reference vectors. IEEE Trans Autom Control, 2012, 57（5）: 1332 [15] [16] Wang T. Stabilizing Platform: U.S. Patent, 8938160. 2015-1-20 Koh L P, Wich S A. Dawn of drone ecology: low-cost autonomous aerial vehicles for conservation. Trop Conserv Sci, 2012, 5（2）: 121 [17] Dong J, Liu H B. Video stabilization for strict real-time applications. IEEE Trans Circuits Syst Video Technol, 2017, 27（4）: 716 [18] Aguilar W G, Angulo C, Pardo J A. Motion intention optimization for multirotor robust video stabilization // 2017 CHILEAN Conference on Electrical, Electronics Engineering, Information and Communication Technologies. Pucon, 2017: 1 [19] Mingkhwan E, Khawsuk W. Digital image stabilization technique for fixed camera on small size drone // 2017 Third Asian Conference on Defence Technology. Phuket, 2017: 12 [20] Aguilar W G, Angulo C. Real-time model-based video stabilization for microaerial vehicles. Neural Process Lett, 2016, 43（2）: 459 [21] Lim A, Ramesh B, Yang Y, et al. Real-time optical flow-based video stabilization for unmanned aerial vehicles. J Real-Time Image Process, 2017: 1 [22] Pae D S, An C G, Kang T K, et al. Advanced digital image stabilization using similarity-constrained optimization. Multimedia Tools Appl, 2018, 78（12）: 16489 [23] Han J H, Ma Y, Zhou B, et al. A robust infrared small target detection algorithm based on human visual system. IEEE Geosci Remote Sens Lett, 2014, 11（12）: 2168 [24] Zorbas D, Razafindralambo T, Luigi D P P, et al. Energy efficient mobile target tracking using flying drones. Procedia Comput Sci, 2013, 19: 80 [25] Chen S Z, Wang H P, Xu F, et al. Target classification using the deep convolutional networks for SAR images. IEEE Trans Geosci Remote Sens, 2016, 54（8）: 4806 [26] Minaeian S, Liu J, Son Y J. Vision-based target detection and localization via a team of cooperative UAV and UGVs. IEEE Trans Syst Man Cybern Syst, 2016, 46（7）: 1005 [27] Lin S G, Garratt M A, Lambert A J. Monocular vision-based realtime target recognition and tracking for autonomously landing an UAV in a cluttered shipboard environment. Auton Robot, 2017, 41（4）: 881 [28] Baek S S, Bermudez F L G, Fearing R S. Flight control for target seeking by 13 gram ornithopter // 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. San Francisco, 2011: 2674 [29] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition // IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, 2016: 770 [30] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection // IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, 2016: 779 [31] Liu Y, Jing X Y, Nie J H, et al. Context-aware three-dimensional mean-shift with occlusion handling for robust object tracking in RGB-D videos. IEEE Trans Multimedia, 2019, 21（3）: 664 [32] Gan M G, Cheng Y L, Wang Y N, et al. Hierarchical particle filter tracking algorithm based on multi-feature fusion. J Syst Eng Electron, 2016, 27（1）: 51 [33] Held D, Thrun S, Savarese S. Learning to track at 100 fps with deep regression networks // European Conference on Computer Vision. Amsterdam, 2016: 749 [34] Milan A, Rezatofighi S H, Dick A, et al. Online multi-target tracking using recurrent neural networks // Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco, 2017: 4225 [35] Chen P, Dang Y J, Liang R H, et al. Real-time object tracking on a drone with multi-inertial sensing data. IEEE Trans Intell Transp Syst, 2018, 19（1）: 131 [36] Scheper K Y W, Karásek M, De Wagter C, et al. First autonomous multi-room exploration with an insect-inspired flapping wing vehicle // 2018 IEEE International Conference on Robotics and Automation. Brisbane, 2018: 5546 [37] Lee J, Ryu S, Kim T, et al. Learning-based path tracking control of a flapping-wing micro air vehicle // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems. Madrid, 2018: 7096 [38] Butt A A, Collins R T. Multi-target tracking by lagrangian relaxation to min-cost network flow // IEEE Conference on Computer Vision and Pattern Recognition. Portland, 2013: 1846 [39] He W, Ding S Q, Sun C Y. Research progress on modeling and control of flapping-wing air vehicles. Acta Automatica Sin, 2017, 43（5）: 685 （贺威, 丁施强, 孙长银. 扑翼飞行器的建模与控制研究进展. 自 动化学报, 2017, 43（5）：685 ） [40] Lukin V P, Nosov V V, Torgaev A V. Features of optical image jitter in a random medium with a finite outer scale. Appl Opt, 2014, 53（10）: B196 [41] He W, Huang H F, Chen Y N, et al. Development of an autonomous flapping-wing aerial vehicle. Sci China Inform Sci, 2017, 60（6）: 063201 [42] Tijmons S, de Croon G C H E, Remes B D W, et al. Obstacle avoidance strategy using onboard stereo vision on a flapping wing MAV. IEEE Trans Robot, 2017, 33（4）: 858 [43] Ryu S, Kim H J. Development of a flapping-wing micro air vehicle capable of autonomous hovering with onboard measurements // IEEE/RSJ International Conference on Intelligent Robots and Systems. Vancouver, 2017: 3239 [44] Harik E H C, Guérin F, Guinand F, et al. UAV-UGV cooperation for objects transportation in an industrial area // IEEE International Conference on Industrial Technology. Seville, 2015: 547 [45] 付 强等： 仿生扑翼飞行器的视觉感知系统研究进展 · 1519 ·
