工程科学学报.第41卷.第12期：1512-1519.2019年12月 Chinese Journal of Engineering,Vol.41,No.12:1512-1519,December 2019 D0L:10.13374/.issn2095-9389.2019.03.08.001,http://journals.ustb.edu.cn 仿生扑翼飞行器的视觉感知系统研究进展 付强2)，陈向阳)，郑子亮)，李擎12)，贺 威1,2)✉ 1)北京科技大学自动化学院，北京1000832)北京科技大学人工智能研究院，北京100083 ☒通信作者，E-mail:wehe@ieee.org 摘要仿生扑翼飞行器是一类模仿鸟及昆虫通过机翼主动运动产生升力和推力的飞行器.因具有飞行效率高，机动性强、 隐蔽性好等优点，扑翼飞行器近年来受到越来越多的关注和研究.小型扑翼飞行器由于其精巧的结构和可操作性，能够适应 更复杂的环境，但也限制了其飞行负载能力和电池续航时间.在许多场景中，高质量和高功耗的传感器不再适用于扑翼飞行 器.自然界生物得到的信息绝大多数是通过视觉途径获取的.视觉作为一个获取信息的有效途径，在扑翼飞行器的应用中有 着不可替代的作用.视觉传感器具有质量轻、功耗低、图像信息丰富等优点，因此非常适合于搭载在扑翼飞行器上.随着微 电子、图像处理等技术的不断发展，以扑翼飞行器为平台的视觉感知系统也取得了重要进展.本文首先介绍了国内外几款有 代表性的扑翼飞行器的视觉感知系统，分为机载视觉感知系统和外部视觉感知系统两类：然后简述了三个系统关键技术即图像 消抖技术、目标检测与识别技术、目标跟踪技术的发展现状，进而总结发现扑冀飞行器的视觉感知系统研究目前还处于起步 阶段：最后指出图像消抖、机载实时处理、目标检测与识别、三维重建等可以作为扑翼飞行器视觉感知系统的未来研究方向 关键词扑翼飞行器：视觉感知：图像消抖：目标检测：目标跟踪 分类号TP242.6 Research progress on visual perception system of bionic flapping-wing aerial vehicles FU Qiang.CHEN Xiang-yang,ZHENG Zi-liang,LI Qing2 HE Wei2 1)School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:weihe@ieee.org ABSTRACT The bionic flapping-wing aerial vehicle(FWAV)is a kind of aerial vehicle that imitates birds and insects and generates lift and thrust forces using active wing movement Given its advantages,such as high flight efficiency,strong maneuverability,and good imperceptibility,FWAVs have attracted considerable attention from researchers in recent years.Given its compact structure and easy operation,the small FWAV can adapt itself to complex environments.However,some restrictions are also imposed on its onboard load capacity and battery endurance time.That is,sensors with large weight and high power consumption are no longer suitable for FWAVs in many scenarios.To the best of our knowledge,most of the information obtained by organisms from nature is acquired through vision. As an efficient way to obtain information,vision plays an irreplaceable role in the application of FWAVs.Vision sensors have many advantages,such as light weight,low power consumption,and rich image information.Therefore,these sensors are suitable for FWAVs. With the development of microelectronics and image processing technologies,visual perception systems of the FWAV have also made important progress.First,this study introduces the visual perception system of several representative FWAVs at home and abroad,which can be classified into two categories,ie.,onboard and off-board visual perception systems.Then,this study briefly reviews three key technologies of the visual perception system of FWAVs,namely,image stabilization,object detection and recognition,and object tracking technologies.As a result,research on the visual perception system of FWAVs is still at the initial stage.Finally,this study 收稿日期：2019-03-08 基金项目：国家重点研发计划资助项目(2017YFB1300102):国家自然科学基金青年基金资助项目(61803025)仿生扑翼飞行器的视觉感知系统研究进展 付    强1,2)，陈向阳1)，郑子亮1)，李    擎1,2)，贺    威1,2) 苣 1) 北京科技大学自动化学院，北京 100083    2) 北京科技大学人工智能研究院，北京 100083 苣通信作者，E-mail: weihe@ieee.org 摘    要    仿生扑翼飞行器是一类模仿鸟及昆虫通过机翼主动运动产生升力和推力的飞行器. 因具有飞行效率高，机动性强、 隐蔽性好等优点，扑翼飞行器近年来受到越来越多的关注和研究. 小型扑翼飞行器由于其精巧的结构和可操作性，能够适应 更复杂的环境，但也限制了其飞行负载能力和电池续航时间. 在许多场景中，高质量和高功耗的传感器不再适用于扑翼飞行 器. 自然界生物得到的信息绝大多数是通过视觉途径获取的. 视觉作为一个获取信息的有效途径，在扑翼飞行器的应用中有 着不可替代的作用. 视觉传感器具有质量轻、功耗低、图像信息丰富等优点，因此非常适合于搭载在扑翼飞行器上. 随着微 电子、图像处理等技术的不断发展，以扑翼飞行器为平台的视觉感知系统也取得了重要进展. 本文首先介绍了国内外几款有 代表性的扑翼飞行器的视觉感知系统，分为机载视觉感知系统和外部视觉感知系统两类；然后简述了三个系统关键技术即图像 消抖技术、目标检测与识别技术、目标跟踪技术的发展现状，进而总结发现扑翼飞行器的视觉感知系统研究目前还处于起步 阶段；最后指出图像消抖、机载实时处理、目标检测与识别、三维重建等可以作为扑翼飞行器视觉感知系统的未来研究方向. 关键词    扑翼飞行器；视觉感知；图像消抖；目标检测；目标跟踪 分类号    TP242.6 Research progress on visual perception system of bionic flapping-wing aerial vehicles FU Qiang1,2) ，CHEN Xiang-yang1) ，ZHENG Zi-liang1) ，LI Qing1,2) ，HE Wei1,2) 苣 1) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 苣 Corresponding author, E-mail: weihe@ieee.org ABSTRACT    The bionic flapping-wing aerial vehicle (FWAV) is a kind of aerial vehicle that imitates birds and insects and generates lift and thrust forces using active wing movement. Given its advantages, such as high flight efficiency, strong maneuverability, and good imperceptibility, FWAVs have attracted considerable attention from researchers in recent years. Given its compact structure and easy operation, the small FWAV can adapt itself to complex environments. However, some restrictions are also imposed on its onboard load capacity and battery endurance time. That is, sensors with large weight and high power consumption are no longer suitable for FWAVs in many scenarios. To the best of our knowledge, most of the information obtained by organisms from nature is acquired through vision. As an efficient way to obtain information, vision plays an irreplaceable role in the application of FWAVs. Vision sensors have many advantages, such as light weight, low power consumption, and rich image information. Therefore, these sensors are suitable for FWAVs. With the development of microelectronics and image processing technologies, visual perception systems of the FWAV have also made important progress. First, this study introduces the visual perception system of several representative FWAVs at home and abroad, which can be classified into two categories, i.e., onboard and off-board visual perception systems. Then, this study briefly reviews three key technologies  of  the  visual  perception  system  of  FWAVs,  namely,  image  stabilization,  object  detection  and  recognition,  and  object tracking  technologies.  As  a  result,  research  on  the  visual  perception  system  of  FWAVs  is  still  at  the  initial  stage.  Finally,  this  study 收稿日期: 2019−03−08 基金项目: 国家重点研发计划资助项目（2017YFB1300102）；国家自然科学基金青年基金资助项目（61803025） 工程科学学报，第 41 卷，第 12 期：1512−1519，2019 年 12 月 Chinese Journal of Engineering, Vol. 41, No. 12: 1512−1519, December 2019 DOI：10.13374/j.issn2095-9389.2019.03.08.001; http://journals.ustb.edu.cn