付强等：仿生扑翼飞行器的视觉感知系统研究进展 ·1513· provides the future research directions of the visual perception system of FWAVs,such as image stabilization,onboard real-time processing,object detection and recognition,and three-dimensional reconstruction. KEY WORDS flapping-wing aerial vehicle;visual perception;image stabilization;object detection:object tracking 扑翼飞行器具有仿生的外形，早期在军事侦 察领域受到一定的关注，具有非常大的军事价值四 在工业界、政府和军队的不断推动下，扑翼飞行器 经历了一段快速发展的时期.相比于旋翼飞行器 和固定翼飞行器，扑翼飞行器具有较高的飞行效 率四，而且扑翼飞行器飞行时的噪音相比于另外两 者而言几乎可以忽略不计，其仿生的外形在执行 图1DeFyⅡ扑翼飞行器及立体视觉感知系统 侦察任务时也具有得天独厚的优势.在旋翼飞行 Fig.1 DelFly II flapping-wing aerial vehicle and stereo visual 器和固定翼飞行器大放异彩的今天，扑翼飞行器 perception system 也在朝着相似的方向不断发展，即智能化.视觉是 合并为一个，由来自左右摄像头的图像线交替组成 实现智能化不可缺少的手段，相较于其他传感器 在72s的飞行实验中，DeFyⅡ多次成功地避 而言，视觉传感器能够获取的信息非常丰富.因 开了室内办公空间7.3×8.2m2的墙壁.相比于单目 此，为扑翼飞行器装上一双“眼睛”是扑翼飞行器 视觉解决方案有了相当大的改进，甚至可以对低 能够跃上新的发展阶段不可缺少的一环， 纹理白墙进行合理的障碍物检测.实验清楚地展 由于飞行机制相较于其他无人飞行器有所不 示了立体视觉用于扑翼飞行器自主避障的潜力 同，扑翼飞行器可以做到很小的尺寸，同时在室内 结合现有的速度和高度控制方法，该系统使 飞行的能力允许扑翼飞行器执行人类不能做的任 扑翼飞行器完全自主控制成为可能.但是该扑翼 务.对于一些较为危险的地方，例如即将倒塌的建 机续航时间较短，且该视觉感知系统成像质量很 筑物，扑翼飞行器可以充分利用其灵活的飞行方 差，测量距离仅为4m,误差达到了30cm,只能应 式进行侦察，也可以对敌方的领土进行侦察.但是 用于简单的避障任务中，不能胜任较为复杂的任 由于扑翼飞行器的尺寸较小，载荷量较低，难以搭 务，这需要在未来的研究中继续改进 载较为先进的传感器以及应对计算量较大的视觉 1.1.2X翼型扑翼机 信息处理，进而导致采用视觉传感器较难完成预 韩国首尔大学的Seungwan Ryu等人改装了一 定的任务.然而，一些学者另辟蹊径，通过其他途 款已经商用的X翼型扑翼机（如图2所示），为其 径成功实现了一些视觉任务 配备了轻量级的第一人称主视角(first person view, 本文组织结构如下：第1部分列举了目前较为 FPV)摄像头.这款扑翼飞行器能够实现基本的目 典型的扑翼飞行器视觉感知系统的基本概况、原 标跟踪功能.Seungwan Ryu等人为其构建了一个 理以及其优缺点；第2部分介绍了视觉感知系统 控制和视觉算法集成的系统，该系统的地面站部 中的关键技术；第3部分归纳总结了扑翼飞行器 分（如图3所示）由视频转换单元、运动捕捉系统 视觉感知系统现阶段的不足及未来的发展方向； 和地面控制系统(ground control system,GCS)组成. 第4部分为论文的总结 (al (b) 1扑翼飞行器视觉感知系统的概况 1.1机载视觉感知系统 1.1.1 DelFlyII 荷兰代尔夫特理工大学的DelFly,包含一 个机载立体视觉感知系统（如图1所示）.该系统 包括两个以30Hz同步运行的采用互补金属氧化 物半导体(complementary metal oxide semiconductor, 图2修改过的X翼扑翼机的实验平台.()原始模型：(b)修改模型 CMOS)图像传感器的摄像头（分辨率为720×240像 Fig.2 Experimental platform of modified X-wing FWAV:(a)original 素).由于系统只有一个发射器，两个摄像头的视频流 model;(b)modified modelprovides  the  future  research  directions  of  the  visual  perception  system  of  FWAVs,  such  as  image  stabilization,  onboard  real-time processing, object detection and recognition, and three-dimensional reconstruction. KEY WORDS    flapping-wing aerial vehicle；visual perception；image stabilization；object detection；object tracking 扑翼飞行器具有仿生的外形，早期在军事侦 察领域受到一定的关注，具有非常大的军事价值[1] . 在工业界、政府和军队的不断推动下，扑翼飞行器 经历了一段快速发展的时期. 相比于旋翼飞行器 和固定翼飞行器，扑翼飞行器具有较高的飞行效 率[2] ，而且扑翼飞行器飞行时的噪音相比于另外两 者而言几乎可以忽略不计，其仿生的外形在执行 侦察任务时也具有得天独厚的优势. 在旋翼飞行 器和固定翼飞行器大放异彩的今天，扑翼飞行器 也在朝着相似的方向不断发展，即智能化. 视觉是 实现智能化不可缺少的手段，相较于其他传感器 而言，视觉传感器能够获取的信息非常丰富. 因 此，为扑翼飞行器装上一双“眼睛”是扑翼飞行器 能够跃上新的发展阶段不可缺少的一环. 由于飞行机制相较于其他无人飞行器有所不 同，扑翼飞行器可以做到很小的尺寸，同时在室内 飞行的能力允许扑翼飞行器执行人类不能做的任 务. 对于一些较为危险的地方，例如即将倒塌的建 筑物，扑翼飞行器可以充分利用其灵活的飞行方 式进行侦察，也可以对敌方的领土进行侦察. 但是 由于扑翼飞行器的尺寸较小，载荷量较低，难以搭 载较为先进的传感器以及应对计算量较大的视觉 信息处理，进而导致采用视觉传感器较难完成预 定的任务. 然而，一些学者另辟蹊径，通过其他途 径成功实现了一些视觉任务. 本文组织结构如下：第 1 部分列举了目前较为 典型的扑翼飞行器视觉感知系统的基本概况、原 理以及其优缺点；第 2 部分介绍了视觉感知系统 中的关键技术；第 3 部分归纳总结了扑翼飞行器 视觉感知系统现阶段的不足及未来的发展方向； 第 4 部分为论文的总结. 1    扑翼飞行器视觉感知系统的概况 1.1    机载视觉感知系统 1.1.1    DelFlyII 荷兰代尔夫特理工大学的 DelFly II[3] ，包含一 个机载立体视觉感知系统（如图 1 所示）. 该系统 包括两个以 30 Hz 同步运行的采用互补金属氧化 物半导体（complementary metal oxide semiconductor, CMOS）图像传感器的摄像头（分辨率为 720×240 像 素）. 由于系统只有一个发射器，两个摄像头的视频流 合并为一个，由来自左右摄像头的图像线交替组成[4] . 在 72 s 的飞行实验中，DelFly II 多次成功地避 开了室内办公空间 7.3×8.2 m2 的墙壁. 相比于单目 视觉解决方案有了相当大的改进，甚至可以对低 纹理白墙进行合理的障碍物检测. 实验清楚地展 示了立体视觉用于扑翼飞行器自主避障的潜力. 结合现有的速度和高度控制方法，该系统使 扑翼飞行器完全自主控制成为可能. 但是该扑翼 机续航时间较短，且该视觉感知系统成像质量很 差，测量距离仅为 4 m，误差达到了 30 cm，只能应 用于简单的避障任务中，不能胜任较为复杂的任 务，这需要在未来的研究中继续改进. 1.1.2    X 翼型扑翼机 韩国首尔大学的 Seungwan Ryu 等人改装了一 款已经商用的 X 翼型扑翼机[5] （如图 2 所示），为其 配备了轻量级的第一人称主视角（first person view, FPV）摄像头. 这款扑翼飞行器能够实现基本的目 标跟踪功能. Seungwan Ryu 等人为其构建了一个 控制和视觉算法集成的系统，该系统的地面站部 分（如图 3 所示）由视频转换单元、运动捕捉系统 和地面控制系统（ground control system, GCS）组成. 图 1    DelFly II 扑翼飞行器及立体视觉感知系统 Fig.1     DelFly  II  flapping-wing  aerial  vehicle  and  stereo  visual perception system (a) (b) 图 2    修改过的 X 翼扑翼机的实验平台. (a) 原始模型 ；(b) 修改模型 Fig.2    Experimental platform of modified X-wing FWAV： （a） original model； （b） modified model 付    强等： 仿生扑翼飞行器的视觉感知系统研究进展 · 1513 ·