工程科学学报.第42卷，第2期：249-256.2020年2月 Chinese Journal of Engineering,Vol.42,No.2:249-256,February 2020 https://doi.org/10.13374/j.issn2095-9389.2019.08.03.002;http://cje.ustb.edu.cn 基于外部单目视觉的仿生扑翼飞行器室内定高控制 付强2)区，张树禹2)，王久斌2)，冯富森2 1)北京科技大学自动化学院，北京1000832)北京科技大学人工智能研究院.北京100083 ☒通信作者，E-mail:fuqiang(@ustb.edu.cn 摘要针对扑翼飞行器的定高飞行，设计了基于外部单目视觉的室内定高控制系统：通过外部单目相机获取扑翼飞行器的 飞行图像，基于Qt编写的地面站软件接收图像并利用基于OpenCV的图像处理算法检测扑翼飞行器上的发光标识点，获得 标识点在图像上的像素坐标；基于卡尔曼滤波器(KF)建立标识点像素坐标的运动状态估计器，降低环境噪声干扰并解决了 标识点被短暂遮挡的问题：分别建立常规PD和单神经元PD控制系统，通过蓝牙控制扑翼飞行器的电机转速，实现了基于 图像的扑翼飞行器室内定高飞行.对比实验结果表明，本文设计的定高飞行控制系统可以使扑翼飞行器标记点的图像坐标 保持在外部单目相机图像的中心横线处.针对阶跃响应信号，单神经元PD控制系统的响应速度比常规PD控制系统响应 速度稍慢一些，但是控制精度明显优于常规PD控制器，最大相对误差为3% 关键词单目视觉：扑翼飞行器：定高控制：视觉伺服：图像误差 分类号TP242.6 Indoor fixed-height control for bio-inspired flapping-wing aerial vehicles based on off- board monocular vision FU Qiang2,ZHANG Shu-yu2,WANG Jiu-bin 2,FENG Fu-sen'2) 1)School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:fuqiang @ustb.edu.cn ABSTRACT The flapping-wing aerial vehicle(FWAV)is a new kind of aerial vehicle that imitates the flapping wings of birds or insects during flight and has the advantages of flexible flight,high flight efficiency,and good concealment compared with the fixed-wing and the rotary-wing aerial vehicles.Therefore,the FWAV has attracted considerable attention in recent years.However,the flight mechanism of the FWAV is complex and has many motion parameters with strong coupling.Thus,establishing a precise and practical motion model is difficult.At the same time,given the limited weight and load capacity of small FWAVs,it cannot carry accurate but heavy positioning equipment.Thus,many problems in autonomous flight control of FWAVs need to be addressed at this stage.For the fixed-height flight of FWAVs,an indoor fixed-height control system based on off-board monocular vision was designed.First,image sequences of the FWAV were obtained using the off-board monocular camera.Then,the ground station software based on Qt received the images,detected the light-emitting feature point on the FWAV,and obtained the pixel coordinates of the feature point on each image using the OpenCv image processing algorithms.On the basis of the Kalman filter,the image state estimator of the feature point was established to reduce the environmental interference and solve the temporal missing data problem of the feature point.Finally,the conventional and single-neuron PID control systems were established,where the motor speed of the FWAV was controlled by Bluetooth, 收稿日期：2019-08-03 基金项目：装备预研教育部联合基金资助项目(6141A02033339):中央高校基本科研业务费专项资金资助项目(FRF-TP.18-100A1):国家自 然科学基金资助项目(61803025)
基于外部单目视觉的仿生扑翼飞行器室内定高控制 付 强1,2) 苣，张树禹1,2)，王久斌1,2)，冯富森1,2) 1) 北京科技大学自动化学院，北京 100083 2) 北京科技大学人工智能研究院，北京 100083 苣通信作者，E-mail: fuqiang@ustb.edu.cn 摘 要 针对扑翼飞行器的定高飞行，设计了基于外部单目视觉的室内定高控制系统：通过外部单目相机获取扑翼飞行器的 飞行图像，基于 Qt 编写的地面站软件接收图像并利用基于 OpenCV 的图像处理算法检测扑翼飞行器上的发光标识点，获得 标识点在图像上的像素坐标；基于卡尔曼滤波器（KF）建立标识点像素坐标的运动状态估计器，降低环境噪声干扰并解决了 标识点被短暂遮挡的问题；分别建立常规 PID 和单神经元 PID 控制系统，通过蓝牙控制扑翼飞行器的电机转速，实现了基于 图像的扑翼飞行器室内定高飞行. 对比实验结果表明，本文设计的定高飞行控制系统可以使扑翼飞行器标记点的图像坐标 保持在外部单目相机图像的中心横线处. 针对阶跃响应信号，单神经元 PID 控制系统的响应速度比常规 PID 控制系统响应 速度稍慢一些，但是控制精度明显优于常规 PID 控制器，最大相对误差为 3%. 关键词 单目视觉；扑翼飞行器；定高控制；视觉伺服；图像误差 分类号 TP242.6 Indoor fixed-height control for bio-inspired flapping-wing aerial vehicles based on offboard monocular vision FU Qiang1,2) 苣 ，ZHANG Shu-yu1,2) ，WANG Jiu-bin1,2) ，FENG Fu-sen1,2) 1) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 苣 Corresponding author, E-mail: fuqiang@ustb.edu.cn ABSTRACT The flapping-wing aerial vehicle (FWAV) is a new kind of aerial vehicle that imitates the flapping wings of birds or insects during flight and has the advantages of flexible flight, high flight efficiency, and good concealment compared with the fixed-wing and the rotary-wing aerial vehicles. Therefore, the FWAV has attracted considerable attention in recent years. However, the flight mechanism of the FWAV is complex and has many motion parameters with strong coupling. Thus, establishing a precise and practical motion model is difficult. At the same time, given the limited weight and load capacity of small FWAVs, it cannot carry accurate but heavy positioning equipment. Thus, many problems in autonomous flight control of FWAVs need to be addressed at this stage. For the fixed-height flight of FWAVs, an indoor fixed-height control system based on off-board monocular vision was designed. First, image sequences of the FWAV were obtained using the off-board monocular camera. Then, the ground station software based on Qt received the images, detected the light-emitting feature point on the FWAV, and obtained the pixel coordinates of the feature point on each image using the OpenCV image processing algorithms. On the basis of the Kalman filter, the image state estimator of the feature point was established to reduce the environmental interference and solve the temporal missing data problem of the feature point. Finally, the conventional and single-neuron PID control systems were established, where the motor speed of the FWAV was controlled by Bluetooth, 收稿日期: 2019−08−03 基金项目: 装备预研教育部联合基金资助项目 (6141A02033339)；中央高校基本科研业务费专项资金资助项目 (FRF-TP-18-100A1)；国家自 然科学基金资助项目 (61803025) 工程科学学报，第 42 卷，第 2 期：249−256，2020 年 2 月 Chinese Journal of Engineering, Vol. 42, No. 2: 249−256, February 2020 https://doi.org/10.13374/j.issn2095-9389.2019.08.03.002; http://cje.ustb.edu.cn
250 工程科学学报，第42卷，第2期 to achieve image-based indoor fixed-height flight of the FWAV.Experimental results show that the fixed-height flight control system designed in this study can keep the image coordinates of the feature point of the FWAV at the center of the camera image.For the step signal,the response speed of the single-neuron PID control system is slightly slower than that of the conventional PID control system. However,the control accuracy of the single-neuron PID control system is better than that of the conventional PID controller,with a maximum relative error of 3%. KEY WORDS monocular vision;flapping-wing aerial vehicle:fixed height control;visual servoing;image error 扑翼飞行器是一种模仿鸟类或者昆虫的飞行 小、质量轻，容易受到外界环境因素（例如风）的干 方式实现飞行的新型无人飞行器，涉及仿生学、空 扰，小负载导致高精度但质量大的传感器不能使 气动力学、机械设计、材料科学、计算机、通信与 用例，只能使用低精度质量小的传感器，因此扑翼 控制等多门学科.与传统的固定翼和旋翼飞行器 飞行器的定高飞行控制仍处于早期阶段且面临诸 相比，扑翼飞行器具有更高的飞行效率和更灵活 多问题.定高飞行控制常用的传感器有惯性元 的飞行机动性山，因此受到越来越多的关注与研 件、GPS、气压计和视觉传感器.惯性元件具有误 究.国内外的一些研究机构和高校已经研制出几 差累积缺陷，对初始值过于敏感：GPS不能在一些 款能够飞行的扑翼飞行器 特定环境（例如室内）使用：气压计测量精度低，容 1扑翼飞行器定高飞行控制概况 易受天气影响.视觉传感器的误差不会累积，抗干 扰能力强、适用范围广，更善于捕捉运动物体， 德国Festo公司研制出一款名为SmartBird!) 被越来越多的应用在无人机导航系统中 的仿海鸥扑翼飞行器，重450g,翼展2m,可以自 现有基于视觉的扑翼飞行器定高控制方案主 主飞行和降落，空气动力效率高达80%.美国麻省 要采用深度相机、双目相机或者是动作捕捉系统 理工学院研制出一款名为Phoenix)的扑翼飞行 深度相机可以检测物体的深度信息，但是测量 器，可以通过手动遥控实现简单的飞行动作，但控 范围窄、测量噪声大，容易受到环境的干扰，并且 制系统不完善，稳定性差，飞行时间短 需要额外的设备，使用成本较高.双目相机基于视 飞行控制是扑翼飞行器研究的关键技术之 差原理计算图像对应点的位置偏差，可以获取物 一，影响着扑翼飞行器的飞行性能，而定高飞行控 体的大小和距离，但是使用前需要进行参数标定 制是飞行控制的一个基本要求，在巡航搜查、军事 工作2)，量程和精度)受双目基线4和分辨率的 侦察等方面有着重要应用.扑翼飞行器定高控制 限制.动作捕捉系统例如OptiTrack和Vicon基于 方面，Ryu等刊在一款微型扑翼飞行器上搭载了微 立体视觉原理，采用多个相机拍摄被标记物体，可 型第一人称视角(first person view,FPV)摄像头，利 以获得标记点的空间位置阿，但是其参数标定工 用图像处理算法实现扑翼飞行器的定位，结合控 作复杂，计算量大，设备成本高昂且不易携带 制算法实现了定高飞行.台湾淡江大学Lin等的采 本文采用LED灯标记扑翼飞行器，单目USB 用外部双目相机检测微型扑翼机的位置信息， 摄像头采集图像数据，通过地面站实时图像处理 加入闭环控制系统，可以在室内定高飞行.西北工 程序获取标记点在图像上的像素坐标，经过单神 业大学研发的仿信鸽扑翼飞行器Dove,结合 经元PD控制算法得出控制量并发送给扑翼飞行 GPS和惯性导航系统获取其飞行姿态和位置信 器，使其在图像上的坐标保持在图像的中心横线 息，将无损卡尔曼滤波(unscented Kalman filter,, 处，实现定高飞行，其具有以下特点： UKF)加入控制算法中，实现其自主定高飞行.北 (1)搭建了一款微型扑翼飞行器，搭载自主研 京科技大学贺威团队对一款X翼扑翼飞行器进 发的控制电路板，实现了定高控制飞行； 行改装，加入了自主研发的控制芯片，同时搭建了 (2)基于图像的定高飞行，相比于基于位置的 基于多目相机的地面站，利用OptiTrack动作捕捉 定高飞行，无需进行相机的内外参数标定工作； 系统捕捉扑翼飞行器的位置信息，通过PID控制 (3)采用单神经元PID控制器，控制效果好于 系统实现了定高飞行 常规的PID控制器 扑翼飞行器灵活度高，飞行机理复杂，导致其 2问题描述 运动模型也较为复杂，且翅膀扑动导致的振动问 题8不能被忽视.此外，大多数扑翼飞行器的体积 为了排除环境因素的影响，实验环境被设定
to achieve image-based indoor fixed-height flight of the FWAV. Experimental results show that the fixed-height flight control system designed in this study can keep the image coordinates of the feature point of the FWAV at the center of the camera image. For the step signal, the response speed of the single-neuron PID control system is slightly slower than that of the conventional PID control system. However, the control accuracy of the single-neuron PID control system is better than that of the conventional PID controller, with a maximum relative error of 3%. KEY WORDS monocular vision；flapping-wing aerial vehicle；fixed height control；visual servoing；image error 扑翼飞行器是一种模仿鸟类或者昆虫的飞行 方式实现飞行的新型无人飞行器，涉及仿生学、空 气动力学、机械设计、材料科学、计算机、通信与 控制等多门学科. 与传统的固定翼和旋翼飞行器 相比，扑翼飞行器具有更高的飞行效率和更灵活 的飞行机动性[1] ，因此受到越来越多的关注与研 究. 国内外的一些研究机构和高校已经研制出几 款能够飞行的扑翼飞行器. 1 扑翼飞行器定高飞行控制概况 德国 Festo 公司研制出一款名为 SmartBird[2] 的仿海鸥扑翼飞行器，重 450 g，翼展 2 m，可以自 主飞行和降落，空气动力效率高达 80%. 美国麻省 理工学院研制出一款名为 Phoenix[3] 的扑翼飞行 器，可以通过手动遥控实现简单的飞行动作，但控 制系统不完善，稳定性差，飞行时间短. 飞行控制是扑翼飞行器研究的关键技术之 一，影响着扑翼飞行器的飞行性能，而定高飞行控 制是飞行控制的一个基本要求，在巡航搜查、军事 侦察等方面有着重要应用. 扑翼飞行器定高控制 方面，Ryu 等[4] 在一款微型扑翼飞行器上搭载了微 型第一人称视角（first person view，FPV）摄像头，利 用图像处理算法实现扑翼飞行器的定位，结合控 制算法实现了定高飞行. 台湾淡江大学 Lin 等[5] 采 用外部双目相机检测微型扑翼机的位置信息 ， 加入闭环控制系统，可以在室内定高飞行. 西北工 业大学研发的仿信鸽扑翼飞行 器 Dove[6] ， 结 合 GPS 和惯性导航系统获取其飞行姿态和位置信 息 ，将无损卡尔曼滤波 （ unscented Kalman filter， UKF）加入控制算法中，实现其自主定高飞行. 北 京科技大学贺威[7] 团队对一款 X 翼扑翼飞行器进 行改装，加入了自主研发的控制芯片，同时搭建了 基于多目相机的地面站，利用 OptiTrack 动作捕捉 系统捕捉扑翼飞行器的位置信息，通过 PID 控制 系统实现了定高飞行. 扑翼飞行器灵活度高，飞行机理复杂，导致其 运动模型也较为复杂，且翅膀扑动导致的振动问 题[8] 不能被忽视. 此外，大多数扑翼飞行器的体积 小、质量轻，容易受到外界环境因素（例如风）的干 扰，小负载导致高精度但质量大的传感器不能使 用[9] ，只能使用低精度质量小的传感器，因此扑翼 飞行器的定高飞行控制仍处于早期阶段且面临诸 多问题. 定高飞行控制常用的传感器有惯性元 件、GPS、气压计和视觉传感器. 惯性元件具有误 差累积缺陷，对初始值过于敏感；GPS 不能在一些 特定环境（例如室内）使用；气压计测量精度低，容 易受天气影响. 视觉传感器的误差不会累积，抗干 扰能力强、适用范围广，更善于捕捉运动物体[10] ， 被越来越多的应用在无人机导航系统中. 现有基于视觉的扑翼飞行器定高控制方案主 要采用深度相机、双目相机或者是动作捕捉系统. 深度相机可以检测物体的深度信息[11] ，但是测量 范围窄、测量噪声大，容易受到环境的干扰，并且 需要额外的设备，使用成本较高. 双目相机基于视 差原理计算图像对应点的位置偏差，可以获取物 体的大小和距离，但是使用前需要进行参数标定 工作[12] ，量程和精度[13] 受双目基线[14] 和分辨率的 限制. 动作捕捉系统例如 OptiTrack 和 Vicon 基于 立体视觉原理，采用多个相机拍摄被标记物体，可 以获得标记点的空间位置[15] ，但是其参数标定工 作复杂，计算量大，设备成本高昂且不易携带. 本文采用 LED 灯标记扑翼飞行器，单目 USB 摄像头采集图像数据，通过地面站实时图像处理 程序获取标记点在图像上的像素坐标，经过单神 经元 PID 控制算法得出控制量并发送给扑翼飞行 器，使其在图像上的坐标保持在图像的中心横线 处，实现定高飞行，其具有以下特点： （1）搭建了一款微型扑翼飞行器，搭载自主研 发的控制电路板，实现了定高控制飞行； （2）基于图像的定高飞行，相比于基于位置的 定高飞行，无需进行相机的内外参数标定工作； （3）采用单神经元 PID 控制器，控制效果好于 常规的 PID 控制器. 2 问题描述 为了排除环境因素的影响，实验环境被设定 · 250 · 工程科学学报，第 42 卷，第 2 期
付强等：基于外部单目视觉的仿生扑翼飞行器室内定高控制 251· 为室内.由于室内实验环境有限，为防止其飞出实 验范围并造成物品损坏，需要对扑翼飞行器的飞 翅膀 行范围加以限制. 尾部 如图1所示，X翼扑翼飞行器通过一根细线连 LED灯 接在一个带底座的钢管上，连接处安装有轴承来 保证其飞行过程中不会受到钢管的摩擦阻力.细 电机 线为扑翼飞行器提供了向心力，保证其绕杆进行 电池 控制电路板 圆周运动，同时还提供了向上的拉力，当扑翼飞行 图2X翼扑翼飞行器 器飞行时，向上拉力减小，没有改变扑翼飞行器的 Fig.2 FWAV with the X-wing 飞行高度与翅膀扑动频率正相关的关系，而扑动 频率由自身的空心杯电机的转速决定，要使扑翼 飞行控制电路板如图3所示，长39mm,宽 飞行器在图像上的坐标保持在中心横线处，需计 26mm,重3.8g,包含一颗32位的基于ARMCortex- 算出相应的电机转速.扑翼飞行器的飞行机理复 M3架构的低功耗芯片STM32L151、蓝牙通讯模 杂，运动参数较多且耦合性强，若通过建立运动模 块HC-06、电源转换模块、一个3.7V空心杯电机 型计算出特定飞行高度所需的电机转速，需要精 输出口和一个LED灯输出口，该电路板采用3.7V 确的运动模型，计算量大且需要对模型进行实验 电池供电。飞行过程中，控制电路板通过蓝牙模块 验证，将消耗大量时间，并且适用模型单一，推广 接收地面站发送的控制信号，控制空心杯电机的 性较差.因此本文采用单目相机拍摄扑翼飞行器 转速和LED灯的亮灭.控制电路板接收到地面站 的飞行图像，基于无模型单神经元PD控制系统 发送的控制信号后，便保持该控制状态，直到下一 控制扑翼飞行器在图像的中心横线附近飞行，实 次地面站的控制信号发送过来，降低了地面站的 现基于图像的定高飞行.当单目相机水平放置时， 通讯工作量 扑翼飞行器将与单目相机等高度飞行 电源接口 一扑翼飞行器的像 中心横线 主芯片 拍摄图像 轴承 LED输出口 L180 蓝牙模块 电机输出口 扑翼飞行器 单目相机 底座 图3飞行控制电路板 Fig.3 Flight control circuit board 图1问题描述示意图 Fig.I Illustration of the problem formulation 3.2视觉检测 3解决方案 单目相机的成像原理6如图4所示：世界坐 标系O-Xw YwZw中的点P(Xc,Ye,Zc)通过透视投影在 3.1扑翼飞行器 像平面成像，成像点为，像平面的像素坐标系以 本文的扑翼飞行器采用X翼结构，有两对翅膀， 像素点为单位，以图像左上角O点为原点，成像点 如图2所示.该扑翼飞行器重16g,翼展25cm,由 p在以Oo点为原点的坐标系中的坐标为(up,'p)由 于机身重量轻、翅膀面积小，所以抗风性能较弱， 于本文是控制扑翼飞行器始终处于图像的中心横 只适合在室内飞行.机身骨架由3D打印制成，具 线上，是基于图像而不是基于位置的飞行高度控 有轻巧、定制程度高的特点，翅膀采用聚氯乙烯薄 制，所以不需要进行相机的内外参数的标定工作. 膜制成.采用6mm空心杯电机和3.7V的70mAh 本文采用标记点检测法检测扑翼飞行器在图 锂电池.扑翼飞行器头部添加了一颗蓝色LED 像上的位置信息，采用主动发光标记点，即LED 灯，作为标记点，并且搭载了自主研发的飞行控制 灯，相比较被动式标记点例如红外反光标记点，不 电路板 需要额外的红外光源和红外相机，使用成本低，适
为室内. 由于室内实验环境有限，为防止其飞出实 验范围并造成物品损坏，需要对扑翼飞行器的飞 行范围加以限制. 如图 1 所示，X 翼扑翼飞行器通过一根细线连 接在一个带底座的钢管上，连接处安装有轴承来 保证其飞行过程中不会受到钢管的摩擦阻力. 细 线为扑翼飞行器提供了向心力，保证其绕杆进行 圆周运动，同时还提供了向上的拉力，当扑翼飞行 器飞行时，向上拉力减小，没有改变扑翼飞行器的 飞行高度与翅膀扑动频率正相关的关系，而扑动 频率由自身的空心杯电机的转速决定，要使扑翼 飞行器在图像上的坐标保持在中心横线处，需计 算出相应的电机转速. 扑翼飞行器的飞行机理复 杂，运动参数较多且耦合性强，若通过建立运动模 型计算出特定飞行高度所需的电机转速，需要精 确的运动模型，计算量大且需要对模型进行实验 验证，将消耗大量时间，并且适用模型单一，推广 性较差. 因此本文采用单目相机拍摄扑翼飞行器 的飞行图像，基于无模型单神经元 PID 控制系统 控制扑翼飞行器在图像的中心横线附近飞行，实 现基于图像的定高飞行. 当单目相机水平放置时， 扑翼飞行器将与单目相机等高度飞行. 3 解决方案 3.1 扑翼飞行器 本文的扑翼飞行器采用 X 翼结构，有两对翅膀， 如图 2 所示. 该扑翼飞行器重 16 g，翼展 25 cm，由 于机身重量轻、翅膀面积小，所以抗风性能较弱， 只适合在室内飞行. 机身骨架由 3D 打印制成，具 有轻巧、定制程度高的特点，翅膀采用聚氯乙烯薄 膜制成. 采用 6 mm 空心杯电机和 3.7 V 的 70 mA·h 锂电池. 扑翼飞行器头部添加了一颗蓝色 LED 灯，作为标记点，并且搭载了自主研发的飞行控制 电路板. 飞行控制电路板如图 3 所示 ，长 39 mm，宽 26 mm，重 3.8 g，包含一颗 32 位的基于 ARMCortexM3 架构的低功耗芯片 STM32L151、蓝牙通讯模 块 HC-06、电源转换模块、一个 3.7 V 空心杯电机 输出口和一个 LED 灯输出口，该电路板采用 3.7 V 电池供电. 飞行过程中，控制电路板通过蓝牙模块 接收地面站发送的控制信号，控制空心杯电机的 转速和 LED 灯的亮灭. 控制电路板接收到地面站 发送的控制信号后，便保持该控制状态，直到下一 次地面站的控制信号发送过来，降低了地面站的 通讯工作量. 3.2 视觉检测 O− XwYwZw P(Xc,Yc,Zc) p O0 p O0 ( up, vp ) 单目相机的成像原理[16] 如图 4 所示：世界坐 标系 中的点 通过透视投影在 像平面成像，成像点为 ，像平面的像素坐标系以 像素点为单位，以图像左上角 点为原点，成像点 在以 点为原点的坐标系中的坐标为 . 由 于本文是控制扑翼飞行器始终处于图像的中心横 线上，是基于图像而不是基于位置的飞行高度控 制，所以不需要进行相机的内外参数的标定工作. 本文采用标记点检测法检测扑翼飞行器在图 像上的位置信息，采用主动发光标记点，即 LED 灯，相比较被动式标记点例如红外反光标记点，不 需要额外的红外光源和红外相机，使用成本低，适 扑翼飞行器的像 中心横线 拍摄图像 单目相机 扑翼飞行器 轴承 底座 图 1 问题描述示意图 Fig.1 Illustration of the problem formulation 翅膀 控制电路板 尾部 LED 灯 电池 电机 图 2 X 翼扑翼飞行器 Fig.2 FWAV with the X-wing LED 输出口 电机输出口 电源接口 主芯片 蓝牙模块 图 3 飞行控制电路板 Fig.3 Flight control circuit board 付 强等： 基于外部单目视觉的仿生扑翼飞行器室内定高控制 · 251 ·
252 工程科学学报，第42卷，第2期 ·PX,Y,Z) 表1视觉检测各部分耗时表 Table 1 Time cost of visual detection 环节 耗时/ms 图像采集 4.16 高斯滤波 1.94 HSV变换 1.95 p 图像分制 1.73 ,中心横线 取最大轮廓 0.03 计算质心 0.02 成像平面 动状态预测当前时刻运动状态，并结合当前时刻 的观测值得出最优估计值，消除噪声 扑翼飞行器在单个采样周期内近似做匀速运 图4单目相机成像原理图 动，假设其运动状态向量为X(①= x(t) (t) ,x()为时 Fig.4 Imaging principle of the monocular camera 刻扑翼飞行器标记点在图像上的纵坐标，()为时 用范围更广.视觉检测流程如图5所示，单目相机 刻标记点纵坐标的移动速度，运动方程的矩阵表 采集到的图像经过高斯滤波去除噪声，之后转换 示如下： 为HSV色彩空间图，设置颜色阈值进行二值化， 分割出蓝色区域.为了排除其他反光物体造成的 ]=[0-w] (1) 干扰，对分割图进行轮廓检测，并计算每块轮廓的 式中，△1为采样时间，则卡尔曼系统状态方程和观 面积，采用面积最大的轮廓作为蓝色LED灯的轮 测方程如下： 廓，计算该轮廓质心坐标作为LED灯在图像上的 X(t)=AX(t-1)+W(t) (2) 坐标 z(t)=HX(t)+v(t) 图像预处理 式中，A= 1△t 01 为状态转移矩阵，W①为系统噪 图像采集 高斯滤波 HSV变换 声，设定为高斯白噪声.)为标记点在图像上的 纵坐标观测值，H=[1,0为观测矩阵，v()为观测噪 计算质心 取最大轮廓 图像分制 声，设定为高斯白噪声。利用系统的过程模型，可 图5视觉检测流程图 以根据1-时刻的状态预测时刻的状态和协方差： Fig.5 Flowchart of visual detection X(t-1)=AX(t-1t-1) (3) 本文对视觉检测各环节的耗时进行了测试， P(lt-1)=AP(t-1lt-1)AT+0 测试环境为：120Hz高速摄像头，图像分辨率为 式中，X(t-1)是根据t-1时刻最优值Xt-1t-1)得 640像素×480像素，电脑CPU型号为i5-4210U,主 出的时刻预测值，Pt-1)和P(t-1t-1)分别对应 频1.7GHz,4G内存，Windows10操作系统.运行 X(t-1)和X(t-1t-1)的协方差.Q为系统过程的协 耗时如表1所示，平均每帧耗时12ms.考虑到卡 方差矩阵 尔曼滤波、单神经元PID控制系统、地面站界面 结合当前时刻的预测值和观测值，可以得到 更新、串口发送数据等环节都会消耗时间，本文将 当前时刻的最优估计值X()和协方差P(r): 图像采样周期设置为33ms,既能满足控制需求， X(t)=X(t-1)+K(t)(at)-HX(t-1) (4) 又能避免图像检测部分耗时过多而导致地面站运 P(tlt)=(I-K(t)H)P(tlt-1) 行卡顿的现象 式中，I为单位矩阵，K()为卡尔曼增益(Kalman 3.3卡尔曼滤波 gain): 由于环境因素（如光线）的干扰以及扑翼飞行 K(t)=P(tt-1)HT/(HP(t-1)H+R) (5) 器姿态的变化，标记点的检测结果具有一定的噪 式中，R为观测噪声的方差 声.卡尔曼滤波可以根据运动目标上一时刻的运 此外，利用单目相机检测运动物体可能会出
用范围更广. 视觉检测流程如图 5 所示，单目相机 采集到的图像经过高斯滤波去除噪声，之后转换 为 HSV 色彩空间图，设置颜色阈值进行二值化， 分割出蓝色区域. 为了排除其他反光物体造成的 干扰，对分割图进行轮廓检测，并计算每块轮廓的 面积，采用面积最大的轮廓作为蓝色 LED 灯的轮 廓，计算该轮廓质心坐标作为 LED 灯在图像上的 坐标. 本文对视觉检测各环节的耗时进行了测试， 测试环境为： 120 Hz 高速摄像头，图像分辨率为 640 像素×480 像素，电脑 CPU 型号为 i5-4210U，主 频 1.7 GHz，4 G 内存，Windows 10 操作系统. 运行 耗时如表 1 所示，平均每帧耗时 12 ms. 考虑到卡 尔曼滤波、单神经元 PID 控制系统、地面站界面 更新、串口发送数据等环节都会消耗时间，本文将 图像采样周期设置为 33 ms，既能满足控制需求， 又能避免图像检测部分耗时过多而导致地面站运 行卡顿的现象. 3.3 卡尔曼滤波 由于环境因素（如光线）的干扰以及扑翼飞行 器姿态的变化，标记点的检测结果具有一定的噪 声. 卡尔曼滤波可以根据运动目标上一时刻的运 动状态预测当前时刻运动状态，并结合当前时刻 的观测值得出最优估计值，消除噪声. X(t) = [ x(t) x˙(t) ] x(t) t x˙(t) t 扑翼飞行器在单个采样周期内近似做匀速运 动，假设其运动状态向量为 ， 为 时 刻扑翼飞行器标记点在图像上的纵坐标， 为 时 刻标记点纵坐标的移动速度，运动方程的矩阵表 示如下： [ x(t) x˙(t) ] = [ 1 ∆t 0 1 ] [ x(t−1) x˙(t−1) ] （1） 式中， ∆t 为采样时间，则卡尔曼系统状态方程和观 测方程如下： { X(t) = AX(t−1)+W(t) z(t) = HX(t)+v(t) （2） A = [ 1 ∆t 0 1 ] W(t) z(t) H = [1,0] v (t) t−1 t 式中， 为状态转移矩阵， 为系统噪 声，设定为高斯白噪声. 为标记点在图像上的 纵坐标观测值， 为观测矩阵， 为观测噪 声，设定为高斯白噪声. 利用系统的过程模型，可 以根据 时刻的状态预测 时刻的状态和协方差： { X(t|t−1) = AX(t−1|t−1) P(t|t−1) = AP(t−1|t−1)A T +Q （3） X(t|t−1) t−1 X(t−1|t−1) t P(t|t−1) P(t−1|t−1) X(t|t−1) X(t−1|t−1) Q 式中， 是根据 时刻最优值 得 出的 时刻预测值， 和 分别对应 和 的协方差. 为系统过程的协 方差矩阵. X(t|t) P(t|t) 结合当前时刻的预测值和观测值，可以得到 当前时刻的最优估计值 和协方差 ： { X(t|t) = X(t|t−1)+ K(t)(z(t)− HX(t|t−1)) P(t|t) = (I− K(t)H)P(t|t−1) （4） 式中 ， I 为单位矩阵 ， K(t) 为卡尔曼增益（ Kalman gain）： K(t) = P(t|t−1)H T / ( HP(t|t−1)H T + R ) （5） 式中， R 为观测噪声的方差. 此外，利用单目相机检测运动物体可能会出 表 1 视觉检测各部分耗时表 Table 1 Time cost of visual detection 环节 耗时/ms 图像采集 4.16 高斯滤波 1.94 HSV变换 1.95 图像分割 1.73 取最大轮廓 0.03 计算质心 0.02 Yw Zw Xw Zc Yc Xc P(Xc , Yc , Zc ) O p 中心横线 u v 成像平面 O0 O 图 4 单目相机成像原理图 Fig.4 Imaging principle of the monocular camera 取最大轮廓 图像分割 图像采集 计算质心 高斯滤波 HSV 变换 图像预处理 图 5 视觉检测流程图 Fig.5 Flowchart of visual detection · 252 · 工程科学学报，第 42 卷，第 2 期
付强等：基于外部单目视觉的仿生扑翼飞行器室内定高控制 253 现标记点被短暂遮挡、检测目标丢失的现象.利 3.4闭环控制系统 用卡尔曼预估可以得到当前运动状态的估计值， 图7、图8是定高控制系统的示意图与结构框 用于控制系统的反馈，直到运动物体再次被检测 图：外部单目相机拍摄扑翼飞行器的飞行图像，通 出，增加系统的鲁棒性.如图6所示，根据当前时 过地面站图像检测算法检测出标记点在图像上的 刻的观测结果判断标记点是否被遮挡，如果没被 坐标，经过卡尔曼滤波反馈给单神经元PD控制 遮挡，则将观测值带入卡尔曼滤波器中，得出最优 器，计算出电机转速并通过蓝牙发送给扑翼飞行 估计值反馈给单神经元PID控制器：如果标记点 器的飞行控制电路板，从而实现定高控制 被遮挡，则通过卡尔曼预测即公式(3)得出预测 电脑 值，作为当前时刻的最优估计值，反馈给控制器 轴承 当前时刻 观测结果 单目相机 是否被遮挡 扑翼飞行器 底座 否 是- 图7定高控制系统示意图 卡尔曼滤波 卡尔曼预测 Fig.7 Illustration of the fixed-height control system 由于常规PID控制器的参数无法在控制过程中 反馈给PID 实时调整，适应能力较弱，因此本文采用单神经元 控制器 PD控制器.单神经元又被称为感知器，是神经网络 图6观测结果处理流程图 的重要组成单元，单神经元对不同的输入施加不同 Fig.6 Flowchart of observation result processing 的权重并求和，并通过激励函数得出结果，通过学习 x (k)w(k) v(k) e(k) 状态 xk)w) ( 扑翼飞 变换 x(k)w(k) 行器 v() 学习算法 滤波算法 视觉检测 图8控制系统结构框图 Fig.8 Structure diagram of the control system 算法修改权重值来实现其自学习功能7，因此对环 单神经元的输出为： 境的变化具有一定的适应能力，有较强的鲁棒性 3 假设图像中心横线的纵坐标为(，k表示当 因=K.∑x/ (8) 前是第k个控制周期，扑翼飞行器的实际高度为 式中，K为单神经元的输出增益系数，w:(为第个 y),单目相机检测到扑翼飞行器头部标记点在图 输入量的权重，对应于公式(6)PID控制器中比例 像上的纵坐标经过滤波算法得到vz(k),则误差 系数Kp、积分系数K、微分系数KD e()=e()-v2(k:由于位置式PID表达式： 单神经元采用有监督Hebb学习规则，实现单 u(k)=Kpe(k)+KI>e(i)+Kp(e(k)-e(k-1) (6) 神经元输入权重的自调节.Hebb学习是一类相关 学习，其基本思想是如果两个细胞在同一时刻被 则单神经元的输入x、2、3分别为： 激发，则两者之间的联系会增强，反之减弱；将期 (k)=e(K) 望与输出引入Hebb学习规则中，构成有监督 内=20 Hebb学习规则，得到PID参数自适应的单神经元 (7) 的学习规则： x3(k)=e(k)-e(k-1) w()=wk-1)+e(k)u(k)x(,i=1,2,3（9)
现标记点被短暂遮挡、检测目标丢失的现象. 利 用卡尔曼预估可以得到当前运动状态的估计值， 用于控制系统的反馈，直到运动物体再次被检测 出，增加系统的鲁棒性. 如图 6 所示，根据当前时 刻的观测结果判断标记点是否被遮挡，如果没被 遮挡，则将观测值带入卡尔曼滤波器中，得出最优 估计值反馈给单神经元 PID 控制器；如果标记点 被遮挡，则通过卡尔曼预测即公式（3）得出预测 值，作为当前时刻的最优估计值，反馈给控制器. 3.4 闭环控制系统 图 7、图 8 是定高控制系统的示意图与结构框 图：外部单目相机拍摄扑翼飞行器的飞行图像，通 过地面站图像检测算法检测出标记点在图像上的 坐标，经过卡尔曼滤波反馈给单神经元 PID 控制 器，计算出电机转速并通过蓝牙发送给扑翼飞行 器的飞行控制电路板，从而实现定高控制. 由于常规 PID 控制器的参数无法在控制过程中 实时调整，适应能力较弱，因此本文采用单神经元 PID 控制器. 单神经元又被称为感知器，是神经网络 的重要组成单元，单神经元对不同的输入施加不同 的权重并求和，并通过激励函数得出结果，通过学习 算法修改权重值来实现其自学习功能[17] ，因此对环 境的变化具有一定的适应能力，有较强的鲁棒性. vc(k) k k y(k) vz(k) e(k) = vc(k)−vz(k) 假设图像中心横线的纵坐标为 ， 表示当 前是第 个控制周期，扑翼飞行器的实际高度为 ，单目相机检测到扑翼飞行器头部标记点在图 像上的纵坐标经过滤波算法得到 ，则误差 ；由于位置式 PID 表达式： u(k) = KPe(k)+KI ∑ k i=1 e(i)+KD(e(k)−e(k−1)) （6） 则单神经元的输入x1、x2、x3 分别为： x1(k) = e(k) x2(k) = ∑ k i=1 e(i) x3(k) = e(k)−e(k−1) （7） 单神经元的输出为： u(k) = Ku ∑ 3 i=1 wi(k)xi(k)/ ∑ 3 i=1 wi(k) （8） Ku wi(k) i KP KI KD 式中， 为单神经元的输出增益系数， 为第 个 输入量的权重，对应于公式（6）PID 控制器中比例 系数 、积分系数 、微分系数 . 单神经元采用有监督 Hebb 学习规则，实现单 神经元输入权重的自调节. Hebb 学习是一类相关 学习，其基本思想是如果两个细胞在同一时刻被 激发，则两者之间的联系会增强，反之减弱；将期 望与输出引 入 Hebb 学习规则中 ，构成有监 督 Hebb 学习规则，得到 PID 参数自适应的单神经元 的学习规则： wi(k) = wi(k−1)+ηie(k)u(k)xi(k), i = 1,2,3 （9） 当前时刻 观测结果 是否被遮挡 卡尔曼滤波 卡尔曼预测 反馈给 PID 控制器 否 是 图 6 观测结果处理流程图 Fig.6 Flowchart of observation result processing 扑翼飞行器 轴承 底座 电脑 单目相机 三脚架 图 7 定高控制系统示意图 Fig.7 Illustration of the fixed-height control system 状态 变换 学习算法 扑翼飞 行器 滤波算法 视觉检测 vc (k) e(k) Ku u(k) ∑ y(k) x1 (k) x2 (k) x3 (k) w1 (k) w2 (k) w3 (k) vz (k) − 图 8 控制系统结构框图 Fig.8 Structure diagram of the control system 付 强等： 基于外部单目视觉的仿生扑翼飞行器室内定高控制 · 253 ·
254 工程科学学报，第42卷，第2期 式中，是第个输入对应权重w(k)的学习率 后缓慢上升，稳定时间太长，则可降低，增大2 单神经元PD控制器的控制效果与单神经元 掌握调试规律后，一般可在10次以内调试出 的输出增益系数Ku、第个输入量的权重w、输入 合适的控制器参数 权重的学习率有关，在使用前需要进行调整，经 4实验验证 过多次实验，总结出以下调整规律： (1)K值的调整：先确定一个较小数值（如 4.1实验平台 0.1),根据实验结果进行调整，超调过大则减小K, 为了验证上述定高方案在实际环境下的可行 稳定时间太长就增大K; 性，搭建了基于外部单目视觉的X翼定高控制系 (2)权重w,的初始值：初始值对控制效果影响 统.系统由地面站软件和电脑、单目相机、三脚 不大，数量级在0.01到10之间即可，三个权重初 架、X翼扑翼飞行器、底座等硬件组成.地面站软 始值可保持一致： 件采用C+语言和Qt平台编写，图像处理部分基 (3)学习率的调整：若稳定时间太长，则增大 于OpenCV开源函数库.地面站软件主界面如图9， 和3；若响应从超调迅速下降至给定值以下，之 包含图像采集、定高控制和串口通讯三个子界面. 文件道助 单目视觉定高飞行实验平台 2019-01-2718:0024 实时曲线 0.0 3e0.0 () 0。 顿数 图学程示控制口设 物里标其：160Y:245 保标坐标红010 ☑曲 设定位五 20 ☑施h控制 0.018 停止伴弃 0.013 过 000m 图9地面站界面 Fig.9 Software interface of the ground station 单目相机采用USB高速摄像头，型号为QR- 置.启动地面站软件并打开摄像头和LED标识 USBFHDOIM.该摄像头能达到的最高分辨率为 灯，如果采用常规PD控制，则需在控制界面输入 1920像素×1080像素，但过高分辨率会降低系统的 PID控制参数：若采用单神经元PID控制则需要事 运行速度，因此本文采用的分辨率为640像素× 先对单神经元的初始权重和学习率进行调试，不 480像素，图像采样周期为33ms,即每秒30帧：地 用输入PID控制参数 面站所用电脑型号为华硕x555ld,CPU为酷睿i5- 4.2对比实验 4210U,主频1.7GHz.4G内存，Vindows10操作系统 在搭建好的实验平台上进行多次定高飞行实 如图10所示，单目USB摄像头固定在经过水 验，图像分辨率为640像素×480像素，中心横线的 平仪水平校准的三脚架平台上，通过USB接口接 纵坐标为240像素，扑翼飞行器的初始状态为自 入电脑，X翼的初始位置为自然垂落的最低点位 由下垂，纵坐标为212像素.在某一时刻提供阶跃
ηi 式中， 是第 i 个输入对应权重 wi(k) 的学习率. Ku i wi ηi 单神经元 PID 控制器的控制效果与单神经元 的输出增益系数 、第 个输入量的权重 、输入 权重的学习率 有关，在使用前需要进行调整，经 过多次实验，总结出以下调整规律： Ku Ku Ku （ 1） 值的调整 ：先确定一个较小数值 （ 如 0.1），根据实验结果进行调整，超调过大则减小 ， 稳定时间太长就增大 ； （2）权重 wi 的初始值：初始值对控制效果影响 不大，数量级在 0.01 到 10 之间即可，三个权重初 始值可保持一致； ηi η1 η3 （3）学习率 的调整：若稳定时间太长，则增大 和 ；若响应从超调迅速下降至给定值以下，之 后缓慢上升，稳定时间太长，则可降低 η1 ，增大 η2. 掌握调试规律后，一般可在 10 次以内调试出 合适的控制器参数. 4 实验验证 4.1 实验平台 为了验证上述定高方案在实际环境下的可行 性，搭建了基于外部单目视觉的 X 翼定高控制系 统. 系统由地面站软件和电脑、单目相机、三脚 架、X 翼扑翼飞行器、底座等硬件组成. 地面站软 件采用 C++语言和 Qt 平台编写，图像处理部分基 于 OpenCV 开源函数库. 地面站软件主界面如图 9， 包含图像采集、定高控制和串口通讯三个子界面. 单目相机采用 USB 高速摄像头，型号为 QRUSBFHD01M. 该摄像头能达到的最高分辨率为 1920 像素×1080 像素，但过高分辨率会降低系统的 运行速度，因此本文采用的分辨率为 640 像素× 480 像素，图像采样周期为 33 ms，即每秒 30 帧；地 面站所用电脑型号为华硕 x555ld，CPU 为酷睿 i5- 4210U，主频1.7 GHz，4 G 内存，Windows 10 操作系统. 如图 10 所示，单目 USB 摄像头固定在经过水 平仪水平校准的三脚架平台上，通过 USB 接口接 入电脑，X 翼的初始位置为自然垂落的最低点位 置. 启动地面站软件并打开摄像头和 LED 标识 灯，如果采用常规 PID 控制，则需在控制界面输入 PID 控制参数；若采用单神经元 PID 控制则需要事 先对单神经元的初始权重和学习率进行调试，不 用输入 PID 控制参数. 4.2 对比实验 在搭建好的实验平台上进行多次定高飞行实 验，图像分辨率为 640 像素×480 像素，中心横线的 纵坐标为 240 像素，扑翼飞行器的初始状态为自 由下垂，纵坐标为 212 像素. 在某一时刻提供阶跃 图 9 地面站界面 Fig.9 Software interface of the ground station · 254 · 工程科学学报，第 42 卷，第 2 期
付强等：基于外部单目视觉的仿生扑翼飞行器室内定高控制 255 单目相机，导致检测到的飞行高度出现周期性的 电脑 变化，目标物体离单目相机越远，变化越小； 扑翼飞 (上位机) 行器 (3)扑翼飞行器飞行过程中飞行姿态会发生 变化，从而影响外部相机捕捉蓝色标记点，降低了 底座 控制精度；可以采用多标记点的方法来降低系统 误差，但可能会增加系统的计算量，降低实时性； 单目USB 三脚架 (4)扑翼飞行器的负载较低，机身所带发光标 摄像头 记点功耗较低，亮度低.由于采用外部单目相机捕 捉蓝色标记点的方法进行扑翼飞行器的识别与定 图10实物实验图 位，因此当扑翼飞行器自由飞行时，飞行半径过 Fig.10 Physical experiment 大，摄像头难以检测到蓝色标记点，较难实现自由 信号，此时记为第0帧，阶跃响应如图11所示.常 自主飞行 规PD控制器控制下：扑翼飞行器分别在第31帧 5结论 (第1秒)和第114帧（第3.8秒）到达阶跃稳态值 的10%和90%，上升时间为2.8s:单神经元PID控 本文针对扑翼飞行器的定高飞行控制，提出 制器控制下：扑翼飞行器分别在第31帧（第1秒） 了一种基于外部单目视觉的定高控制系统.采用 和第123帧（第4.1秒）到达阶跃稳态值的10%和 蓝色LED灯作为扑翼飞行器标识点，利用单目相 90%,上升时间为3.1s:但是常规PID控制器的控 机拍摄扑翼飞行器，通过图像处理算法获取标记 制精度较低，最大误差约为7%，而单神经元PID 点在图像上的像素纵坐标，结合单神经元PID控 的控制精度较高，扑翼飞行器在第256帧（第8秒） 制器调节扑翼飞行器的电机转速，实现了基于图 后最大误差约为3% 像的扑翼飞行器定高飞行.该系统不需要进行相 280 机的内外参数标定，使用成本低，简单易实现，具 阶跃响应曲线 270 有一定的应用价值 260 (114,237) (256,247) 参考文献 6250 [1]He W,Ding S Q,Sun C Y.Research progress on modeling and 家20 control of flapping-wing air vehicles.Acta Automatica Sinica, 2017,43(5):685 220 (123,237) 常元D (贺威，丁施强，孙长银.扑翼飞行器的建模与控制研究进展.自 210 一中心横线 (31,215) …中心横线纵坐标值✉105 动化学报，2017,43(5)：685) 200 中心横线织坐标值097 100 200 300 400 500 600 [2]Mackenzie D.A flapping of wings.Science,2012,335(6075): 帧数 1430 图11PD控制飞行高度曲线 [3] Jackowski Z J.Design and Construction of An Autonomous Fig.11 Flight height curve of the PID controller Ornithopter [Dissertation].Massachusetts:Massachusetts Institute of Technology,2009 通过分析实验结果，得出以下结论： [4] Ryu S,Kwon U,Kim H J.Autonomous flight and vision-based (1)单神经元PID控制下，扑翼飞行器的飞行 target tracking for a flapping-wing MAV /2016 /EEE/RS/ 高度响应速度稍微低于常规PD控制，但是控制 International Conference on Intelligent Robots and Systems 误差要明显小于常规D控制下的控制误差，而 (/ROS).Daejeon,2016:5645 且不需要调节比例、积分、微分参数，做到了参数 [s] Lin S H,Hsiao F Y,Chen C L,et al.Altitude control of flapping- 自适应； wing MAV using vision-based navigation /Proceedings of the 2010 American Control Conference.Baltimore,2010:21 (2)无论是常规PID控制器还是单神经元 [6] Yang W Q,Wang L G,Song B F.Dove:a biomimetic flapping. PID控制器，飞行高度误差总会出现周期性变化， wing micro air vehicle.Int J Micro Air Vehicles,2018.10(1):70 原因是相机成像具有近大远小的特点，单目相机 [7] He W,Huang H F,Chen Y N,et al.Development of an 不能检测出飞行器与相机的距离，当扑翼飞行器 autonomous flapping-wing aerial vehicle.Sci China Inf Sci,2017, 进行水平圆周运动时，就会周期性的远离或靠近 60(6):063201
信号，此时记为第 0 帧，阶跃响应如图 11 所示. 常 规 PID 控制器控制下：扑翼飞行器分别在第 31 帧 （第 1 秒）和第 114 帧（第 3.8 秒）到达阶跃稳态值 的 10% 和 90%，上升时间为 2.8 s；单神经元 PID 控 制器控制下：扑翼飞行器分别在第 31 帧（第 1 秒） 和第 123 帧（第 4.1 秒）到达阶跃稳态值的 10% 和 90%，上升时间为 3.1 s；但是常规 PID 控制器的控 制精度较低，最大误差约为 7%，而单神经元 PID 的控制精度较高，扑翼飞行器在第 256 帧（第 8 秒） 后最大误差约为 3%. 通过分析实验结果，得出以下结论： （1）单神经元 PID 控制下，扑翼飞行器的飞行 高度响应速度稍微低于常规 PID 控制，但是控制 误差要明显小于常规 PID 控制下的控制误差，而 且不需要调节比例、积分、微分参数，做到了参数 自适应； （ 2）无论是常 规 PID 控制器还是单神经 元 PID 控制器，飞行高度误差总会出现周期性变化， 原因是相机成像具有近大远小的特点，单目相机 不能检测出飞行器与相机的距离，当扑翼飞行器 进行水平圆周运动时，就会周期性的远离或靠近 单目相机，导致检测到的飞行高度出现周期性的 变化，目标物体离单目相机越远，变化越小； （3）扑翼飞行器飞行过程中飞行姿态会发生 变化，从而影响外部相机捕捉蓝色标记点，降低了 控制精度； 可以采用多标记点的方法来降低系统 误差，但可能会增加系统的计算量，降低实时性； （4）扑翼飞行器的负载较低，机身所带发光标 记点功耗较低，亮度低. 由于采用外部单目相机捕 捉蓝色标记点的方法进行扑翼飞行器的识别与定 位，因此当扑翼飞行器自由飞行时，飞行半径过 大，摄像头难以检测到蓝色标记点，较难实现自由 自主飞行. 5 结论 本文针对扑翼飞行器的定高飞行控制，提出 了一种基于外部单目视觉的定高控制系统. 采用 蓝色 LED 灯作为扑翼飞行器标识点，利用单目相 机拍摄扑翼飞行器，通过图像处理算法获取标记 点在图像上的像素纵坐标，结合单神经元 PID 控 制器调节扑翼飞行器的电机转速，实现了基于图 像的扑翼飞行器定高飞行. 该系统不需要进行相 机的内外参数标定，使用成本低，简单易实现，具 有一定的应用价值. 参 考 文 献 He W, Ding S Q, Sun C Y. Research progress on modeling and control of flapping-wing air vehicles. Acta Automatica Sinica, 2017, 43（5）: 685 （贺威, 丁施强, 孙长银. 扑翼飞行器的建模与控制研究进展. 自 动化学报, 2017, 43（5）：685 ） [1] Mackenzie D. A flapping of wings. Science, 2012, 335（6075）: 1430 [2] Jackowski Z J. Design and Construction of An Autonomous Ornithopter [Dissertation]. Massachusetts: Massachusetts Institute of Technology, 2009 [3] Ryu S, Kwon U, Kim H J. Autonomous flight and vision-based target tracking for a flapping-wing MAV // 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Daejeon, 2016: 5645 [4] Lin S H, Hsiao F Y, Chen C L, et al. Altitude control of flappingwing MAV using vision-based navigation // Proceedings of the 2010 American Control Conference. Baltimore, 2010: 21 [5] Yang W Q, Wang L G, Song B F. Dove: a biomimetic flappingwing micro air vehicle. Int J Micro Air Vehicles, 2018, 10（1）: 70 [6] He W, Huang H F, Chen Y N, et al. Development of an autonomous flapping-wing aerial vehicle. Sci China Inf Sci, 2017, 60（6）: 063201 [7] 电脑 （上位机） 单目USB 摄像头 扑翼飞 行器 底座 三脚架 图 10 实物实验图 Fig.10 Physical experiment 280 270 260 250 240 230 220 210 200 100 200 300 400 500 600 (31, 215) (123, 237) (114, 237) (256, 247) 阶跃响应曲线 常规PID 单神经元PID 中心横线 中心横线纵坐标值×1.03 中心横线纵坐标值×0.97 纵坐标像素 帧数 图 11 PID 控制飞行高度曲线 Fig.11 Flight height curve of the PID controller 付 强等： 基于外部单目视觉的仿生扑翼飞行器室内定高控制 · 255 ·
256 工程科学学报，第42卷，第2期 [8]Zeng R,Ang H S.Aerodynamic computation of flapping-wing 38(5):572 simulating bird wings.J Nanjing Uniy Aeronautics Astronautics, (刘亚菲，郭慧，聂冬金，等.双目立体视觉系统测量精度的分析. 2003.35(1):6 东华大学学报：自然科学版，2012,38(5)：572) (曾锐，昂海松.仿鸟复合振动的扑翼气动分析.南京航空航天 [14]Zhao P,Li Y K,Tian S B,et al.Theoretical and experimental 大学学报，2003,35(1)：6) research of structural parameters of binocular vision measuring [9] De Croon G C H E,Percin M,Remes B D W,et al.The DelFly. system.J Mach Des,2013,30(2):64 Dordrecht:Springer Netherlands,2016 (赵萍，李永奎，田素博，等.双目视觉测量系统结构参数理论与 [10]Wu X L,Shi Z Y,Zhong Y S.An overview of vision-based UAV 试验研究.机械设计，2013,30(2)：64) navigation.J Syst Simul,2010,22(Suppl 1):62 [15]Windolf M,Gotzen N,Morlock M.Systematic accuracy and (吴显亮，石宗英，钟宜生.无人机视觉导航研究综述系统仿真 学报，2010,22（增刊1少：62） precision analysis of video motion capturing systems-exempli- fied on the Vicon-460 system.J Biomech,2008,41(12):2776 [11]Han J G,Shoa L,Xu D,et al.Enhanced computer vision with Microsoft Kinect sensor:a review.IEEE Trans Cybernetics,2013, [16]Ma S D.Zhang Z Y.Computer Vision:Fundamentals of 43(5):1318 Computational Theory and Algorithms.Beijing:Science Press, [12]Ni Z S,Gu Y,Liu Q L,et al.Flexible calibration method for 1998 binocular stereo vision in large field of view.Opt Precision Eng, (马颂德，张正友.计算机视觉-计算理论与算法基础.北京：科 2017,25(7):1882 学出版社，1998) (倪章松，顾艺，柳庆林，等.大视场双目立体视觉柔性标定.光 [17]Ding J,Xu Y M.Single neuron adaptive PID controller and its 学精密工程，2017,25(7)：1882） applications.Control Eng China,2004,11(1):27 [13]Liu Y F,Guo H,Nie D J,et al.Analysis on measurement accuracy (丁军，徐用懋.单神经元白适应PD控制器及其应用.控制工程， of binocular stereo vision system.J Donghua Univ Nat Sci,2012, 2004,11(1):27)
Zeng R, Ang H S. Aerodynamic computation of flapping-wing simulating bird wings. J Nanjing Univ Aeronautics Astronautics, 2003, 35（1）: 6 （曾锐, 昂海松. 仿鸟复合振动的扑翼气动分析. 南京航空航天 大学学报, 2003, 35（1）：6 ） [8] De Croon G C H E, Perçin M, Remes B D W, et al. The DelFly. Dordrecht: Springer Netherlands, 2016 [9] Wu X L, Shi Z Y, Zhong Y S. An overview of vision-based UAV navigation. J Syst Simul, 2010, 22(Suppl 1): 62 （吴显亮, 石宗英, 钟宜生. 无人机视觉导航研究综述. 系统仿真 学报, 2010, 22(增刊1): 62） [10] Han J G, Shoa L, Xu D, et al. Enhanced computer vision with Microsoft Kinect sensor: a review. IEEE Trans Cybernetics, 2013, 43（5）: 1318 [11] Ni Z S, Gu Y, Liu Q L, et al. Flexible calibration method for binocular stereo vision in large field of view. Opt Precision Eng, 2017, 25（7）: 1882 （倪章松, 顾艺, 柳庆林, 等. 大视场双目立体视觉柔性标定. 光 学精密工程, 2017, 25（7）：1882 ） [12] Liu Y F, Guo H, Nie D J, et al. Analysis on measurement accuracy of binocular stereo vision system. J Donghua Univ Nat Sci, 2012, [13] 38（5）: 572 （刘亚菲, 郭慧, 聂冬金, 等. 双目立体视觉系统测量精度的分析. 东华大学学报: 自然科学版, 2012, 38（5）：572 ） Zhao P, Li Y K, Tian S B, et al. Theoretical and experimental research of structural parameters of binocular vision measuring system. J Mach Des, 2013, 30（2）: 64 （赵萍, 李永奎, 田素博, 等. 双目视觉测量系统结构参数理论与 试验研究. 机械设计, 2013, 30（2）：64 ） [14] Windolf M, Götzen N, Morlock M. Systematic accuracy and precision analysis of video motion capturing systems —exemplified on the Vicon-460 system. J Biomech, 2008, 41（12）: 2776 [15] Ma S D, Zhang Z Y. Computer Vision: Fundamentals of Computational Theory and Algorithms. Beijing: Science Press, 1998 （马颂德, 张正友. 计算机视觉‒计算理论与算法基础. 北京: 科 学出版社, 1998） [16] Ding J, Xu Y M. Single neuron adaptive PID controller and its applications. Control Eng China, 2004, 11（1）: 27 （丁军, 徐用懋. 单神经元自适应PID控制器及其应用. 控制工程, 2004, 11（1）：27 ） [17] · 256 · 工程科学学报，第 42 卷，第 2 期