付强等：仿生扑翼飞行器的视觉感知系统研究进展 ·1517 随着计算机视觉技术的不断发展，目标检测 的时候没有更新网络，只有一个计算前馈网络的 与识别技术的准确率不断地增长.在2015年的 过程，使得算法运行速度达到了100fps3,克服了 ImageNet的分类比赛中，由微软亚洲研究院何恺 基于深度学习的目标跟踪算法速度较慢的缺点 明团队提出的深度残差网络(deep residual 目前已经有了许多以旋翼飞行器为平台的目 networks)B0取得了3.57%的分类错误率，不仅夺 标跟踪技术的应用.例如，澳大利亚阿德莱德大 得了当年的ImageNet的分类大赛冠军，同时这个 学Milan等提出了一种基于循环神经网络的在线 成绩更是超过了接受过训练的人在ImageNet数据 多目标跟踪的新方法阿，用以解决多目标跟踪时 集上对图片进行分类的成绩(5.1%).2015年美国 应用复杂模型需要繁琐的参数调整问题.浙江大 华盛顿大学Redmon等提出的YOLO目标检测算 学陈朋等基于高通公司的Snapdragon飞控平台提 法别代表着当下目标检测算法的最高水平之一， 出了一种目标跟踪方法，通过融合惯性测量单元 同时，YOLO算法较高的运行速度以及较高的准 数据、全球定位系统数据和运动物体检测结果来 确率已经满足了工业应用的要求.随着深度学习 计算物体坐标系与无人机之间的相对位置，所有 技术的不断发展，速度更快、准确率更高的算法将 算法都在Qualcomm平台上实时运行3o目标跟踪 会越来越多 技术对于小型扑翼飞行器的室内飞行是不可或缺 将优秀的目标检测与识别算法应用到无人机 的.例如，代尔夫特理工大学Scheper等利用DelFly 平台，能够使无人机更加智能.扑翼飞行器的视觉 Explorer来执行室内自主多房间导航探索任务B7 感知系统要实现智能化，首先就要将目标检测与 使用基于单目彩色图像的Snake-.gate检测算法得 识别技术成功的移植到扑翼飞行器上.由于扑翼 到门的位置，触发基于航向的门通道算法，并朝着 飞行器自身的载重问题限制，无法搭载高性能处 门的方向飞行.实际测试中，在由走廊隔开的两个 理器进行实时检测，所以现阶段的目标检测与识 房间之间，扑翼飞行器可以连续成功导航，展示了 别的中间计算过程大多需要地面计算机辅助处理 扑翼飞行器进行自主导航的潜力 2.3目标跟踪技术 目标跟踪技术是实现扑翼飞行器自主飞行的 目标跟踪技术是目标检测与识别技术的一种 关键技术，例如对于障碍物的躲避，需要目标检 延伸.但对于无人机而言是一个巨大的桃战.在高 测与识别算法能够发现和识别障碍物，而对于移 空飞行时，摄像头的视野极其开阔，但是目标的面 动的物体，则需要目标跟踪技术预测物体的移动 积相对于视野的面积而言，显得很小.同时由于建 方向，及时调整扑翼飞行器的方向.扑翼飞行器在 筑物遮挡，相似的背景干扰，光照问题等，使得目 这个技术上主要的问题是在高空飞行时，目标物 标跟踪变得十分困难四， 体在全局下不明显，存在遮挡、光照等影响跟踪效 大多数无人机目标跟踪算法都会包括图像输 果的问题，要通过选用较高像素的摄像头以及鲁 入、外观特征描述、环境信息集成、决策和模态更 棒性更高、稳定性更强的算法来提高跟踪效果，保 新等过程.对于不同的方法，重点不一样，因此设 证自主飞行的安全性 计的目标跟踪的方案会有所不同，早期的目标跟 3未来发展趋势 踪多以经典跟踪方法为主，如粒子滤波(particle filter)、均值漂移(meanshift)等.粒子滤波方法在 通过第1节和第2节的内容介绍，我们可以看 目标跟踪领域取得了巨大成功，它首先对跟踪 出现阶段扑翼飞行器的视觉感知系统研究还处于 目标进行建模，并定义一种相似度度量确定粒子 一个起步阶段o尽管近几年来出现了一些突破 与目标的匹配程度来确保在更大概率上跟踪上目 性成果，但是相比于旋翼和固定翼飞行器的视觉 标).近几年来深度学习的高速发展也带动了目 感知系统而言，仍处于一个较低的水平，扑翼飞行 标跟踪算法的发展.斯坦福大学David Held提出 器的视觉感知系统仍有大量问题有待进一步的深 了GOTURN算法，该算法将上一帧图像中的目标 入研究，主要涉及以下几个方面： 和当前帧的图像同时输入卷积神经网络 (I)目前的图像消抖技术还不足以应对扑翼 (convolutional neural network,CNN)的卷积层(conv 飞行所带来的剧烈抖动.图像的剧烈抖动一方面 layers),然后将直接传入通过全连接层(fully- 会造成图像模糊，另一方面对图像处理单元造成 connected layers),通过这种方法得到当前帧中目 较大的负担)目前的微型云台虽然一定程度上 标的位置信息.同时网络的训练是离线的，在跟踪 能够减轻抖动，但随着扑翼飞行器的不断发展，其随着计算机视觉技术的不断发展，目标检测 与识别技术的准确率不断地增长. 在 2015 年的 ImageNet 的分类比赛中，由微软亚洲研究院何恺 明 团 队 提 出 的 深 度 残 差 网 络 （ deep  residual networks） [30] 取得了 3.57% 的分类错误率，不仅夺 得了当年的 ImageNet 的分类大赛冠军，同时这个 成绩更是超过了接受过训练的人在 ImageNet 数据 集上对图片进行分类的成绩（5.1%）. 2015 年美国 华盛顿大学 Redmon 等提出的 YOLO 目标检测算 法[31] 代表着当下目标检测算法的最高水平之一， 同时，YOLO 算法较高的运行速度以及较高的准 确率已经满足了工业应用的要求. 随着深度学习 技术的不断发展，速度更快、准确率更高的算法将 会越来越多. 将优秀的目标检测与识别算法应用到无人机 平台，能够使无人机更加智能. 扑翼飞行器的视觉 感知系统要实现智能化，首先就要将目标检测与 识别技术成功的移植到扑翼飞行器上. 由于扑翼 飞行器自身的载重问题限制，无法搭载高性能处 理器进行实时检测，所以现阶段的目标检测与识 别的中间计算过程大多需要地面计算机辅助处理. 2.3    目标跟踪技术 目标跟踪技术是目标检测与识别技术的一种 延伸，但对于无人机而言是一个巨大的挑战. 在高 空飞行时，摄像头的视野极其开阔，但是目标的面 积相对于视野的面积而言，显得很小. 同时由于建 筑物遮挡，相似的背景干扰，光照问题等，使得目 标跟踪变得十分困难[32] . 大多数无人机目标跟踪算法都会包括图像输 入、外观特征描述、环境信息集成、决策和模态更 新等过程. 对于不同的方法，重点不一样，因此设 计的目标跟踪的方案会有所不同. 早期的目标跟 踪多以经典跟踪方法为主，如粒子滤波（ particle filter）、均值漂移（meanshift）等. 粒子滤波方法在 目标跟踪领域取得了巨大成功，它首先对跟踪 目标进行建模，并定义一种相似度度量确定粒子 与目标的匹配程度来确保在更大概率上跟踪上目 标[33] . 近几年来深度学习的高速发展也带动了目 标跟踪算法的发展. 斯坦福大学 David Held 提出 了 GOTURN 算法，该算法将上一帧图像中的目标 和 当 前 帧 的 图 像 同 时 输 入 卷 积 神 经 网 络 （convolutional neural network，CNN）的卷积层（conv layers） ，然后将直接传入通过全连接层 （ fully￾connected layers），通过这种方法得到当前帧中目 标的位置信息. 同时网络的训练是离线的，在跟踪 的时候没有更新网络，只有一个计算前馈网络的 过程，使得算法运行速度达到了 100 fps[34] ，克服了 基于深度学习的目标跟踪算法速度较慢的缺点. 目前已经有了许多以旋翼飞行器为平台的目 标跟踪技术的应用. 例如，澳大利亚阿德莱德大 学 Milan 等提出了一种基于循环神经网络的在线 多目标跟踪的新方法[35] ，用以解决多目标跟踪时 应用复杂模型需要繁琐的参数调整问题. 浙江大 学陈朋等基于高通公司的 Snapdragon 飞控平台提 出了一种目标跟踪方法，通过融合惯性测量单元 数据、全球定位系统数据和运动物体检测结果来 计算物体坐标系与无人机之间的相对位置，所有 算法都在 Qualcomm 平台上实时运行[36] . 目标跟踪 技术对于小型扑翼飞行器的室内飞行是不可或缺 的. 例如，代尔夫特理工大学 Scheper 等利用 DelFly Explorer 来执行室内自主多房间导航探索任务[37] . 使用基于单目彩色图像的 Snake-gate 检测算法得 到门的位置，触发基于航向的门通道算法，并朝着 门的方向飞行. 实际测试中，在由走廊隔开的两个 房间之间，扑翼飞行器可以连续成功导航，展示了 扑翼飞行器进行自主导航的潜力. 目标跟踪技术是实现扑翼飞行器自主飞行的 关键技术[38] ，例如对于障碍物的躲避，需要目标检 测与识别算法能够发现和识别障碍物，而对于移 动的物体，则需要目标跟踪技术预测物体的移动 方向，及时调整扑翼飞行器的方向. 扑翼飞行器在 这个技术上主要的问题是在高空飞行时，目标物 体在全局下不明显，存在遮挡、光照等影响跟踪效 果的问题，要通过选用较高像素的摄像头以及鲁 棒性更高、稳定性更强的算法来提高跟踪效果，保 证自主飞行的安全性[39] . 3    未来发展趋势 通过第 1 节和第 2 节的内容介绍，我们可以看 出现阶段扑翼飞行器的视觉感知系统研究还处于 一个起步阶段[40] . 尽管近几年来出现了一些突破 性成果，但是相比于旋翼和固定翼飞行器的视觉 感知系统而言，仍处于一个较低的水平. 扑翼飞行 器的视觉感知系统仍有大量问题有待进一步的深 入研究，主要涉及以下几个方面： （1）目前的图像消抖技术还不足以应对扑翼 飞行所带来的剧烈抖动. 图像的剧烈抖动一方面 会造成图像模糊，另一方面对图像处理单元造成 较大的负担[41] . 目前的微型云台虽然一定程度上 能够减轻抖动，但随着扑翼飞行器的不断发展，其 付    强等： 仿生扑翼飞行器的视觉感知系统研究进展 · 1517 ·