第4期 王晓林，等：一种基于级联神经网络的飞机检测方法 ·699· 如Hsieh等Im在RPN的基础上提出了具有空间 该数据集中包含了2806张图像，但只有197张图 布局结构的LPN,有效地减少了候选区域生成的 像包含飞机实例，其余图像在飞机检测任务中不 数量并提高了生成质量：Liu等1利用多角度的 起作用。 先验框提出了DRBox方法，在检测目标的同时还 我们建立了一个名为AMOYAirplane的新的 估计了目标的旋转角度；Yang等9提出了一种将 飞机遥感图像数据集。数据集包括了中国96个主 全卷积网络(fully convolutional network,FCN)和 要机场的场景，共包含9372个飞机实例，每个实 马尔可夫随机场结合起来的飞机检测框架。 例都是用矩形框进行标注。每个标注由左上、右 2数据集 下两个顶，点的坐标值构成。数据集既包含了低分 辨率图像，又包括了高分辨率图像，共1639张图 尽管对飞机检测已经研究了很多年，但是目 片，其中1248张用于训练，391张用于测试。除 前大多数的遥感图像数据集都是针对通用目标 此之外，还为其中1583个飞机实例提供了五关键 的，如NWPU-VHR102o21包含了10类目标，而 点标注，这可以用于对飞机的进一步研究，如旋转 DOTA2)包含了15类目标，这些数据集中仅有一 角度估计任务。数据集的详细对比内容见表1。 小部分可以用于飞机检测任务。以DOTA为例， 图I给出了一些AMOYAirplane数据集的示例。 表1数据集对比 Table 1 Comparison between datasets 数据集 图像分辨率 标注格式 类别 图片数量 实例数量 关键点 DOTA 高 带方向的矩形框 15 197 8300 NWPU-VHR10 较高 矩形框 10 90 757 AMOYAirplane 高、低均含有 矩形框 1 1639 9372 3检测方法 3.1模型总体介绍 本文提出了一种级联的飞机检测方法。该方 法由两阶段组成，每个阶段都是一个非常简单的卷 积神经网络，如图2所示。第1阶段通过产生若干 个候选区域来粗略地定位，然后用非极大值抑制 NMS)来去除有较高重叠度的窗口。剩下的窗口 (a)示例1 (b)示例2 会在第2阶段中进行更精细的分类和边框回归，然 图1 AMOYAirplane数据集示例 后再次进行非极大值抑制并输出最终结果。和 Fig.1 Samples in AMOYAirplane dataset MTCNN2类似，本文把这2个网络分别叫作P- Net和R-Net。2个网络的具体结构如图3所示。 Stage-1 Stage-2 粗略的区域 准确的区域 NMS 边框回归 边框回归 图2RCNN-Lite模型结构 Fig.2 Model structure of RCNN-Lite如 Hsieh 等 [17] 在 RPN 的基础上提出了具有空间 布局结构的 LPN，有效地减少了候选区域生成的 数量并提高了生成质量；Liu 等 [18] 利用多角度的 先验框提出了 DRBox 方法，在检测目标的同时还 估计了目标的旋转角度；Yang 等 [19] 提出了一种将 全卷积网络 (fully convolutional network，FCN) 和 马尔可夫随机场结合起来的飞机检测框架。 2 数据集 尽管对飞机检测已经研究了很多年，但是目 前大多数的遥感图像数据集都是针对通用目标 的，如 NWPU-VHR10[20-22] 包含了 10 类目标，而 DOTA[23] 包含了 15 类目标，这些数据集中仅有一 小部分可以用于飞机检测任务。以 DOTA 为例， 该数据集中包含了 2 806 张图像，但只有 197 张图 像包含飞机实例，其余图像在飞机检测任务中不 起作用。 我们建立了一个名为 AMOYAirplane 的新的 飞机遥感图像数据集。数据集包括了中国 96 个主 要机场的场景，共包含 9 372 个飞机实例，每个实 例都是用矩形框进行标注。每个标注由左上、右 下两个顶点的坐标值构成。数据集既包含了低分 辨率图像，又包括了高分辨率图像，共 1 639 张图 片，其中 1 248 张用于训练，391 张用于测试。除 此之外，还为其中 1 583 个飞机实例提供了五关键 点标注，这可以用于对飞机的进一步研究，如旋转 角度估计任务。数据集的详细对比内容见表 1。 图 1 给出了一些 AMOYAirplane 数据集的示例。 表 1 数据集对比 Table 1 Comparison between datasets 数据集 图像分辨率 标注格式 类别 图片数量 实例数量 关键点 DOTA 高 带方向的矩形框 15 197 8 300 × NWPU-VHR10 较高 矩形框 10 90 757 × AMOYAirplane 高、低均含有 矩形框 1 1 639 9 372 √ (a) 示例 1 (b) 示例 2 图 1 AMOYAirplane 数据集示例 Fig. 1 Samples in AMOYAirplane dataset 3 检测方法 3.1 模型总体介绍 本文提出了一种级联的飞机检测方法。该方 法由两阶段组成，每个阶段都是一个非常简单的卷 积神经网络，如图 2 所示。第 1 阶段通过产生若干 个候选区域来粗略地定位，然后用非极大值抑制 (NMS) 来去除有较高重叠度的窗口。剩下的窗口 会在第 2 阶段中进行更精细的分类和边框回归，然 后再次进行非极大值抑制并输出最终结果。和 MTCNN[24] 类似，本文把这 2 个网络分别叫作 P￾Net 和 R-Net。2 个网络的具体结构如图 3 所示。 边框回归 边框回归 图像 金字塔 Stage-1 NMS NMS NMS 粗略的区域 准确的区域 Stage-2 图 2 RCNN-Lite 模型结构 Fig. 2 Model structure of RCNN-Lite 第 4 期 王晓林，等：一种基于级联神经网络的飞机检测方法 ·699·