第15卷第2期 智能系统学报 Vol.15 No.2 2020年3月 CAAI Transactions on Intelligent Systems Mar.2020 D0:10.11992/tis.201901004 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20190909.1056.002.html 生成对抗网络辅助学习的舰船目标精细识别 王昌安，田金文 (华中科技大学多谱信息处理国家级重点实验室，武汉湖北430074) 摘要：针对近岸舰船目标细粒度识别的难题，提出了一种利用生成对抗网络辅助学习的任意方向细粒度舰船 目标识别框架。通过训练能模仿舰船目标区域的抽象深度特征的生成网络引入生成样本，来辅助分类子网络 学习样本空间的流形分布，从而增强细粒度的类别间判别能力。在细粒度类别的近岸舰船数据集上，引入生成 对抗网络后的算法识别准确率得到较大提升，平均识别精度提升了2%。消融实验结果表明，利用生成样本辅 助训练分类子网络可以有效地提升舰船目标的细粒度识别精度。 关键词：遥感图像：近岸舰船；舰船目标检测：舰船识别：舰船细粒度分类：生成对抗网络：深度学习：图像处理 中图分类号：TP391文献标志码：A文章编号：1673-4785(2020)02-0296-06 中文引用格式：王昌安，田金文.生成对抗网络辅助学习的舰船目标精细识别J.智能系统学报，2020,15(2)：296-301. 英文引用格式：VANG Chang'an,TIAN Jinwen.Fine-grained inshore ship recognition assisted by deep-learning generative ad. versarial networks J.CAAI transactions on intelligent systems,2020,15(2):296-301. Fine-grained inshore ship recognition assisted by deep-learning generative adversarial networks WANG Chang'an,TIAN Jinwen (College of Automation,National Key Laboratory of Multispectral Information Processing Technology,Huazhong University of Sci- ence and Technology,Wuhan 430074,China) Abstract:To solve the fine-grained inshore ship recognition problem,a multidirectional fine-grained ship recognition framework,which is based on deep-learning generative adversarial networks,is proposed.By training the generation network that can simulate the abstract depth features of the ship target area,the generated samples are used to assist the classification subnetwork in learning the manifold distribution of the sample space.Thus,the fine-grained discriminat- ing power of the classification subnetwork is enhanced.Ablation experiment was conducted on the multi-category fine- grained inshore ship dataset,and the model assisted by generative adversarial networks achieved an average precision rate improvement of 2%.As shown in the comparative experiment,it is beneficial to train the classification subnetwork using the generated samples to solve the fine-grained inshore ship recognition problem Keywords:remote sensing image;inshore ships;ships detection;ships classification;fine-grained ships classification; generative adversarial networks;deep-learning;image processing 可见光遥感影像中的舰船识别是遥感信息处 标短边尺度较小，准确定位较为困难：近岸舰船 理应用的一个热点研究问题，在敌情监测、战略 往往并排停靠，难以有效地进行实例分离；不同 部署以及船只监控等方面发挥着重要作用。其 类别的近岸舰船目标在颜色和纹理上具有很高的 中，近岸舰船的细粒度识别问题更具有挑战性， 相似性，要实现细粒度的舰船类别分类有较高的 相关研究也较少，相比于远海区域的舰船目标， 挑战性。 近岸舰船目标的识别存在着以下难点：近岸舰船 传统的舰船识别算法往往借助于严格的先验 目标所处的海陆背景环境更加复杂；近岸舰船目 知识以及人工设计的复杂特征，其中文献[1]通 收稿日期：2019-01-06.网络出版日期：2019-09-09 基金项目：国家自然科学基金项目(61273279). 过对直线段进行分析和组合实现了舰船目标检 通信作者：田金文.E-mail:jwtian@mail.hust.edu.cn 测，但容易受陆地上建筑物和道路等的干扰：雷琳等
DOI: 10.11992/tis.201901004 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20190909.1056.002.html 生成对抗网络辅助学习的舰船目标精细识别 王昌安，田金文 （华中科技大学 多谱信息处理国家级重点实验室，武汉 湖北 430074） 摘 要：针对近岸舰船目标细粒度识别的难题，提出了一种利用生成对抗网络辅助学习的任意方向细粒度舰船 目标识别框架。通过训练能模仿舰船目标区域的抽象深度特征的生成网络引入生成样本，来辅助分类子网络 学习样本空间的流形分布，从而增强细粒度的类别间判别能力。在细粒度类别的近岸舰船数据集上，引入生成 对抗网络后的算法识别准确率得到较大提升，平均识别精度提升了 2%。消融实验结果表明，利用生成样本辅 助训练分类子网络可以有效地提升舰船目标的细粒度识别精度。 关键词：遥感图像；近岸舰船；舰船目标检测；舰船识别；舰船细粒度分类；生成对抗网络；深度学习；图像处理 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)02−0296−06 中文引用格式：王昌安, 田金文. 生成对抗网络辅助学习的舰船目标精细识别 [J]. 智能系统学报, 2020, 15(2): 296–301. 英文引用格式：WANG Chang’an, TIAN Jinwen. Fine-grained inshore ship recognition assisted by deep-learning generative adversarial networks[J]. CAAI transactions on intelligent systems, 2020, 15(2): 296–301. Fine-grained inshore ship recognition assisted by deep-learning generative adversarial networks WANG Chang’an，TIAN Jinwen (College of Automation, National Key Laboratory of Multispectral Information Processing Technology, Huazhong University of Science and Technology, Wuhan 430074, China) Abstract: To solve the fine-grained inshore ship recognition problem, a multidirectional fine-grained ship recognition framework, which is based on deep-learning generative adversarial networks, is proposed. By training the generation network that can simulate the abstract depth features of the ship target area, the generated samples are used to assist the classification subnetwork in learning the manifold distribution of the sample space. Thus, the fine-grained discriminating power of the classification subnetwork is enhanced. Ablation experiment was conducted on the multi-category finegrained inshore ship dataset, and the model assisted by generative adversarial networks achieved an average precision rate improvement of 2%. As shown in the comparative experiment, it is beneficial to train the classification subnetwork using the generated samples to solve the fine-grained inshore ship recognition problem. Keywords: remote sensing image; inshore ships; ships detection; ships classification; fine-grained ships classification; generative adversarial networks; deep-learning; image processing 可见光遥感影像中的舰船识别是遥感信息处 理应用的一个热点研究问题，在敌情监测、战略 部署以及船只监控等方面发挥着重要作用。其 中，近岸舰船的细粒度识别问题更具有挑战性， 相关研究也较少，相比于远海区域的舰船目标， 近岸舰船目标的识别存在着以下难点：近岸舰船 目标所处的海陆背景环境更加复杂；近岸舰船目 标短边尺度较小，准确定位较为困难；近岸舰船 往往并排停靠，难以有效地进行实例分离；不同 类别的近岸舰船目标在颜色和纹理上具有很高的 相似性，要实现细粒度的舰船类别分类有较高的 挑战性。 传统的舰船识别算法往往借助于严格的先验 知识以及人工设计的复杂特征，其中文献 [1] 通 过对直线段进行分析和组合实现了舰船目标检 测，但容易受陆地上建筑物和道路等的干扰；雷琳等[2] 收稿日期：2019−01−06. 网络出版日期：2019−09−09. 基金项目：国家自然科学基金项目 (61273279). 通信作者：田金文. E-mail：jwtian@mail.hust.edu.cn. 第 15 卷第 2 期 智 能 系 统 学 报 Vol.15 No.2 2020 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2020
第2期 王昌安，等：生成对抗网络辅助学习的舰船目标精细识别 ·297· 提出利用Hausdorff距离来衡量候选目标轮廓与 重叠度过高或背景较为简单的区域，接着利用旋 给定舰船模板的相似性，并通过滑动窗口来搜索 转区域池化模块提取固定长度的区域特征，并进 舰船目标，但该方法受限于舰船模板的单一性而 行候选区域的初步分类、候选检测框调整和角度 难以检测种类多样的近岸舰船目标；文献[3]利 回归，调整后的候选检测框会被重新池化并使用 用形状、纹理和长宽比等人工特征，使用支持向 级联分类子网络实现细粒度分类，最后对目标框 量机实现了5类舰船目标的识别，但人工特征表 进行后处理作为最终的识别结果。整个网络的基 达能力较弱故无法完成细粒度的舰船目标分类， 本框架如图2所示，可以分为主干检测网络和 同时也难以与已有的舰船检测方法相结合实现端 GAN辅助学习的级联分类子网络两个部分。其 到端的识别。 中，主干检测网络属于两阶段的目标检测方法， 基于深度学习的方法凭借优异的特征提取能 用于实现舰船目标的定位和初步分类，使用端到 力，得到了人们的广泛关注，其中，Lin等基于 端的方式进行训练，第一阶段和第二阶段采用了 语义分割的框架利用全卷积网络将遥感影像分割 与文献[10]相同的损失函数。 为海洋、陆地、船身和船头尾4类，最后采用后处 理方法来完成舰船区域的提取，该方法需要繁杂 提取候选区 域池化特征 的数据标注，同时也不能实现舰船类别的识别； Yang等改进了任意方向的深度目标识别算法， 提出了密集连接的多尺度特征金字塔融合网络实 去除重叠的 调整候选区 现了端到端的舰船检测，取得了一定的效果，但 候选区域 域检测框 也没有实现舰船目标的细粒度识别。 近年来，基于对抗学习的深度生成模型得到 了广泛关注，在遥感信息处理方面也得到了应 候选区域按 重新池化提取 用，Xu等m利用生成对抗网络来生成样本辅助遥 置信度排序 舰船特征 感影像的场景分类。在自然场景目标识别方面， Wang等利用对抗学习的方法生成遮挡掩码来 增强识别网络对目标遮挡、变形等的鲁棒性。由 近岸舰船候 GAN辅助的细粒 于近岸舰船目标中的部分类别往往存在样本不足 选区域提取 度分类器 的问题，限制了网络的细粒度分类能力，通过引 入生成对抗网络可以实现数据增强，辅助分类 器探索数据的流形分布，有利于最大化分类间 输入高分辨 检测和识 率遥感影像 别后处理 隔从而提升类别判别能力，但目前还没有相关的 研究。 图1本文算法流程图 本文针对近岸舰船目标细粒度识别的问题， Fig.1 Flow chart of the proposed method 提出了一个基于深度学习的舰船识别框架。该算 法能够输出倾斜边界框从而实现更精确的舰船定 旋转候选 位；采用了级联的独立分类子网络来完成细粒度 区域生成 特征提取网络 GAN辅助学习的 的舰船识别，可以避免多任务学习的方式对分类 级联分类子网络 任务的影响：然后利用一种对抗学习的方法，通 分 过引入生成样本来进一步增强分类子网络的类别 Conv 5 VGG 判别能力；最后在多类别的舰船目标数据集上进 唱 行了对比试验，结果表明，本文设计的新算法可 一重新池化 分类和回归子网络 以有效提升舰船目标的平均识别精度。 图2本文的舰船目标识别算法框架 1算法基本框架 Fig.2 Framework of the proposed ships recognition net- work 本文算法的主要流程如图1所示，首先针对 GAN辅助学习的分类子网络用于实现舰船 舰船目标角度分布多样性的特点使用了旋转候选 目标的细粒度识别，该部分与主干网络的第二阶 区域网络RRPN9提取舰船候选区域，然后去除 段形成级联，以第二阶段的最后一个共享的全连
提出利用 Hausdorff 距离来衡量候选目标轮廓与 给定舰船模板的相似性，并通过滑动窗口来搜索 舰船目标，但该方法受限于舰船模板的单一性而 难以检测种类多样的近岸舰船目标；文献 [3] 利 用形状、纹理和长宽比等人工特征，使用支持向 量机实现了 5 类舰船目标的识别，但人工特征表 达能力较弱故无法完成细粒度的舰船目标分类， 同时也难以与已有的舰船检测方法相结合实现端 到端的识别。 基于深度学习的方法凭借优异的特征提取能 力，得到了人们的广泛关注，其中，Lin 等 [4] 基于 语义分割的框架利用全卷积网络将遥感影像分割 为海洋、陆地、船身和船头尾 4 类，最后采用后处 理方法来完成舰船区域的提取，该方法需要繁杂 的数据标注，同时也不能实现舰船类别的识别； Yang 等 [5] 改进了任意方向的深度目标识别算法， 提出了密集连接的多尺度特征金字塔融合网络实 现了端到端的舰船检测，取得了一定的效果，但 也没有实现舰船目标的细粒度识别。 近年来，基于对抗学习的深度生成模型得到 了广泛关注[6] ，在遥感信息处理方面也得到了应 用，Xu 等 [7] 利用生成对抗网络来生成样本辅助遥 感影像的场景分类。在自然场景目标识别方面， Wang 等 [8] 利用对抗学习的方法生成遮挡掩码来 增强识别网络对目标遮挡、变形等的鲁棒性。由 于近岸舰船目标中的部分类别往往存在样本不足 的问题，限制了网络的细粒度分类能力，通过引 入生成对抗网络可以实现数据增强，辅助分类 器探索数据的流形分布，有利于最大化分类间 隔从而提升类别判别能力，但目前还没有相关的 研究。 本文针对近岸舰船目标细粒度识别的问题， 提出了一个基于深度学习的舰船识别框架。该算 法能够输出倾斜边界框从而实现更精确的舰船定 位；采用了级联的独立分类子网络来完成细粒度 的舰船识别，可以避免多任务学习的方式对分类 任务的影响；然后利用一种对抗学习的方法，通 过引入生成样本来进一步增强分类子网络的类别 判别能力；最后在多类别的舰船目标数据集上进 行了对比试验，结果表明，本文设计的新算法可 以有效提升舰船目标的平均识别精度。 1 算法基本框架 本文算法的主要流程如图 1 所示，首先针对 舰船目标角度分布多样性的特点使用了旋转候选 区域网络 RRPN[9] 提取舰船候选区域，然后去除 重叠度过高或背景较为简单的区域，接着利用旋 转区域池化模块提取固定长度的区域特征，并进 行候选区域的初步分类、候选检测框调整和角度 回归，调整后的候选检测框会被重新池化并使用 级联分类子网络实现细粒度分类，最后对目标框 进行后处理作为最终的识别结果。整个网络的基 本框架如图 2 所示，可以分为主干检测网络和 GAN 辅助学习的级联分类子网络两个部分。其 中，主干检测网络属于两阶段的目标检测方法， 用于实现舰船目标的定位和初步分类，使用端到 端的方式进行训练，第一阶段和第二阶段采用了 与文献 [10] 相同的损失函数。 调整候选区 域检测框 重新池化提取 舰船特征 GAN辅助的细粒 度分类器 检测和识 别后处理 输入高分辨 率遥感影像 近岸舰船候 选区域提取 候选区域按 置信度排序 去除重叠的 候选区域 提取候选区 域池化特征 图 1 本文算法流程图 Fig. 1 Flow chart of the proposed method 旋转候选 区域生成 F C F C 分 类 回 归 VGG Conv 5 GAN辅助学习的 级联分类子网络 重新池化 特征提取网络 分类和回归子网络 图 2 本文的舰船目标识别算法框架 Fig. 2 Framework of the proposed ships recognition network GAN 辅助学习的分类子网络用于实现舰船 目标的细粒度识别，该部分与主干网络的第二阶 段形成级联，以第二阶段的最后一个共享的全连 第 2 期 王昌安，等：生成对抗网络辅助学习的舰船目标精细识别 ·297·
·298· 智能系统学报 第15卷 接层特征作为输入特征进行训练，将在下文进行 整个子网络的训练共分为两个阶段：1)交替 详细介绍。 训练生成器和判别器，直到生成器能够生成较高 质量的抽象特征；2)固定生成器，利用生成的样 2GAN辅助学习的细粒度分类子 本和真实样本一起重新训练判别器，迭代总步数 网络 与不使用生成样本一致。生成器在训练过程中会 生成对抗网络辅助学习的细粒度分类子网络 最大化判别器输出相应标签的概率，即：maxc logp, 在结构上由两部分组成：判别器和生成器，二者 其中y为输入到生成器的标签，P,为判别器对 均是全连接神经网络。前者既参与生成对抗网络 应标签输出的概率。判别器在训练过程中会最小 的训练，又作为单独的分类子网络完成舰船的细 化分类损失，其中所有生成的样本被视为单独的 粒度识别，如图3中所示，判别器是包含一个残差 一类。 连接的全连接网络。在训练阶段，判别器使用主 以上所述的利用生成对抗网络来辅助细粒度 干检测网络输出的所有候选区域作为训练样本， 分类子网络训练的方法，可以从两个角度进行理 通过与真实目标进行匹配并采样保持正负样本比 论上的解释：从数据增强的角度，生成样本和真 例为1：3，在测试时会首先过滤掉主干网络输出 实样本具有一定的特征相似性，可以辅助分类器 的背景概率较高的候选区域，然后利用重新池化 的训练，缓解近岸舰船目标样本的稀缺性问题， 后的特征做细粒度识别，最后进行非极大值抑制 从而获得更好的分类性能；从流形学习的角度， 并输出检测框。相比于主干检测网络中的分类 生成样本往往存在于流形空间真实数据存在概率 器，使用判别器作为最终的细粒度分类子网络具 较低的区域，生成样本的引入可以帮助分类器学 有以下3个优点：1)在训练判别器网络时可以使 习数据的流形分布，从而增加真实样本与分类边 用来自不同图像中的更大批量，从而稳定整个训 界的距离，进而提高分类器的泛化能力。下文将 通过实验对本小节所提方法的有效性进行验证。 练过程中的梯度；2)判别器网络不进行坐标的进 一步微调，从而不会受限于多任务训练方式带来 3实验分析 的最优化问题，有利于充分发挥子网络的类别判 别能力：3)判别器在训练时使用的特征来源于 3.1数据集 第二阶段输出检测框的池化特征，经过重新匹配 本文实验数据集图像的分辨率均为1m左右， 后与第二阶段分类器形成了级联有利于提取更精 单张图像尺寸在1000-3000像素之间，通过随机 确的区域特征。 数据增强，最终可获取有效训练样本4926张，大 小均为480×640。所有标注船只被分成了25个细 生成器引 粒度类别，表1展示了其中的主要细分类别，每一 类别的样本缩略图如图4所示。 Random- EDH-EDIE-H-I-IB 表1训练数据集的主要类别 Table 1 Main categories of the training dataset 主要类别 细分类别 实例数量 军舰 判别器 7996 指挥舰 346 图3基于GAN的区域分类子网络 军船 Fig.3 GAN based region classification sub-network 运输舰 682 为了进一步增强判别器细粒度的类别判别能 其他 520 力，本文引入了一个生成网络，通过对抗学习的 航母A 220 方式参与到判别器的训练中，如图3所示，二者共 航母B 142 同组成了一个生成对抗网络。生成器根据指定的 航母 航母C 34 输入标签和随机向量来模仿候选舰船区域的深度 航母D 158 抽象特征，其最后一层采用tanh激活函数)，并 航母E 引入可学习的仿射变换层将特征变换到相同的数 175 值范围。 民船 1504
接层特征作为输入特征进行训练，将在下文进行 详细介绍。 2 GAN 辅助学习的细粒度分类子 网络 生成对抗网络辅助学习的细粒度分类子网络 在结构上由两部分组成：判别器和生成器，二者 均是全连接神经网络。前者既参与生成对抗网络 的训练，又作为单独的分类子网络完成舰船的细 粒度识别，如图 3 中所示，判别器是包含一个残差 连接的全连接网络。在训练阶段，判别器使用主 干检测网络输出的所有候选区域作为训练样本， 通过与真实目标进行匹配并采样保持正负样本比 例为 1∶3，在测试时会首先过滤掉主干网络输出 的背景概率较高的候选区域，然后利用重新池化 后的特征做细粒度识别，最后进行非极大值抑制 并输出检测框。相比于主干检测网络中的分类 器，使用判别器作为最终的细粒度分类子网络具 有以下 3 个优点：1) 在训练判别器网络时可以使 用来自不同图像中的更大批量，从而稳定整个训 练过程中的梯度；2) 判别器网络不进行坐标的进 一步微调，从而不会受限于多任务训练方式带来 的最优化问题，有利于充分发挥子网络的类别判 别能力[11] ；3) 判别器在训练时使用的特征来源于 第二阶段输出检测框的池化特征，经过重新匹配 后与第二阶段分类器形成了级联有利于提取更精 确的区域特征。 Real Fake BatchNorm label concat scale Dropout FC ReLu Random 生成器 判别器 one−hot 1024 1024 1024 1024 256 1024 512 512 27 图 3 基于 GAN 的区域分类子网络 Fig. 3 GAN based region classification sub-network 为了进一步增强判别器细粒度的类别判别能 力，本文引入了一个生成网络，通过对抗学习的 方式参与到判别器的训练中，如图 3 所示，二者共 同组成了一个生成对抗网络。生成器根据指定的 输入标签和随机向量来模仿候选舰船区域的深度 抽象特征，其最后一层采用 tanh 激活函数[12] ，并 引入可学习的仿射变换层将特征变换到相同的数 值范围。 maxG log py 整个子网络的训练共分为两个阶段：1) 交替 训练生成器和判别器，直到生成器能够生成较高 质量的抽象特征；2) 固定生成器，利用生成的样 本和真实样本一起重新训练判别器，迭代总步数 与不使用生成样本一致。生成器在训练过程中会 最大化判别器输出相应标签的概率，即： ， 其中 y 为输入到生成器的标签，py 为判别器对 应标签输出的概率。判别器在训练过程中会最小 化分类损失，其中所有生成的样本被视为单独的 一类。 以上所述的利用生成对抗网络来辅助细粒度 分类子网络训练的方法，可以从两个角度进行理 论上的解释：从数据增强的角度，生成样本和真 实样本具有一定的特征相似性，可以辅助分类器 的训练，缓解近岸舰船目标样本的稀缺性问题， 从而获得更好的分类性能；从流形学习的角度， 生成样本往往存在于流形空间真实数据存在概率 较低的区域，生成样本的引入可以帮助分类器学 习数据的流形分布，从而增加真实样本与分类边 界的距离，进而提高分类器的泛化能力。下文将 通过实验对本小节所提方法的有效性进行验证。 3 实验分析 3.1 数据集 本文实验数据集图像的分辨率均为 1 m 左右， 单张图像尺寸在 1 000~3 000 像素之间，通过随机 数据增强，最终可获取有效训练样本 4 926 张，大 小均为 480×640。所有标注船只被分成了 25 个细 粒度类别，表 1 展示了其中的主要细分类别，每一 类别的样本缩略图如图 4 所示。 表 1 训练数据集的主要类别 Table 1 Main categories of the training dataset 主要类别 细分类别 实例数量 军船 军舰 7 996 指挥舰 346 运输舰 682 其他 520 航母 航母A 220 航母B 142 航母C 34 航母D 158 航母E 175 民船 — 1 504 ·298· 智 能 系 统 学 报 第 15 卷
第2期 王昌安，等：生成对抗网络辅助学习的舰船目标精细识别 ·299· 图4数据集各类别缩略图 Fig.4 Thumbnail of each category in dataset 3.2参数设置 表2实验对比 舰船类目标往往具有较为极端的长宽比，并 Table 2 Comparison of results % 且短边尺度通常较小，因此我们将主干网络的超 模型 召回率准确率 mAP@0.5 参数设置如下： TextBoxes+间 0.566 0.578 0.385 1)预设框尺度设置为64、128、256、512，长宽 Faster R-CNNI5] 0.662 0.801 0.573 比设置为3：1、5：1、7：1，旋转角度设置为9个（从 基准算法 0.765 0.757 0.620 -35°125平均划分)。 分类子网络 0.743 0.783 0.624 2)为了避免在区域池化的过程中引入量化误 分类子网络+衰减噪声 0.746 0.789 0.630 差，使用了旋转区域池化模块的插值改进版⑨，有 分类子网络+GAN 0.7500.808 0.644 利于短边较小的目标提取更精准的区域特征。 本文实验表明，相比于高斯加性噪声，使用生 3)候选区域生成阶段的正样本设为与任一真 成样本做数据增强更为高效，如表2所示。基于 实目标IoU超过0.5且角度偏差小于15°的预设 GAN来辅助训练分类器平均识别精度提升了 框，与所有真实目标IoU都小于0.2的预设框被 2%,准确率也得到了较大提升。由于级联分类网 设为负样本。 络并没有进一步的检测框调整，因此识别精度的 4)第二阶段候选区域的训练批量大小设为 提升主要是来源于分类子网络细粒度的类别判别 256,正负样本比例设为1：1，正样本1oU阈值设 能力的提升，从而直接验证了本文算法的有效性。 为0.4，池化区域大小改为10×5，全连接层隐藏单 与其他开源的基于深度学习的方法相比，本 元数量均为1024。 文算法在识别细粒度的近岸舰船目标上也有明显 优势。如表2所示，TextBoxes-+是单阶段的任 主干网络在训练时图像大小设为640×480， 意方向文本目标检测器，同样适用于长宽比偏大 初始学习率为0.001，使用动量随机梯度下降优化 且朝向任意的近岸舰船目标检测，但其平均精度 算法迭代6×10步，学习率衰减系数为0.1，衰减 仅为38.5%，主要原因是单阶段目标检测器对短 步数为4×10、5×104、5.5×10‘、5.8×10步。权重 边尺度较小的舰船检测并不友好，且该算法也没 衰减系数为5×10。级联分类器单独进行训练 有对高层网络的语义信息和低层网络的细节信息 30个周期，生成器训练15个周期，每个批量大小 进行恰当的特征融合，从而对细粒度类别舰船的 为3张图像。 判别能力较差。Faster R-CNNI是经典的两阶段 3.3实验对比 目标检测器，与本文算法不同的是在训练和测试 本文使用文献[13]中的评测指标对舰船识别 时采用了水平边界框，因此这类方法定位精度较 结果进行量化，首先我们训练了主干网络作为基 低，检测结果往往会包含过多的冗余背景区域， 准算法，结果如表2所示。通过引入级联的独立 不利于提取精确的舰船区域特征用于类别判别， 分类器，模型的平均识别准确率略有提升，与端 同时也无法区分舰船目标的朝向，如表2所示，该 到端的训练方式可以利用数据增强来扩充训练样 算法平均精度较低，仅为57.3%。可见，近岸舰船 本相比，直接训练级联分类器往往受限于训练样 目标的细粒度识别问题对算法的类别判别能力有 本的单一性，因此直接训练并不能充分地发挥级 着较高的要求，本文所提的GAN辅助学习的分 联分类器的优势。实验发现，通过对训练样本添 类子网络能在一定程度上提升整个网络的细粒度 加标准差随迭代步数衰减的高斯加性噪声，分类 类别判别能力。 网络的性能可以得到进一步提升。 为了深入理解GAN辅助训练对分类子网络
图 4 数据集各类别缩略图 Fig. 4 Thumbnail of each category in dataset 3.2 参数设置 舰船类目标往往具有较为极端的长宽比，并 且短边尺度通常较小，因此我们将主干网络的超 参数设置如下： 1) 预设框尺度设置为 64、128、256、512，长宽 比设置为 3∶1、5∶1、7∶1，旋转角度设置为 9 个 (从 −35°~125°平均划分)。 2) 为了避免在区域池化的过程中引入量化误 差，使用了旋转区域池化模块的插值改进版[5] ，有 利于短边较小的目标提取更精准的区域特征。 3) 候选区域生成阶段的正样本设为与任一真 实目标 IoU 超过 0.5 且角度偏差小于 15°的预设 框，与所有真实目标 IoU 都小于 0.2 的预设框被 设为负样本。 4) 第二阶段候选区域的训练批量大小设为 256，正负样本比例设为 1∶1，正样本 IoU 阈值设 为 0.4，池化区域大小改为 10×5，全连接层隐藏单 元数量均为 1 024。 主干网络在训练时图像大小设为 640×480， 初始学习率为 0.001，使用动量随机梯度下降优化 算法迭代 6×10−4 步，学习率衰减系数为 0.1，衰减 步数为 4×10−4 、5×10−4 、5.5×10−4 、5.8×10−4 步。权重 衰减系数为 5×10−4。级联分类器单独进行训练 30 个周期，生成器训练 15 个周期，每个批量大小 为 3 张图像。 3.3 实验对比 本文使用文献 [13] 中的评测指标对舰船识别 结果进行量化，首先我们训练了主干网络作为基 准算法，结果如表 2 所示。通过引入级联的独立 分类器，模型的平均识别准确率略有提升，与端 到端的训练方式可以利用数据增强来扩充训练样 本相比，直接训练级联分类器往往受限于训练样 本的单一性，因此直接训练并不能充分地发挥级 联分类器的优势。实验发现，通过对训练样本添 加标准差随迭代步数衰减的高斯加性噪声，分类 网络的性能可以得到进一步提升。 表 2 实验对比 Table 2 Comparison of results % 模型 召回率 准确率 mAP@0.5 TextBoxes++[14] 0.566 0.578 0.385 Faster R-CNN[15] 0.662 0.801 0.573 基准算法 0.765 0.757 0.620 分类子网络 0.743 0.783 0.624 分类子网络+衰减噪声 0.746 0.789 0.630 分类子网络+GAN 0.750 0.808 0.644 本文实验表明，相比于高斯加性噪声，使用生 成样本做数据增强更为高效，如表 2 所示。基于 GAN 来辅助训练分类器平均识别精度提升了 2%，准确率也得到了较大提升。由于级联分类网 络并没有进一步的检测框调整，因此识别精度的 提升主要是来源于分类子网络细粒度的类别判别 能力的提升，从而直接验证了本文算法的有效性。 与其他开源的基于深度学习的方法相比，本 文算法在识别细粒度的近岸舰船目标上也有明显 优势。如表 2 所示，TextBoxes++[14] 是单阶段的任 意方向文本目标检测器，同样适用于长宽比偏大 且朝向任意的近岸舰船目标检测，但其平均精度 仅为 38.5%，主要原因是单阶段目标检测器对短 边尺度较小的舰船检测并不友好，且该算法也没 有对高层网络的语义信息和低层网络的细节信息 进行恰当的特征融合，从而对细粒度类别舰船的 判别能力较差。Faster R-CNN[15] 是经典的两阶段 目标检测器，与本文算法不同的是在训练和测试 时采用了水平边界框，因此这类方法定位精度较 低，检测结果往往会包含过多的冗余背景区域， 不利于提取精确的舰船区域特征用于类别判别， 同时也无法区分舰船目标的朝向，如表 2 所示，该 算法平均精度较低，仅为 57.3%。可见，近岸舰船 目标的细粒度识别问题对算法的类别判别能力有 着较高的要求，本文所提的 GAN 辅助学习的分 类子网络能在一定程度上提升整个网络的细粒度 类别判别能力。 为了深入理解 GAN 辅助训练对分类子网络 第 2 期 王昌安，等：生成对抗网络辅助学习的舰船目标精细识别 ·299·
·300· 智能系统学报 第15卷 带来的影响，本文使用tSNE1可视化工具对分类 中展示了算法在不同港口区域的舰船检测结果， 子网络最后一层的特征进行了可视化，如图5所 不同的数字编号表示不同的类别，与图4中的排 示，其中相同颜色的数据点表示同一类别。经过 列顺序保持一致。首先，从检测结果可以看出本 对比可以发现，加入生成样本后训练得到的分类 文算法对亮度变化、尺度变化和陆地背景的干扰 网络其特征的类内差异变小，相同类别的数据点 都具有良好的鲁棒性，同时可以有效地识别出多 更接近于圆形分布，这就意味着新的分类器具有 种类别的近岸舰船目标。其次，如图所示，算法 更好的类间可分性。最后，本文对生成器的合成 具有良好的细粒度类别判别能力，既能借助形状 样本所对应的分类器特征也进行了可视化，如图6 信息进行细粒度的类别分类：如类别3和类别 所示，大多数类别的生成样本具有较高的质量， 既有良好的类间可分性，又具有一定的类内差异 7在内部结构上很相似，仅在舰船大小上有差异； 性，这有利于后续分类子网络的训练。 同时也能够利用局部细节信息对形状相似的类别 进行区分：如类别1和类别4大小相似，只在局部 150 细节上具有差异比如类别4尾部是方形，而类别 100 1的尾部是梯形。 50 0 -50 -100 -150 -100 -50 0 50 100 150 (a)原始分类器 150 50 0 -50 -100 -150 -100 -50 0 50 100 150 (b)GAN+原始分类器 图5分类器特征可视化 Fig.5 Feature visualization of the classifier 100 图7实验结果可视化 75 Fig.7 Visualization of the detection results 50 4结束语 25 本文提出了一个利用生成对抗网络辅助训练 的舰船目标细粒度识别框架，通过设计级联的分 -50 类子网络，并利用生成样本来辅助学习，可以有 -75 效地提升分类子网络细粒度的类别判别能力，最 -100 -75 -50-250255075100 后平均识别精度得到了较大提升。本文算法适用 于通用的两阶段目标识别网络，且在实际应用中 图6生成样本的分类器特征可视化 可将级联分类器的参数整合人主干网络实现端到 Fig.6 Feature visualization of the generated samples 端的推理，但如何将对抗学习的方法与主干网络 3.4实验结果可视化 结合起来实现端到端的训练，有待进一步的深入 图7是本文算法检测结果的可视化图像，图 研究
带来的影响，本文使用 tSNE[16] 可视化工具对分类 子网络最后一层的特征进行了可视化，如图 5 所 示，其中相同颜色的数据点表示同一类别。经过 对比可以发现，加入生成样本后训练得到的分类 网络其特征的类内差异变小，相同类别的数据点 更接近于圆形分布，这就意味着新的分类器具有 更好的类间可分性。最后，本文对生成器的合成 样本所对应的分类器特征也进行了可视化，如图 6 所示，大多数类别的生成样本具有较高的质量， 既有良好的类间可分性，又具有一定的类内差异 性，这有利于后续分类子网络的训练。 (a) 原始分类器 100 150 150 100 x x y 50 50 0 0 −50 −50 −100 −100 (b) GAN+原始分类器 100 100 150 y 50 50 0 0 −50 −50 −100 −150 −100 −150 150 图 5 分类器特征可视化 Fig. 5 Feature visualization of the classifier 100 75 50 75 100 x y 50 25 0 25 0 −50 −75 −25 −50 −25 −100 −75 图 6 生成样本的分类器特征可视化 Fig. 6 Feature visualization of the generated samples 3.4 实验结果可视化 图 7 是本文算法检测结果的可视化图像，图 中展示了算法在不同港口区域的舰船检测结果， 不同的数字编号表示不同的类别，与图 4 中的排 列顺序保持一致。首先，从检测结果可以看出本 文算法对亮度变化、尺度变化和陆地背景的干扰 都具有良好的鲁棒性，同时可以有效地识别出多 种类别的近岸舰船目标。其次，如图所示，算法 具有良好的细粒度类别判别能力，既能借助形状 信息进行细粒度的类别分类：如类别 3 和类别 7 在内部结构上很相似，仅在舰船大小上有差异； 同时也能够利用局部细节信息对形状相似的类别 进行区分：如类别 1 和类别 4 大小相似，只在局部 细节上具有差异比如类别 4 尾部是方形，而类别 1 的尾部是梯形。 7 7 7 1 1 1 13 16 5 7 1 1 1 1 3 4 4 4 4 4 3 4 3 4 6 8 9 1 图 7 实验结果可视化 Fig. 7 Visualization of the detection results 4 结束语 本文提出了一个利用生成对抗网络辅助训练 的舰船目标细粒度识别框架，通过设计级联的分 类子网络，并利用生成样本来辅助学习，可以有 效地提升分类子网络细粒度的类别判别能力，最 后平均识别精度得到了较大提升。本文算法适用 于通用的两阶段目标识别网络，且在实际应用中 可将级联分类器的参数整合入主干网络实现端到 端的推理，但如何将对抗学习的方法与主干网络 结合起来实现端到端的训练，有待进一步的深入 研究。 ·300· 智 能 系 统 学 报 第 15 卷
第2期 王昌安，等：生成对抗网络辅助学习的舰船目标精细识别 ·301· 参考文献： IEEE International Conference on Computer Vision.San- tiago,Chile,,2015:1440-1448. [1]LIN Jiale,YANG Xubo,XIAO Shuangjiu,et al.A line [11]CHENG Bowen,WEI Yunchao,SHI Honghui,et al.Re- segment based inshore ship detection method[Ml//DENG visiting RCNN:on awakening the classification power of Wei.Future Control and Automation.Berlin,Heidelberg: faster RCNN[C]//Proceedings of the 15th European Con- Springer,2012:261-269. ference on Computer Vision.Munich,Germany,2018: [2]雷琳，粟毅.一种基于轮廓匹配的近岸舰船检测方法)， 473-490. 遥感技术与应用，2007,22(5)：622-627 [12]RADFORD A,METZ L,CHINTALA S.Unsupervised LEI Lin.SU Yi.An inshore ship detection method based representation learning with deep convolutional generat- on contour matching[J].Remote sensing technology and ive adversarial networks[J].arXiv preprint arXiv: application,2007,22(5):622-627. 1511.06434.2015. [3]李毅，徐守时.基于支持向量机的遥感图像舰船目标识 [13]EVERINGHAM M,VAN GOOL L,WILLIAMS C,et al. 别方法U.计算机仿真，2006,23(6)：180-183. The PASCAL visual object classes challenge 2007 LI Yi,XU Shoushi.A new method for ship target recogni- (VOC2007)results[EB/OL].University of Oxford,2007. tion based on support vector machine[J].Computer simula- http://host.robots.ox.ac.uk/pascal/VOC/. tion,2006,23(6):180-183. [14]LIAO Minghui,SHI Baoguang,BAI Xiang. [4]LIN Haoning,SHI Zhenwei,ZOU Zhengxia,et al.Fully TextBoxes++:a single-shot oriented scene text detector[J] convolutional network with task partitioning for inshore IEEE transactions on image processing,2018,27(8): ship detection in optical remote sensing images[J].IEEE 3676-3690 geoscience and remote sensing letters,2017,14(10): [15]REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster 1665-1669 R-CNN:towards real-time object detection with region [5]YANG Xue,SUN Hao,FU Kun,et al.Automatic ship de- proposal networks[C]//Proceedings of the 28th Interna- tection of remote sensing images from google earth in tional Conference on Neural Information Processing Sys- complex scenes based on multi-scale rotation dense fea- tems.Montreal,Canada,2015:91-99. ture pyramid networks[J].arXiv preprint arXiv: [16]VAN DER MAATEN L,HINTON G.Visualizing data 1806.04331,2018. using t-SNE[J].Journal of machine learning research, [6]GOODFELLOW I J.POUGET-ABADIE J.MIRZA M.et 2008,911)2579-2605. al.Generative adversarial nets[Cl//Proceedings of the 27th International Conference on Neural Information Pro- 作者简介： cessing Systems.Montreal,Canada,2014:2672-2680. 王昌安，硕士研究生，主要研究方 [7]XU Suhui,MU Xiaodong,CHAI Dong,et al.Remote sens- 向为遥感图像处理、计算机视觉。 ing image scene classification based on generative ad- versarial networks[J].Remote sensing letters,2018,9(7): 617-626. [8]WANG Xiaolong,SHRIVASTAVA A,GUPTA A.A-fast- RCNN:hard positive generation via adversary for object detection[C]//Proceedings of 2017 IEEE Conference on 田金文，教授，博士生导师，中国 电子学会高级会员。主要研究方向为 Computer Vision and Pattern Recognition.Honolulu,HI, 计算机视觉及其应用、机器学习及其 USA,2017:1063-6919 应用、自动目标识别及应用、遥感图像 [9]MA Jianqi,SHAO Weiyuan,YE Hao,et al.Arbitrary-ori- 信息处理、目标光学特性建模与成像 ented scene text detection via rotation proposals[J].IEEE 仿真。主持国家自然科学基金项目 transactions on multimedia.2018.20(11):3111-3122. 1项，国家863项目多项，发表学术论 [10]GIRSHICK R.Fast R-CNN[C]//Proceedings of 2015 文20余篇
参考文献： LIN Jiale, YANG Xubo, XIAO Shuangjiu, et al. A line segment based inshore ship detection method[M]//DENG Wei. Future Control and Automation. Berlin, Heidelberg: Springer, 2012: 261–269. [1] 雷琳, 粟毅. 一种基于轮廓匹配的近岸舰船检测方法 [J]. 遥感技术与应用, 2007, 22(5): 622–627. LEI Lin, SU Yi. An inshore ship detection method based on contour matching[J]. Remote sensing technology and application, 2007, 22(5): 622–627. [2] 李毅, 徐守时. 基于支持向量机的遥感图像舰船目标识 别方法 [J]. 计算机仿真, 2006, 23(6): 180–183. LI Yi, XU Shoushi. A new method for ship target recognition based on support vector machine[J]. Computer simulation, 2006, 23(6): 180–183. [3] LIN Haoning, SHI Zhenwei, ZOU Zhengxia, et al. Fully convolutional network with task partitioning for inshore ship detection in optical remote sensing images[J]. IEEE geoscience and remote sensing letters, 2017, 14(10): 1665–1669. [4] YANG Xue, SUN Hao, FU Kun, et al. Automatic ship detection of remote sensing images from google earth in complex scenes based on multi-scale rotation dense feature pyramid networks[J]. arXiv preprint arXiv: 1806.04331, 2018. [5] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montréal, Canada, 2014: 2672–2680. [6] XU Suhui, MU Xiaodong, CHAI Dong, et al. Remote sensing image scene classification based on generative adversarial networks[J]. Remote sensing letters, 2018, 9(7): 617–626. [7] WANG Xiaolong, SHRIVASTAVA A, GUPTA A. A-fastRCNN: hard positive generation via adversary for object detection[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA, 2017: 1063–6919. [8] MA Jianqi, SHAO Weiyuan, YE Hao, et al. Arbitrary-oriented scene text detection via rotation proposals[J]. IEEE transactions on multimedia, 2018, 20(11): 3111–3122. [9] [10] GIRSHICK R. Fast R-CNN[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile, 2015: 1440–1448. CHENG Bowen, WEI Yunchao, SHI Honghui, et al. Revisiting RCNN: on awakening the classification power of faster RCNN[C]//Proceedings of the 15th European Conference on Computer Vision. Munich, Germany, 2018: 473–490. [11] RADFORD A, METZ L, CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv: 1511.06434, 2015. [12] EVERINGHAM M, VAN GOOL L, WILLIAMS C, et al. The PASCAL visual object classes challenge 2007 (VOC2007) results[EB/OL]. University of Oxford, 2007. http://host.robots.ox.ac.uk/pascal/VOC/. [13] LIAO Minghui, SHI Baoguang, BAI Xiang. TextBoxes++: a single-shot oriented scene text detector[J]. IEEE transactions on image processing, 2018, 27(8): 3676–3690. [14] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montréal, Canada, 2015: 91–99. [15] VAN DER MAATEN L, HINTON G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(11): 2579–2605. [16] 作者简介： 王昌安，硕士研究生，主要研究方 向为遥感图像处理、计算机视觉。 田金文，教授，博士生导师，中国 电子学会高级会员。主要研究方向为 计算机视觉及其应用、机器学习及其 应用、自动目标识别及应用、遥感图像 信息处理、目标光学特性建模与成像 仿真。主持国家自然科学基金项目 1 项，国家 863 项目多项，发表学术论 文 20 余篇。 第 2 期 王昌安，等：生成对抗网络辅助学习的舰船目标精细识别 ·301·
