·1000· 智能系统学报 第16卷 模型训练可以大大减少投入的人力、物力和时间 类效果。Saito等7通过训练两个分类器以最大 成本，所以无监督学习成为机器学习领域一个重 化分类差异，但其方法只是减少源域和目标域之 要的研究方向。其次，传统机器学习算法中存 间的距离，而未增大目标域不同类之间的距离， 在用训练集数据进行训练得到的模型无法适应现 这会使目标域样本靠近决策边界，使分类不确定 实场景的问题，这是由训练集数据与实际测试数 性增加。 据的特征分布不同导致的。 为此，本文提出一种基于分类差异和信息嫡 针对以上问题，迁移学习(transfer learning, 对抗的无监督域适应模型。利用两个分类器之间 TL)方法被提出，域适应学习(domain adaptation 的不一致性对齐域间差异，使源域和目标域数据 learning,DAL)作为一种同构迁移学习方法，在 之间的距离最小，同时利用最小化熵的方式降低 源域与目标域样本特征分布不同但相似的前提 不确定性，使目标域特征远离决策边界，提高了 下，将源域样本分类模型迁移到目标域，使模型 目标域样本的类间差异。 适应目标域数据。无监督域适应模型通过带标签 源域数据和无标签目标域数据进行训练，即使训 1分类差异和信息熵对抗 练过程中不包含目标域标注信息，也可以在目标 假设给定带标签的源域数据集D=(X,Y}, 域数据中实现很好的识别效果。 源域图像x,对应标签为y,同时给定无标签目标 Ghifary等利用传统DAL思想，使用自编码 域数据集D,={X,目标域图像为x。本文模型包 器学习共享编码以获得域不变特征，实现在特征 括特征生成网络G和分类器网络F、F2,G网络 向量空间中，不同域样本特征之间的距离减小的 接收图像x,或x的输入，经过特征提取输出特征 目的，从而使无标签目标域样本得到正确分类。 向量∫，分类器F,和F2将特征向量分为K类，即 Sener等m提出利用聚类和伪标签的方法来获取 输出K维向量，对向量应用Softmax函数得到类 分类特征，从而实现在无标签目标域上的分类。 别概率。本文使用符号pOyx、P2Ox)来分别表示 卷积神经网络中间特征的分布匹配被认为是实现 由F,和F2获得的输入图像x的K维概率输出。 域适应的有效方法I。最大均值差异(maximum 相比于其他域适应算法，本文算法在最小化 mean discrepancy,.MMD)使用核函数映射特征来 域间差异的同时，可以使目标域内不同类别样本 度量两不同分布之间的距离，通过最小化源域与 之间的差异最大化。如图1所示，对于目标域数 目标域之间的距离得到域共享特征。Tzeng等uo 据，其他方法因为仅对齐域间差异，缩小源域和 在分类损失的基础上加了一层适配层，通过在适 目标域数据之间的距离，所以特征生成器会在分 配层上引入MMD距离来度量最小化两个领域的 类边界附近生成模糊特征。本文模型方法利用对 分布差异。Long等在MMD方法的基础上改 抗训练思想，最小化源域与目标域数据之间的距 进，采用多层适配和多核MMD使域差异最小化， 离，同时使目标域不同类别远离分类边界，获得 实现源域和目标域特征具有相似的特征分布。借 更加具有区分性的特征，从而提高域适应分类的 鉴生成对抗网络(generative adversarial network, 准确率。 GAN]独特的对抗训练方式，Ganin等提出包 城适应前 域适应后 域适应前 域适应后 含特征生成器和域分类器结构的模型DANN,利 用特征生成器生成欺骗域分类器的特征，从而将 源域和目标域数据映射到相似的概率分布上。王 格格等]通过联合使用生成对抗网络和多核最 大均值差异度量准则优化域间差异，以学习源域 …源域目标域 ,源域目标域 一分类器决策边界 一分类器决策边界 分布和目标域分布之间的共享特征。Sankaranara- (a)其他方法 (b)本文方法 yanan等16提出了一个能够直接学习联合特征空 图1不同方法特征分布对比 间的对抗图像生成的无监督域适应方法GTA,利 Fig.1 Comparison of the feature distribution of different 用图像生成的对抗过程学习一个源域和目标域特 methods 征分布最小化的特征空间。但由于上述使用GAN 1.1 信息熵对抗 或MMD的分布对齐方法仅将不同域之间的距离 分类器的输出为经过Softmax函数得到的不 拉近，没有考虑目标样本与决策边界之间的关系， 同类别概率，根据信息嫡的定义，可以得到该分 因此无法优化域内类间差异，从而影响域适应分 类器结果的信息嫡大小，信息熵越大表示不同类模型训练可以大大减少投入的人力、物力和时间 成本，所以无监督学习成为机器学习领域一个重 要的研究方向[1-2]。其次，传统机器学习算法中存 在用训练集数据进行训练得到的模型无法适应现 实场景的问题，这是由训练集数据与实际测试数 据的特征分布不同导致的[3]。 针对以上问题，迁移学习 (transfer learning， TL) 方法被提出[4] ，域适应学习 (domain adaptation learning，DAL) 作为一种同构迁移学习方法[5] ，在 源域与目标域样本特征分布不同但相似的前提 下，将源域样本分类模型迁移到目标域，使模型 适应目标域数据。无监督域适应模型通过带标签 源域数据和无标签目标域数据进行训练，即使训 练过程中不包含目标域标注信息，也可以在目标 域数据中实现很好的识别效果。 Ghifary 等 [6] 利用传统 DAL 思想，使用自编码 器学习共享编码以获得域不变特征，实现在特征 向量空间中，不同域样本特征之间的距离减小的 目的，从而使无标签目标域样本得到正确分类。 Sener 等 [7] 提出利用聚类和伪标签的方法来获取 分类特征，从而实现在无标签目标域上的分类。 卷积神经网络中间特征的分布匹配被认为是实现 域适应的有效方法[8]。最大均值差异 (maximum mean discrepancy，MMD)[9] 使用核函数映射特征来 度量两不同分布之间的距离，通过最小化源域与 目标域之间的距离得到域共享特征。Tzeng 等 [10] 在分类损失的基础上加了一层适配层，通过在适 配层上引入 MMD 距离来度量最小化两个领域的 分布差异。Long 等 [11-12] 在 MMD 方法的基础上改 进，采用多层适配和多核 MMD 使域差异最小化， 实现源域和目标域特征具有相似的特征分布。借 鉴生成对抗网络 (generative adversarial network， GAN)[13] 独特的对抗训练方式，Ganin 等 [14] 提出包 含特征生成器和域分类器结构的模型 DANN，利 用特征生成器生成欺骗域分类器的特征，从而将 源域和目标域数据映射到相似的概率分布上。王 格格等[15] 通过联合使用生成对抗网络和多核最 大均值差异度量准则优化域间差异，以学习源域 分布和目标域分布之间的共享特征。Sankaranara￾yanan 等 [16] 提出了一个能够直接学习联合特征空 间的对抗图像生成的无监督域适应方法 GTA，利 用图像生成的对抗过程学习一个源域和目标域特 征分布最小化的特征空间。但由于上述使用 GAN 或 MMD 的分布对齐方法仅将不同域之间的距离 拉近，没有考虑目标样本与决策边界之间的关系， 因此无法优化域内类间差异，从而影响域适应分 类效果。Saito 等 [17] 通过训练两个分类器以最大 化分类差异，但其方法只是减少源域和目标域之 间的距离，而未增大目标域不同类之间的距离， 这会使目标域样本靠近决策边界，使分类不确定 性增加。 为此，本文提出一种基于分类差异和信息熵 对抗的无监督域适应模型。利用两个分类器之间 的不一致性对齐域间差异，使源域和目标域数据 之间的距离最小，同时利用最小化熵的方式降低 不确定性，使目标域特征远离决策边界，提高了 目标域样本的类间差异。 1 分类差异和信息熵对抗 Ds = {Xs ,Ys} xs ys Dt = {Xt} xt G F1 F2 G xs xt f F1 F2 p1(y|x) p2(y|x) F1 F2 x 假设给定带标签的源域数据集 ， 源域图像 对应标签为 ，同时给定无标签目标 域数据集 ，目标域图像为 。本文模型包 括特征生成网络 和分类器网络 、 ， 网络 接收图像 或 的输入，经过特征提取输出特征 向量 ，分类器 和 将特征向量分为 K 类，即 输出 K 维向量，对向量应用 Softmax 函数得到类 别概率。本文使用符号 、 来分别表示 由 和 获得的输入图像 的 K 维概率输出。 相比于其他域适应算法，本文算法在最小化 域间差异的同时，可以使目标域内不同类别样本 之间的差异最大化。如图 1 所示，对于目标域数 据，其他方法因为仅对齐域间差异，缩小源域和 目标域数据之间的距离，所以特征生成器会在分 类边界附近生成模糊特征。本文模型方法利用对 抗训练思想，最小化源域与目标域数据之间的距 离，同时使目标域不同类别远离分类边界，获得 更加具有区分性的特征，从而提高域适应分类的 准确率。 (a) 其他方法 (b) 本文方法 域适应前 域适应后 源域 目标域 分类器决策边界 源域 目标域 分类器决策边界 域适应前 域适应后 图 1 不同方法特征分布对比 Fig. 1 Comparison of the feature distribution of different methods 1.1 信息熵对抗 分类器的输出为经过 Softmax 函数得到的不 同类别概率，根据信息熵的定义，可以得到该分 类器结果的信息熵大小，信息熵越大表示不同类 ·1000· 智 能 系 统 学 报 第 16 卷