·398· 智能系统学报 第16卷 交互、机器智能等领域有着广泛的应用前景。近 需要解决的主要问题就是如何减小不同域之间的 年来，许多研究者致力于人脸表情识别研究，并 分布差异。近几年，一些研究者通过对源域和目 提出了许多有效的方法。 标域数据进行权重的重用来减小域之间的分布差 Zheng等I提出了核典型关联分析(kernel 异2，或者通过找到一个共享的特征表示在保留 canoncal correlation analysis,.KCCA)的人脸表情识 原始数据属性的同时来减小域之间的分布差 别方法，通过对输入图像中人面部34个关键点进 异22。但是大多数存在的方法仅对齐了边缘分 行定位，然后将这些关键点通过Gabor小波变换 布而忽略了条件分布的重要性，且往往需要目标 转换成带有标注信息的图向量(labeled graph, 域中有少量标签样本。 LG)来表示人脸特征。另外，针对每个训练人脸 因此，为了解决源域和目标域数据来自2个 表情图像，将6种表情类型的标签转化成一个六 不同的数据集，服从不同的边缘分布和条件分 维语义表达向量，进而学习LG向量与语义表达 布，且目标域没有标记数据的无监督跨域表情识 向量之间的相关关系，利用这种关系推断出测试 别问题，本文提出将联合分布对齐的迁移学习方 图像的语义表达。在不同人脸表情数据库上的实 法应用于跨域表情识别。该方法通过找到一个特 验结果表明了该方法的有效性。与目标检测等计 征变换，将源域和目标域数据映射到一个公共子 算机视觉任务相比，图像描述不仅需要检测图像 空间中，在该子空间中联合对齐边缘分布和条件分 中的内容，还需要理解图像中目标物体之间的具 布来减小域之间的分布差异，然后对变换后的特 体关系，并使用自然语言正确地表达出来。Uddin 征进行训练得到一个域适应分类器来预测目标域 等提出了一种新的方法来对基于时间序列的视 样本标签，提高跨域人脸表情识别的准确率。 频中的人脸表情进行识别，首先从时间序列人脸 1提出方法 中提取局部方向模式特征，然后进行主成分分析 和线性判别分析，使特征具有较强的鲁棒性。最 1.1问题描述 后，利用隐马尔可夫模型对不同的面部表情进行 令X∈Rmm,表示源域样本集合，X,∈Rmm表 局部特征建模和识别，取得了较好的识别效果。 示目标域样本集合，P(X)和P(X)分别表示源域 Yu圆提出了一种基于图像的静态面部表情识别方 数据和目标域数据的边缘分布，P,(YX)和 法，该方法包含一个基于3个最先进的人脸检测 P(YX,)分别表示源域和目标域的条件分布。m 器集成的人脸检测模块，以及一个基于多层深度 表示源域和目标域中样本的维度，n,和n,分别表 卷积神经网络(convolutional neural network,.CNN) 示源域和目标域样本数据的个数。因此，给定一 级联的分类模块。为了自动决定级联CNN的权 个带有标签的源域数据D,={c,)烂1，x∈Rm,一 重分配问题，提出了通过最小化对数似然损失和 个无标签的目标域数据D,=(c)1,x∈Rm,源域 最小化铰链损失2种自适应训练卷积神经网络权 和目标域样本具有相同的特征空间和标签空间， 值的优化方案。Baccouche等)设计了一种时空 即X,=X,Y,=Y,。但源域和目标域样本服从不 卷积稀疏自编码器，在不需要任何监督信息的情 同的数据分布P(X)≠P,(X),P(YX)+P(YX)。 况下学习稀疏移位不变表示。 1.2核心思想 虽然上述人脸表情识别方法取得了较好的识 分布对齐的核心思想是通过找到一个特征变 别效果，但需要注意的是，这些方法通常认为训 换矩阵，将源域和目标域样本映射到一个公共子 练数据样本和测试数据样本的数据分布相同。而 空间，即可再生核希尔伯特空间(reproducing ker- 在实际应用中，可能无法满足相同的分布假设。 nel Hilbert space,RKHS),通过引入无参数的最大 特别是当训练数据和测试数据来自2个不同的数 均值差异MMD来度量源域和目标域数据之间边 据库，且这2个数据库是在不同的数据收集环境 缘分布和条件分布的距离，在该子空间中在最大 下收集的。对于这样的跨域人脸表情识别问题， 化投影后源域和目标域数据方差的同时，联合对 传统的人脸表情识别方法可能无法达到很好的识 齐边缘分布和条件分布，最小化域之间的分布距 别效果。近年来，迁移学习在图像分类101山和标 离，即 注2)、目标识别47和特征学习20等方面都有 Dist(D.D)Dist(P(X).P (X))+ 很好的应用前景。且在跨域识别问题上展现出较 Dist(P,(Y,X),P(YX)) (1) 大的优势，越来越受到研究者的关注。 然后对变换后的特征进行训练得到一个域适 在跨域人脸表情识别问题中，源域和目标域 应分类器，来对目标域中的数据标签进行预测。 来自不同的数据库，服从不同的数据分布，因此 分布对齐原理示意图如图1所示。交互、机器智能等领域有着广泛的应用前景。近 年来，许多研究者致力于人脸表情识别研究，并 提出了许多有效的方法。 Zheng 等 [6] 提出了核典型关联分析 (kernel canoncal correlation analysis，KCCA) 的人脸表情识 别方法，通过对输入图像中人面部 34 个关键点进 行定位，然后将这些关键点通过 Gabor 小波变换 转换成带有标注信息的图向量 (labeled graph, LG) 来表示人脸特征。另外，针对每个训练人脸 表情图像，将 6 种表情类型的标签转化成一个六 维语义表达向量，进而学习 LG 向量与语义表达 向量之间的相关关系，利用这种关系推断出测试 图像的语义表达。在不同人脸表情数据库上的实 验结果表明了该方法的有效性。与目标检测等计 算机视觉任务相比，图像描述不仅需要检测图像 中的内容，还需要理解图像中目标物体之间的具 体关系，并使用自然语言正确地表达出来。Uddin 等 [7] 提出了一种新的方法来对基于时间序列的视 频中的人脸表情进行识别，首先从时间序列人脸 中提取局部方向模式特征，然后进行主成分分析 和线性判别分析，使特征具有较强的鲁棒性。最 后，利用隐马尔可夫模型对不同的面部表情进行 局部特征建模和识别，取得了较好的识别效果。 Yu[8] 提出了一种基于图像的静态面部表情识别方 法，该方法包含一个基于 3 个最先进的人脸检测 器集成的人脸检测模块，以及一个基于多层深度 卷积神经网络 (convolutional neural network, CNN) 级联的分类模块。为了自动决定级联 CNN 的权 重分配问题，提出了通过最小化对数似然损失和 最小化铰链损失 2 种自适应训练卷积神经网络权 值的优化方案。Baccouche 等 [9] 设计了一种时空 卷积稀疏自编码器，在不需要任何监督信息的情 况下学习稀疏移位不变表示。 虽然上述人脸表情识别方法取得了较好的识 别效果，但需要注意的是，这些方法通常认为训 练数据样本和测试数据样本的数据分布相同。而 在实际应用中，可能无法满足相同的分布假设。 特别是当训练数据和测试数据来自 2 个不同的数 据库，且这 2 个数据库是在不同的数据收集环境 下收集的。对于这样的跨域人脸表情识别问题， 传统的人脸表情识别方法可能无法达到很好的识 别效果。近年来，迁移学习在图像分类[10-11] 和标 注 [12-13] 、目标识别[14-17] 和特征学习[18-20] 等方面都有 很好的应用前景。且在跨域识别问题上展现出较 大的优势，越来越受到研究者的关注。 在跨域人脸表情识别问题中，源域和目标域 来自不同的数据库，服从不同的数据分布，因此 需要解决的主要问题就是如何减小不同域之间的 分布差异。近几年，一些研究者通过对源域和目 标域数据进行权重的重用来减小域之间的分布差 异 [21] ，或者通过找到一个共享的特征表示在保留 原始数据属性的同时来减小域之间的分布差 异 [22-23]。但是大多数存在的方法仅对齐了边缘分 布而忽略了条件分布的重要性，且往往需要目标 域中有少量标签样本。 因此，为了解决源域和目标域数据来自 2 个 不同的数据集，服从不同的边缘分布和条件分 布，且目标域没有标记数据的无监督跨域表情识 别问题，本文提出将联合分布对齐的迁移学习方 法应用于跨域表情识别。该方法通过找到一个特 征变换，将源域和目标域数据映射到一个公共子 空间中，在该子空间中联合对齐边缘分布和条件分 布来减小域之间的分布差异，然后对变换后的特 征进行训练得到一个域适应分类器来预测目标域 样本标签，提高跨域人脸表情识别的准确率。 1 提出方法 1.1 问题描述 Xs ∈ R m×ns Xt ∈ R m×nt Ps(Xs) Pt(Xt) Ps (Ys |Xs) Pt (Yt |Xt) m ns nt Ds = {(xi , yi)} ns i=1 , xi ∈ R m Dt = {(xj )}nt j=1 , xj ∈ R m Xs = Xt Ys = Yt Ps (Xs) , Pt (Xt) Ps (Ys |Xs) , Pt (Yt |Xt) 令 表示源域样本集合， 表 示目标域样本集合， 和 分别表示源域 数据和目标域数据的边缘分布， 和 分别表示源域和目标域的条件分布。 表示源域和目标域中样本的维度， 和 分别表 示源域和目标域样本数据的个数。因此，给定一 个带有标签的源域数据 ，一 个无标签的目标域数据 ，源域 和目标域样本具有相同的特征空间和标签空间， 即 ， 。但源域和目标域样本服从不 同的数据分布 ， 。 1.2 核心思想 分布对齐的核心思想是通过找到一个特征变 换矩阵，将源域和目标域样本映射到一个公共子 空间，即可再生核希尔伯特空间 (reproducing ker￾nel Hilbert space, RKHS)，通过引入无参数的最大 均值差异 MMD 来度量源域和目标域数据之间边 缘分布和条件分布的距离，在该子空间中在最大 化投影后源域和目标域数据方差的同时，联合对 齐边缘分布和条件分布，最小化域之间的分布距 离，即 Dist(Ds ,Dt) ≈ Dist(Ps(Xs),Pt(Xt))+ Dist(Ps(Ys |Xs),Pt(Yt |Xt)) (1) 然后对变换后的特征进行训练得到一个域适 应分类器，来对目标域中的数据标签进行预测。 分布对齐原理示意图如图 1 所示。 ·398· 智 能 系 统 学 报 第 16 卷