·887· 刘威，等：融合关系特征的半监督图像分类方法研究 第5期 监督学习由于标签样本不足所造成的模型退化问 (K-nearest neighbor,.KNN)图，以此来建模图像之 题。早期的半监督学习算法与深度学习的结合相 间的一阶关系信息。这种通过建图来建模GCN 对较少，随着深度学习在各界大放异彩，尤其在 模型输入的相关文献91川大部分都是用随机参数 图像分类问题上超人类的识别率使得半监督学习 化或者依靠添加损失项的方式，所得图结构很大 与深度学习的结合成为一种必然趋势。 程度上取决于模型自身性能，且这种图结构忽略 半监督深度学习的核心模型依然是卷积神经 了数据的原始信息，使模型不具解释性。而构建 网络，不同模型的区别在于添加不同的先验假设 KNN图的方式可以保持数据的原始信息不丢失。 来建立不同的损失函数。Sajjadi等1认为相同的 针对问题(2)，本文尝试将关系学习模型融 样本在不同的扰动下，模型应该具有相同的输出 合到特征提取模型的任意一层，考虑到特征提取 (被称为“一致性正则化原则”)。因此将标签样 模型是一个复杂且多层的结构，每一层所学特征 本与无标签样本经过随机增强、裁剪、随机池化 信息皆不相同，因此关系信息与特征信息不同的 等操作后输入模型中，强制模型对同一样本输出 融合方式会对模型的泛化性能产生不同的影响。 相同的预测类别。Laine等将上述的一致性正 本文主要贡献有：1)提出基于图像间的关系 则化原则建模为时序模型，认为模型在每次迭代 表示模型，该模型可以提取到图像间的不同阶的 的学习过程中都应该保持所谓的“一致性正则 关系信息。2)设计新的半监督图像分类模型。将 化”。L等的与上述两篇文献的做法不同，将这种 图像数据的关系信息与特征信息相融合，可以极 “一致性正则化”方法加入了模型的参数之中， 大地提升表示学习模型的泛化能力。3)对模型中 他们认为相同的样本在经过模型参数的随机扰动 提取样本间隐含关系的函数进行解释，进一步阐 之后应该输出相同的类别。 明其运行机理。4)在5个基准图像数据集上进行 综上所述，半监督图像分类算法主要围绕一致 数值实验，进一步验证本文提出的融合模型可以 性原则进行建模，使用不同程度的数据增强、混 在少样本情形下有效提升监督模型的分类精度。 合等操作强制对同类样本输出相同的预测结果， 1相关工作 希望模型能够习得图像的本质特征。但这种建模 方式仅在模型的端首与端尾进行操作，缺乏半监 本节主要介绍半监督深度学习模型的建模方 督模型的内部机理分析，使模型不具可解释性。 法。首先介绍半监督学习的基本思路。在引言中 从本质上而言，半监督学习的建模思想描述 提到的（预测样本分布、聚类假设、流形假设以及 为：首先建立所给样本的隐含“关系”，然后将标 前述的“一致性原则”)假设的前提下，即可约束 签样本的标签信息通过上述“关系”传递到无标签 相似的样本输出相同的结果。 样本。而图卷积网络(graph convolutional net- 以图结构的标签传播(label propagation,LP) works,.GCN)的提出，正好从关系建模的角度出 算法为例进行说明，该算法的目标函数如下： 发，给出解析网络数据的一种思路。与视觉卷积 L+U min ∑Ifx)-HP+A∑Ifx)-fxrw(四 模型相比，模型解释性大大增加。此外，该方法 还为半监督图像分类提供建模思路，本文旨在利 式中：样本被分为标签样本（用L表示）和无标签 用图卷积网络来建模前述样本的隐含“关系”，然 样本（用U表示），其中标签样本损失为f-y, 后进一步研究与视觉卷积模型融合后的融合模型 在此基础上又添加与无标签样本相关的正则化项 的机理性能。 ‖-fW,意味着相同标签的样本之间会有更 一直以来，模型融合作为改进模型性能的技 大的连接权重，从而使得与标签样本相连的权重 术被广泛使用，著名的GoogLeNet!模型中作者 较大的无标签样本更容易获得标签样本的标签信 就表明视觉图像数据应在各种尺度处理后再进行 息，进而实现全图的标签信息传播。 融合，才能使得深度网络对输入图像的尺度具有 上述半监督学习方法虽然取得了不错的效 鲁棒性。而本文将GCN与卷积分类模型相融合 果，但是随着深度学习的兴起，半监督深度学习 则需考虑以下两个问题：(1)建模“关系”的目标 算法成为了研究的重点。 对象。(2)对于图像特征提取的多层神经网络模 半监督深度图像分类模型是将包含无标签样 型而言，需要考虑GCN模型如何与这些多层结构相 本的正则化项引入多层结构的网络模型中。We- 融合。 ston等1针对传统的半监督学习算法无法充分地 针对问题(1)，首先基于图像数据构建KNN 学习数据的特征，通过在多层神经网络的基础上监督学习由于标签样本不足所造成的模型退化问 题。早期的半监督学习算法与深度学习的结合相 对较少，随着深度学习在各界大放异彩，尤其在 图像分类问题上超人类的识别率使得半监督学习 与深度学习的结合成为一种必然趋势。 半监督深度学习的核心模型依然是卷积神经 网络，不同模型的区别在于添加不同的先验假设 来建立不同的损失函数。Sajjadi 等 [3] 认为相同的 样本在不同的扰动下，模型应该具有相同的输出 （被称为“一致性正则化原则”）。因此将标签样 本与无标签样本经过随机增强[4] 、裁剪、随机池化 等操作后输入模型中，强制模型对同一样本输出 相同的预测类别。Laine 等 [5] 将上述的一致性正 则化原则建模为时序模型，认为模型在每次迭代 的学习过程中都应该保持所谓的“一致性正则 化”。Li 等 [6] 与上述两篇文献的做法不同，将这种 “一致性正则化”方法加入了模型的参数[7] 之中， 他们认为相同的样本在经过模型参数的随机扰动 之后应该输出相同的类别。 综上所述，半监督图像分类算法主要围绕一致 性原则进行建模，使用不同程度的数据增强、混 合等操作强制对同类样本输出相同的预测结果， 希望模型能够习得图像的本质特征。但这种建模 方式仅在模型的端首与端尾进行操作，缺乏半监 督模型的内部机理分析，使模型不具可解释性。 从本质上而言，半监督学习的建模思想描述 为：首先建立所给样本的隐含“关系”，然后将标 签样本的标签信息通过上述“关系”传递到无标签 样本。而图卷积网络（graph convolutional net￾works，GCN）的提出，正好从关系建模的角度出 发，给出解析网络数据的一种思路。与视觉卷积 模型相比，模型解释性大大增加。此外，该方法 还为半监督图像分类提供建模思路，本文旨在利 用图卷积网络来建模前述样本的隐含“关系”，然 后进一步研究与视觉卷积模型融合后的融合模型 的机理性能。 一直以来，模型融合作为改进模型性能的技 术被广泛使用，著名的 GoogLeNet[8] 模型中作者 就表明视觉图像数据应在各种尺度处理后再进行 融合，才能使得深度网络对输入图像的尺度具有 鲁棒性。而本文将 GCN 与卷积分类模型相融合 则需考虑以下两个问题：（1）建模“关系”的目标 对象。（2）对于图像特征提取的多层神经网络模 型而言，需要考虑 GCN 模型如何与这些多层结构相 融合。 针对问题（1），首先基于图像数据构建 KNN （K-nearest neighbor，KNN）图，以此来建模图像之 间的一阶关系信息。这种通过建图来建模 GCN 模型输入的相关文献[9-11] 大部分都是用随机参数 化或者依靠添加损失项的方式，所得图结构很大 程度上取决于模型自身性能，且这种图结构忽略 了数据的原始信息，使模型不具解释性。而构建 KNN 图的方式可以保持数据的原始信息不丢失。 针对问题（2），本文尝试将关系学习模型融 合到特征提取模型的任意一层，考虑到特征提取 模型是一个复杂且多层的结构，每一层所学特征 信息皆不相同，因此关系信息与特征信息不同的 融合方式会对模型的泛化性能产生不同的影响。 本文主要贡献有：1）提出基于图像间的关系 表示模型，该模型可以提取到图像间的不同阶的 关系信息。2）设计新的半监督图像分类模型。将 图像数据的关系信息与特征信息相融合，可以极 大地提升表示学习模型的泛化能力。3）对模型中 提取样本间隐含关系的函数进行解释，进一步阐 明其运行机理。4）在 5 个基准图像数据集上进行 数值实验，进一步验证本文提出的融合模型可以 在少样本情形下有效提升监督模型的分类精度。 1 相关工作 本节主要介绍半监督深度学习模型的建模方 法。首先介绍半监督学习的基本思路。在引言中 提到的（预测样本分布、聚类假设、流形假设以及 前述的“一致性原则”）假设的前提下，即可约束 相似的样本输出相同的结果。 以图结构的标签传播（label propagation，LP） 算法[12] 为例进行说明，该算法的目标函数如下： min f ∑L i ∥ f(xi)−yi∥ 2 +λ ∑L+U i, j ∥ f(xi)− f(xj)∥ 2Wi j (1) L U ∥ fi −yi∥ 2 ∥ fi − fj∥ 2Wi j 式中：样本被分为标签样本（用 表示）和无标签 样本（用 表示），其中标签样本损失为 ， 在此基础上又添加与无标签样本相关的正则化项 ，意味着相同标签的样本之间会有更 大的连接权重，从而使得与标签样本相连的权重 较大的无标签样本更容易获得标签样本的标签信 息，进而实现全图的标签信息传播。 上述半监督学习方法虽然取得了不错的效 果，但是随着深度学习的兴起，半监督深度学习 算法成为了研究的重点。 半监督深度图像分类模型是将包含无标签样 本的正则化项引入多层结构的网络模型中。We￾ston 等 [13] 针对传统的半监督学习算法无法充分地 学习数据的特征，通过在多层神经网络的基础上 ·887· 刘威，等：融合关系特征的半监督图像分类方法研究 第 5 期