·889· 刘威，等：融合关系特征的半监督图像分类方法研究 第5期 线性激活函数（一般用RLUl8函数表示）后的输 过激活函数σ（通常用ReLU函数表示）即可提取 出。这里对于该模型的具体卷积过程不再赘述。 第（层的相关特征。 式(4)中的z0又可以写为 与CNN模型类似，在模型的最后一层通过 20:=09:别 (5) softmax函数来获得样本标签的预测分布。同样 表示第I层卷积提取到的F,个特征图，这些特征 地，对于输入该模型的N个样本，模型的目标函 图再经过非线性的激活函数中，即可得到该层最 数为 终的输出a,即 (9) a0=(z0) (6) 1分z, 对于输入该模型的N个样本，该模型的目标 2.4 SCUTTLE模型 函数为 本节介绍将前述两种模型相融合的SCUTTLE 1 L(ym,h) 模型，融合模型具有两种单一模型的双重属性， (7) 既具有特征提取能力，也具有关系表示能力。本 式中：ym为第n个样本的真实标签；h为第n个 节不仅给出模型融合的方法描述，也给出了融合 样本的预测标签；￡为相应的损失函数。 模型的训练算法流程。此外，对本文提到的关系 2.3关系表示函数的GCN模型 函数的构建过程也加以解释。 2.2节阐述了CNN模型设计的整体思路，该 2.4.1 SCUTTLE模型的融合方法描述 模型利用不同卷积核提取到了层次化的图像特 本节介绍将2.2节中的CNN模型与2.3节中 征，而忽视了图像间所蕴涵的内在联系。本节介 的GCN模型融合在一个end-to-end的框架中的融 绍图信号处理领域的GCN模型是如何通过图上 合方法，实施步骤如下： 节点的特征信息与图的结构信息来提取节点间的 I)对于输入CNN模型的N个样本，其中任意 隐含关系。 个样本在第1层学习到的特征z0表示为2.2 GCN模型在建模之前通常需要构造一个图 节中的式(5)。假设每个特征图的大小为m×n, 位移算子T来表示所研究的图结构。位移算子 则z0∈RmxnxFi,可以将z展成维度为m×n×F的一 T的作用就是将输入信号通过线性聚合的方式来 维向量。对输入模型的N样本都执行上述操作。 提取节点的一阶邻域内的信息，这个过程可以类 此时的一维向量z依然具有特征图形状的z应有 比CNN中的卷积核的作用（捕捉固定感受野范围 的特性。 内的信息)。其次只需要将T参数化后融入卷积 2)将上述样本特征z作为2.1节KNN模型的 神经网络中进行学习即可构建图上的卷积操作。 输入，即可构建一个关于N个样本的稀疏KNN 常用的图位移算子包括下面3种类型： 图，也称为权重邻接矩阵，是2.3节提到的图位移 1)图的邻接矩阵A。对于其中的元素Am,如 算子T的一种特殊形式，用T来表示。 果(um,va)∈E,则Am=1,否则为0： 3)将步骤1)和步骤2)中得到的z0和T作为 2)图的拉普拉斯矩阵L=D-A。D为对角矩 2.3节中GCN模型的输入，则GCN模型同时具有 阵，其中的D表示第i个节点的度； 样本的高阶特征信息以及连接这些信息的位移 3)L归一化之后的类型：i=DAD-。 算子T',通过图上的卷积操作即可学习这些特征 本文采用Kipf等提出的GCN模型，该模 之间的关系，GCN模型在第一层卷积学习到的特 型基于归一化的图拉普拉斯矩阵而提出的，也 征Z可以表示为 即上述图位移算子中的第3种类型。模型第层 z)=(D-TD-2Wc) (10) 学习到的特征Z9可以表示为 式中：下=T+1,T为步骤2)中的权重邻接矩阵， Z(0=(D-!AD-IZ-DWe) (8) D、W与式(8)代表的含义相同。 式中：A=A+I,A表示图所对应的邻接矩阵，I是 4)为了使得CNN模型与GCN模型在习得的 单位对角阵，A表示在邻接矩阵A中的每个节点上 样本特征上实现维度对齐，本文在GCN的最后 添加自环的操作；D为对角阵，D:=∑，A,表示第 层后又添加了全连接层，假设GCN模型共有L"层， i个节点（包含自己）的度，W表示第(-1层的卷 W为全连接层的权重参数，则上述过程表示为 积核参数且包括偏置参数。在式(8)中，第(-1层 Zu=ReLU(Wie(ReLU(D-AD-!Zu-W 卷积提取到的特征Z-通过与归一化的图位移算 (11) 子相乘来捕捉图中一阶邻域内的节点信息，再通 在融合模型的最后一层分别将两个模型得到z (l) 线性激活函数（一般用 ReLU[18] 函数表示）后的输 出。这里对于该模型的具体卷积过程不再赘述。 式 (4) 中的 又可以写为 z (l)： = [ z (l) 1 ;z (l) 2 ;z (l) Fl ] (5) Fl ϕ a (l) 表示第 l 层卷积提取到的 个特征图，这些特征 图再经过非线性的激活函数 ，即可得到该层最 终的输出 ，即 a (l) = ϕ(z (l) ) (6) 对于输入该模型的 N 个样本，该模型的目标 函数为 LCNN = 1 N ∑N n=1 L(y (n) , h (n) ) (7) y (n) h (n) L 式中： 为第 n 个样本的真实标签； 为第 n 个 样本的预测标签； 为相应的损失函数。 2.3 关系表示函数的 GCN 模型 2.2 节阐述了 CNN 模型设计的整体思路，该 模型利用不同卷积核提取到了层次化的图像特 征，而忽视了图像间所蕴涵的内在联系。本节介 绍图信号处理领域的 GCN 模型是如何通过图上 节点的特征信息与图的结构信息来提取节点间的 隐含关系。 T T T GCN 模型在建模之前通常需要构造一个图 位移算子 来表示所研究的图结构。位移算子 的作用就是将输入信号通过线性聚合的方式来 提取节点的一阶邻域内的信息，这个过程可以类 比 CNN 中的卷积核的作用（捕捉固定感受野范围 内的信息）。其次只需要将 参数化后融入卷积 神经网络中进行学习即可构建图上的卷积操作。 常用的图位移算子包括下面 3 种类型： A Amn (υm, υn) ∈ ε Amn = 1 1）图的邻接矩阵 。对于其中的元素 ，如 果 ，则 ，否则为 0； L D− A D Dii 2）图的拉普拉斯矩阵 = 。 为对角矩 阵，其中的 表示第 i 个节点的度； L L¯ = D˜ − 1 2 A˜ D˜ − 1 3） 归一化之后的类型： 2。 L¯ ℓ Z (ℓ) 本文采用 Kipf 等 [19] 提出的 GCN 模型，该模 型基于归一化的图拉普拉斯矩阵 而提出的，也 即上述图位移算子中的第 3 种类型。模型第 层 学习到的特征 可以表示为 Z (ℓ) = σ(D˜ − 1 2 A˜ D˜ − 1 2 Z (ℓ−1)W(ℓ−1) gcn ) (8) A˜ = A+ I A I A˜ A D˜ D˜ ii = ∑ j A˜ i j W(ℓ−1) gcn ℓ−1 ℓ−1 Z (ℓ−1) 式中： ， 表示图所对应的邻接矩阵， 是 单位对角阵， 表示在邻接矩阵 中的每个节点上 添加自环的操作； 为对角阵， 表示第 i 个节点（包含自己）的度， 表示第 层的卷 积核参数且包括偏置参数。在式 (8) 中，第 层 卷积提取到的特征 通过与归一化的图位移算 子相乘来捕捉图中一阶邻域内的节点信息，再通 σ ℓ 过激活函数 （通常用 ReLU 函数表示）即可提取 第 层的相关特征。 与 CNN 模型类似，在模型的最后一层通过 softmax 函数来获得样本标签的预测分布。同样 地，对于输入该模型的 N 个样本，模型的目标函 数为 LGCN = 1 N ∑N n=1 L(Z (n)，y (n) ) (9) 2.4 SCUTTLE 模型 本节介绍将前述两种模型相融合的 SCUTTLE 模型，融合模型具有两种单一模型的双重属性， 既具有特征提取能力，也具有关系表示能力。本 节不仅给出模型融合的方法描述，也给出了融合 模型的训练算法流程。此外，对本文提到的关系 函数的构建过程也加以解释。 2.4.1 SCUTTLE 模型的融合方法描述 本节介绍将 2.2 节中的 CNN 模型与 2.3 节中 的 GCN 模型融合在一个 end-to-end 的框架中的融 合方法，实施步骤如下： z (l) m×n z (l) ∈ R m×n×Fl z (l) m×n× Fl z (l) z (l) 1) 对于输入 CNN 模型的 N 个样本，其中任意 一个样本在第 l 层学习到的特征 表示为 2.2 节中的式 (5)。假设每个特征图的大小为 ， 则 ，可以将 展成维度为 的一 维向量。对输入模型的 N 样本都执行上述操作。 此时的一维向量 依然具有特征图形状的 应有 的特性。 z (l) T T ′ 2) 将上述样本特征 作为 2.1 节 KNN 模型的 输入，即可构建一个关于 N 个样本的稀疏 KNN 图，也称为权重邻接矩阵，是 2.3 节提到的图位移 算子 的一种特殊形式，用 来表示。 z (l) T ′ z (l) T ′ Z (1) 3) 将步骤 1) 和步骤 2) 中得到的 和 作为 2.3 节中 GCN 模型的输入，则 GCN 模型同时具有 样本的高阶特征信息 以及连接这些信息的位移 算子 ，通过图上的卷积操作即可学习这些特征 之间的关系，GCN 模型在第一层卷积学习到的特 征 可以表示为 Z (1) = σ(D˜ − 1 2 T˜ ′ D˜ − 1 2 z (l)W(0) gcn) (10) T˜ ′ = T ′ + I T ′ D˜ W(0) gcn 式中： ， 为步骤 2) 中的权重邻接矩阵， 、 与式 (8) 代表的含义相同。 L ′′ Wf c 4）为了使得 CNN 模型与 GCN 模型在习得的 样本特征上实现维度对齐，本文在 GCN 的最后一 层后又添加了全连接层，假设 GCN 模型共有 层， 为全连接层的权重参数，则上述过程表示为 Z (L ′′) = ReLU( Wf c ( ReLU( D˜ − 1 2 A˜ D˜ − 1 2 Z (L ′′−1)W(L ′′−1) gcn ))) (11) 在融合模型的最后一层分别将两个模型得到 ·889· 刘威，等：融合关系特征的半监督图像分类方法研究 第 5 期