第17卷 智能系统学报 ·890· 的关系特征ZL和样本特征α相结合得到样本的 图如图2所示。 预测标签分布，这里假设CNN模型共有L层，表 开始 示如下： =softmax(Zu)+H)) (12) SCUTTLE模型参数初始化 5)计算模型最终的损失函数： LCNN_GCN= 2, 数据集预处理，设置批次数量、每批次样本数 (13) 、每批次标记样本数、选代次数等超参数 2.4.2 SCUTTLE模型的训练算法描述 将一个批次N。个样本传入 CNN网络中正向训练 设训练样本总数为N,每个批次的样本数量 挑选CNN任一隐层的 也即batchsize设定为Nata,则批次数量为 输出作为KNN的输入 设每批次标记样本数量为Vabl,此时计算得到标 KNN+GCN模型进行 记样木这数为N×心，后续哭到的所有标记 样本隐含关系特征提取 样本数量皆通过上式计算得到。 将GCN的输出结果与CNN的输出结果进行融合操作 算法1 SCUTTLE模型训练方法 输入N个样本X=(c1,x2,…,xN)以及Nae个 只计算Ne个标i记样本损失值并进行梯度反向传播 样本的标签。 输出N个样本的预测标签值。 装本 1)随机初始化SCUTTLE模型的网络参数。 Y 2)将全部样本作数据预处理且随机打乱顺 SCUTTLE模型精度测试 序，同时设定样本批次数量为一， ，且设定每批次 标记样本数量为Niable,epoch数量为e。 SCUTTLE模型N 收敛 3)将第一个批次的Nah个样本输入CNN模 型中进行正向传播。 结束 4)随机挑选步骤3)中CNN的任一隐层输出 特征作为KNN图的输入，再经过GCN模型进行 图2 SCUTTLE模型训练方法流程图 Fig.2 Flow chart of SCUTTLE model training method 正向传播。 5)步骤3)4)属于并行前向传播，在两个模型 2.4.3 SCUTTLE模型的关系函数解释 最后输出层通过式(12)进行特征融合并计算损失 对于常见的半监督学习模型（包括引言和相 值，此时的损失值只包括步骤2)中提前设定好的 关工作中提到的)，其优化目标函数为 L+U Viable个样本的损失，同时通过梯度反向传播优化 min∑Ifx)-yP+∑cfx,x,W） (14) 模型参数。 6)测试模型精度。 式中：W即为表示相邻两个样本间的关系参数； )将步骤3小6)循环 一次，为全部样本一次 L表示标签样本；U表示无标签样本。为了后续表 迭代。 述的方便，将式(14)中的两项分别记为(14)与 8)步骤3))循环e次，直至模型收敛。 (14)。(14)为标签样本的损失函数，(14)为反映 上述算法即为SCUTTLE模型的批量训练算 样本隐含关系的函数。根据前两小节所述的建模 法，从步骤4)中可知，SCUTTLE融合算法对于任 流程，CNN与GCN模型都利用标签样本的标签 一批量的样本都会建立KNN图，相较于其他算 信息来构建监督信息的损失函数，因此(14)可以 法的随机参数化方法，本文所构建KNN图在很 写为 大程度上可以保证数据的先验性质，同时使模型 I+),-yl (15) 具有解释性。在步骤5)中，将CNN模型的特征 与GCN模型的特征进行融合，可以看作二者之间 在构建样本的隐含关系函数时，CNN模型不 的相互约束过程，对于卷积特征不够清晰且明确 具有建模样本间关系的能力，因此需依靠GCN模 的样本可以通过GCN的关系特征进行补充，从而 型来捕捉这些信息，因此对于(14)而言，结合式 提升泛化性能。SCUTTLE模型的训练方法流程 (8)或(10)可得Z (L ′′) a (L ′ ) L ′ 的关系特征 和样本特征 相结合得到样本的 预测标签分布，这里假设 CNN 模型共有 层，表 示如下： yˆ = softmax(Z (L ′′′) + H (L ′ ) ) (12) 5）计算模型最终的损失函数： LCNN_GCN = 1 N ∑N n=1 L(by (n)，y (n) ) (13) 2.4.2 SCUTTLE 模型的训练算法描述 N Nbatch Nlable × N Nbatch 设训练样本总数为 N，每个批次的样本数量 也即 batch_size 设定为 Nbatch，则批次数量为 ， 设每批次标记样本数量为 Nlable，此时计算得到标 记样本总数为 ，后续提到的所有标记 样本数量皆通过上式计算得到。 算法 1 SCUTTLE 模型训练方法 输入 N 个样本 X = (x1, x2,··· , xN) 以及 Nlable 个 样本的标签。 输出 N 个样本的预测标签值。 1) 随机初始化 SCUTTLE 模型的网络参数。 N Nbatch 2) 将全部样本作数据预处理且随机打乱顺 序，同时设定样本批次数量为 ，且设定每批次 标记样本数量为 Nlable，epoch 数量为 e。 3) 将第一个批次的 Nbatch 个样本输入 CNN 模 型中进行正向传播。 4) 随机挑选步骤 3) 中 CNN 的任一隐层输出 特征作为 KNN 图的输入，再经过 GCN 模型进行 正向传播。 5) 步骤 3)~4) 属于并行前向传播，在两个模型 最后输出层通过式 (12) 进行特征融合并计算损失 值，此时的损失值只包括步骤 2) 中提前设定好的 Nlable 个样本的损失，同时通过梯度反向传播优化 模型参数。 6) 测试模型精度。 N Nbatch 7) 将步骤 3)~6) 循环 次，为全部样本一次 迭代。 8) 步骤 3)~7) 循环 e 次，直至模型收敛。 上述算法即为 SCUTTLE 模型的批量训练算 法，从步骤 4) 中可知，SCUTTLE 融合算法对于任 一批量的样本都会建立 KNN 图，相较于其他算 法的随机参数化方法，本文所构建 KNN 图在很 大程度上可以保证数据的先验性质，同时使模型 具有解释性。在步骤 5) 中，将 CNN 模型的特征 与 GCN 模型的特征进行融合，可以看作二者之间 的相互约束过程，对于卷积特征不够清晰且明确 的样本可以通过 GCN 的关系特征进行补充，从而 提升泛化性能。SCUTTLE 模型的训练方法流程 图如图 2 所示。 SCUTTLE 模型参数初始化 数据集预处理，设置批次数量、每批次样本数 Nbatch、每批次标记样本数、迭代次数等超参数 将一个批次 Nbatch 个样本传入 CNN 网络中正向训练 只计算 Nlable 个标记样本损失值并进行梯度反向传播 全部样本 训练完毕 Y Y N N SCUTTLE 模型精度测试 挑选 CNN 任一隐层的 输出作为 KNN 的输入 KNN+GCN 模型进行 样本隐含关系特征提取 将 GCN 的输出结果与 CNN 的输出结果进行融合操作 SCUTTLE 模型 收敛 开始 结束 图 2 SCUTTLE 模型训练方法流程图 Fig. 2 Flow chart of SCUTTLE model training method 2.4.3 SCUTTLE 模型的关系函数解释 对于常见的半监督学习模型（包括引言和相 关工作中提到的），其优化目标函数为 min W ∑L i ∥ f(xi)−yi∥ 2 + ∑L+U i, j L(f(xi , xj ,Wi j) (14) Wi j L U 式中： 即为表示相邻两个样本间的关系参数； 表示标签样本； 表示无标签样本。为了后续表 述的方便，将式 (14) 中的两项分别记为 (141 ) 与 (142 )。(141 ) 为标签样本的损失函数，(142 ) 为反映 样本隐含关系的函数。根据前两小节所述的建模 流程，CNN 与 GCN 模型都利用标签样本的标签 信息来构建监督信息的损失函数，因此 (141 ) 可以 写为 ∑L i ||(fcnn + fgcn) i −yi ||2 (15) 在构建样本的隐含关系函数时，CNN 模型不 具有建模样本间关系的能力，因此需依靠 GCN 模 型来捕捉这些信息，因此对于 (142 ) 而言，结合式 (8) 或 (10)，可得 第 17 卷 智 能 系 统 学 报 ·890·