·549· 常新功，等：基于图卷积集成的网络表示学习 第3期 ,与其他所有节点的一阶邻近性，，和y的二阶 行插值；Line是针对大规模的网络嵌入，可以保 邻近性由，和I的相似性决定。 持一阶和二阶邻近性。图3给出了一个说明示 定义5集成学习四。集成学习是构建多个 例，节点6和节点7之间边的权重较大，即节点 个体学习器(1,2，…，，再用某种结合策略将它 6和节点7有较高的一阶邻近性，它们在嵌入空 们的输出结合起来，结合策略有平均法、投票法 间的距离应很近：虽然节点5和节点6没有直接 和学习法。给定网络G,定义2中的网络表示学 相连的边，但是它们有很多共同的邻居，所以它 习方法可作为个体学习器，其结构如图1。若个体 们有较高的二阶邻近性，在嵌入空间中距离也应 学习器是同种则是同质集成，否则是异质集成。 很近。一阶邻近性和二阶邻近性都很重要，一阶 输出 邻近性可以用两个节点之间的联合概率分布度 量，”，和y的一阶邻近性如式(1)： 结合模块 P(v》= 1+e-对 (1) 评价 Loss 个体学习器 个体学习器2 个体学习器n 卷积层2 最终向量表示 图卷积（次 级学习器) 卷积层1 网络结构G 新特征向量z(N×3D) 图1集成学习结构 邻接矩阵 拼接下 Fig.1 Structure of ensemble learning 嵌入NxD)嵌入NxD)嵌入WxD) 定义6 stacking集成学习。stacking集成 学习的结合策略是学习法，对于同一网络通过 生成 生成 生成 k个初级学习器，2，…，（学习得到k部分节点 初级学习器1 初级学习器2初级学习器3 嵌入的特征向量o,z1,…,k-1,其嵌入维度均为 d维，然后按节点将z,i∈[0，k-1]对应拼接得到嵌 网络结构 入z,其嵌入维度是k×d维，最后使用次级学习器 图2基于GCN集成的网络表示学习结构 得到最终的嵌入z',为了方便对比设置其嵌入维 Fig.2 Network representation learning structure based on 度也是d维。 GCN ensemble method 2基于GCN集成的网络表示学习方法 本文将stacking集成思想引人网络表示学习， 对于同一网络数据基于3个初级学习器生成3部 分嵌入并将其拼接，然后选取GCN作为次级学习 器得到最终的嵌入，最后使用评价指标进行评 价，具体流程如图2所示。 2.1初级学习器 图3网络简单示例 初级学习器选择DeepWalk!)、Node2Vec Fig.3 Simple example of network 和Line。DeepWalk!1发现在短的随机游走中 二阶邻近性通过节点y,的上下文节点y的概 出现的节点分布类似于自然语言中的单词分布，于 率建模，即 是采用广泛使用的单词表示学习模型Skip-Gram e 模型学习节点表示；Node2Vec认为DeepWalk P2(v)= 的表达能力不足以捕捉网络中连接的多样性，所 以设计了一个灵活的网络邻域概念，并设计随机 条件分布意味着在上下文中具有相似分布的 游走策略对邻域节点采样，该策略能平滑地在广 节点彼此相似，通过最小化两种分布和经验分布 度优先采样(BFS)和深度优先采样(DFS)之间进 的KL散度，可以得到既保持一阶邻近性又保持vi 与其他所有节点的一阶邻近性，vi 和 vj 的二阶 邻近性由 li 和 lj 的相似性决定。 ℓ1 ℓ2 ℓn 定义 5 集成学习[22] 。集成学习是构建多个 个体学习器 ， ，…， ，再用某种结合策略将它 们的输出结合起来，结合策略有平均法、投票法 和学习法。给定网络 G，定义 2 中的网络表示学 习方法可作为个体学习器，其结构如图 1。若个体 学习器是同种则是同质集成，否则是异质集成。 输出 结合模块 个体学习器 1 个体学习器 2 网络结构 G 个体学习器 n ... 图 1 集成学习结构 Fig. 1 Structure of ensemble learning ℓ1 ℓ2 ℓk zi，i ∈ [0, k−1] ℓ 定义 6 stacking 集成学习[22]。 stacking 集成 学习的结合策略是学习法，对于同一网络通过 k 个初级学习器 ， ，…， 学习得到 k 部分节点 嵌入的特征向量 z0，z1，…，zk−1，其嵌入维度均为 d 维，然后按节点将 对应拼接得到嵌 入 z，其嵌入维度是 k×d 维，最后使用次级学习器 得到最终的嵌入 z'，为了方便对比设置其嵌入维 度也是 d 维。 2 基于 GCN 集成的网络表示学习方法 本文将 stacking 集成思想引入网络表示学习， 对于同一网络数据基于 3 个初级学习器生成 3 部 分嵌入并将其拼接，然后选取 GCN 作为次级学习 器得到最终的嵌入，最后使用评价指标进行评 价，具体流程如图 2 所示。 2.1 初级学习器 初级学习器选择 DeepWalk[13] 、Node2Vec[14] 和 Line[15]。DeepWalk[13] 发现在短的随机游走中 出现的节点分布类似于自然语言中的单词分布，于 是采用广泛使用的单词表示学习模型 Skip-Gram 模型学习节点表示；Node2Vec[14] 认为 DeepWalk 的表达能力不足以捕捉网络中连接的多样性，所 以设计了一个灵活的网络邻域概念，并设计随机 游走策略对邻域节点采样，该策略能平滑地在广 度优先采样 (BFS) 和深度优先采样 (DFS) 之间进 行插值；Line[15] 是针对大规模的网络嵌入，可以保 持一阶和二阶邻近性。图 3 给出了一个说明示 例，节点 6 和节点 7 之间边的权重较大，即节点 6 和节点 7 有较高的一阶邻近性，它们在嵌入空 间的距离应很近；虽然节点 5 和节点 6 没有直接 相连的边，但是它们有很多共同的邻居，所以它 们有较高的二阶邻近性，在嵌入空间中距离也应 很近。一阶邻近性和二阶邻近性都很重要，一阶 邻近性可以用两个节点之间的联合概率分布度 量，vi 和 vj 的一阶邻近性如式 (1)： p1(vi , vj) = 1 1+e −z T i zj (1) 评价 卷积层 2 卷积层 1 新特征向量 z (N×3D) 邻接矩阵 图卷积 (次 级学习器) 拼接 生成 生成 初级学习器 1 初级学习器 2 初级学习器 3 网络结构 嵌入 (N×D) 嵌入 (N×D) 嵌入 (N×D) 生成 最终向量表示 Loss 图 2 基于 GCN 集成的网络表示学习结构 Fig. 2 Network representation learning structure based on GCN ensemble method 6 7 10 9 5 8 1 2 3 4 图 3 网络简单示例 Fig. 3 Simple example of network 二阶邻近性通过节点 vi 的上下文节点 vj 的概 率建模，即 p2(vj |vi) = e z T j zi ∑ k e z T k zi 条件分布意味着在上下文中具有相似分布的 节点彼此相似，通过最小化两种分布和经验分布 的 KL 散度，可以得到既保持一阶邻近性又保持 ·549· 常新功，等：基于图卷积集成的网络表示学习 第 3 期