第15卷第1期 智能系统学报 Vol.15 No.1 2020年1月 CAAI Transactions on Intelligent Systems Jan.2020 D0:10.11992/tis.201908034 图神经网络推荐研究进展 吴国栋2，查志康2，涂立静2，陶鸿2，宋福根 (1.东华大学管理学院，上海200051,2.安徽农业大学信息与计算机学院，安徽合肥230036) 摘要：图神经网络(graph neural network,GNN)具有从图的领域对数据进行特征提取和表示的优势，近年来成 为人工智能研究的热点，图神经网络推荐也是推荐系统研究的一个新方向。本文对GNN模型进行深入研究的 基础上，分析了GNN推荐过程，并从无向单元图推荐、无向二元图推荐、无向多元图推荐3个方面详细讨论了 现有GNN推荐研究取得的主要进展及不足，阐明了现有GNN推荐研究中存在的主要难点，最后提出了 GNN上下文推荐、GNN跨领域推荐、GNN群组推荐、GNN推荐的可解释性等未来GNN推荐的研究方向。 关键词：图神经网络；推荐系统：深度学习；实体联系；社交关系：协同过滤；无向图；有向图 中图分类号：TP301文献标志码：A 文章编号：1673-4785(2020)01-0014-11 中文引用格式：吴国栋，查志康，涂立静，等.图神经网络推荐研究进展J.智能系统学报，2020,15(1)：14-24 英文引用格式：WU Guodong,ZHA Zhikang,TU Lijing,et al.Research advances in graph neural network recommendation, CAAI transactions on intelligent systems,2020,15(1):14-24. Research advances in graph neural network recommendation WU Guodong,ZHA Zhikang',TU Lijing,TAO Hong,SONG Fugeng' (1.School of Business and Management,Donghua University,Shanghai 200051,China;2.School of Information and Computer,An- hui Agricultural University,Hefei 230036,China) Abstract:Graph neural network(GNN)has the advantage of feature extraction and representation of data from the field of Graph.In recent years,it has become a hotspot of artificial intelligence research,and the recommendation of Graph Neural Network is also a new direction of recommendation system research.Based on the in-depth study of GNN mod- el,this paper analyzes the GNN recommendation process,and discusses in detail the main progress and deficiencies of GNN recommendation studies from three aspects:undirected unit graph recommendation,undirected binary graph re- commendation and undirected multivariate graph recommendation.The main difficulties in existing GNN recommenda- tion studies are clarified,and the research directions of GNN recommendation in the future,including GNN contextual recommendation,GNN cross-domain recommendation,GNN group recommendation,and GNN recommendation's in- terpretability,and so on,are pointed out in the end. Keywords:graph neural network;recommendation system;deep learning;entity relations;society relation;collaborat- ive filtering;undirected graph;directed graph 图神经网络(graph neural network,GNN)作为 和表示，是一种高效、易扩展的新型的神经网络 一种从卷积神经网络(convolutional neural net- 结构，在学习图数据方面表现出了强大的功能。 woks,CNN)和图嵌入思想启发而来的新型拓展 与传统的深度学习方法相比，GNN可以通过构建 神经网络山，可以在图领域对数据进行特征提取 的图模型来反映实体及其之间的联系。目前，国 内外对GNN的研究都取得了一定的进展，如自 收稿日期：2019-08-30. 然语言处理、文本分类)、特征关系提取、图片 基金项目：国家自然科学基金资助项目(31671589)：安徽省自 分类、疾病预测阿等。在推荐系统中，实体间的 然科学研究重点项目(KJ2017A152.KJ2019A0211). 通信作者：吴国栋.E-mail:gdwu1120@qq.com. 关系有用户与用户、用户与物品、物品与物品之
DOI: 10.11992/tis.201908034 图神经网络推荐研究进展 吴国栋1,2，查志康2 ，涂立静2 ，陶鸿2 ，宋福根1 （1. 东华大学 管理学院，上海 200051; 2. 安徽农业大学 信息与计算机学院，安徽 合肥 230036） 摘 要：图神经网络 (graph neural network, GNN) 具有从图的领域对数据进行特征提取和表示的优势，近年来成 为人工智能研究的热点，图神经网络推荐也是推荐系统研究的一个新方向。本文对 GNN 模型进行深入研究的 基础上，分析了 GNN 推荐过程，并从无向单元图推荐、无向二元图推荐、无向多元图推荐 3 个方面详细讨论了 现有 GNN 推荐研究取得的主要进展及不足，阐明了现有 GNN 推荐研究中存在的主要难点，最后提出了 GNN 上下文推荐、GNN 跨领域推荐、GNN 群组推荐、GNN 推荐的可解释性等未来 GNN 推荐的研究方向。 关键词：图神经网络；推荐系统；深度学习；实体联系；社交关系；协同过滤；无向图；有向图 中图分类号：TP301 文献标志码：A 文章编号：1673−4785(2020)01−0014−11 中文引用格式：吴国栋, 查志康, 涂立静, 等. 图神经网络推荐研究进展 [J]. 智能系统学报, 2020, 15(1): 14–24. 英文引用格式：WU Guodong, ZHA Zhikang, TU Lijing, et al. Research advances in graph neural network recommendation[J]. CAAI transactions on intelligent systems, 2020, 15(1): 14–24. Research advances in graph neural network recommendation WU Guodong1,2 ，ZHA Zhikang2 ，TU Lijing2 ，TAO Hong2 ，SONG Fugeng1 (1. School of Business and Management, Donghua University, Shanghai 200051, China; 2. School of Information and Computer, Anhui Agricultural University, Hefei 230036, China) Abstract: Graph neural network (GNN) has the advantage of feature extraction and representation of data from the field of Graph. In recent years, it has become a hotspot of artificial intelligence research, and the recommendation of Graph Neural Network is also a new direction of recommendation system research. Based on the in-depth study of GNN model, this paper analyzes the GNN recommendation process, and discusses in detail the main progress and deficiencies of GNN recommendation studies from three aspects: undirected unit graph recommendation, undirected binary graph recommendation and undirected multivariate graph recommendation. The main difficulties in existing GNN recommendation studies are clarified, and the research directions of GNN recommendation in the future, including GNN contextual recommendation, GNN cross-domain recommendation, GNN group recommendation, and GNN recommendation’s interpretability, and so on, are pointed out in the end. Keywords: graph neural network; recommendation system; deep learning; entity relations; society relation; collaborative filtering; undirected graph; directed graph 图神经网络 (graph neural network, GNN) 作为 一种从卷积神经网络 (convolutional neural networks, CNN) 和图嵌入思想启发而来的新型拓展 神经网络[1] ，可以在图领域对数据进行特征提取 和表示，是一种高效、易扩展的新型的神经网络 结构，在学习图数据方面表现出了强大的功能。 与传统的深度学习方法相比，GNN 可以通过构建 的图模型来反映实体及其之间的联系。目前，国 内外对 GNN 的研究都取得了一定的进展，如自 然语言处理[2] 、文本分类[3] 、特征关系提取[4] 、图片 分类[5] 、疾病预测[6] 等。在推荐系统中，实体间的 关系有用户与用户、用户与物品、物品与物品之 收稿日期：2019−08−30. 基金项目：国家自然科学基金资助项目 (31671589)；安徽省自 然科学研究重点项目 (KJ2017A152，KJ2019A0211). 通信作者：吴国栋. E-mail：gdwu1120@qq.com. 第 15 卷第 1 期 智 能 系 统 学 报 Vol.15 No.1 2020 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2020
第1期 吴国栋，等：图神经网络推荐研究进展 ·15· 间关系，传统的推荐方法主要关注用户与物品间 I)有向图GNN 的关系，很少关注用户相互间及物品相互间的关 实际上有向图比无向图可以反映更多的信 系。图神经网络GNN的发展，为人们进一步分 息，比如某种次序或者逻辑关系，在文献[17]中， 析推荐系统实体及其相互间的关系提供了更好的 Kampffmeyer等通过使用两个权值矩阵W,W。 表示方式，近年来，基于GNN推荐的相关研究越 来进行协同获得更加精确的处理结果，如式(6)： 来越受到广大学者关注，并取得了一定的成果。 H=(D Ap(D A.H-W)Wp) (6) 本文分析了GNN推荐的主要过程及其研究进 式中：p代表父节点（指向它的节点）：c代表子节 展，提出了GNN推荐当前存在的难点，并指出未 点（它指向的节点）；DA。、DA分别代表对父 来GNN推荐的主要研究方向。 节点和子节点邻接矩阵的标准化矩阵；σ是非线 性激活函数。 1 图神经网络 2)无向图GNN 图神经网络是利用一定的方法对节点进行描 没有次序关系的节点就构成无向图，图神经 述，并经过不断的节点状态更新，得到具有包含 网络GNN对于无向图的处理只需要将其视为两 邻居节点信息和图形拓扑结构特点的状态m,最 个有向图的叠加即可。实际上，无向图的计算相 终将这些节点通过特定方法进行输出，得到需要 比有向图更为简单，对其进行更新时，只需一个 的结果。式(1)表示节点状态的更新方式，式 权重矩阵W正常经过加权，通过激活函数更新 (2)表示对更新完的节点状态进行输出： 即可。 h =f(X,Xcoiv,hnevl,Xne) 本文将图神经网络GNN按照构成它的节点 (1) o=g(h,X) (2) 是否表示相同的实体，分为单元图GNN,二元图 式中：f是局部转换函数；g为局部输出函数；0表 GNN与多元图GNN。单元图GNN中节点仅表 示输出结果；h,表示节点当前的嵌入化结果： 示1种实体类型，即节点的类型唯一，在推荐系统 X,代表节点v的特征；Xco表示对应节点v的边 中常常体现在用户社交关系图，如根据用户的朋 的属性；h表示节点v更新前的状态；Xem表示 友关系构建对应的GNN模型；二元图GNN中的 节点v的邻居节点的特征。 节点所表示的实体类型为2种，诸如用户-物品购 式(1)、(2)均表示以一个节点为单位进行操 买关系图，用户一项目标签图等：图中节点所表示 作，当对所有的节点进行上述运算的时候，可以 实体类型超过2种的为多元图GNN,在实体种类 更加简洁的用式(3)、式(4)进行描述： 及其关系较复杂的时候可以使用这种类型的GNN H=F(H,X) (3) 模型。 O=G(H.XN) (4) 2推荐系统 式中：H表示所有节点的状态；O表示对所有的节 点进行输出之后的结果；X表示边的特征；Xv分 推荐系统就是通过分析用户的历史行为对用 别表示所有节点的特征；F)、G(分别表示全局 户的兴趣建模，从而主动给用户推荐能够满足其 转换函数与全局输出函数。由此可知，当对所有 兴趣和需求的物品（或信息）。常见的推荐模型有 节点的状态进行从1至什1轮更新时，可以表示为 基于用户行为的推荐，如协同过滤(collaborative 式(5)： filtering,CF)),隐语义模型(latent factor model, H+1=F(,X) (5) LFM0,基于内容的推荐，如标签推荐；混合推 GNN有多种变体，如根据训练方法的差异有 荐四，即通过多种不同的推荐模型相互协作，如在 GraphSAGEl、FastGCN!、ControlVariate、Co- 推荐系统的不同时期分别使用不同的模型或者使 training GCN和Self-training GCNI等；根据信 用多个模型的推荐结果再进行决策。协同过滤分 息传播计算方式的不同有Spectral Network!1 为基于用户的协同过滤和基于物品的协同过 MoNet!3、DCNN、Gate Graph Neural Networks! 滤21，基于用户行为的推荐算法往往存在着冷启 Sentence LSTM!61等。 动问题2和数据稀疏性问题凶。 图神经网络GNN按照其构成拓扑结构边的 随着深度学习的发展，基于深度学习的推荐 类型，分为有向图GNN和无向图GNN,对于不同 研究也很多，Elkahky等26提出了一种多视图深 的边类型，对应的局部转换函数∫的计算方法也 度神经网络模型(Multi-View deep neural network, 有所差异。 Multi-ViewDNN),通过用户和物品（项目）两种信
间关系，传统的推荐方法主要关注用户与物品间 的关系，很少关注用户相互间及物品相互间的关 系。图神经网络 GNN 的发展，为人们进一步分 析推荐系统实体及其相互间的关系提供了更好的 表示方式，近年来，基于 GNN 推荐的相关研究越 来越受到广大学者关注，并取得了一定的成果。 本文分析了 GNN 推荐的主要过程及其研究进 展，提出了 GNN 推荐当前存在的难点，并指出未 来 GNN 推荐的主要研究方向。 1 图神经网络 图神经网络是利用一定的方法对节点进行描 述，并经过不断的节点状态更新，得到具有包含 邻居节点信息和图形拓扑结构特点的状态[7] ，最 终将这些节点通过特定方法进行输出，得到需要 的结果。式 (1) 表示节点状态的更新方式，式 (2) 表示对更新完的节点状态进行输出： hv = f ( Xv ,XCO[v] , hne[v] ,Xne[v] ) (1) ov = g(hv ,Xv) (2) 式中： f 是局部转换函数； g 为局部输出函数；o 表 示输出结果； hv 表示节点当前的嵌入化结果； Xv 代表节点 v 的特征；XCO[v] 表示对应节点 v 的边 的属性；hne[v] 表示节点 v 更新前的状态；Xne[v] 表示 节点 v 的邻居节点的特征。 式 (1)、(2) 均表示以一个节点为单位进行操 作，当对所有的节点进行上述运算的时候，可以 更加简洁的用式 (3)、式 (4) 进行描述： H = F(H,X) (3) O = G(H,XN) (4) XN F(·) G(·) 式中：H 表示所有节点的状态；O 表示对所有的节 点进行输出之后的结果；X 表示边的特征； 分 别表示所有节点的特征； 、 分别表示全局 转换函数与全局输出函数。由此可知，当对所有 节点的状态进行从 t 至 t+1 轮更新时，可以表示为 式 (5)： H t+1 = F ( H t ,X ) (5) GNN 有多种变体，如根据训练方法的差异有 GraphSAGE[8] 、FastGCN[9] 、ControlVariate[10] 、Cotraining GCN[11] 和 Self-training GCN[11] 等；根据信 息传播计算方式的不同有 Spectral Network[12] 、 MoNet[13] 、DCNN[14] 、Gate Graph Neural Networks[15] 、 Sentence LSTM[16] 等。 图神经网络 GNN 按照其构成拓扑结构边的 类型，分为有向图 GNN 和无向图 GNN，对于不同 的边类型，对应的局部转换函数 f 的计算方法也 有所差异。 1) 有向图 GNN 实际上有向图比无向图可以反映更多的信 息，比如某种次序或者逻辑关系，在文献 [17] 中， Kampffmeyer 等通过使用两个权值矩阵 Wp，Wc 来进行协同获得更加精确的处理结果，如式 (6)： H t = σ(D −1 p Ap ·σ(D −1 c AcH t−1Wc)Wp) (6) σ 式中：p 代表父节点 (指向它的节点)；c 代表子节 点 (它指向的节点)；D −1 pAp、D −1 cAc 分别代表对父 节点和子节点邻接矩阵的标准化矩阵； 是非线 性激活函数。 2) 无向图 GNN 没有次序关系的节点就构成无向图，图神经 网络 GNN 对于无向图的处理只需要将其视为两 个有向图的叠加即可。实际上，无向图的计算相 比有向图更为简单，对其进行更新时，只需一个 权重矩阵 W 正常经过加权，通过激活函数更新 即可。 本文将图神经网络 GNN 按照构成它的节点 是否表示相同的实体，分为单元图 GNN，二元图 GNN 与多元图 GNN。单元图 GNN 中节点仅表 示 1 种实体类型，即节点的类型唯一，在推荐系统 中常常体现在用户社交关系图，如根据用户的朋 友关系构建对应的 GNN 模型；二元图 GNN 中的 节点所表示的实体类型为 2 种，诸如用户−物品购 买关系图，用户−项目标签图等；图中节点所表示 实体类型超过 2 种的为多元图 GNN，在实体种类 及其关系较复杂的时候可以使用这种类型的 GNN 模型。 2 推荐系统 推荐系统就是通过分析用户的历史行为对用 户的兴趣建模，从而主动给用户推荐能够满足其 兴趣和需求的物品 (或信息)。常见的推荐模型有 基于用户行为的推荐，如协同过滤 (collaborative filtering, CF)[18] ，隐语义模型 (latent factor model, LFM)[19] ；基于内容的推荐，如标签推荐[20] ；混合推 荐 [21] ，即通过多种不同的推荐模型相互协作，如在 推荐系统的不同时期分别使用不同的模型或者使 用多个模型的推荐结果再进行决策。协同过滤分 为基于用户的协同过滤[22] 和基于物品的协同过 滤 [23] ，基于用户行为的推荐算法往往存在着冷启 动问题[24] 和数据稀疏性问题[25]。 随着深度学习的发展，基于深度学习的推荐 研究也很多，Elkahky 等 [26] 提出了一种多视图深 度神经网络模型 (Multi-View deep neural network, Multi-ViewDNN)，通过用户和物品 (项目) 两种信 第 1 期 吴国栋，等：图神经网络推荐研究进展 ·15·
·16· 智能系统学报 第15卷 息实体的语义匹配来实现用户的物品推荐； 好的推荐效果。3)提取出更新后的节点（边、子 Zheng等2)提出了一种深度协作神经网络模型 图)特征，并用相关算法实现推荐。将GNN模型 (deep cooperative neural network,DeepCoNN), 完成更新之后的节点取出，作为该节点对应的实 两个并行的神经网络模型学习用户和项目的隐特 体特征，采用相关算法进行推荐。如文献[30] 征，然后在两个神经网络上构建一个交互层来预 中，使用协同过滤推荐的方法：文献「311中，将 测用户对项目的评分；L山等2)研究了位置社交 GNN提取的物品特征和节点特征，通过MLP进 网络中的行为预测问题，通过利用循环神经网络 行评分预测推荐；文献[32]中，通过两种不同的 抓住序列行为之间的依赖关系，从而基于用户的 神经网络，进行试验结果预测与推荐。 历史行为序列，帮助预测下一时刻的行为。 4 GNN推荐相关研究 3GNN推荐主要过程 由于有向图GNN推荐时，需要两个权值矩阵 一般说来，GNN推荐主要过程分为3个步 来实现聚集与更新操作，相对无向图GNN推荐， 骤：1)根据推荐系统实体及其相互关系构建对应 只需一个权重矩阵来说，就变得更为复杂。因 的GNN模型。主要考虑如何将推荐系统中不同 此，在现有图神经网络GNN推荐的相关研究中， 实体映射为GNN中图节点，不同实体间的联系 主要集中在无向图GNN推荐方面。以下重点从 映射为GNN图中对应的边，如何用的神经网络 无向单元图GNN推荐、无向二元图GNN推荐以 函数去拟合GNN中不同的节点。在GNN推荐模 及无向多元图GNN推荐3个方面探讨GNN推荐 型中，不论是用户节点还是物品节点，都可以根 相关研究。 据相关信息做嵌入化处理，得到对应节点的向量 4.1无向单元图GNN推荐 化描述。如对一个物品节点，可以根据不同用户 这种GNN推荐模型节点类型单一，操作比较 对其评论或评分信息做嵌入化处理：对一个用户 简单。主要是将推荐系统中的实体映射到一个无 节点，可以根据其社交关系或物品购买记录做嵌 向单元图GNN,图中所有节点都表示为一种实体 入化处理。边作为反映GNN推荐模型中实体之 类型。如CuiB]等将GNN用于服装推荐，服装的 间的联系，通常有两种处理方式：一是根据联系 类别作为节点，各个类别之间的关系作为边，各 的类型及强弱程度不同，进行嵌入化操作；二是 类服装放入对应的节点之中形成子图，构成了一 对边不进行任何处理，仅仅当成GNN推荐模型 个无向单元图GNN推荐模型，推荐与指定服装 中，用于信息传播算法作用的媒介。2)决定 匹配度较高的目标服装实现套装搭配，取得了较 GNN模型的信息传播与更新方法。GNN模型的 好的效果。 变体很多，不同变体之间，信息的聚集和更新方 文献[30]中，考虑到用户的行为往往受到自 式也不同。文献「29]指出了在不同的GNN变体 己当前兴趣、朋友兴趣等多种因素影响，通过构 中，出现的相关聚集过程。如GCN模型，通常选 建用户一朋友的无向单元图GNN,分别对用户节 择mean聚集函数；GraphSAGE模型，通常采用 点、朋友节点进行描述，并使用相关传播算法更 max函数；GN模型，通常使用的sum函数等。不 新用户信息节点，最后和物品嵌人化得到的结果 同的聚集函数适合于不同的图结构，mean函数可 进行运算，输出用户对物品可能的喜爱程度，如 以反映图中节点的分布情况，max函数可以反映 图1所示。具体步骤如下： 主要特征，sum可以考虑到比较全面的图形结构 1)将用户近期的浏览内容，通过循环神经网 特征等。信息更新过程，主要是将信息聚集之后 络(RNN)得到表示用户兴趣的hn,并用hn描述用 的结果，与中心节点进行特定的运算，并作为下 户的节点信息； 一层节点的初始状态。这方面，不同的模型差异 2)将朋友的近期行为记录，通过RNN得到 也很大，如GCN模型进行信息更新时，不会考虑 s,用来表示该朋友的短期兴趣： 中心节点的信息；GraphSAGE则会将聚集结果和 3)将朋友长期行为向量化，得s,见式(7)： 中心节点的向量进行连接操作；GN模型会将两 sk=W.[k,:] (7) 者进行直接相加等。充分考虑推荐系统实体间关 式中：Wk,表示对用户u从第k次记录一直取 系，及对应GNN模型的结构特征，选择最合适的 到最新的记录，进行向量化处理。 信息传播算法，进行信息更新，往往可以取得更 4)将上述两个向量联合起来，构成代表目标
息实体的语义匹配来实现用户的物品推荐； Zheng 等 [27] 提出了一种深度协作神经网络模型 (deep cooperative neural network, DeepCoNN)，利用 两个并行的神经网络模型学习用户和项目的隐特 征，然后在两个神经网络上构建一个交互层来预 测用户对项目的评分；Liu 等 [28] 研究了位置社交 网络中的行为预测问题，通过利用循环神经网络 抓住序列行为之间的依赖关系，从而基于用户的 历史行为序列，帮助预测下一时刻的行为。 3 GNN 推荐主要过程 一般说来，GNN 推荐主要过程分为 3 个步 骤：1) 根据推荐系统实体及其相互关系构建对应 的 GNN 模型。主要考虑如何将推荐系统中不同 实体映射为 GNN 中图节点，不同实体间的联系 映射为 GNN 图中对应的边，如何用的神经网络 函数去拟合 GNN 中不同的节点。在 GNN 推荐模 型中，不论是用户节点还是物品节点，都可以根 据相关信息做嵌入化处理，得到对应节点的向量 化描述。如对一个物品节点，可以根据不同用户 对其评论或评分信息做嵌入化处理；对一个用户 节点，可以根据其社交关系或物品购买记录做嵌 入化处理。边作为反映 GNN 推荐模型中实体之 间的联系，通常有两种处理方式：一是根据联系 的类型及强弱程度不同，进行嵌入化操作；二是 对边不进行任何处理，仅仅当成 GNN 推荐模型 中，用于信息传播算法作用的媒介。 2 ) 决 定 GNN 模型的信息传播与更新方法。GNN 模型的 变体很多，不同变体之间，信息的聚集和更新方 式也不同。文献 [29] 指出了在不同的 GNN 变体 中，出现的相关聚集过程。如 GCN 模型，通常选 择 mean 聚集函数；GraphSAGE 模型，通常采用 max 函数；GIN 模型，通常使用的 sum 函数等。不 同的聚集函数适合于不同的图结构，mean 函数可 以反映图中节点的分布情况，max 函数可以反映 主要特征，sum 可以考虑到比较全面的图形结构 特征等。信息更新过程，主要是将信息聚集之后 的结果，与中心节点进行特定的运算，并作为下 一层节点的初始状态。这方面，不同的模型差异 也很大，如 GCN 模型进行信息更新时，不会考虑 中心节点的信息；GraphSAGE 则会将聚集结果和 中心节点的向量进行连接操作；GIN 模型会将两 者进行直接相加等。充分考虑推荐系统实体间关 系，及对应 GNN 模型的结构特征，选择最合适的 信息传播算法，进行信息更新，往往可以取得更 好的推荐效果。3) 提取出更新后的节点 (边、子 图) 特征，并用相关算法实现推荐。将 GNN 模型 完成更新之后的节点取出，作为该节点对应的实 体特征，采用相关算法进行推荐。如文献 [30] 中，使用协同过滤推荐的方法；文献 [31] 中 ，将 GNN 提取的物品特征和节点特征，通过 MLP 进 行评分预测推荐；文献 [32] 中，通过两种不同的 神经网络，进行试验结果预测与推荐。 4 GNN 推荐相关研究 由于有向图 GNN 推荐时，需要两个权值矩阵 来实现聚集与更新操作，相对无向图 GNN 推荐， 只需一个权重矩阵来说，就变得更为复杂。因 此，在现有图神经网络 GNN 推荐的相关研究中， 主要集中在无向图 GNN 推荐方面。以下重点从 无向单元图 GNN 推荐、无向二元图 GNN 推荐以 及无向多元图 GNN 推荐 3 个方面探讨 GNN 推荐 相关研究。 4.1 无向单元图 GNN 推荐 这种 GNN 推荐模型节点类型单一，操作比较 简单。主要是将推荐系统中的实体映射到一个无 向单元图 GNN，图中所有节点都表示为一种实体 类型。如 Cui[33] 等将 GNN 用于服装推荐，服装的 类别作为节点，各个类别之间的关系作为边，各 类服装放入对应的节点之中形成子图，构成了一 个无向单元图 GNN 推荐模型，推荐与指定服装 匹配度较高的目标服装实现套装搭配，取得了较 好的效果。 文献 [30] 中，考虑到用户的行为往往受到自 己当前兴趣、朋友兴趣等多种因素影响，通过构 建用户—朋友的无向单元图 GNN，分别对用户节 点、朋友节点进行描述，并使用相关传播算法更 新用户信息节点，最后和物品嵌入化得到的结果 进行运算，输出用户对物品可能的喜爱程度，如 图 1 所示。具体步骤如下： 1) 将用户近期的浏览内容，通过循环神经网 络 (RNN) 得到表示用户兴趣的 hn，并用 hn 描述用 户的节点信息； 2) 将朋友的近期行为记录，通过 RNN 得到 sk s ，用来表示该朋友的短期兴趣； 3) 将朋友长期行为向量化，得 sk l ，见式 (7)： s l k = Wu [k,:] (7) 式中： Wu [k,:] 表示对用户 u 从第 k 次记录一直取 到最新的记录，进行向量化处理。 4) 将上述两个向量联合起来，构成代表目标 ·16· 智 能 系 统 学 报 第 15 卷
第1期 吴国栋，等：图神经网络推荐研究进展 ·17· 节点用户的嵌入化向量sk,见式(8)： 节点与他的第k个邻居的相似度计算结果。 Sx=ReLU(W si.s) (8) 6)将所有的邻居节点信息通过注意力系数相 式中：ReLU为非线性激活函数，W[s,s]表示对 加后，得到表示目标节点所有邻居节点的信息向 向量s、S进行连接处理后使用W,进行偏置。 量，见式(10)，再将.经过偏置加权之后作为 5)目标节点的初始状态选取为h,邻居节点 节点的下一轮状态进行更新，见式(11)： 的初始状态选取为5，利用构建完成的用户与好 i.=∑eauo2 (10) 友之间关系的拓扑图，通过计算每层的目标节点 -ReLU(wz9） (11) 和邻居节点的相似度关系，提取出注意力系数 式中：W是可训练的权值矩阵，1、+1表示当前更 ad,见式(9)： 新的次数。 exp(f(n) (9) 7将节点的特征与嵌入化得到的物品特征进 行相似度运算，通过softmax进行输出，此时输出 式中：I表示当前的更新次数，h,h)表示目标 的结果就是某用户对物品可能的感兴趣程度。 层数0 h w GN节点更新 用户u的 近期行为 短期兴趣口 长期兴趣s1■ s'gan 近期行为+RNN 朋友1 朋友2 朋友3 朋友 NG 长期行为向量化 物品嵌人化处理 层数L 输出概率分布 物品1 物品2 h 物品3 物品4 ht) 相似度层 物品 进行推荐 h,凸 图1无向单元图GNN推荐模型 Fig.1 Single-unit undirected graph GNN model 该模型充分考虑到社会关系与用户本人的当 有加以区分。 前兴趣，但对物品特征的提取比较粗糙，没有考 4.2无向二元图GNN推荐 虑到用户与物品之间的互动关系，同时不同的朋 在实际推荐中，最常见的关系就是用户与项 友对用户的影响程度也是不一样的，此模型也没 目（物品）的交互记录，这两种实体关系就可以构
节点用户的嵌入化向量 sk，见式 (8)： sk = ReLU( W1 [ s s k ,s l k ]) (8) W1 [ s s k ,s l k ] 式中：ReLU 为非线性激活函数， 表示对 向量 s s k、s l k 进行连接处理后使用 W1 进行偏置。 hn sk auk 5) 目标节点的初始状态选取为 ，邻居节点 的初始状态选取为 ，利用构建完成的用户与好 友之间关系的拓扑图，通过计算每层的目标节点 和邻居节点的相似度关系，提取出注意力系数 ，见式 (9)： α (l) uk = exp( f ( h (l) u , h (l) k )) ∑ j∈N(u)∪{u} α (l) ukh (l) k (9) 式中：l 表示当前的更新次数，f(h l u，h l k ) 表示目标 节点与他的第 k 个邻居的相似度计算结果。 hˆ u hˆ u 6) 将所有的邻居节点信息通过注意力系数相 加后，得到表示目标节点所有邻居节点的信息向 量 ，见式 (10)，再将 经过偏置加权之后作为 节点的下一轮状态进行更新，见式 (11)： hˆ u = ∑ k∈N(u)∪{u} α (l) ukh (l) k (10) h (l+1) u = ReLU( W(l) hˆ (l) u ) (11) 式中：W 是可训练的权值矩阵，l、l+1 表示当前更 新的次数。 7) 将节点的特征与嵌入化得到的物品特征进 行相似度运算，通过 softmax 进行输出，此时输出 的结果就是某用户对物品可能的感兴趣程度。 … … … … 短期兴趣 长期兴趣 朋友1 朋友2 朋友3 朋友 |N(u)| 近期行为+RNN 长期行为向量化 用户u的 近期行为 … GNN节点更新 层数0 层数 L … 物品1 物品2 物品3 物品4 物品|I| 物品嵌入化处理 s1 s s1 1 s2 s s2 1 s3 s s3 s2 s1 s S |N(u)| s|N(u)| h (0) |N(u)| s 1 |N(u)| s3 1 h1 (0) h2 (0) h3 (0) h1 (L) h2 (L) h3 (L) hu (L) hu (0) 输出概率分布进行推荐 相似度层 Soft-max 层 hu (L) h (L) |N(u)| 图 1 无向单元图 GNN 推荐模型 Fig. 1 Single-unit undirected graph GNN model 该模型充分考虑到社会关系与用户本人的当 前兴趣，但对物品特征的提取比较粗糙，没有考 虑到用户与物品之间的互动关系，同时不同的朋 友对用户的影响程度也是不一样的，此模型也没 有加以区分。 4.2 无向二元图 GNN 推荐 在实际推荐中，最常见的关系就是用户与项 目 (物品) 的交互记录，这两种实体关系就可以构 第 1 期 吴国栋，等：图神经网络推荐研究进展 ·17·
·18 智能系统学报 第15卷 成一个完整的二元拓扑图。Fan等刚通过构建用户- 用于对物品进行评分预测。同样考虑到对用户可 物品关系二元图（用户购买的所有物品）、用户- 能的行为，不仅与他自己曾经购买的物品有关， 朋友关系单元图（用户的社交关系）、物品-用户关 也和他的社交关系有关，该文献提出了一种新型 系二元图（物品被用户购买的记录）这3个无向图 图神经网络GNN推荐系统框架GraphRec,如图2， 用户模块 用户社交图 用户已 对应 (注意力机制 朋友)—友2 购物品1评分 MLP 用户基于物品购买 构建用户社交图 记录的特征向量 朋友3用户 點品努 佣户 朋友4 用户基于 社交关系 用户一物品图 的特征向 h 往意力机制 h 用户3-物品图 h 用户2一物高图 用户一物品图 GNN算法聚合 物品模块 尼购 注意力机制 用户2 已购 用户1 物品 GNN算法聚合 评分预测 物品用户图 推荐模块 图2基于杜交关系的GraphRec模型 Fig.2 Social-based recommendation model-GraphRec 该框架主要由3个模块组成，分别是用户一 e,向量连接处理，通过一个多层感知器得到xa向 物品关系和用户一朋友关系构成用户模块，物品- 量（其中a表示用户购买的相关物品，i表示某一 用户关系构成物品模块和由一个多层感知器 个用户)，见式(12)： (MLP)所构成的推荐模块。通过信息传播更新算 xa=g(qa⊕e,J） (12) 法，对这3个图中的节点进行计算，根据结果进行 2)将计算出的xa和用户p,通过一个两层的 评分预测。具体过程如下： 神经网络得到该用户对物品的注意力系数α*，见 首先根据用户购买不同物品行为以及用户之 式(13)： 间的社交关系构建相应的户一物品关系图和用户一 aa=Wc(W1[xa⊕p+b)+b2 (13) 朋友关系图，再在图上分别对用户i和物品j进行 其中，w1、w2是可训练的参数，b、b2是偏置项， 嵌入化处理，得到代表用户信息的P:向量，代表 σ)是非线性函数。 物品信息的4向量。同时每一个特定的用户对 3)对a进行softmax处理，得到aa作为最终 于他所购买的物品对应的评分，用独热编码向量 的注意力系数，见式(14)： 化成e,o exp(ai) (14) 用户模块分为两部分，第1部分是对某用户 cexp(r) 的购买行为进行特征刻画，第2部分是对该用户 4)用a。对之前得到的a向量进行加权，并 的社交关系进行刻画，将两个特征结合起来通过 且通过一个多层感知器(GNN的简单聚合函 一个多层感知器，就得到代表该用户的特征。用 数)得到用户-物品特征h,见式(15)： 户模块的实现方法如下： (15) 1)对所提取的物品q。向量和对应的评分 =w{∑ena+
成一个完整的二元拓扑图。Fan 等 [31] 通过构建用户− 物品关系二元图 (用户购买的所有物品)、用户− 朋友关系单元图 (用户的社交关系)、物品−用户关 系二元图 (物品被用户购买的记录) 这 3 个无向图 用于对物品进行评分预测。同样考虑到对用户可 能的行为，不仅与他自己曾经购买的物品有关， 也和他的社交关系有关，该文献提出了一种新型 图神经网络 GNN 推荐系统框架 GraphRec，如图 2。 用户 i - 物品图 朋友1 朋友2 朋友3 朋友4 已购 用户1 已购 用户2 已购 用户4 GNN 算法 用户基于物品购买 记录的特征向量 构建用户社交图 … … 用户i已 购物品1 对应 评分 用户i已 购物品2 对应 评分 用户i已 购物品3 对应 评分 用户i已 购物品4 对应 评分 注意力机制 用户i−物品图 用户3−物品图 用户2−物品图 用户1−物品图 注意力机制 用户社交图 GNN算法聚合 用户基于 社交关系 的特征向 量 用户 合并 特征 h1 h2 h3 物品j 特征 注意力机制 评分预测 … 用户模块 物品模块 推荐模块 用户i MLP 物品j−用户图 zj hi h1 I h1 I h2 I h3 s h3 s h2 s h1 s h4 s hi s hi s h2 I h3 I hi I 用户i GNN算法聚合 MLP xi1 xi2 xi3 xi4 已购 用户3 物品j … 图 2 基于社交关系的 GraphRec 模型 Fig. 2 Social-based recommendation model-GraphRec 该框架主要由 3 个模块组成，分别是用户− 物品关系和用户—朋友关系构成用户模块，物品− 用户关系构成物品模块和由一个多层感知器 (MLP) 所构成的推荐模块。通过信息传播更新算 法，对这 3 个图中的节点进行计算，根据结果进行 评分预测。具体过程如下： 首先根据用户购买不同物品行为以及用户之 间的社交关系构建相应的户—物品关系图和用户− 朋友关系图，再在图上分别对用户 i 和物品 j 进行 嵌入化处理，得到代表用户信息的 pi 向量，代表 物品信息的 qj 向量。同时每一个特定的用户对 于他所购买的物品对应的评分，用独热编码向量 化成 er。 用户模块分为两部分，第 1 部分是对某用户 的购买行为进行特征刻画，第 2 部分是对该用户 的社交关系进行刻画，将两个特征结合起来通过 一个多层感知器，就得到代表该用户的特征。用 户模块的实现方法如下： 1) 对所提取的物品 qa 向量和对应的评分 er 向量连接处理，通过一个多层感知器得到 xia 向 量 (其中 a 表示用户购买的相关物品，i 表示某一 个用户)，见式 (12)： xia = gv ([qa ⊕er ]) (12) 2) 将计算出的 xia 和用户 pi 通过一个两层的 神经网络得到该用户对物品的注意力系数 α*，见 式 (13)： α ∗ ia = WT 2 ·σ ( W1 · [ xia ⊕ pi ] + b1 ) + b2 (13) 其中， w1、w2 是可训练的参数， b1、b2 是偏置项， σ(∙) 是非线性函数。 α ∗ 3) 对 进行 softmax 处理，得到 αia 作为最终 的注意力系数，见式 (14)： αia = exp( α ∗ ia ) ∑ a∈C(i) exp( α ∗ ia ) (14) 4) 用 αia 对之前得到的 xia 向量进行加权，并 且通过一个多层感知器 (GNN 的简单聚合函 数) 得到用户−物品特征 hi，见式 (15)： h I i = σ(w· {∑ a∈c(i) aia xia} +b) (15) ·18· 智 能 系 统 学 报 第 15 卷
第1期 吴国栋，等：图神经网络推荐研究进展 ·19· 5)用同样的方法对该用户的好友进行处理， 4.3无向多元图GNN推荐 得到对应h(o表示用户好友集i的一个好友)： 多元图GNN会大大增加模型的复杂度，同时 6)使用2)中的方法对h。和用户向量p:通过 计算复杂性和刻画节点的难度也随之增加，但多 一个两层神经网络提取注意力系数B*,见式 元图GNN往往更加贴近现实，可以得到更加客 (16),并且通过softmax进行处理可以得到B,见 观的结果。文献[36]中，考虑到在一家医院的病 式(17)： 患进行就诊时，需要进行项目测试以及根据其具 β。=Wσ(Wh。⊕p+b1)+b2 (16) 体情况开出不同的药方，一般基于经验进行诊 exp(B) 断，可能会出现误差，而且数据难以全面收集。 (17) 之xP(B.) Mao将图神经网络GNN推荐运用在诊疗研究中， 如图3所示。通过一个无向多元图GNN构建病 7)将得到的B对h,进行加权并通过一个多层 患、医疗科室、药方以及测试结果之间的关系，其 感知器，最后得到具有刻画用户i社交关系的向 中医院的各个科室作为核心节点，进行几轮信息 量，见式(18)： 的迭代计算之后，根据计算出的节点信息通过两 龙=ow-{∑eoB+b (18) 种不同的神经网络，推荐可能的药方，以及某项 其中，b是偏置项，σ()是非线性函数。将h,和 诊疗测试的可能结果。 h,连接起来通过多层感知器得到代表用户的向 量h。 病人 病人3 药方2 药方3 物品模块使用类似的方法对用户向量P,和评 分向量e,进行连接，获得z:向量0表示物品，1表 示某用户)，然后对z向量使用上述步骤2)中的方 法提取出注意力系数，并且对周围的用户向量使 医疗科室1 医疗科室2 医疗科室3 医疗科室4 用该系数加权后，结果通过一个多层感知器就得 到代表物品j特征的向量z。 预测模块是将上述两个模块得到的h向量， 通过一个多层感知器，最终输出预测评分。 医疗 医疗 医疗 医疗 医疗 天了 损失函数定义为均方误差，见式(19)： 测试1 测试2 测试3 测试4 测试5 测试6 1 LosS= ∑-} (19) 图3患者医疗诊断关系和医疗测试结果 Fig.3 The graph of patients'consults relation and 其中i、j表示用户、物品，r表示实际评分，r表 laboratory testing results 示预测评分，1O表示所有评分记录的个数。 该研究中，节点之间的关系通过3个邻接矩 该方法将用户的社交关系融入神经网络，同 阵进行表示，如图4，分别是AxP、AExM、AEx,其中 时对于用户和物品的特征刻画都相互关联起来， E为医疗科室，P为患者，M为药方，L为医疗测 并且引入了注意力机制，取得了不错的效果，但 试结果；Axp表示医疗科室与病人之间的关系，如 是在用户模块中两个GNN模型无法并行计算， 果病人在该医疗科室进行过就诊，则为1，否则为 增加了模型的时间复杂度。 0。假设一个病人可以对应多个医疗科室，但是一 在文献[32]中，Rex构建了用户-标签无向二 个医疗科室只能对应一个病人，也就是说，一行 元图，通过PinSage算法（随机游走和图卷积结 最多只有一个1。AxM表示医疗科室与药方之间 合)成功应用于超大规模的网页内容推荐。Wang 的关系，如果该科室可以开出对应的药方，则该 等1构建用户一物品图，不同之处在于GNN算 值为1，反之为0。AxL表示医疗科室和医疗测试 法中使用目标节点及其邻居节点的点积进行更 结果之间的关系，如果某个医疗科室有该实验测 新，并且通过协同过滤的方法进行推荐。文献35]试则该两点之间有权重，选择的值是平时测试的 为了解决推荐系统的冷启动问题，利用知识图谱 平均值，为了对一些测试结果是0的项目进行区 为推荐提供更多的辅助信息，针对不同用户将知 别，作者额外增加了一个Mx1矩阵，对于存在的 识图谱转换为多个用户的个性加权图，并且通过 项目则对应数字为1，否则为0。最后一个矩阵表 GCN学习出每个物品的表示向量，然后根据用户 示医疗科室和药方之间的关系，如果该医疗科室 特征向量计算出用户与物品有交互的概率。 有对应的药方则该点为1，否则为0
5) 用同样的方法对该用户的好友进行处理， 得到对应 hio(o 表示用户好友集 i 的一个好友)； 6) 使用 2) 中的方法对 hio 和用户向量 pi 通过 一个两层神经网络提取注意力系 数 β *， 见 式 (16)，并且通过 softmax 进行处理可以得到 β，见 式 (17)： β ∗ io = WT 2 ·σ ( W1 · [ h I o ⊕ pi ] + b1 ) + b2 (16) βio = exp( β ∗ i0 ) ∑ o∈N(i) exp( β ∗ io ) (17) h S i 7) 将得到的 β 对 hi 进行加权并通过一个多层 感知器，最后得到具有刻画用户 i 社交关系的向 量 ，见式 (18)： h S i = σ(w· {∑ o∈N(i) βioh I o } +b) (18) 其中，b 是偏置项，σ(∙) 是非线性函数。将 hs 和 hi 连接起来通过多层感知器得到代表用户的向 量 h。 物品模块使用类似的方法对用户向量 pt 和评 分向量 er 进行连接，获得 zjt 向量 (j 表示物品，t 表 示某用户)，然后对 z 向量使用上述步骤 2) 中的方 法提取出注意力系数，并且对周围的用户向量使 用该系数加权后，结果通过一个多层感知器就得 到代表物品 j 特征的向量 zj。 预测模块是将上述两个模块得到的 h 向量， 通过一个多层感知器，最终输出预测评分。 损失函数定义为均方误差，见式 (19)： Loss = 1 2|O| ∑ i, j∈O ( r ′ i j −ri j)2 (19) |O| 其中 i、j 表示用户 i、物品 j，r 表示实际评分，r'表 示预测评分， 表示所有评分记录的个数。 该方法将用户的社交关系融入神经网络，同 时对于用户和物品的特征刻画都相互关联起来， 并且引入了注意力机制，取得了不错的效果，但 是在用户模块中两个 GNN 模型无法并行计算， 增加了模型的时间复杂度。 在文献 [32] 中，Rex 构建了用户−标签无向二 元图，通过 PinSage 算法 (随机游走和图卷积结 合) 成功应用于超大规模的网页内容推荐。Wang 等 [34] 构建用户—物品图，不同之处在于 GNN 算 法中使用目标节点及其邻居节点的点积进行更 新，并且通过协同过滤的方法进行推荐。文献 [35] 为了解决推荐系统的冷启动问题，利用知识图谱 为推荐提供更多的辅助信息，针对不同用户将知 识图谱转换为多个用户的个性加权图，并且通过 GCN 学习出每个物品的表示向量，然后根据用户 特征向量计算出用户与物品有交互的概率。 4.3 无向多元图 GNN 推荐 多元图 GNN 会大大增加模型的复杂度，同时 计算复杂性和刻画节点的难度也随之增加，但多 元图 GNN 往往更加贴近现实，可以得到更加客 观的结果。文献 [36] 中，考虑到在一家医院的病 患进行就诊时，需要进行项目测试以及根据其具 体情况开出不同的药方，一般基于经验进行诊 断，可能会出现误差，而且数据难以全面收集。 Mao 将图神经网络 GNN 推荐运用在诊疗研究中， 如图 3 所示。通过一个无向多元图 GNN 构建病 患、医疗科室、药方以及测试结果之间的关系，其 中医院的各个科室作为核心节点，进行几轮信息 的迭代计算之后，根据计算出的节点信息通过两 种不同的神经网络，推荐可能的药方，以及某项 诊疗测试的可能结果。 病人1 病人2 病人3 药方1 药方2 药方3 医疗 测试1 医疗 测试2 医疗 测试3 医疗 测试4 医疗 测试5 医疗 测试6 医疗科室1 医疗科室2 医疗科室3 医疗科室4 图 3 患者医疗诊断关系和医疗测试结果 Fig. 3 The graph of patients’ consults relation and laboratory testing results 该研究中，节点之间的关系通过 3 个邻接矩 阵进行表示，如图 4，分别是 AE×P、AE×M、AE×L，其中 E 为医疗科室，P 为患者，M 为药方，L 为医疗测 试结果；AE×P 表示医疗科室与病人之间的关系，如 果病人在该医疗科室进行过就诊，则为 1，否则为 0。假设一个病人可以对应多个医疗科室，但是一 个医疗科室只能对应一个病人，也就是说，一行 最多只有一个 1。AE×M 表示医疗科室与药方之间 的关系，如果该科室可以开出对应的药方，则该 值为 1，反之为 0。AE×L 表示医疗科室和医疗测试 结果之间的关系，如果某个医疗科室有该实验测 试则该两点之间有权重，选择的值是平时测试的 平均值，为了对一些测试结果是 0 的项目进行区 别，作者额外增加了一个 ME×L 矩阵，对于存在的 项目则对应数字为 1，否则为 0。最后一个矩阵表 示医疗科室和药方之间的关系，如果该医疗科室 有对应的药方则该点为 1，否则为 0。 第 1 期 吴国栋，等：图神经网络推荐研究进展 ·19·
·20· 智能系统学报 第15卷 P P MMM L L. E 100 E 0300 0.1 0 0 E 0 1 E 001 0 0 05 E 0 0 E 00 0108 0 0 0 0 E 0 00 E 000.0000.6 E AExP AExM 图4病患、医疗科室、药方以及医疗测试结果关系矩阵 Fig.4 Relation matrix between patients encounters medications and laboratory test data 在式(20)中，、分别表示两种激活函数， 有商家提供的商品描述与分类信息，消费者与系 N表示v节点的所有邻居，k表示第k轮运算。 统交互的点击、浏览、收藏、交易信息，消费者的 H+()="(H(m,f"时({Hw)w∈N( 评分及评论信息等；数据形式有文本信息，图像 (20) 信息、数值评分与标签信息等，甚至还有语音及 Mao对激活函数使用了最简单的求和函数 视频信息等。现有推荐模型对于这些多源多模 如式(21)所示，对节点类型为i的节点的第k轮 态数据很难同时进行有效处理，导致数据利用不 计算，其中表示他的连接节点。 充分或数据对象之间的关系表示不明显。同样 的，现有GNN推荐模型，对节点向量化的方式比 = 21) 较单一，如一般只能对用户留下的评论数据或者 评分加以处理，难以将多源多模态信息进行融合 经过k轮计算之后，将计算的节点结果输入 表示以达到最佳效果。如何充分集成使用多源 两种神经网络，分别进行药方和医疗测试结果的 多模态数据信息是GNN推荐有待解决的一个 推荐。 问题。 在式(22)中，损失函数表示为两项之和，第 5.2GNN的有向图推荐问题 1项Lm为药方预测的误差，见式(23)，第2项 目前GNN推荐模型主要是无向图GNN推 L,表示使用交叉熵的方式表示医疗测试结果的 荐，其中无向图的边用来反映节点之间的互动关 预测误差，见式(24)，1是系数通过这种引入的混 系。但是有向图比无向图可以反映更多的信息， 合误差，很有效地避免了过拟合问题。 比如某种次序或者逻辑关系，有向图的推荐结果 L=L (P,AExM)+ALL (V,AExL) (22) 往往可以取得更好的效果。推荐系统中也存在着 Lw(P.A)=- -aijlogpij+(1-a)log(1-Pi) 对应的有向关系，如信任关系、关注关系等。与 NEZN 无向图GNN推荐相比，基于有向图GNN的推荐 (23) 更具有挑战性，也更为复杂。 L(V.A)=- 1 N ZZ m(y-a)》 (24) 5.3GNN的动态推荐问题 对于数据规模往往很大的图形结构，很难进 该模型较单元图与二元图神经网络，结构更 行实时的图模型更新，而且图神经网络GNN迭 加复杂，但能更有效地对不同类型的数据信息 代过程中往往需要根据整个图的信息向量化才能 进行充分使用。同时，通过将模型中的对象进 完成计算，对于不断更新的数据每次进行重新计 行节点再划分，成功处理了一些实验过程中的 算，需要花费很高的成本，如何在较低成本下完 数据缺失值问题：使用新的正则化规则，避免了 成动态的GNN更新，现有GNN推荐研究并没有 过拟合情况，取得了不错效果。不足之处在于 考虑。如文献30]中，用户的社交情况可能会实 实验相关数据仅采用一家医院，对于规模更大 时发生变化，新朋友可能会对用户的兴趣造成很 的数据集，GNN图形结构将更复杂，实际应用有 大影响，如果可以实时更新用户的社交图谱，就 一定困难。 可以完成对GNN动态推荐。 5现有GNN推荐研究难点 5.4GNN网络更新层数问题 标准的深度神经网络推荐研究中，网络层数 5.1多源多模态信息的GNN推荐问题 可以达到成百上千层，由于更深的结构，可以显 在一个系统中，数据来源与数据结构往往呈 著提高网络的表达能力。在GNN推荐过程中， 现多源异构性。以电子商务系统为例，数据来源 般层数仅仅为个位数。因为堆叠多个GNN层
1 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 0 0 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 1 0 0 0.3 0.0 0.1 0.1 0 0 0 0 0.1 0.0 0 0 0 0 0 0 0 0.8 0 0 0.5 0.6 0 0 1 0 0 0 0 0 0 0 1 0 0 1 AE×P AE×M AE×L ME×L E1 E2 E3 E4 E1 E2 E3 E4 E1 E2 E3 E4 E1 E2 E3 E4 P1 P2 P3 M1 M2 M3 L1 L2 L3 L1 L2 L3 L1 L2 L3 L1 L2 L3 图 4 病患、医疗科室、药方以及医疗测试结果关系矩阵 Fig. 4 Relation matrix between patients encounters medications and laboratory test data 在式 (20) 中，f1、f2 分别表示两种激活函数， N(v) 表示 v 节点的所有邻居，k 表示第 k 轮运算。 H (k+1) (v) = f W (k) 1 1 ( H (k) (v), f W (k) 2 2 ({ H (k) (w)|w ∈ N (v) }) ) (20) Mao 对激活函数 ϕ 使用了最简单的求和函数[36] ， 如式 (21) 所示，对节点类型为 i 的节点的第 k 轮 计算，其中 hj 表示他的连接节点。 H (k+1) i = ϕ ∑n j=0 Ai j · H (k) j ·W (k) j (21) 经过 k 轮计算之后，将计算的节点结果输入 两种神经网络，分别进行药方和医疗测试结果的 推荐。 在式 (22) 中，损失函数表示为两项之和，第 1 项 L m 为药方预测的误差，见式 (23)，第 2 项 LL 表示使用交叉熵的方式表示医疗测试结果的 预测误差，见式 (24)，λ 是系数通过这种引入的混 合误差，很有效地避免了过拟合问题。 L = Lm (P, AE×M)+λLL (V, AE×L) (22) LM (P,A) = − 1 NE ∑NE i ∑NM j Nn Np ai j log pi j + ( 1−ai j) log( 1− pi j) (23) LL (V,A) = − 1 NE ∑NE i ∑NL j mi j( vi j −ai j)2 (24) 该模型较单元图与二元图神经网络，结构更 加复杂，但能更有效地对不同类型的数据信息 进行充分使用。同时，通过将模型中的对象进 行节点再划分，成功处理了一些实验过程中的 数据缺失值问题；使用新的正则化规则，避免了 过拟合情况，取得了不错效果。不足之处在于 实验相关数据仅采用一家医院，对于规模更大 的数据集，GNN 图形结构将更复杂，实际应用有 一定困难。 5 现有 GNN 推荐研究难点 5.1 多源多模态信息的 GNN 推荐问题 在一个系统中，数据来源与数据结构往往呈 现多源异构性。以电子商务系统为例，数据来源 有商家提供的商品描述与分类信息，消费者与系 统交互的点击、浏览、收藏、交易信息，消费者的 评分及评论信息等；数据形式有文本信息，图像 信息、数值评分与标签信息等，甚至还有语音及 视频信息等。现有推荐模型对于这些多源多模 态数据很难同时进行有效处理，导致数据利用不 充分或数据对象之间的关系表示不明显。同样 的，现有 GNN 推荐模型，对节点向量化的方式比 较单一，如一般只能对用户留下的评论数据或者 评分加以处理，难以将多源多模态信息进行融合 表示以达到最佳效果。如何充分集成使用多源 多模态数据信息是 GNN 推荐有待解决的一个 问题。 5.2 GNN 的有向图推荐问题 目前 GNN 推荐模型主要是无向图 GNN 推 荐，其中无向图的边用来反映节点之间的互动关 系。但是有向图比无向图可以反映更多的信息， 比如某种次序或者逻辑关系，有向图的推荐结果 往往可以取得更好的效果。推荐系统中也存在着 对应的有向关系，如信任关系、关注关系等。与 无向图 GNN 推荐相比，基于有向图 GNN 的推荐 更具有挑战性，也更为复杂。 5.3 GNN 的动态推荐问题 对于数据规模往往很大的图形结构，很难进 行实时的图模型更新，而且图神经网络 GNN 迭 代过程中往往需要根据整个图的信息向量化才能 完成计算，对于不断更新的数据每次进行重新计 算，需要花费很高的成本，如何在较低成本下完 成动态的 GNN 更新，现有 GNN 推荐研究并没有 考虑。如文献 [30] 中，用户的社交情况可能会实 时发生变化，新朋友可能会对用户的兴趣造成很 大影响，如果可以实时更新用户的社交图谱，就 可以完成对 GNN 动态推荐。 5.4 GNN 网络更新层数问题 标准的深度神经网络推荐研究中，网络层数 可以达到成百上千层，由于更深的结构，可以显 著提高网络的表达能力。在 GNN 推荐过程中， 一般层数仅仅为个位数。因为堆叠多个 GNN 层 ·20· 智 能 系 统 学 报 第 15 卷
第1期 吴国栋，等：图神经网络推荐研究进展 ·21· 将会导致过度平滑，所有顶点将收敛到相同的 推荐I等。现有GNN推荐研究中，往往只是对 值。如何选择GNN更新的层数以及其他相关的 “一张”图进行“加工”，停留在一个单一的层面上， 参数，以缓解堆叠多层GNN推荐造成的平滑问 如何从一张图过渡到另一张图，实现不同GNN 题，是GNN推荐难点所在。 图模型间信息的有效迁移，是一个值得研究的课 5.5数据稀疏问题 题。如文献[36]中，作者仅仅考虑到病人在一家 GNN推荐中，通过构建节点和边，将各个对 医院的就诊情况，如果考虑到病人的更多信息， 象用边“连接”起来，在缓解数据稀疏性方面相 如生活习惯、职业、年龄等将这些作为辅助域 比传统的推荐模型会有提升。但GNN推荐模型 的信息充分利用，就可以获得更加精确的推荐 在面临数据稀疏的时候，往往会出现两个问题： 效果。 1)如果节点对应的对象没有任何相关记录时， 3)基于GNN的群组推荐 相关推荐算法将难以实现，如文献[36]中，如果 推荐系统的应用越来越广泛，推荐的对象从 有新来的病人或者病人的就诊记录很少，如仅 单个用户的个性化推荐发展为面向多个用户的群 为一条记录，GNN推荐模型会难以得到可以代 组推荐。现有GNN推荐研究中，主要是个性化 表用户特征的最终结果；2)节点属性维度缺失 推荐，很少涉及GNN群组推荐，如何通过GNN 问题。一个向量化的多维节点，每一个维度都 进行群组推荐未来值得研究的问题。 反映一个对应的属性，如果该属性的值是未知 4)基于GNN的套餐推荐 的，在向量化的过程中就无法写入相应的数值， 当前的推荐系统大多推荐内容单一，仅能满 将会影响到推荐的效果。在文献[36]中就出现 足用户的部分需求，现实生活中，用户需求往往 了病人未参加部分医疗测试的情况，作者通过 是多方面的。如对旅游的用户进行推荐时，如果 重新构建测试结果，解决这个问题，但模型的复 能通过GNN的高度归纳性将路线规划、住宿环 杂度也随之增加。 境、交通方式、特产商铺、消费价格等多个因素进 行综合考虑，为用户推荐最适合的套餐服务，这 6GNN推荐未来研究方向 将会给用户带来更好的旅游体验。 I)基于上下文的GNN推荐 5)GNN推荐与其他推荐方法融合 用户的兴趣和行为往往是随着时间、空间等 深度学习发展迅猛，在不同领域的研究都取 因素动态发生变化的，在目前的推荐系统中，很 得了突破性进展，而GNN推荐实质上只是获取 多学者对基于时间上下文的个性化推荐切，基于 节点的状态之后再用函数进行输出，可以考虑融 情景上下文的推荐]都有一定的研究，通过联 合其他推荐算法或者传统深度学习技术，减少模 系上下文往往会获得更加精确的推荐效果。现 型的时间复杂度，同时提高推荐的效果。 有GNN推荐研究不论是构建用户-用户关系图 6)GNN推荐的可解释性研究 还是用户一物品（项目）关系图，都只是单纯的将 GNN的应用范围很广泛，比如文献[42]利用 用户（物品）相关信息进行处理。时间与空间上 GNN模拟各个物理系统间的关系，进行演绎来预 下文信息，都没有考虑在内。如在文献[31]中， 测整个系统的下一个状态，这说明GNN具有一 作者没有考虑到用户兴趣会随着时间变化对浏 定的因果推理能力。现有GNN推荐研究中，尽 览的记录产生的影响，文献[36]中，没有考虑到 管取得了不错的推荐效果，但是推荐结果往往很 患者就诊记录的时间问题，但在不同时期同一个 难给出一个令用户信服的科学解释。如在文 患者情况会存在很大差异。如何在GNN推荐模 献[31]中，作者使用多个GNN模型得出特征后， 型中引入时间、内容以及位置等不同的上下文信 通过MLP进行评分预测，仍然缺乏一定的可解 息，以提高推荐性能是值得研究的重要课题 释性。 之一。 7结束语 2)基于GNN的跨领域推荐 跨领域推荐9对解决推荐系统的冷启动和数 图神经网络(GNN)推荐方法可以通过节点 据稀疏性问题有很大的帮助，通过从辅助域到目 边及对应的拓扑结构直接反映推荐系统中实体及 标域的推荐可以取得良好的推荐效果。在传统的 其相互间关系，直接在图上对相关信息进行不断 推荐研究中，跨领域推荐取得了一定成效，如基 更新计算，具有很强的归纳性，有效避免了传统 于标签的跨领域推荐40，基于共享知识的跨领域 推荐方法中信息利用不完全带来诸多问题，越来
将会导致过度平滑，所有顶点将收敛到相同的 值。如何选择 GNN 更新的层数以及其他相关的 参数，以缓解堆叠多层 GNN 推荐造成的平滑问 题，是 GNN 推荐难点所在。 5.5 数据稀疏问题 GNN 推荐中，通过构建节点和边，将各个对 象用边“连接”起来，在缓解数据稀疏性方面相 比传统的推荐模型会有提升。但 GNN 推荐模型 在面临数据稀疏的时候，往往会出现两个问题： 1) 如果节点对应的对象没有任何相关记录时， 相关推荐算法将难以实现，如文献 [36] 中，如果 有新来的病人或者病人的就诊记录很少，如仅 为一条记录，GNN 推荐模型会难以得到可以代 表用户特征的最终结果；2) 节点属性维度缺失 问题。一个向量化的多维节点，每一个维度都 反映一个对应的属性，如果该属性的值是未知 的，在向量化的过程中就无法写入相应的数值， 将会影响到推荐的效果。在文献 [36] 中就出现 了病人未参加部分医疗测试的情况，作者通过 重新构建测试结果，解决这个问题，但模型的复 杂度也随之增加。 6 GNN 推荐未来研究方向 1) 基于上下文的 GNN 推荐 用户的兴趣和行为往往是随着时间、空间等 因素动态发生变化的，在目前的推荐系统中，很 多学者对基于时间上下文的个性化推荐[37] ，基于 情景上下文的推荐[38] 都有一定的研究，通过联 系上下文往往会获得更加精确的推荐效果。现 有 GNN 推荐研究不论是构建用户−用户关系图 还是用户−物品 (项目) 关系图，都只是单纯的将 用户 (物品) 相关信息进行处理。时间与空间上 下文信息，都没有考虑在内。如在文献 [31] 中， 作者没有考虑到用户兴趣会随着时间变化对浏 览的记录产生的影响，文献 [36] 中，没有考虑到 患者就诊记录的时间问题，但在不同时期同一个 患者情况会存在很大差异。如何在 GNN 推荐模 型中引入时间、内容以及位置等不同的上下文信 息，以提高推荐性能是值得研究的重要课题 之一。 2) 基于 GNN 的跨领域推荐 跨领域推荐[39] 对解决推荐系统的冷启动和数 据稀疏性问题有很大的帮助，通过从辅助域到目 标域的推荐可以取得良好的推荐效果。在传统的 推荐研究中，跨领域推荐取得了一定成效，如基 于标签的跨领域推荐[40] ，基于共享知识的跨领域 推荐[41] 等。现有 GNN 推荐研究中，往往只是对 “一张”图进行“加工”，停留在一个单一的层面上， 如何从一张图过渡到另一张图，实现不同 GNN 图模型间信息的有效迁移，是一个值得研究的课 题。如文献 [36] 中，作者仅仅考虑到病人在一家 医院的就诊情况，如果考虑到病人的更多信息， 如生活习惯、职业、年龄等将这些作为辅助域 的信息充分利用，就可以获得更加精确的推荐 效果。 3) 基于 GNN 的群组推荐 推荐系统的应用越来越广泛，推荐的对象从 单个用户的个性化推荐发展为面向多个用户的群 组推荐。现有 GNN 推荐研究中，主要是个性化 推荐，很少涉及 GNN 群组推荐，如何通过 GNN 进行群组推荐未来值得研究的问题。 4) 基于 GNN 的套餐推荐 当前的推荐系统大多推荐内容单一，仅能满 足用户的部分需求，现实生活中，用户需求往往 是多方面的。如对旅游的用户进行推荐时，如果 能通过 GNN 的高度归纳性将路线规划、住宿环 境、交通方式、特产商铺、消费价格等多个因素进 行综合考虑，为用户推荐最适合的套餐服务，这 将会给用户带来更好的旅游体验。 5) GNN 推荐与其他推荐方法融合 深度学习发展迅猛，在不同领域的研究都取 得了突破性进展，而 GNN 推荐实质上只是获取 节点的状态之后再用函数进行输出，可以考虑融 合其他推荐算法或者传统深度学习技术，减少模 型的时间复杂度，同时提高推荐的效果。 6) GNN 推荐的可解释性研究 GNN 的应用范围很广泛，比如文献 [42] 利用 GNN 模拟各个物理系统间的关系，进行演绎来预 测整个系统的下一个状态，这说明 GNN 具有一 定的因果推理能力。现有 GNN 推荐研究中，尽 管取得了不错的推荐效果，但是推荐结果往往很 难给出一个令用户信服的科学解释。如在文 献 [31] 中，作者使用多个 GNN 模型得出特征后， 通过 MLP 进行评分预测，仍然缺乏一定的可解 释性。 7 结束语 图神经网络 (GNN) 推荐方法可以通过节点、 边及对应的拓扑结构直接反映推荐系统中实体及 其相互间关系，直接在图上对相关信息进行不断 更新计算，具有很强的归纳性，有效避免了传统 推荐方法中信息利用不完全带来诸多问题，越来 第 1 期 吴国栋，等：图神经网络推荐研究进展 ·21·
·22· 智能系统学报 第15卷 越受到学术界和产业界的关注。本文深入分析 graph convolutional networks with variance reduction[C// 了GNN推荐及其过程，对现有GNN推荐相关研 Proceedings of the 35th International Conference on Ma- 究从无向单元图推荐、无向二元图推荐、无向多 chine Learning.Stockholm,Sweden,2018:941-949. 元图推荐3个方面进行详细探讨，对各自的优点 [11]LI Q,HAN Z,WU X M.Deeper insights into graph con- 与不足进行了分析，指出了GNN推荐面临的难 volutional networks for semi-supervised learning[Cl// 点及未来的研究方向，对基于图的深度推荐系统 Thirty-Second AAAI Conference on Artificial Intelli- 进一步研究具有一定的借鉴意义。 gence.New Orleans,USA.2018. [12]BRUNA J.ZAREMBA W.SZLAM A,et al.Spectral net- 参考文献： works and locally connected networks on graphs[C]//In- [1]ZHOU J,CUI G,ZHANG Z,et al.Graph neural networks: ternational Conference on Learning Representations a review of methods and applications[J].arXiv:1812. (ICLR2014).Banff,Canada,2014:1-14. 08434.2018 [13]MONTI F.BOSCAINI D.MASCI J.et al.Geometric [2]BASTINGS J,TITOV I,AZIZ W,et al.Graph convolu- deep learning on graphs and manifolds using mixture tional encoders for syntax-aware neural machine transla- model CNNs[C]//Proceedings of 2017 IEEE Conference tion[C]//Proceedings of the 2017 Conference on Empirical on Computer Vision and Pattern Recognition.Honolulu, Methods in Natural Language Processing.Copenhagen, USA.2017:5115-5124 Denmark.2017:1957-1967. [14]ATWOOD J,TOWSLEY D.Diffusion-convolutional [3]HENAFF M,BRUNA J,LECUN Y.Deep convolutional neural networks[Cl/Advances in Neural Information Pro- networks on graph-structured data[J].arXiv:1506.05163, cessing Systems.Barcelona,Spain,2016:1993-2001. 2015. [15]LI Y,ZEMEL R,BROCKSCHMIDT M,et al.Gated [4]ZHANG Yuhao,QI Peng,MANNING C D.Graph convo- graph sequence neural networks [J].arXiv:1511.05493, lution over pruned dependency trees improves relation ex- 2015. traction[C]//Proceedings of the 2018 Conference on Empir- [16]ZHANG Yue,LIU Qi,SONG Linfeng.Sentence-state ical Methods in Natural Language Processing.Brussels, LSTM for text representation[Cl//Proceedings of the 56th Belgium,2018:2205-2215. Annual Meeting of the Association for Computational [5]WANG Xiaolong,YE Yufei,GUPTA A.Zero-shot recog- Linguistics.Melbourne,Australia,2018:317-327. nition via semantic embeddings and knowledge [17]KAMPFFMEYER M,CHEN Yinbo,LIANG Xiaodan,et graphs[C]//Proceedings of 2018 IEEE/CVF Conference on al.Rethinking knowledge graph propagation for zero-shot Computer Vision and Pattern Recognition.Salt Lake City, learning[C]//Proceedings of 2019 IEEE/CVF Conference USA.2018:6857-6866. on Computer Vision and Pattern Recognition.Long [6]RHEE S,SEO S,KIM S.Hybrid approach of relation net- Beach,USA,2019:11487-11496. work and localized graph convolutional filtering for breast [18]黄璐，林川杰，何军，等.融合主题模型和协同过滤的多 cancer subtype classification[J].arXiv:1711.058592017. 样化移动应用推荐.软件学报，2017,28(3)：708-720. [7]KAWAMOTO T.TSUBAKI M.OBUCHI T.Mean-field HUANG Lu,LIN Chuanjie,HE Jun,et al.Diversified theory of graph neural networks in graph partitioning[C]// mobile app recommendation combining topic model and Proceedings of the 32nd International Conference on Neur- collaborative filtering[J].Journal of software,2017,28(3): al Information Processing Systems.Red Hook,USA,2018: 708-720. 4361-4371. [19]胡堰，彭启民，胡晓惠.一种基于隐语义概率模型的个 [8]HAMILTON W.YING Zhotao,LESKOVEC J.Inductive 性化Web服务推荐方法[U.计算机研究与发展，2014 representation learning on large graphs[C]//Advances in 51(8):1781-1793 Neural Information Processing Systems.Long Beach,US, HU Yan,PENG Qimin,HU Xiaohui.A personalized Web 2017:1024-1034 service recommendation method based on latent semantic [9]CHEN J,MA T,XIAO C.Fastgcn:fast learning with probabilistic model[J].Journal of computer research and graph convolutional networks via importance sampling[J]. development,.2014,51(8):1781-1793. arXiv:1801.10247,2018. [20]刘建勋，石敏，周栋，等.基于主题模型的Mashup标签 [10]CHEN Jianfei.ZHU Jun,SONG Le.Stochastic training of 推荐方法[U.计算机学报，2017,40(2)520-534
越受到学术界和产业界的关注。本文深入分析 了 GNN 推荐及其过程，对现有 GNN 推荐相关研 究从无向单元图推荐、无向二元图推荐、无向多 元图推荐 3 个方面进行详细探讨，对各自的优点 与不足进行了分析，指出了 GNN 推荐面临的难 点及未来的研究方向，对基于图的深度推荐系统 进一步研究具有一定的借鉴意义。 参考文献： ZHOU J, CUI G, ZHANG Z, et al. Graph neural networks: a review of methods and applications[J]. arXiv: 1812. 08434, 2018. [1] BASTINGS J, TITOV I, AZIZ W, et al. Graph convolutional encoders for syntax-aware neural machine translation[C]//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen, Denmark, 2017: 1957−1967. [2] HENAFF M, BRUNA J, LECUN Y. Deep convolutional networks on graph-structured data[J]. arXiv:1506.05163, 2015. [3] ZHANG Yuhao, QI Peng, MANNING C D. Graph convolution over pruned dependency trees improves relation extraction[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, Belgium, 2018: 2205−2215. [4] WANG Xiaolong, YE Yufei, GUPTA A. Zero-shot recognition via semantic embeddings and knowledge graphs[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018: 6857−6866. [5] RHEE S,SEO S, KIM S.Hybrid approach of relation network and localized graph convolutional filtering for breast cancer subtype classification[J].arXiv: 1711.05859,2017. [6] KAWAMOTO T, TSUBAKI M, OBUCHI T. Mean-field theory of graph neural networks in graph partitioning[C]// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook, USA, 2018: 4361−4371. [7] HAMILTON W, YING Zhotao, LESKOVEC J. Inductive representation learning on large graphs[C]//Advances in Neural Information Processing Systems. Long Beach, US, 2017: 1024−1034. [8] CHEN J, MA T, XIAO C. Fastgcn: fast learning with graph convolutional networks via importance sampling[J]. arXiv:1801.10247, 2018. [9] [10] CHEN Jianfei, ZHU Jun, SONG Le. Stochastic training of graph convolutional networks with variance reduction[C]// Proceedings of the 35th International Conference on Machine Learning. Stockholm, Sweden, 2018: 941−949. LI Q, HAN Z, WU X M. Deeper insights into graph convolutional networks for semi-supervised learning[C]// Thirty-Second AAAI Conference on Artificial Intelligence. New Orleans, USA,2018. [11] BRUNA J, ZAREMBA W, SZLAM A, et al. Spectral networks and locally connected networks on graphs[C]//International Conference on Learning Representations (ICLR2014). Banff, Canada, 2014: 1−14. [12] MONTI F, BOSCAINI D, MASCI J, et al. Geometric deep learning on graphs and manifolds using mixture model CNNs[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA, 2017: 5115−5124. [13] ATWOOD J, TOWSLEY D. Diffusion-convolutional neural networks[C]//Advances in Neural Information Processing Systems. Barcelona, Spain, 2016: 1993−2001. [14] LI Y, ZEMEL R, BROCKSCHMIDT M, et al. Gated graph sequence neural networks [J]. arXiv:1511.05493, 2015. [15] ZHANG Yue, LIU Qi, SONG Linfeng. Sentence-state LSTM for text representation[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne, Australia, 2018: 317−327. [16] KAMPFFMEYER M, CHEN Yinbo, LIANG Xiaodan, et al. Rethinking knowledge graph propagation for zero-shot learning[C]//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA, 2019: 11487−11496. [17] 黄璐, 林川杰, 何军, 等. 融合主题模型和协同过滤的多 样化移动应用推荐 [J]. 软件学报, 2017, 28(3): 708–720. HUANG Lu, LIN Chuanjie, HE Jun, et al. Diversified mobile app recommendation combining topic model and collaborative filtering[J]. Journal of software, 2017, 28(3): 708–720. [18] 胡堰, 彭启民, 胡晓惠. 一种基于隐语义概率模型的个 性化 Web 服务推荐方法 [J]. 计算机研究与发展, 2014, 51(8): 1781–1793. HU Yan, PENG Qimin, HU Xiaohui. A personalized Web service recommendation method based on latent semantic probabilistic model[J]. Journal of computer research and development, 2014, 51(8): 1781–1793. [19] 刘建勋, 石敏, 周栋, 等. 基于主题模型的 Mashup 标签 推荐方法 [J]. 计算机学报, 2017, 40(2): 520–534. [20] ·22· 智 能 系 统 学 报 第 15 卷
第1期 吴国栋，等：图神经网络推荐研究进展 ·23· LIU Jianxun,SHI Min,ZHOU Dong,et al.Topic model tion:a recurrent model with spatial and temporal contexts[Cl based tag recommendation method for Mashups[J]. Proceedings of the Thirtieth AAAI Conference on Artifi- Chinese journal of computers,2017,40(2):520-534. cial Intelligence.Arizona.USA2016:194-200. [21]曹俊豪，李泽河，江龙，等.一种融合协同过滤和用户属 [29]XU.KEYULU,et al.How powerful are graph neural net- 性过滤的混合推荐算法.电子设计工程，2018.26(9)： works [J].arXiv:1810.00826.2018. 60-63 [30]SONG Weiping,XIAO Zhiping,WANG Yifan,et al.Ses- CAO Junhao,LI Zehe,JIANG Long,et al.A hybrid re- sion-based social recommendation via dynamic graph at- commendation algorithm based on collaborative filtering tention networks[C]//Proceedings of the Twelfth ACM In- and user attribute filtering[J].Electronic design engineer- ternational Conference on Web Search and Data Mining ing,2018,26(9):60-63 New York,United States,2019:555-563. [22]张双庆.一种基于用户的协同过滤推荐算法).电脑知 [31]FAN Wenqi,MA Yao,LI Qing,et al.Graph neural net- 识与技术，2019.15(1)上19-21 works for social recommendation[Cl//The World Wide ZHANG Shuangqing.User-based collaborative filtering Web Conference.New York,USA,2019:417-426. recommendation algorithm[J].Computer knowledge and [32]YING R,HE Ruining,CHEN Kaifeng,et al.Graph con- technology,2019,15(1)19-21 volutional neural networks for web-scale recommender [23]邓园园，吴美香，潘家辉.基于物品的改进协同过滤算 systems[C]//Proceedings of the 24th ACM SIGKDD In- 法及应用.计算机系统应用，2019,28(1)182-187 ternational Conference on Knowledge Discovery Data DENG Yuanyuan,WU Meixiang,PAN Jiahui.Improved Mining.New York,USA,2018:974-983. item-based collaborative filtering algorithm and its applic- [33]CUI Zeyu,LI Zekun,WU Shu,et al.Dressing as a whole: ation[J].Computer systems applications,2019,28(1): outfit compatibility learning based on node-wise graph 182-187. neural networks[Cl//The World Wide Web Conference. [24]高玉凯，王新华，郭磊，等.一种基于协同矩阵分解的用 New York,USA,2019:307-317. 户冷启动推荐算法).计算机研究与发展，2017,54(8)： [34]WANG X,HE X,WANG M,et al.Neural graph collab- 1813-1823 orative filtering[J].ar Xiv:1905.08108,2019. GAO Yukai,WANG Xinhua,GUO Lei,et al.Learning to [35]WANG Hongwei,ZHAO Miao,XIE Xing,et al.Know- recommend with collaborative matrix factorization for ledge graph convolutional networks for recommender sys- new users[J].Journal of computer research and develop- tems[Cl//The World Wide Web Conference.San Fran- ment,2017,548):1813-1823. cisc0,USA,2019:3307-3313. [25]王伟，陈伟，祝效国，等.众筹项目的个性化推荐：面向 [36]MAO C.YAO L.LUO Y.MedGCN:Graph convolution- 稀疏数据的二分图模型[J】.系统工程理论与实践， al networks for multiple medical tasks[J].arXiv: 2017,37(4):1011-1023 1904.00326,2019. WANG Wei.CHEN Wei.ZHU K.et al.Personalized re- [37刀刘云，王颖，亓国涛，等.时间上下文的协同过滤Top commendation of crowd-funding campaigns:a bipartite N推荐算法).计算机技术与发展，2017,27(7)：79-82. graph approach for sparse data[J].Systems engineering- LIU Yun,WANG Ying,QI Guotao,et al.Collaborative theory&practice,.2017,37(4):1011-1023 filtering top-N recommendation algorithm based on time [26]ELKAHKY A M,SONG Yang,HE Xiaodong.A multi- context[J].Computer technology and development,2017, view deep learning approach for cross domain user mod- 27(7):79-82. eling in recommendation systems[C]//Proceedings of the [38]沈记全，王磊，侯占伟，等.基于情景上下文与信任关系 24th International Conference on World Wide Web. 的旅游景点推荐算法[J】.计算机应用研究，2018， Florence,Italy,2015:278-288. 35(12):3640-3643. [27]ZHENG Lei.NOROOZI V.YU P S.Joint deep modeling SHEN Jiquan,WANG Lei,HOU Zhanwei,et al.Attrac- of users and items using reviews for recommendation[Cl// tions recommendation algorithm based on situational con- Proceedings of the Tenth ACM International Conference text and trust relationship[J].Application research of on Web Search and Data Mining.New York,USA,2017: computers,2018,35(12):3640-3643. 425-434 [39]李林峰，刘真，魏港明，等.基于共享知识模型的跨领域 [28]LIU Q,WU S,WANG L,et al.Predicting the next loca- 推荐算法[J.电子学报，2018,46(8：1947-1953
LIU Jianxun, SHI Min, ZHOU Dong, et al. Topic model based tag recommendation method for Mashups[J]. Chinese journal of computers, 2017, 40(2): 520–534. 曹俊豪, 李泽河, 江龙, 等. 一种融合协同过滤和用户属 性过滤的混合推荐算法 [J]. 电子设计工程, 2018, 26(9): 60–63. CAO Junhao, LI Zehe, JIANG Long, et al. A hybrid recommendation algorithm based on collaborative filtering and user attribute filtering[J]. Electronic design engineering, 2018, 26(9): 60–63. [21] 张双庆. 一种基于用户的协同过滤推荐算法 [J]. 电脑知 识与技术, 2019, 15(1): 19–21. ZHANG Shuangqing. User-based collaborative filtering recommendation algorithm[J]. Computer knowledge and technology, 2019, 15(1): 19–21. [22] 邓园园, 吴美香, 潘家辉. 基于物品的改进协同过滤算 法及应用 [J]. 计算机系统应用, 2019, 28(1): 182–187. DENG Yuanyuan, WU Meixiang, PAN Jiahui. Improved item-based collaborative filtering algorithm and its application[J]. Computer systems & applications, 2019, 28(1): 182–187. [23] 高玉凯, 王新华, 郭磊, 等. 一种基于协同矩阵分解的用 户冷启动推荐算法 [J]. 计算机研究与发展, 2017, 54(8): 1813–1823. GAO Yukai, WANG Xinhua, GUO Lei, et al. Learning to recommend with collaborative matrix factorization for new users[J]. Journal of computer research and development, 2017, 54(8): 1813–1823. [24] 王伟, 陈伟, 祝效国, 等. 众筹项目的个性化推荐: 面向 稀疏数据的二分图模型 [J]. 系统工程理论与实践, 2017, 37(4): 1011–1023. WANG Wei, CHEN Wei, ZHU K, et al. Personalized recommendation of crowd-funding campaigns: a bipartite graph approach for sparse data[J]. Systems engineering– theory & practice, 2017, 37(4): 1011–1023. [25] ELKAHKY A M, SONG Yang, HE Xiaodong. A multiview deep learning approach for cross domain user modeling in recommendation systems[C]//Proceedings of the 24th International Conference on World Wide Web. Florence, Italy, 2015: 278−288. [26] ZHENG Lei, NOROOZI V, YU P S. Joint deep modeling of users and items using reviews for recommendation[C]// Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. New York, USA, 2017: 425−434. [27] [28] LIU Q, WU S, WANG L, et al. Predicting the next location: a recurrent model with spatial and temporal contexts[C]// Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Arizona, USA ,2016: 194−200. XU,KEYULU,et al.How powerful are graph neural networks [J]. arXiv:1810.00826, 2018. [29] SONG Weiping, XIAO Zhiping, WANG Yifan, et al. Session-based social recommendation via dynamic graph attention networks[C]//Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. New York, United States, 2019: 555−563. [30] FAN Wenqi, MA Yao, LI Qing, et al. Graph neural networks for social recommendation[C]//The World Wide Web Conference. New York, USA, 2019: 417−426. [31] YING R, HE Ruining, CHEN Kaifeng, et al. Graph convolutional neural networks for web-scale recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York, USA, 2018: 974−983. [32] CUI Zeyu, LI Zekun, WU Shu, et al. Dressing as a whole: outfit compatibility learning based on node-wise graph neural networks[C]//The World Wide Web Conference. New York, USA, 2019: 307−317. [33] WANG X, HE X, WANG M, et al. Neural graph collaborative filtering[J]. arXiv:1905.08108, 2019. [34] WANG Hongwei, ZHAO Miao, XIE Xing, et al. Knowledge graph convolutional networks for recommender systems[C]//The World Wide Web Conference. San Francisco, USA, 2019: 3307−3313. [35] MAO C, YAO L, LUO Y. MedGCN: Graph convolutional networks for multiple medical tasks[J]. arXiv: 1904.00326, 2019. [36] 刘云, 王颖, 亓国涛, 等. 时间上下文的协同过滤 TopN 推荐算法 [J]. 计算机技术与发展, 2017, 27(7): 79–82. LIU Yun, WANG Ying, QI Guotao, et al. Collaborative filtering top-N recommendation algorithm based on time context[J]. Computer technology and development, 2017, 27(7): 79–82. [37] 沈记全, 王磊, 侯占伟, 等. 基于情景上下文与信任关系 的旅游景点推荐算法 [J]. 计算机应用研究, 2018, 35(12): 3640–3643. SHEN Jiquan, WANG Lei, HOU Zhanwei, et al. Attractions recommendation algorithm based on situational context and trust relationship[J]. Application research of computers, 2018, 35(12): 3640–3643. [38] 李林峰, 刘真, 魏港明, 等. 基于共享知识模型的跨领域 推荐算法 [J]. 电子学报, 2018, 46(8): 1947–1953. [39] 第 1 期 吴国栋，等：图神经网络推荐研究进展 ·23·
