第16卷第3期 智能系统学报 Vol.16 No.3 2021年5月 CAAI Transactions on Intelligent Systems May 2021 D0L:10.11992tis.202004009 基于时空循环神经网络的下一个兴趣点推荐方法 柴瑞敏，殷臣，孟祥福，张霄雁，关昕，齐雪月 (辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛125105)】 摘要：下一个兴趣点推荐已经成为基于位置的社交网络(location--based social networks,,LBSNs)中一个重要任 务。现有的模型没有深入考虑相邻签到兴趣点之间的转移时空信息，无法对用户访问下一个兴趣点的长短时 间偏好和远近距离偏好进行有效建模。本文通过对循环神经网络(recurrent neural network,RNN)进行扩展，提 出一个新的基于会话的时空循环t神经网络模型(sesson-based spatial--temporal recurrent neural network,SST RNN)用于下一个兴趣点推荐。该模型通过设置时间转移矩阵和空间转移矩阵分别对用户的时间和空间偏好 信息进行建模，综合考虑连续签到兴趣点的序列信息、时空信息以及用户偏好进行下一个兴趣点推荐。通过 在2个真实公开的数据集上进行实验，结果显示本文提出的SST-RNN模型的推荐效果比主流的推荐模型有显 著提升。在Foursquare和CA数据集上，ACC@5评价指标分别提升了36.38%和13.81%，MAP评价指标分别提 升了30.72%和17.26%。 关键词：下一个兴趣点推荐：基于位置的社交网络：循环神经网络；序列信息：时间偏好：空间偏好：用户偏好： 会话 中图分类号：TP183文献标志码：A文章编号：1673-4785(2021)03-0407-09 中文引用格式：柴瑞敏，殷臣，孟祥福，等.基于时空循环神经网络的下一个兴趣点推荐方法，智能系统学报，2021,16(3)： 407-415. 英文引用格式：CHAI Ruimin,YIN Chen,MENG Xiangfu,etal.A recurrent neural network model based on spatial and temporal information for the next point of interest recommendation J.CAAl transactions on intelligent systems,2021,16(3):407-415. A recurrent neural network model based on spatial and temporal information for the next point of interest recommendation CHAI Ruimin,YIN Chen,MENG Xiangfu,ZHANG Xiaoyan,GUAN Xin,QI Xueyue (School of Electronic and Information Engineering,Liaoning Technical University,Huludao 125105,China) Abstract:The next point-of-interest (POl)recommendation has become an important task in location-based social net- works.The existing models lack in-depth research on the temporal and spatial information transition between adjacent check-in POIs and cannot effectively model the long/short time and distance preferences of the users accessing the next POI.In response,this paper proposes a new session-based spatial-temporal recurrent neural network(SST-RNN)model that is used to recommend the next POI.This model takes advantage of the spatial transition matrix and temporal trans- ition matrix to respectively model the user's spatial and temporal preferences,and comprehensively considers the se- quence information and spatial-temporal information of consecutive check-in POIs as well as user preferences to do the next POI recommendation.Experimental results in two real open datasets show that the performance of the proposed SST-RNN model is significantly enhanced compared with the state-of-the-art models.On the Foursquare and CA data- sets,the ACC@5 is increased by 36.38%and 13.81%,and the MAP is increased by 30.72%and 17.26%,respectively. Keywords:next point of interest recommendation;location-based social networks,recurrent neural network;sequence information;temporal preferences;spatial preferences;user preferences;session 收稿日期：2020-04-09. 基金项目：国家自然科学基金面上项目(61772249) 随着基于位置的社交网络发展，一些基于位 通信作者：孟祥福.E-mail:marxi(@I26.com. 置服务的社交软件被广泛使用，如Foursquare
DOI: 10.11992/tis.202004009 基于时空循环神经网络的下一个兴趣点推荐方法 柴瑞敏，殷臣，孟祥福，张霄雁，关昕，齐雪月 （辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105） 摘 要：下一个兴趣点推荐已经成为基于位置的社交网络 (location-based social networks，LBSNs) 中一个重要任 务。现有的模型没有深入考虑相邻签到兴趣点之间的转移时空信息，无法对用户访问下一个兴趣点的长短时 间偏好和远近距离偏好进行有效建模。本文通过对循环神经网络 (recurrent neural network, RNN) 进行扩展，提 出一个新的基于会话的时空循环神经网络模型 (sesson-based spatial-temporal recurrent neural network, SSTRNN) 用于下一个兴趣点推荐。该模型通过设置时间转移矩阵和空间转移矩阵分别对用户的时间和空间偏好 信息进行建模，综合考虑连续签到兴趣点的序列信息、时空信息以及用户偏好进行下一个兴趣点推荐。通过 在 2 个真实公开的数据集上进行实验，结果显示本文提出的 SST-RNN 模型的推荐效果比主流的推荐模型有显 著提升。在 Foursquare 和 CA 数据集上，ACC@5 评价指标分别提升了 36.38% 和 13.81%，MAP 评价指标分别提 升了 30.72% 和 17.26%。 关键词：下一个兴趣点推荐；基于位置的社交网络；循环神经网络；序列信息；时间偏好；空间偏好；用户偏好； 会话 中图分类号：TP183 文献标志码：A 文章编号：1673−4785(2021)03−0407−09 中文引用格式：柴瑞敏, 殷臣, 孟祥福, 等. 基于时空循环神经网络的下一个兴趣点推荐方法 [J]. 智能系统学报, 2021, 16(3): 407–415. 英文引用格式：CHAI Ruimin, YIN Chen, MENG Xiangfu, et al. A recurrent neural network model based on spatial and temporal information for the next point of interest recommendation[J]. CAAI transactions on intelligent systems, 2021, 16(3): 407–415. A recurrent neural network model based on spatial and temporal information for the next point of interest recommendation CHAI Ruimin，YIN Chen，MENG Xiangfu，ZHANG Xiaoyan，GUAN Xin，QI Xueyue (School of Electronic and Information Engineering, Liaoning Technical University, Huludao 125105, China) Abstract: The next point-of-interest (POI) recommendation has become an important task in location-based social networks. The existing models lack in-depth research on the temporal and spatial information transition between adjacent check-in POIs and cannot effectively model the long/short time and distance preferences of the users accessing the next POI. In response, this paper proposes a new session-based spatial–temporal recurrent neural network (SST-RNN) model that is used to recommend the next POI. This model takes advantage of the spatial transition matrix and temporal transition matrix to respectively model the user’s spatial and temporal preferences, and comprehensively considers the sequence information and spatial–temporal information of consecutive check-in POIs as well as user preferences to do the next POI recommendation. Experimental results in two real open datasets show that the performance of the proposed SST-RNN model is significantly enhanced compared with the state-of-the-art models. On the Foursquare and CA datasets, the ACC@5 is increased by 36.38% and 13.81%, and the MAP is increased by 30.72% and 17.26%, respectively. Keywords: next point of interest recommendation; location-based social networks; recurrent neural network; sequence information; temporal preferences; spatial preferences; user preferences; session 随着基于位置的社交网络发展，一些基于位 置服务的社交软件被广泛使用，如 Foursquare、 收稿日期：2020−04−09. 基金项目：国家自然科学基金面上项目 (61772249). 通信作者：孟祥福. E-mail：marxi@126.com. 第 16 卷第 3 期 智 能 系 统 学 报 Vol.16 No.3 2021 年 5 月 CAAI Transactions on Intelligent Systems May 2021
·408· 智能系统学报 第16卷 Gowalla、Yelp等，人们可以轻松地通过签到的形 要用户提供其将要访问下一个兴趣点的距离间 式分享他们的位置和记录生活。同时，用户大量 隔。这有两方面的好处：首先根据用户的距离间 的签到信息也为探索人们的行为规律提供了机 隔，能够给用户提供更灵活的推荐，如果当前的 遇。下一个兴趣点推荐已经成为基于位置的社交 推荐列表用户不满意，用户可以有更多的灵活性 网络的重要任务。 去调整不同的距离间隔而得到不同的推荐列表， 然而，与传统的推荐系统（如音乐、视频和图 使用户能够与模型进行交互而不是只能得到固定 书推荐等)不同，时空属性对于兴趣点推荐起着 推荐列表；其次，根据用户提供的距离间隔，能够 很强的约束性：并且，在兴趣点的签到信息中，用 分析出用户此时表现的偏好模式（即近距离偏好 户并没有明确给出对兴趣点的喜爱或偏好。用户 或者远距离偏好)，进而根据用户的偏好给出个性 的隐式反馈信息以及地点签到信息存在稀疏性问 化的推荐列表。 题，因此下一个兴趣点的推荐极具挑战性。为了 时间信息在兴趣点推荐中也具有较大作用。 提高兴趣点的推荐效果，一些研究将序列信 用户偏好会随时间发生变化，用户在不同的时间 息)、时空信息B、社交关系以及签到兴趣点 间隔内会表现出不同的偏好。当用户要访问的下 的上下文信息整合到模型中。本文主要利用 一个兴趣点的时间点与当前用户时间点的时间间 签到信息中的序列信息、时间信息和空间信息进 隔较短时，模型应倾向于推荐用户较近的一些地 行下一个兴趣点推荐。 点。同时，利用相邻时间间隔信息也能提供一些 序列信息在下一个兴趣点推荐中扮演着重要 隐含的有价值信息。当用户从当前景点紧接着去 角色。一些研究通过整合用户历史签到序列信息 附近的下一个景点时，不同的用户在这两个兴趣 提升模型的效果，FPMC模型山通过结合矩阵分 点通常有相似的访问时间间隔。因此利用用户在 解和马尔科夫链捕获用户连续签到兴趣点之间的 相邻兴趣点之间的转移时间间隔有利于进行兴趣 序列影响。最近，一些研究采用RNN模型1用 点推荐。 于序列信息分析，基于循环神经网络(RNN)的方 由于RNN模型在序列建模中具有很好效果， 法能够更有效地捕捉序列数据之间的关系，因此 本文采用RNN模型对序列信息建模，通过对RNN 在兴趣点推荐中得到了广泛应用，并成为当前主 进行改进使其能够满足对用户变化的时空偏好信 流的推荐模型。然而，RNN存在梯度爆炸和梯度 息进行下一个兴趣点推荐。现有模型通常将用户 消失的问题，不能学习到较长序列内远距离的依 的整个签到序列作为RNN的输入用于下一个兴 赖关系。为了解决这个问题，长短时记忆(LSTM两 趣点推荐。而实际上，使用用户的整个签到记录 和门控循环单元(GRU)2种RNN变体被提出， 并不一定适用于实际的应用场景，随着用户签到 使得循环神经网络能够学习到长序列内远距离的 记录数量快速地增加，计算开销也随之增加。因 依赖问题。 此，本文仅根据最后一次会话信息用于下一个兴 空间信息是基于位置服务的基本属性，对 趣点推荐。为了对用户签到序列中用户变化的复 兴趣点的推荐同样起着重要作用。一些研究表 杂时空偏好进行建模，本文分别建立时间转移矩 明11，人们更倾向于访问距离用户当前位置较 阵和空间转移矩阵。时空转移矩阵由用户相邻签 近的地点。这些模型通过将距离作为权重系数或 到兴趣点之间的时空间隔信息确定；为了进一步 者根据兴趣点之间的距离进行聚类进而推荐位置 考虑用户的时间偏好，用户会话中的每个兴趣点 较近的兴趣点，限制了模型给用户推荐远距离的 与推荐兴趣点的时间间隔信息也被整合到模型 兴趣点。通过对实验数据集分析发现，在本文使 中。本文通过同时考虑用户的两类时间信息（包 用的Foursquare和CA数据集中，分别有24%和 括相邻兴趣点的时间间隔和会话中访问过的兴趣 42%的相邻签到兴趣点之间的距离间隔大于10km, 点与下一个兴趣点的时间间隔)、空间信息、签到 这说明用户多数情况下偏好访问距离较近的兴趣 序列信息和用户偏好给出个性化的下一个兴趣点 点，但也有较大比例用户依然偏好访问距离较远 推荐。 的兴趣点。在现有的下一个兴趣点推荐模型中， 1相关工作 大多数模型倾向于推荐较近的地点限制了模型的 表现，使得模型并不会自适应用户需求和偏好的 传统兴趣点推荐通常采用协同过滤算法。矩 变化而进行推荐，这也意味着模型推荐的兴趣点 阵分解920是协同过滤最常用的方法，其目标是 列表是固定不变的。为了解决上述问题，模型需 将“用户一兴趣点”隐式评分矩阵分解为2个低维
Gowalla、Yelp 等，人们可以轻松地通过签到的形 式分享他们的位置和记录生活。同时，用户大量 的签到信息也为探索人们的行为规律提供了机 遇。下一个兴趣点推荐已经成为基于位置的社交 网络的重要任务。 然而，与传统的推荐系统 (如音乐、视频和图 书推荐等) 不同，时空属性对于兴趣点推荐起着 很强的约束性；并且，在兴趣点的签到信息中，用 户并没有明确给出对兴趣点的喜爱或偏好。用户 的隐式反馈信息以及地点签到信息存在稀疏性问 题，因此下一个兴趣点的推荐极具挑战性。为了 提高兴趣点的推荐效果，一些研究将序列信 息 [1-2] 、时空信息[3-5] 、社交关系[6-8] 以及签到兴趣点 的上下文信息[9-12] 整合到模型中。本文主要利用 签到信息中的序列信息、时间信息和空间信息进 行下一个兴趣点推荐。 序列信息在下一个兴趣点推荐中扮演着重要 角色。一些研究通过整合用户历史签到序列信息 提升模型的效果，FPMC 模型[1] 通过结合矩阵分 解和马尔科夫链捕获用户连续签到兴趣点之间的 序列影响。最近，一些研究采用 RNN 模型[13] 用 于序列信息分析，基于循环神经网络 (RNN) 的方 法能够更有效地捕捉序列数据之间的关系，因此 在兴趣点推荐中得到了广泛应用，并成为当前主 流的推荐模型。然而，RNN 存在梯度爆炸和梯度 消失的问题，不能学习到较长序列内远距离的依 赖关系。为了解决这个问题，长短时记忆 (LSTM)[14] 和门控循环单元 (GRU)[15] 2 种 RNN 变体被提出， 使得循环神经网络能够学习到长序列内远距离的 依赖问题。 空间信息是基于位置服务的基本属性[16] ，对 兴趣点的推荐同样起着重要作用。一些研究表 明 [17-18] ，人们更倾向于访问距离用户当前位置较 近的地点。这些模型通过将距离作为权重系数或 者根据兴趣点之间的距离进行聚类进而推荐位置 较近的兴趣点，限制了模型给用户推荐远距离的 兴趣点。通过对实验数据集分析发现，在本文使 用的 Foursquare 和 CA 数据集中,分别有 24% 和 42% 的相邻签到兴趣点之间的距离间隔大于 10 km， 这说明用户多数情况下偏好访问距离较近的兴趣 点，但也有较大比例用户依然偏好访问距离较远 的兴趣点。在现有的下一个兴趣点推荐模型中， 大多数模型倾向于推荐较近的地点限制了模型的 表现，使得模型并不会自适应用户需求和偏好的 变化而进行推荐，这也意味着模型推荐的兴趣点 列表是固定不变的。为了解决上述问题，模型需 要用户提供其将要访问下一个兴趣点的距离间 隔。这有两方面的好处：首先根据用户的距离间 隔，能够给用户提供更灵活的推荐，如果当前的 推荐列表用户不满意，用户可以有更多的灵活性 去调整不同的距离间隔而得到不同的推荐列表， 使用户能够与模型进行交互而不是只能得到固定 推荐列表；其次，根据用户提供的距离间隔，能够 分析出用户此时表现的偏好模式 (即近距离偏好 或者远距离偏好)，进而根据用户的偏好给出个性 化的推荐列表。 时间信息在兴趣点推荐中也具有较大作用。 用户偏好会随时间发生变化，用户在不同的时间 间隔内会表现出不同的偏好。当用户要访问的下 一个兴趣点的时间点与当前用户时间点的时间间 隔较短时，模型应倾向于推荐用户较近的一些地 点。同时，利用相邻时间间隔信息也能提供一些 隐含的有价值信息。当用户从当前景点紧接着去 附近的下一个景点时，不同的用户在这两个兴趣 点通常有相似的访问时间间隔。因此利用用户在 相邻兴趣点之间的转移时间间隔有利于进行兴趣 点推荐。 由于 RNN 模型在序列建模中具有很好效果， 本文采用 RNN 模型对序列信息建模，通过对 RNN 进行改进使其能够满足对用户变化的时空偏好信 息进行下一个兴趣点推荐。现有模型通常将用户 的整个签到序列作为 RNN 的输入用于下一个兴 趣点推荐。而实际上，使用用户的整个签到记录 并不一定适用于实际的应用场景，随着用户签到 记录数量快速地增加，计算开销也随之增加。因 此，本文仅根据最后一次会话信息用于下一个兴 趣点推荐。为了对用户签到序列中用户变化的复 杂时空偏好进行建模，本文分别建立时间转移矩 阵和空间转移矩阵。时空转移矩阵由用户相邻签 到兴趣点之间的时空间隔信息确定；为了进一步 考虑用户的时间偏好，用户会话中的每个兴趣点 与推荐兴趣点的时间间隔信息也被整合到模型 中。本文通过同时考虑用户的两类时间信息 (包 括相邻兴趣点的时间间隔和会话中访问过的兴趣 点与下一个兴趣点的时间间隔)、空间信息、签到 序列信息和用户偏好给出个性化的下一个兴趣点 推荐。 1 相关工作 传统兴趣点推荐通常采用协同过滤算法。矩 阵分解[19-20] 是协同过滤最常用的方法，其目标是 将“用户−兴趣点”隐式评分矩阵分解为 2 个低维 ·408· 智 能 系 统 学 报 第 16 卷
第3期 柴瑞敏，等：基于时空循环神经网络的下一个兴趣点推荐方法 ·409· 矩阵，分别表示用户和兴趣点的潜在因子。然 同之处体现在：1)模型只使用用户最后的会话作 而，矩阵分解方法不适用于用户签到序列信息的 为RNN的输，具有更快的推荐速度；2)模型能够 建模。 根据用户的查询条件以及用户的偏好变化情况进 序列信息和时空信息是下一个兴趣点推荐的 行自适应调整，为相同用户推荐变化的个性化的 最基本要素。为了提升下一个兴趣点的推荐效 兴趣点推荐列表。 果，一些模型，如基于MC模型的方法、基于嵌 入的方法22]和基于神经网络RNN的方法，通过 2相关定义 整合序列信息和时空信息用于下一个兴趣点推 令U={山，2，…，4u}表示所有用户组成的集 荐。文献[1]提出了FPMC模型，该模型结合矩 合，P={P1,P2,…,P}和G={88,…,8n}分别表 阵分解和马尔科夫链对用户偏好和序列信息建 示兴趣点的集合及其对应兴趣点的地理坐标的集 模。文献[21]是FPMC模型的扩展，通过结合用 合，其中U和P分别表示用户数量和兴趣点数 户的地理位置约束为用户推荐下一个兴趣点。文 量。本文中用户和兴趣点的标识都用连续的整数 献[24]提出了POI2vec,该模型应用二叉树结构 编码，编码值从1开始。 对附近的兴趣点进行聚类，进而为用户推荐下一 定义1兴趣点(PO)。兴趣点是具有唯一标 个兴趣点。文献[17]提出了PRME-G,该模型利 识（编码）的地点，它包含经纬度信息。 用嵌人的方法，通过度量嵌入的方法整合兴趣点 定义2历史签到序列。某一用户“的历史 的序列信息和地理位置信息进行下一个兴趣点推 签到序列表示为H={,哈…，P,其中P%表示 荐。文献[22]提出了一种嵌入学习方法(GE)用 用户u在时刻访问过兴趣点P。 于兴趣点推荐，该方法利用二部图对POI推荐上 定义3下一个兴趣点推荐。给定用户的历 下文中的一对上下文进行建模，并通过对4对嵌 史签到记录，用户最后的签到位置信息以 入模型(POI-POI、POI-Time、POI-Regin和POI- 及查询条件Q=(△d,+),其中△d表示用户访问下 Word)进行统一优化。 一个兴趣点的距离间隔。下一个兴趣点推荐目标 然而，以上模型缺乏对用户连续签到的两个 是为用户推荐其在，时刻最有可能访问的TOP-K 兴趣点之间的转移时空信息的考虑，并且时间信 个兴趣点。 息和空间信息之间复杂的交互也被忽略。最近， 序列信息和时空信息也被广泛地整合到RNN网 3基于时空循环神经网络的兴趣点 络中。文献[25]提出了Distance2Pre模型，利用 推荐模型 GRU模型首次整合用户不同地理距离偏好进行 下一个兴趣点预测，提出线性和非线性方式整合 3.1模型的输入信息 用户距离偏好分数的2种结构模型。文献[4幻 图1中P,(Q)表示用户在兴趣点P,发出的查 通过对RNN改进，提出整合时空信息的RNN模 询。S()的取值为0或1，用于判断用户签到兴趣 型(ST-RNN),然而它使用固定窗口的时空转化信 点是否属于同一个会话。S()的值根据用户2个 息，缺乏对相邻的兴趣点之间的转移信息进行建 相邻签到兴趣点之间的时间差得到，如果用户在 模。文献[26]提出了改进的LSTM模型，该模型 t时刻签到与1-时刻签到的差大于π，即S(t)=0, 在LSTM模型中加入时间门和距离门，通过对相 表示用户在4和t时刻的签到兴趣点不属于同 邻签到地点之间的时间间隔和距离间隔进行建模 一个会话。 来提取用户长期和短期兴趣偏好。 用户的偏好是随时间变化的，同时用户所处 以上模型都是将用户的历史签到记录作为 地点也有可能发生变化，因此利用用户整个历史 RNN的输入，本文使用用户最后一次的会话信息 签到记录进行下一个兴趣点推荐并不一定合适。 作为RNN的输入。并且，上述模型都忽略了用户 在下一个兴趣点推荐中，用户最近的签到地点通 历史签到兴趣点与最终推荐的兴趣点的时间间隔 常对于下一个兴趣点的推荐具有较大影响，因此 信息。与本文工作最为相似是Distance.2Pre模 本文仅使用用户最后一次会话信息作为RNN的 型，该模型通过对用户的不同距离偏好进行建 输入，用户的签到会话表示为相邻的签到兴趣点 模，但其忽略了用户偏好与时间之间的关联，这 之间的最大间隔不超过π，的一段连续签到序 就意味着随着时间的改变，无论是之后的1个小 列。从图1可以看出用户的历史签到记录被分成 时还是2天内，Distance2Pre将始终为用户预测相 了多个会话，session1和session2是已完成会话， 同的推荐列表。本文提出的模型与上述模型的不 session,是用户最后一次会话。图1中用户历史
矩阵，分别表示用户和兴趣点的潜在因子。然 而，矩阵分解方法不适用于用户签到序列信息的 建模。 序列信息和时空信息是下一个兴趣点推荐的 最基本要素。为了提升下一个兴趣点的推荐效 果，一些模型，如基于 MC 模型的方法[21] 、基于嵌 入的方法[22-23] 和基于神经网络 RNN 的方法，通过 整合序列信息和时空信息用于下一个兴趣点推 荐。文献 [1] 提出了 FPMC 模型，该模型结合矩 阵分解和马尔科夫链对用户偏好和序列信息建 模。文献 [21] 是 FPMC 模型的扩展，通过结合用 户的地理位置约束为用户推荐下一个兴趣点。文 献 [24] 提出了 POI2vec，该模型应用二叉树结构 对附近的兴趣点进行聚类，进而为用户推荐下一 个兴趣点。文献 [17] 提出了 PRME-G，该模型利 用嵌入的方法，通过度量嵌入的方法整合兴趣点 的序列信息和地理位置信息进行下一个兴趣点推 荐。文献 [22] 提出了一种嵌入学习方法 (GE) 用 于兴趣点推荐，该方法利用二部图对 POI 推荐上 下文中的一对上下文进行建模，并通过对 4 对嵌 入模型 (POI-POI、POI-Time、POI-Regin 和 POIWord) 进行统一优化。 然而，以上模型缺乏对用户连续签到的两个 兴趣点之间的转移时空信息的考虑，并且时间信 息和空间信息之间复杂的交互也被忽略。最近， 序列信息和时空信息也被广泛地整合到 RNN 网 络中。文献 [25] 提出了 Distance2Pre 模型，利用 GRU 模型首次整合用户不同地理距离偏好进行 下一个兴趣点预测，提出线性和非线性方式整合 用户距离偏好分数的 2 种结构模型。文献 [4] 通过对 RNN 改进，提出整合时空信息的 RNN 模 型 (ST-RNN)，然而它使用固定窗口的时空转化信 息，缺乏对相邻的兴趣点之间的转移信息进行建 模。文献 [26] 提出了改进的 LSTM 模型，该模型 在 LSTM 模型中加入时间门和距离门，通过对相 邻签到地点之间的时间间隔和距离间隔进行建模 来提取用户长期和短期兴趣偏好。 以上模型都是将用户的历史签到记录作为 RNN 的输入，本文使用用户最后一次的会话信息 作为 RNN 的输入。并且，上述模型都忽略了用户 历史签到兴趣点与最终推荐的兴趣点的时间间隔 信息。与本文工作最为相似是 Distance2Pre 模 型，该模型通过对用户的不同距离偏好进行建 模，但其忽略了用户偏好与时间之间的关联，这 就意味着随着时间的改变，无论是之后的 1 个小 时还是 2 天内，Distance2Pre 将始终为用户预测相 同的推荐列表。本文提出的模型与上述模型的不 同之处体现在：1) 模型只使用用户最后的会话作 为 RNN 的输，具有更快的推荐速度；2) 模型能够 根据用户的查询条件以及用户的偏好变化情况进 行自适应调整，为相同用户推荐变化的个性化的 兴趣点推荐列表。 2 相关定义 U = {u1,u2,··· ,u|U|} P = {p1, p2,··· , p|P|} G = {gp1 ,gp2 ,··· ,g|P|} |U| |P| 令 表示所有用户组成的集 合， 和 分别表 示兴趣点的集合及其对应兴趣点的地理坐标的集 合，其中 和 分别表示用户数量和兴趣点数 量。本文中用户和兴趣点的标识都用连续的整数 编码，编码值从 1 开始。 定义 1 兴趣点 (POI)。兴趣点是具有唯一标 识 (编码) 的地点，它包含经纬度信息。 u H u ti = {p u t1 , p u t2 ,··· , p u ti } p u ti u ti p 定义 2 历史签到序列。某一用户 的历史 签到序列表示为 ，其中 表示 用户 在 时刻访问过兴趣点 。 H u ti p u ti Q = (∆d,ti+1) ∆d ti+1 定义 3 下一个兴趣点推荐。给定用户的历 史签到记录 ，用户最后的签到位置信息 以 及查询条件 ,其中 表示用户访问下 一个兴趣点的距离间隔。下一个兴趣点推荐目标 是为用户推荐其在 时刻最有可能访问的 TOP-K 个兴趣点。 3 基于时空循环神经网络的兴趣点 推荐模型 3.1 模型的输入信息 p7(Q) p7 S (t) S (t) ti ti−1 πs ti ti−1 图 1 中 表示用户在兴趣点 发出的查 询。 的取值为 0 或 1，用于判断用户签到兴趣 点是否属于同一个会话。 的值根据用户 2 个 相邻签到兴趣点之间的时间差得到，如果用户在 时刻签到与 时刻签到的差大于 ，即 S(t)=0， 表示用户在 和 时刻的签到兴趣点不属于同 一个会话。 πs 用户的偏好是随时间变化的，同时用户所处 地点也有可能发生变化，因此利用用户整个历史 签到记录进行下一个兴趣点推荐并不一定合适。 在下一个兴趣点推荐中，用户最近的签到地点通 常对于下一个兴趣点的推荐具有较大影响，因此 本文仅使用用户最后一次会话信息作为 RNN 的 输入，用户的签到会话表示为相邻的签到兴趣点 之间的最大间隔不超过 的一段连续签到序 列。从图 1 可以看出用户的历史签到记录被分成 了多个会话，session1 和 session2 是已完成会话， session3 是用户最后一次会话。图 1 中用户历史 第 3 期 柴瑞敏，等：基于时空循环神经网络的下一个兴趣点推荐方法 ·409·
·410- 智能系统学报 第16卷 签到序列上面的0和1数值表示相邻的两个兴趣 条件进行动态推荐，用户最后的一个会话信息被 点之间是否属于一个会话。本文将用户的每一次 用于推荐。例如，当用户在P地点提出查询时 签到记录作为训练目标，每个用户将会得到s-1 模型将会根据用户在p,的签到时间判断是否上 训练序列，s为用户历史签到总数。下面举例说 一个会话已结束，当用户的前一个会话结束时（即 明模型的训练和推荐过程。如果一个用户在3时 S)=0),用户最后一次签到的p地点将作为一 刻之前已访问过P、p2两个兴趣点，用户访问P1 个新的会话用于推荐下一个兴趣点，当S(①=1， 和P2之间的时间间隔小于π，那么P1和P2属于 说明p?地点的签到属于上一个会话信息，此时P6 同一个会话，假如用户在t(-52≤π)时刻在P 和P,将共同作为一个会话信息用于推荐下一个 兴趣点提出一个查询Q,此用户最后的会话信息 兴趣点。 {P1,P2,P}将会作为序列输入用于推荐，兴趣点p4 3.2序列建模 将会作为目标兴趣点进行训练。假如用户在 本文采用RNN模型对用户的签到序列信息 t4(t4-3>元)时刻在p4地点提出查询Q,由于当前 进行建模。在RNN中，用户在时刻签到的隐藏 用户的会话信息不属于上一会话，模型将在4时 层向量h,表示为 刻新建一个只包括当前用户查询位置的会话信息 h=f(Mp +Ch) (1) 作为输入，用户下一个访问的兴趣点5将会被作 式中：表示对应兴趣点p编码的低维向量；f 为训练目标。在模型的训练中，用户每次访问的 表示激活函数；M、C分别表示参数矩阵。 下一个兴趣点被当成目标兴趣点，由于它的地理 3.3时空偏好建模 信息和签到时间是已知的，用户访问下一个兴趣 一些模型在对空间信息建模时，通常认为用 点的时空间隔信息也可以通过计算得到。本文使 户更倾向于访问位置较近的地，点，通过利用空间 用用户访问下一个兴趣点的时空信息作为用户的 距离作为参数控制用户的空间偏好。然而，这些 查询信息在模型中进行训练。通过大量用户历史 模型无法对用户的远距离偏好的兴趣点进行推 签到数据集来学习，用户访问下一个兴趣点的远近 荐。传统的RNN模型对近距离和远距离的用户 距离偏好、长短时间偏好和时空信息的交互作用。 偏好建模存在困难，因此需要对RNN模型进行改 0 进。本文通过设置2个空间转移矩阵W、W2对 会话 用户的空间偏好进行建模，W,用于捕获用户的短 会话 距离偏好，W2用于捕获用户长距离偏好。为了能 P p/Q) 够让转移矩阵W,自然过渡到转移矩阵W2,设置 了一个最大距离间隔π4。当兴趣点转换距离在最 用户历史签到 用户提交查询时所处位置 大距离间隔内时，用户的空间偏好转移矩阵由距 Ps 离间隔对W,和W2转移矩阵进行加权计算得到。 session, session, session 当兴趣点转换距离在最大距离间隔外时，用户表 训练 输入会话 目标 session, 现出远距离的偏好，此时W2将作为空间转移矩 P P 阵。在训练时，用户访问下一个兴趣点的转换距 session 3 离（△d)由用户历史签到兴趣点相邻的下一个签 session P P P Pa 到兴趣点的距离相减得到，即 session, △d4=h(gt-8P) Ps 式中：△d表示相邻兴趣点的距离间隔；g表示 session, 安 用户u在k时刻访问的兴趣点p的经纬度坐标；h 预测 session, P p?) 表示Harversine公式，用于计算经纬度坐标之间的 1-=π 距离。根据用户签到兴趣点的转换距离，兴趣点 session, M?) 12-62=π 的空间转移矩阵可表示为 图1 基于会话的下一个兴趣点推荐模型的训练与推荐 Y(πa-△dk)W+△dW2 △d<ra 过程 Fig.1 Training and recommendation process of the next W2,△d≥πa POI recommendation model based on session 得到用户的空间转移矩阵D4后，用DM替 在模型的推荐过程中，模型根据用户的查询 代式(1)中的M矩阵，因此考虑用户空间偏好的
s−1 s t3 p1 p2 p1 p2 πs p1 p2 t3 t3 −t2 ⩽ πs p3 Q p1, p2, p3 p4 t4 t4 −t3 > πs p4 Q t4 p5 签到序列上面的 0 和 1 数值表示相邻的两个兴趣 点之间是否属于一个会话。本文将用户的每一次 签到记录作为训练目标，每个用户将会得到 训练序列， 为用户历史签到总数。下面举例说 明模型的训练和推荐过程。如果一个用户在 时 刻之前已访问过 、 两个兴趣点，用户访问 和 之间的时间间隔小于 ，那么 和 属于 同一个会话，假如用户在 ( ) 时刻在 兴趣点提出一个查询 ，此用户最后的会话信息 { }将会作为序列输入用于推荐，兴趣点 将会作为目标兴趣点进行训练。假如用户在 ( ) 时刻在 地点提出查询 ，由于当前 用户的会话信息不属于上一会话，模型将在 时 刻新建一个只包括当前用户查询位置的会话信息 作为输入，用户下一个访问的兴趣点 将会被作 为训练目标。在模型的训练中，用户每次访问的 下一个兴趣点被当成目标兴趣点，由于它的地理 信息和签到时间是已知的，用户访问下一个兴趣 点的时空间隔信息也可以通过计算得到。本文使 用用户访问下一个兴趣点的时空信息作为用户的 查询信息在模型中进行训练。通过大量用户历史 签到数据集来学习，用户访问下一个兴趣点的远近 距离偏好、长短时间偏好和时空信息的交互作用。 会话 会话 会话 p1 p1 p1 p1 p2 p2 p2 p3 p3 p4 p4 p4 p5 p5 p6 p6 p7 p7 p1 p2 p3 p4 p5 p6 p2 p3 p4 p5 p6 t1 t2 t3 t4 t5 t6 S(t) p7 (Q) p8 用户历史签到 用户提交查询时所处位置 session1 session1 session1 session1 session2 session2 session3 session4 session2 session3 训练 t7−t6=πs 预测 p(?) p(?) 1 1 0 1 0 输入会话 目标 图 1 基于会话的下一个兴趣点推荐模型的训练与推荐 过程 Fig. 1 Training and recommendation process of the next POI recommendation model based on session 在模型的推荐过程中，模型根据用户的查询 p7 p7 S (t) = 0 p7 S (t) = 1 p7 p6 p7 条件进行动态推荐，用户最后的一个会话信息被 用于推荐。例如，当用户在 地点提出查询时， 模型将会根据用户在 的签到时间判断是否上 一个会话已结束，当用户的前一个会话结束时 (即 )，用户最后一次签到的 地点将作为一 个新的会话用于推荐下一个兴趣点，当 ， 说明 地点的签到属于上一个会话信息，此时 和 将共同作为一个会话信息用于推荐下一个 兴趣点。 3.2 序列建模 tk htk 本文采用 RNN 模型对用户的签到序列信息 进行建模。在 RNN 中，用户在 时刻签到的隐藏 层向量 表示为 htk = f(M pu tk +Chtk−1 ) (1) p u t k p f M C 式中： 表示对应兴趣点 编码的低维向量； 表示激活函数； 、 分别表示参数矩阵。 3.3 时空偏好建模 W1 W2 W1 W2 W1 W2 πd W1 W2 W2 ∆d 一些模型在对空间信息建模时，通常认为用 户更倾向于访问位置较近的地点，通过利用空间 距离作为参数控制用户的空间偏好。然而，这些 模型无法对用户的远距离偏好的兴趣点进行推 荐。传统的 RNN 模型对近距离和远距离的用户 偏好建模存在困难，因此需要对 RNN 模型进行改 进。本文通过设置 2 个空间转移矩阵 、 对 用户的空间偏好进行建模， 用于捕获用户的短 距离偏好， 用于捕获用户长距离偏好。为了能 够让转移矩阵 自然过渡到转移矩阵 ，设置 了一个最大距离间隔 。当兴趣点转换距离在最 大距离间隔内时，用户的空间偏好转移矩阵由距 离间隔对 和 转移矩阵进行加权计算得到。 当兴趣点转换距离在最大距离间隔外时，用户表 现出远距离的偏好，此时 将作为空间转移矩 阵。在训练时，用户访问下一个兴趣点的转换距 离 ( ) 由用户历史签到兴趣点相邻的下一个签 到兴趣点的距离相减得到，即 ∆dk = h ( g u,pk+1 k+1 −g u,pk k ) ∆dk g u,pk k u k p h Harversine 式中： 表示相邻兴趣点的距离间隔； 表示 用户 在 时刻访问的兴趣点 的经纬度坐标； 表示 公式，用于计算经纬度坐标之间的 距离。根据用户签到兴趣点的转换距离，兴趣点 的空间转移矩阵可表示为 D∆dk = (πd −∆dk)W1 πd + ∆dkW2 πd , ∆dk < πd W2 , ∆dk ⩾ πd D∆dk D∆dk M 得到用户的空间转移矩阵 后，用 替 代式 (1) 中的 矩阵，因此考虑用户空间偏好的 ·410· 智 能 系 统 学 报 第 16 卷
第3期 柴瑞敏，等：基于时空循环神经网络的下一个兴趣点推荐方法 ·411· RNN公式可以表示为 用户访问每个兴趣点的偏好分数xp,利用softmax h f(Dad.p+Ch) 函数计算用户访问每个兴趣点的概率： 同理，为了考虑用户的时间偏好，本文也设置 exp(x) yp.= -,m∈1,2，…，N 两个时间转移矩阵W、W,和最大时间间隔元来 捕获用户的短时间偏好和长时间偏好。两个相邻 2 exp(xe.) =1 签到兴趣点之间的时间间隔由用户历史签到兴趣 式中：N表示兴趣点的总数；m表示兴趣点的唯一 点与相邻的下一个兴趣点的签到时间差得到，表 标识；y.表示用户将会访问标识为m的兴趣点的 示为 概率。 △=一 式中：△1为相邻签到兴趣点之间的时间间隔， 4模型实验及结果 min;表示用户u在k时刻访问兴趣点p的时 4.1 实验设置 间点。因此用户的时间转移矩阵可表示为 1)数据集 π，-△)W3,△W + T4= ，△tk<π 本文使用2个公开数据集，即Foursquare和 W4,△t≥π CA数据集。2个数据集中，用户的每次签到记录 为了同时考虑用户的时间转移偏好和距离转 都包括4个属性：用户ID、兴趣点D、签到时间 移偏好，本文使用时间转移矩阵和空间转移矩阵 和GPS位置。Foursquare数据集2m,包括用户在 乘积的形式作为用户的时空偏好转移矩阵。因 Foursquare应用软件上2010年8月一2011年1月 此RNN公式可以改写为 在新加坡的352850条签到记录；CA数据集包括 ha=f(T·Dad'p%+Ch) 生活在美国加利福尼亚州的4163名使用者的 为了更充分利用签到序列中的时间信息，本 483813个签到信息、121142个不同的兴趣点。 文进一步提取用户签到序列中的每个兴趣点与推 遵循常用的下一个兴趣点预处理方式21,26,2，在 荐兴趣点的时间间隔△a: 这2个数据集中，移除了少于5次签到信息的用 △a=t-P 户以及少于5个用户访问的兴趣点。数据预处理 式中：k∈{1,2，…，；表示用户将要访问的下一 结果如表1所示。本文选择用户历史签到数据集 个兴趣点的时刻；表示用户在时刻访问兴趣 的最后一次签到记录作为测试集，其余作为训练 点Pk的签到时间。这里对△a.进行分段表示，时 集，以前的大多数工作251也都采用这种方法 间间隔为20min,分成等间距的145段，每段用对 对数据集进行分割。 应的连续整数表示。例如：当0≤△a<20min 表1数据预处理结果 时，其分段数值编号为0，当△aw≥2880min时，其 Table 1 Data preprocessing results 数值编号为144。之后通过嵌入层得到对应的嵌 数据集 用户 兴趣点 签到数 平均签到 入向量△a4,因此整合时间信息△a的循环神经 Foursquare 2321 5596 194108 86.63 网络可进一步表示为 CA 3041 9641 186364 61.28 hn=f(T4·Da4(p4+△au)+Ch-) 最后，将用户签到序列信息和用户偏好作为 2)参数设置 用户访问下一个兴趣点的最终推荐向量，表示为 实验中，SST-RNN模型采用PyTorch编程实 h“=h+u 现，设置用户向量、兴趣点向量和时间间隔向量 式中：h,表示RNN网络最终的输出向量；u表示 的嵌入维度为20，隐藏层神经元个数为20。向量 用户的嵌人向量；表示，时刻用户将要访问的 嵌入过程是通过PyTorch提供的“nn.Embedding 下一个兴趣点对应的偏好向量。 嵌入查找表的方法实现。时间转移矩阵和空间转 3.4模型推荐 移矩阵的大小为R2020,元为8h。在Foursquare 受矩阵分解的启发，用户对下一个兴趣点的 数据集中，最优的参数值为π=24h,π=14km,在 偏好可由偏好向量：与兴趣点p对应的向量p CA数据集中，最优的参数值为π=16h,π=12km, 的内积来表示。向量的内积越大表示用户越倾向 参数的确定将在之后的“参数分析”部分进行说 于访问此兴趣点，即 明。学习率设置为0.001，激活函数选择ReLU。 xp=h⑧p 本文使用交叉嫡损失函数和BPTT算法进行误差 本文将兴趣点推荐问题看成分类问题，根据 的计算和误差的反向传播，使用SGD优化器对参
RNN 公式可以表示为 htk = f(D∆dk · p u tk +Chtk−1 ) W3 W4 πt 同理，为了考虑用户的时间偏好，本文也设置 两个时间转移矩阵 、 和最大时间间隔 来 捕获用户的短时间偏好和长时间偏好。两个相邻 签到兴趣点之间的时间间隔由用户历史签到兴趣 点与相邻的下一个兴趣点的签到时间差得到，表 示为 ∆tk = t u,pk+1 k+1 −t u,pk k ∆tk t u,pk k u k p 式中： 为相邻签到兴趣点之间的时间间隔， min； 表示用户 在 时刻访问兴趣点 的时 间点。因此用户的时间转移矩阵可表示为 T∆tk = (πt −∆tk)W3 πt + ∆tkW4 πt , ∆tk < πt W4, ∆tk ⩾ πt 为了同时考虑用户的时间转移偏好和距离转 移偏好，本文使用时间转移矩阵和空间转移矩阵 乘积的形式作为用户的时空偏好转移矩阵。因 此 RNN 公式可以改写为 htk = f(T∆tk · D∆dk · p u tk +Chtk−1 ) ∆atk 为了更充分利用签到序列中的时间信息，本 文进一步提取用户签到序列中的每个兴趣点与推 荐兴趣点的时间间隔 ： ∆atk = t u,pi+1 i+1 −t u,pk k k ∈ {1,2,··· ,i} t u,pi+1 i+1 t u,pk k tk pk ∆atk 0 ⩽ ∆atk < 20 ∆atk ⩾ 2 880 ∆at k ∆at k 式中： ； 表示用户将要访问的下一 个兴趣点的时刻； 表示用户在 时刻访问兴趣 点 的签到时间。这里对 进行分段表示，时 间间隔为 20 min，分成等间距的 145 段，每段用对 应的连续整数表示。例如：当 min 时，其分段数值编号为 0，当 min 时，其 数值编号为 144。之后通过嵌入层得到对应的嵌 入向量 ，因此整合时间信息 的循环神经 网络可进一步表示为 htk = f(T∆tk · D∆dk ·(p u tk + ∆atk )+Chtk−1 ) 最后，将用户签到序列信息和用户偏好作为 用户访问下一个兴趣点的最终推荐向量，表示为 h u ti = hti +u hti u h u ti ti 式中： 表示 RNN 网络最终的输出向量； 表示 用户的嵌入向量； 表示 时刻用户将要访问的 下一个兴趣点对应的偏好向量。 3.4 模型推荐 h u ti p p 受矩阵分解的启发，用户对下一个兴趣点的 偏好可由偏好向量 与兴趣点 对应的向量 的内积来表示。向量的内积越大表示用户越倾向 于访问此兴趣点，即 xp = h u ti ⊗ p 本文将兴趣点推荐问题看成分类问题，根据 用户访问每个兴趣点的偏好分数 xp ,利用 softmax 函数计算用户访问每个兴趣点的概率： ypm = exp(xpm ) ∑N n=1 exp(xpn ) , m ∈ 1,2,··· ,N N m ypm m 式中： 表示兴趣点的总数； 表示兴趣点的唯一 标识； 表示用户将会访问标识为 的兴趣点的 概率。 4 模型实验及结果 4.1 实验设置 1）数据集 本文使用 2 个公开数据集，即 Foursquare 和 CA 数据集。2 个数据集中，用户的每次签到记录 都包括 4 个属性：用户 ID、兴趣点 ID、签到时间 和 GPS 位置。Foursquare 数据集[27] ，包括用户在 Foursquare 应用软件上 2010 年 8 月—2011 年 1 月 在新加坡的 352 850 条签到记录；CA 数据集包括 生活在美国加利福尼亚州的4 163 名使用者的 483 813 个签到信息、121 142 个不同的兴趣点。 遵循常用的下一个兴趣点预处理方式[21, 26, 28] ，在 这 2 个数据集中，移除了少于 5 次签到信息的用 户以及少于 5 个用户访问的兴趣点。数据预处理 结果如表 1 所示。本文选择用户历史签到数据集 的最后一次签到记录作为测试集，其余作为训练 集，以前的大多数工作[9, 25, 29] 也都采用这种方法 对数据集进行分割。 表 1 数据预处理结果 Table 1 Data preprocessing results 数据集 用户 兴趣点 签到数 平均签到 Foursquare 2 321 5596 194108 86.63 CA 3 041 9641 186364 61.28 2）参数设置 πs πt πd πt πd 实验中，SST-RNN 模型采用 PyTorch 编程实 现，设置用户向量、兴趣点向量和时间间隔向量 的嵌入维度为 20，隐藏层神经元个数为 20。向量 嵌入过程是通过 PyTorch 提供的“nn.Embedding” 嵌入查找表的方法实现。时间转移矩阵和空间转 移矩阵的大小为 R 20x20 ， 为 8 h。在 Foursquare 数据集中，最优的参数值为 =24 h， =14 km，在 CA 数据集中，最优的参数值为 =16 h， =12 km， 参数的确定将在之后的“参数分析”部分进行说 明。学习率设置为 0.001，激活函数选择 ReLU。 本文使用交叉熵损失函数和 BPTT 算法进行误差 的计算和误差的反向传播，使用 SGD 优化器对参 第 3 期 柴瑞敏，等：基于时空循环神经网络的下一个兴趣点推荐方法 ·411·
·412· 智能系统学报 第16卷 数进行优化。 远近距离偏好和长短时间偏好建模，根据用户的 3)评价方法 会话信息进行个性化的下一个兴趣点推荐。 选用两个常用的度量标准Accuracy@K(ACC@K) 4.2实验结果和分析 和MAP作为实验评价指标。ACC@K是推荐系 4.2.1实验结果 统中常用衡量推荐效果好坏的指标，对于用户的 Foursquare和CA数据集在不同模型的实验 一次推荐，如果用户访问的下一个兴趣点出现在 结果如表2、3所示，其中Improvement表示本文 推荐列表中，则认为预测正确，其值为1，否则为0。 提出的模型相对于对比模型中的最好性能提升的 ACC@K的值是取所有测试实例的平均值，值越 效果，模型提升效果的计算公式为 高表示模型的推荐效果越好。MAP是衡量推荐 列表中兴趣点排名的标准，如果用户访问下一个 I=R-C ×100% 兴趣点在推荐列表的位置越靠前，MAP的得分就 式中：R表示SST-RNN模型的实验结果；C表示 会越高。 最好的对比模型实验结果。 4)对比模型 表2 Foursquare数据集上ACC@K和MAP表现对比 本文使用基线算法和最新的算法进行对比， Table 2 Performance comparison on the Foursquare 对比模型中的所有用户和兴趣点的向量维度均 dataset by ACC@K and MAP % 为20。对比模型的参数设置采用原论文默认的 模型 ACC@5 ACC@10 ACC@15 MAP 参数，实验结果是模型训练迭代100次中的最优 BPR 10.15 15.08 18.33 6.28 结果。 GRU 10.19 15.17 18.31 6.68 ①BPR2:利用矩阵分解算法和BPR损失对 “用户-兴趣点”的隐式反馈矩阵进行优化。作为 FPMC-LR 11.12 15.64 18.83 7.13 基线模型，BPR认为用户对交互过的兴趣点偏好 PRME-G 12.88 15.73 17.75 8.65 大于未交互的兴趣点。 RNN 14.48 19.68 23.01 9.98 ②RNN:通过标准的循环神经网络结构对用 POI2Vec 15.45 18.79 20.55 10.84 户历史访问兴趣点的时序信息建模。作为基线模 Distance2Pre 15.02 20.38 24.28 10.08 型，RNN只使用最后一次会话信息作为输入。 SST-RNN 21.07 26.76 30.68 14.17 ③GRUs1:RNN的最新变体，通过2个门控 单元控制信息的流动，能够处理长序列依赖问 Improvement 36.38 31.31 26.36 30.72 题，解决RNN存在的梯度消失和梯度爆炸问题。 表3CA数据集上ACC@K和MAP的表现对比 作为基线模型，该模型使用用户的全部历史签到 Table 3 Performance comparison on the CA dataset 记录作为输入。 by ACC@K and MAP 号 ④FPMC-LR2:利用个性化马尔科夫链对用 模型 ACC@5 ACC@10 ACC@15 MAP 户签到序列建模，结合用户的地理位置限制进行 BPR 9.70 13.15 15.65 7.07 下一个兴趣点推荐。 GRU 10.55 14.76 17.29 7.87 ⑤PRME-G叨：利用度量嵌入的方法对用户序 FPMC-LR 10.21 13.64 15.92 8.21 列信息建模，将空间距离作为权重控制用户的距 PRME-G 11.6 14.82 16.79 9.84 离偏好。 ⑥POI2Vec2:该模型使用二叉树将距离相近 RNN 14.03 17.38 19.52 10.25 的兴趣点聚为一类。为了增强兴趣点的空间影 POI2Vec 13.18 16.5 18.52 9.98 响，一个兴趣点可以分配到多个类中。 Distance2Pre 14.99 19.39 21.98 11.18 ⑦Distance2PreP:利用GRU模型根据用户签 SST-RNN 17.06 20.82 23.94 13.11 到历史序列信息和距离偏好进行推荐。提出了 Improvement 13.81 7.38 8.92 17.26 Distance(linear)和Distance(non-linear))两种模型， 本文使用效果表现最好的Distance(non-linear)模 4.2.2实验结果分析 型，其默认的隐藏层神经元个数为20。 首先，比较BPR和GRU这2个基线算法，它 ⑧SST-RNN:本文提出的模型，通过改进 们只用到单一的信息进行推荐，表现效果较差。 RNN模型使其能够对用户访问下一个兴趣点的 BPR利用用户的偏好进行推荐，而GRU模型使用
数进行优化。 3）评价方法 选用两个常用的度量标准 Accuracy@K(ACC@K) 和 MAP 作为实验评价指标。ACC@K 是推荐系 统中常用衡量推荐效果好坏的指标，对于用户的 一次推荐，如果用户访问的下一个兴趣点出现在 推荐列表中，则认为预测正确，其值为 1，否则为 0。 ACC@K 的值是取所有测试实例的平均值，值越 高表示模型的推荐效果越好。MAP 是衡量推荐 列表中兴趣点排名的标准，如果用户访问下一个 兴趣点在推荐列表的位置越靠前，MAP 的得分就 会越高。 4）对比模型 本文使用基线算法和最新的算法进行对比， 对比模型中的所有用户和兴趣点的向量维度均 为 20。对比模型的参数设置采用原论文默认的 参数，实验结果是模型训练迭代 100 次中的最优 结果。 ①BPR[29] ：利用矩阵分解算法和 BPR 损失对 “用户−兴趣点”的隐式反馈矩阵进行优化。作为 基线模型，BPR 认为用户对交互过的兴趣点偏好 大于未交互的兴趣点。 ②RNN：通过标准的循环神经网络结构对用 户历史访问兴趣点的时序信息建模。作为基线模 型，RNN 只使用最后一次会话信息作为输入。 ③GRU[15] ：RNN 的最新变体，通过 2 个门控 单元控制信息的流动，能够处理长序列依赖问 题，解决 RNN 存在的梯度消失和梯度爆炸问题。 作为基线模型，该模型使用用户的全部历史签到 记录作为输入。 ④FPMC-LR[21] ：利用个性化马尔科夫链对用 户签到序列建模，结合用户的地理位置限制进行 下一个兴趣点推荐。 ⑤PRME-G[17] ：利用度量嵌入的方法对用户序 列信息建模，将空间距离作为权重控制用户的距 离偏好。 ⑥POI2Vec[24] ：该模型使用二叉树将距离相近 的兴趣点聚为一类。为了增强兴趣点的空间影 响，一个兴趣点可以分配到多个类中。 ⑦Distance2Pre[25] ：利用 GRU 模型根据用户签 到历史序列信息和距离偏好进行推荐。提出了 Distance (linear) 和 Distance (non-linear) 两种模型， 本文使用效果表现最好的 Distance (non-linear) 模 型，其默认的隐藏层神经元个数为 20。 ⑧SST-RNN：本文提出的模型，通过改进 RNN 模型使其能够对用户访问下一个兴趣点的 远近距离偏好和长短时间偏好建模，根据用户的 会话信息进行个性化的下一个兴趣点推荐。 4.2 实验结果和分析 4.2.1 实验结果 Foursquare 和 CA 数据集在不同模型的实验 结果如表 2、3 所示，其中 Improvement 表示本文 提出的模型相对于对比模型中的最好性能提升的 效果，模型提升效果的计算公式为 I = R−C C ×100% 式中：R 表示 SST-RNN 模型的实验结果；C 表示 最好的对比模型实验结果。 表 2 Foursquare 数据集上 ACC@K 和 MAP 表现对比 Table 2 Performance comparison on the Foursquare dataset by ACC@K and MAP % 模型 ACC@5 ACC@10 ACC@15 MAP BPR 10.15 15.08 18.33 6.28 GRU 10.19 15.17 18.31 6.68 FPMC-LR 11.12 15.64 18.83 7.13 PRME-G 12.88 15.73 17.75 8.65 RNN 14.48 19.68 23.01 9.98 POI2Vec 15.45 18.79 20.55 10.84 Distance2Pre 15.02 20.38 24.28 10.08 SST-RNN 21.07 26.76 30.68 14.17 Improvement 36.38 31.31 26.36 30.72 表 3 CA 数据集上 ACC@K 和 MAP 的表现对比 Table 3 Performance comparison on the CA dataset by ACC@K and MAP % 模型 ACC@5 ACC@10 ACC@15 MAP BPR 9.70 13.15 15.65 7.07 GRU 10.55 14.76 17.29 7.87 FPMC-LR 10.21 13.64 15.92 8.21 PRME-G 11.6 14.82 16.79 9.84 RNN 14.03 17.38 19.52 10.25 POI2Vec 13.18 16.5 18.52 9.98 Distance2Pre 14.99 19.39 21.98 11.18 SST-RNN 17.06 20.82 23.94 13.11 Improvement 13.81 7.38 8.92 17.26 4.2.2 实验结果分析 首先，比较 BPR 和 GRU 这 2 个基线算法，它 们只用到单一的信息进行推荐，表现效果较差。 BPR 利用用户的偏好进行推荐，而 GRU 模型使用 ·412· 智 能 系 统 学 报 第 16 卷
第3期 柴瑞敏，等：基于时空循环神经网络的下一个兴趣点推荐方法 ·413· 用户历史签到的序列信息。从2个数据集的实验 的推荐效果，说明用户访问下一个兴趣点受不同 结果可以看出，GRU模型的表现优于使用BPR损 距离偏好的影响。可以看出，结合用户时空偏好 失的矩阵分解算法，说明在下一个兴趣点推荐 和序列信息的SST-RNN模型在各个评价标准中 中，序列信息比用户偏好更重要。BPR模型更适 均表现出最优的结果，显著优于其他所有比较的 合一般的兴趣点推荐，然而GU更适合于下一个 模型。这是因为SST-RNN能够对用户访问下一 兴趣点推荐。 个兴趣点的远近距离偏好和长短时间偏好进行建 其次，从两个数据集上的实验结果可以看出 模，充分利用时间信息、序列信息和用户偏好进 整合兴趣点的地理位置信息和序列信息的FPMC 行个性化的下一个兴趣点推荐。 LR、PRME-G、POI2Vec、Distance.2Pre和SST- 4.2.3参数分析 RNN模型优于BPR和GRU算法。反映出序列信 本文的SST-RNN模型中的参数主要包括神 息和地理位置信息是下一个兴趣点推荐的重要指 经元个数、会话长度（π）、控制用户访问下一个兴 标，同时整合序列信息和地理位置信息通常能提 趣点的远近距离偏好（π）和长短时间偏好（π） 高下一个兴趣点推荐的准确率。POI2Vec模型优 4个参数变量。为了保持模型对比的公平性，本 于PRME-G和FPMC-LR模型，说明用户在访问 文设置神经元个数与之前提到的基于GU对比 下一个兴趣点中更倾向于访问较近的兴趣点。 模型的算法保持一致，神经元个数设置为20。π 参数用于控制输入的会话信息，较长的2个相邻 PRME-G在两个数据集的表现均优于FPMC-LR 兴趣点时间间隔将导致2个兴趣点之间的序列 模型。 依赖性降低2。本文首先在2个数据集上测试 下面比较RNN、GRU、Distance2Pre、SST- π，=6h、π，=8h、π，=10h模型的效果，发现在2个数 RNN,它们都是基于循环神经网络的模型。GRU 据集上π，的取值对于模型的表现有很微弱的影 是最新RNN的变体，通过门控单元控制信息流 响，因此本文固定会话长度π，=8h。主要探索用 动，解决了RNN存在的梯度消失和梯度爆炸问 户访问下一个兴趣点的远近距离偏好π和长短 题。标准的RNN模型使用用户最后的会话信息 时间偏好（π，）的影响。由于π，和π参数取值之 用于推荐，而GRU使用用户的整个历史签到信 间相互影响，找出最优的参数值将需要大量的计 息。通过实验结果可以看出，相比于GRU模型， 算。本文首先随机初始化一些π={6,8,10,12， RNN模型在两个数据集上的表现有极大的提升， 14}km和π，={8,16,24,32,40}h的参数组合，当 表明用户访问下一个兴趣点的行为主要受当前用 π=10km,π，=8h,时，模型在2个数据集中表现较 户所在环境的影响，使用整个用户的签到记录可 好。为了进一步探索较优的参数值，本文首先固 能导致增加更多的干扰信息以及无法捕获用户变 定π=8h,探索最优的π4取值，实验结果如表4所 化的偏好。通过Distance2Pre、SST-RNN与其他 示。找到最优的π参数值后，再固定π的值，之 模型对比，可以看出Distance2Pre和SST-RNN优 后找出最优π参数值，实验结果如表5所示。最 于其他比较算法。其原因是：其他模型更倾向于 终得到的较优的π，和π：参数将作为2个数据集 给用户推荐近距离的地点，从而限制模型给用户 上最终的实验参数设置。实验中，ACC@5和 推荐较远的地点，而且这些模型也忽略用户访问 MAP指标被选为评价标准，。 下一个兴趣点的不同距离偏好。Distance2Pre使 从表4、5的实验结果可以看出：当π 用GRU模型根据用户对空间距离的偏好进行建 14km,π=24h时，模型在Foursquare数据集上表 模，通过在GRU隐藏层上应用一层全连接神经网 现最好；当πu=l2km,π=16h时，模型在CA数据 络对用户的不同距离偏好进行建模，提升了模型 集上表现最好。 表4π：参数对于Foursquare和CA数据集影响 Table 4 Influence of parameters on Foursquare and CA datasets % 数据集 评价lπa 6km 8km 10km 12 km 14 km ACc@5 20.03 19.91 20.51 19.95 20.68 Foursquare MAP 13.67 13.69 14.03 13.66 14.04 ACC@5 16.41 16.71 16.84 16.97 16.74 CA MAP 12.59 12.68 12.86 12.89 12.67
用户历史签到的序列信息。从 2 个数据集的实验 结果可以看出，GRU 模型的表现优于使用 BPR 损 失的矩阵分解算法，说明在下一个兴趣点推荐 中，序列信息比用户偏好更重要。BPR 模型更适 合一般的兴趣点推荐，然而 GRU 更适合于下一个 兴趣点推荐。 其次，从两个数据集上的实验结果可以看出 整合兴趣点的地理位置信息和序列信息的 FPMCLR、PRME-G、POI2Vec、Distance2Pre 和 SSTRNN 模型优于 BPR 和 GRU 算法。反映出序列信 息和地理位置信息是下一个兴趣点推荐的重要指 标，同时整合序列信息和地理位置信息通常能提 高下一个兴趣点推荐的准确率。POI2Vec 模型优 于 PRME-G 和 FPMC-LR 模型，说明用户在访问 下一个兴趣点中更倾向于访问较近的兴趣点。 PRME-G 在两个数据集的表现均优于 FPMC-LR 模型。 下面比较 RNN、GRU、Distance2Pre、SSTRNN，它们都是基于循环神经网络的模型。GRU 是最新 RNN 的变体，通过门控单元控制信息流 动，解决了 RNN 存在的梯度消失和梯度爆炸问 题。标准的 RNN 模型使用用户最后的会话信息 用于推荐，而 GRU 使用用户的整个历史签到信 息。通过实验结果可以看出，相比于 GRU 模型， RNN 模型在两个数据集上的表现有极大的提升， 表明用户访问下一个兴趣点的行为主要受当前用 户所在环境的影响，使用整个用户的签到记录可 能导致增加更多的干扰信息以及无法捕获用户变 化的偏好。通过 Distance2Pre、SST-RNN 与其他 模型对比，可以看出 Distance2Pre 和 SST-RNN 优 于其他比较算法。其原因是：其他模型更倾向于 给用户推荐近距离的地点，从而限制模型给用户 推荐较远的地点，而且这些模型也忽略用户访问 下一个兴趣点的不同距离偏好。Distance2Pre 使 用 GRU 模型根据用户对空间距离的偏好进行建 模，通过在 GRU 隐藏层上应用一层全连接神经网 络对用户的不同距离偏好进行建模，提升了模型 的推荐效果，说明用户访问下一个兴趣点受不同 距离偏好的影响。可以看出，结合用户时空偏好 和序列信息的 SST-RNN 模型在各个评价标准中 均表现出最优的结果，显著优于其他所有比较的 模型。这是因为 SST-RNN 能够对用户访问下一 个兴趣点的远近距离偏好和长短时间偏好进行建 模，充分利用时间信息、序列信息和用户偏好进 行个性化的下一个兴趣点推荐。 4.2.3 参数分析 πs πd πt πs πs πs πs πs πs πd πt πt πd πd πt πd πt πt πd πd πd πt πt πd 本文的 SST-RNN 模型中的参数主要包括神 经元个数、会话长度 ( )、控制用户访问下一个兴 趣点的远近距离偏好 ( ) 和长短时间偏好 ( ) 4 个参数变量。为了保持模型对比的公平性，本 文设置神经元个数与之前提到的基于 GRU 对比 模型的算法保持一致，神经元个数设置为 20。 参数用于控制输入的会话信息，较长的 2 个相邻 兴趣点时间间隔将导致 2 个兴趣点之间的序列 依赖性降低[21]。本文首先在 2 个数据集上测试 =6 h、 =8 h、 =10 h 模型的效果，发现在 2 个数 据集上 的取值对于模型的表现有很微弱的影 响，因此本文固定会话长度 =8 h。主要探索用 户访问下一个兴趣点的远近距离偏好 和长短 时间偏好 ( ) 的影响。由于 和 参数取值之 间相互影响，找出最优的参数值将需要大量的计 算。本文首先随机初始化一些 ={6，8，10，12， 14}km 和 ={8，16，24，32，40} h 的参数组合，当 =10 km， =8 h，时，模型在 2 个数据集中表现较 好。为了进一步探索较优的参数值，本文首先固 定 =8 h，探索最优的 取值，实验结果如表 4 所 示。找到最优的 参数值后，再固定 的值，之 后找出最优 参数值，实验结果如表 5所示。最 终得到的较优的 和 参数将作为 2 个数据集 上最终的实验参数设置。实验中， ACC@5 和 MAP 指标被选为评价标准，。 πd πt πd πt 从 表 4 、 5 的实验结果可以看出：当 = 14 km, =24 h 时，模型在 Foursquare 数据集上表 现最好；当 =12 km, =16 h 时，模型在 CA 数据 集上表现最好。 表 4 πd 参数对于 Foursquare 和 CA 数据集影响 Table 4 Influence of πd parameters on Foursquare and CA datasets % 数据集 评价 πd / 6 km 8 km 10 km 12 km 14 km Foursquare ACC@5 20.03 19.91 20.51 19.95 20.68 MAP 13.67 13.69 14.03 13.66 14.04 CA ACC@5 16.41 16.71 16.84 16.97 16.74 MAP 12.59 12.68 12.86 12.89 12.67 第 3 期 柴瑞敏，等：基于时空循环神经网络的下一个兴趣点推荐方法 ·413·
·414· 智能系统学报 第16卷 表5兀，参数对于Foursquare和CA数据集影响 Table 5 Influence of parameters on Foursquare and CA datasets % 数据集 评价你 8h 16h 24h 32h 40h ACC@5 20.68 20.42 21.07 20.42 20.33 Foursquare MAP 14.04 14.10 14.17 13.83 14.04 ACC@5 16.97 17.06 17.00 16.87 16.64 CA MAP 12.89 13.11 13.11 12.58 12.72 5结束语 tions on systems,man,and cybernetics:systems,2015, 45(1):129-142. 本文研究了下一个兴趣点推荐的问题，提出 [6]LI Huayu,GE Yong,HONG Richang,et al.Point-of-in- 了一种新的基于会话的时空循环神经网络模型， terest recommendations:learning potential check-ins from 该模型能够同时考虑序列信息、两类时间信息、 friends[C]//Proceedings of the 22nd ACM SIGKDD Inter- 空间信息以及用户偏好进行个性化的下一个兴趣 national Conference on Knowledge Discovery and Data 点推荐。为了解决用户不同的时空偏好问题，本 Mining.San Francisco,USA,2016:975-984. 文对RNN神经网络进行改进，提出利用时空转移 [7]ZHANG Zhiyuan,LIU Yun,ZHANG Zhenjiang,et al. 矩阵对用户不同的时空偏好进行建模，使RNN模 Fused matrix factorization with multi-tag,social and geo- 型能够捕获用户签到行为的时空信息。通过在真 graphical influences for POI recommendation[J].World 实的数据集上对模型进行性能测试，结果表明， wide web,2019,22(3):1135-1150. 提出的模型显著优于当前主流相关模型。下一步 [8]孟祥福，张霄雁，唐延欢，等.基于地理-社会关系的多样 性与个性化兴趣点推荐).计算机学报，2019,42(11)： 工作将探索更丰富的数据集，进一步结合用户基 2574-2590. 本属性、地点基本属性来解决兴趣点推荐中出现 MENG Xiangfu,ZHANG Xiaoyan,TANG Yanhuan,et.al 的冷启动问题，并且整合其他辅助的信息（如图 A diversified and personalized recommendation approach 像、用户评分和文本评论等)作更精确的下一个 based on geo-social relationships[J].Chinese journal of 兴趣点推荐。 computers,.2019,42(11):2574-2590. 参考文献： [9]XINXin,CHEN Bo,HE Xiangnan,et al.CFM:convolu- tional factorization machines for context-aware recom- [1]RENDLE S,FREUDENTHALER C.SCHMIDT-THIEME mendation[C]//Proceedings of the Twenty-Eighth Interna- L.Factorizing personalized Markov chains for next-basket tional Joint Conference on Artificial Intelligence.Macao, recommendation[C//Proceedings of the 19th International China,2019:3926-3932. Conference on World Wide Web.North Carolina.USA. [10]HE Jing,LI Xin,LIAO Lejian.Category-aware next 2010:811-820 point-of-interest recommendation via listwise bayesian [2]LIU Qiang,WU Shu,WANG Diyi,et al.Context-aware personalized ranking[C]//Proceedings of the Twenty- sequential recommendation[Cl//Proceedings of the IEEE Sixth International Joint Conference on Artificial Intelli- 16th International Conference on Data Mining.Barcelona, gence.Melbourne,Australia,2017:1837-1843. Spain,2016:1053-1058 [11]ZHANG Zhiqian,LI Chenliang,WU Zhiyong,et al. [3]FENG Jie,LI Yong,ZHANG Chao,et al.DeepMove:pre- NEXT:a neural network framework for next POI recom- dicting human mobility with attentional recurrent net- mendation[J].Frontiers of computer science,2020,14(2) works[C]//Proceedings of the 2018 World Wide Web Con- 314333 ference.Lyon,France,2018:1459-1468. [12]ZHANG Lu,SUN Zhu,ZHANG Jie,et al.Modeling hier- [4]LIU Qiang,WU Shu,WANG Liang,et al.Predicting the archical category transition for next POI recommendation next location:a recurrent model with spatial and temporal with uncertain check-ins[J].Information sciences,2020, contexts[C]//Proceedings of the Thirtieth AAAl Confer- 515:169-190. ence on Artificial Intelligence.Phoenix,USA,2016: [13]CHO K.VAN MERRIENBOER B,GULCEHRE C,et al. 194-200. Learning phrase representations using RNN encoder-de- [5]YANG Dingqi,ZHANG Daqing,ZHENG V W,et al. coder for statistical machine translation[C]//Proceedings Modeling user activity preference by leveraging user spa- of the 2014 Conference on Empirical Methods in Natural tial temporal characteristics in LBSNs[J].IEEE transac- Language Processing.Doha,Qatar,2014:1724-1734
表 5 πt 参数对于 Foursquare 和 CA 数据集影响 Table 5 Influence of πt parameters on Foursquare and CA datasets % 数据集 评价 πt / 8 h 16 h 24 h 32 h 40 h Foursquare ACC@5 20.68 20.42 21.07 20.42 20.33 MAP 14.04 14.10 14.17 13.83 14.04 CA ACC@5 16.97 17.06 17.00 16.87 16.64 MAP 12.89 13.11 13.11 12.58 12.72 5 结束语 本文研究了下一个兴趣点推荐的问题，提出 了一种新的基于会话的时空循环神经网络模型， 该模型能够同时考虑序列信息、两类时间信息、 空间信息以及用户偏好进行个性化的下一个兴趣 点推荐。为了解决用户不同的时空偏好问题，本 文对 RNN 神经网络进行改进，提出利用时空转移 矩阵对用户不同的时空偏好进行建模，使 RNN 模 型能够捕获用户签到行为的时空信息。通过在真 实的数据集上对模型进行性能测试，结果表明， 提出的模型显著优于当前主流相关模型。下一步 工作将探索更丰富的数据集，进一步结合用户基 本属性、地点基本属性来解决兴趣点推荐中出现 的冷启动问题，并且整合其他辅助的信息 (如图 像、用户评分和文本评论等) 作更精确的下一个 兴趣点推荐。 参考文献： RENDLE S, FREUDENTHALER C, SCHMIDT-THIEME L. Factorizing personalized Markov chains for next-basket recommendation[C]//Proceedings of the 19th International Conference on World Wide Web. North Carolina, USA, 2010: 811−820. [1] LIU Qiang, WU Shu, WANG Diyi, et al. Context-aware sequential recommendation[C]//Proceedings of the IEEE 16th International Conference on Data Mining. Barcelona, Spain, 2016: 1053−1058. [2] FENG Jie, LI Yong, ZHANG Chao, et al. DeepMove: predicting human mobility with attentional recurrent networks[C]//Proceedings of the 2018 World Wide Web Conference. Lyon, France, 2018: 1459−1468. [3] LIU Qiang, WU Shu, WANG Liang, et al. Predicting the next location: a recurrent model with spatial and temporal contexts[C]//Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Phoenix, USA, 2016: 194−200. [4] YANG Dingqi, ZHANG Daqing, ZHENG V W, et al. Modeling user activity preference by leveraging user spatial temporal characteristics in LBSNs[J]. IEEE transac- [5] tions on systems, man, and cybernetics: systems, 2015, 45(1): 129–142. LI Huayu, GE Yong, HONG Richang, et al. Point-of-interest recommendations: learning potential check-ins from friends[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco, USA, 2016: 975−984. [6] ZHANG Zhiyuan, LIU Yun, ZHANG Zhenjiang, et al. Fused matrix factorization with multi-tag, social and geographical influences for POI recommendation[J]. World wide web, 2019, 22(3): 1135–1150. [7] 孟祥福, 张霄雁, 唐延欢, 等. 基于地理-社会关系的多样 性与个性化兴趣点推荐 [J]. 计算机学报, 2019, 42(11): 2574–2590. MENG Xiangfu, ZHANG Xiaoyan, TANG Yanhuan, et. al A diversified and personalized recommendation approach based on geo-social relationships[J]. Chinese journal of computers, 2019, 42(11): 2574–2590. [8] XIN Xin, CHEN Bo, HE Xiangnan, et al. CFM: convolutional factorization machines for context-aware recommendation[C]//Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. Macao, China, 2019: 3926−3932. [9] HE Jing, LI Xin, LIAO Lejian. Category-aware next point-of-interest recommendation via listwise bayesian personalized ranking[C]//Proceedings of the TwentySixth International Joint Conference on Artificial Intelligence. Melbourne, Australia, 2017: 1837−1843. [10] ZHANG Zhiqian, LI Chenliang, WU Zhiyong, et al. NEXT: a neural network framework for next POI recommendation[J]. Frontiers of computer science, 2020, 14(2): 314–333. [11] ZHANG Lu, SUN Zhu, ZHANG Jie, et al. Modeling hierarchical category transition for next POI recommendation with uncertain check-ins[J]. Information sciences, 2020, 515: 169–190. [12] CHO K, VAN MERRIËNBOER B, GULCEHRE C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha, Qatar, 2014: 1724−1734. [13] ·414· 智 能 系 统 学 报 第 16 卷
第3期 柴瑞敏，等：基于时空循环神经网络的下一个兴趣点推荐方法 ·415· [14]HOCHREITER S,SCHMIDHUBER J.Long short-term visitors[C]//Proceedings of the Thirty-First AAAI Confer- memory[J].Neural computation,1997,9(8):1735-1780. ence on Artificial Intelligence.San Francisco,USA,2017: [15]CHUNG J,GULCEHRE C,CHO K,et al.Gated feed- 102-108. back recurrent neural networks[C]//Proceedings of the [25]CUI Qiang,TANG Yuyuan,WU Shu,et al.Distance2Pre: 32nd International Conference on Machine Learning. personalized spatial preference for next point-of-interest Lille,France,.2015:2067-2075. prediction[C]//23rd Pacific-Asia Conference on Ad- [16]孟祥福，齐雪月，张全贵，等.基于用户兴趣点耦合关系 vances in Knowledge Discovery and Data Mining.Ma- 的兴趣点推荐方法[.智能系统学报，2021,16(2)： cau,China,2019:289-301. 228-236. [26]ZHAO Pengpeng,ZHU Haifeng,LIU Yanchi,et al. MENG Xiangfu,QI Xueyue,ZHANG Quangui,et al.A Where to go next:a spatio-temporal gated network for POI recommendation approach based on user-poi coup- next POI recommendation[J].Proceedings of the AAAI ling relationships[J].CAAI transactions on intelligent sys- conference on artificial intelligence,2019,33(1): tems,2021,16(2):228-236. 5877-5884. [17]FENG Shanshan,LI Xutao,ZENG Yifeng,et al.Person- [27]YUAN Quan,CONG Gao,MA Zongyang,et al.Time- alized ranking metric embedding for next new POI re- aware point-of-interest recommendation[C]//Proceedings commendation[C]//Proceedings of the Twenty-Fourth In- of the 36th International ACM SIGIR Conference on Re- ternational Conference on Artificial Intelligence.Buenos search and Development in Information Retrieval. Aires,Argentina,2015:2069-2075. Montreal,Canada,2013:363-372. [18]XU Shuai,CAO Jiuxin,LEGG P,et al.Venue2Vec:an [28]HE Jing,LI Xin,LIAO Lejian.Next point-of-interest re- efficient embedding model for fine-grained user location commendation via a category-aware Listwise Bayesian prediction in geo-social networks[J].IEEE systems journ- Personalized Ranking[J].Journal of computational sci- al,2020,142):1740-1751. ence,2018,28:206-216. [19]SALAKHUTDINOV R,MNIH A.Probabilistic matrix [29]RENDLE S,FREUDENTHALER C,GANTNER Z,et al. factorization[C]//Proceedings of the 20th International BPR:bayesian personalized ranking from implicit feed- Conference on Neural Information Processing Systems. back[C]//Proceedings of the 25th Conference on Uncer- Vancouver,Canada,2007:1257-1264 tainty in Artificial Intelligence.Montreal,Canada,2009: [20]HE Xiannan,LIAO Lizi,ZHANG Hanwang,et al.Neur- 452-461 al collaborative filtering[C]//Proceedings of the 26th In- ternational Conference on World Wide Web.Perth,Aus- 作者简介： tralia2017:173-182. 柴瑞敏，副教授，主要研究方向为 [21]CHENG Chen,YANG Haiqin,LYU M R,et al.Where 数据库理论、数据挖掘。参与项目 you like to go next:successive point-of-interest recom- 10余项。参编教材3部，发表学术论 mendation[C]//Proceedings of the 23rd International Joint 文30余篇。 Conference on Artificial Intelligence.Beijing,China, 2013:2605-2611. [22]XIE Min,YIN Hongzhi,WANG Hao,et al.Learning graph-based POI embedding for location-based recom- 殷臣，硕士研究生，主要研究方向 mendation[Cl//Proceedings of the 25th ACM Internation- 为推荐系统、深度学习。 al on Conference on Information and Knowledge Man- agement.Indianapolis,USA,2016:15-24. [23]鲜学丰，陈晓杰，赵朋朋，等.基于上下文感知和个性化 度量嵌入的下一个兴趣点推荐[).计算机工程与科学， 2018.40(4:616-625. XIAN Xuefeng,CHEN Xiaojie,ZHAO Pengpeng,et al. 孟祥福，教授，博士，主要研究方 向为空间关键字查询、大数据分析与 Context-aware personalized metric embedding for next 可视化、机器学习、推荐系统。主持国 POI recommendation[J].Computer engineering sci- 家自然科学基金20项，获授权发明专 ence,2018,40(4):616-625. 利1项。出版专著1部，发表学术论 [24]FENG Shanshan,CONG Gao,AN Bo,et al.POI2Vec: 文50余篇。 geographical latent representation for predicting future
HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735–1780. [14] CHUNG J, GULCEHRE C, CHO K, et al. Gated feedback recurrent neural networks[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille, France, 2015: 2067−2075. [15] 孟祥福, 齐雪月, 张全贵, 等. 基于用户-兴趣点耦合关系 的兴趣点推荐方法 [J]. 智能系统学报, 2021, 16(2): 228–236. MENG Xiangfu，QI Xueyue，ZHANG Quangui，et al. A POI recommendation approach based on user-poi coupling relationships[J]. CAAI transactions on intelligent systems, 2021, 16(2): 228–236. [16] FENG Shanshan, LI Xutao, ZENG Yifeng, et al. Personalized ranking metric embedding for next new POI recommendation[C]//Proceedings of the Twenty-Fourth International Conference on Artificial Intelligence. Buenos Aires, Argentina, 2015: 2069−2075. [17] XU Shuai, CAO Jiuxin, LEGG P, et al. Venue2Vec: an efficient embedding model for fine-grained user location prediction in geo-social networks[J]. IEEE systems journal, 2020, 14(2): 1740–1751. [18] SALAKHUTDINOV R, MNIH A. Probabilistic matrix factorization[C]//Proceedings of the 20th International Conference on Neural Information Processing Systems. Vancouver, Canada, 2007: 1257−1264. [19] HE Xiannan, LIAO Lizi, ZHANG Hanwang, et al. Neural collaborative filtering[C]//Proceedings of the 26th International Conference on World Wide Web. Perth, Australia, 2017: 173−182. [20] CHENG Chen, YANG Haiqin, LYU M R, et al. Where you like to go next: successive point-of-interest recommendation[C]//Proceedings of the 23rd International Joint Conference on Artificial Intelligence. Beijing, China, 2013: 2605−2611. [21] XIE Min, YIN Hongzhi, WANG Hao, et al. Learning graph-based POI embedding for location-based recommendation[C]//Proceedings of the 25th ACM International on Conference on Information and Knowledge Management. Indianapolis, USA, 2016: 15−24. [22] 鲜学丰, 陈晓杰, 赵朋朋, 等. 基于上下文感知和个性化 度量嵌入的下一个兴趣点推荐 [J]. 计算机工程与科学, 2018, 40(4): 616–625. XIAN Xuefeng, CHEN Xiaojie, ZHAO Pengpeng, et al. Context-aware personalized metric embedding for next POI recommendation[J]. Computer engineering & science, 2018, 40(4): 616–625. [23] FENG Shanshan, CONG Gao, AN Bo, et al. POI2Vec: geographical latent representation for predicting future [24] visitors[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco, USA, 2017: 102−108. CUI Qiang, TANG Yuyuan, WU Shu, et al. Distance2Pre: personalized spatial preference for next point-of-interest prediction[C]//23rd Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining. Macau, China, 2019: 289−301. [25] ZHAO Pengpeng, ZHU Haifeng, LIU Yanchi, et al. Where to go next: a spatio-temporal gated network for next POI recommendation[J]. Proceedings of the AAAI conference on artificial intelligence, 2019, 33(1): 5877–5884. [26] YUAN Quan, CONG Gao, MA Zongyang, et al. Timeaware point-of-interest recommendation[C]//Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval. Montreal, Canada, 2013: 363−372. [27] HE Jing, LI Xin, LIAO Lejian. Next point-of-interest recommendation via a category-aware Listwise Bayesian Personalized Ranking[J]. Journal of computational science, 2018, 28: 206–216. [28] RENDLE S, FREUDENTHALER C, GANTNER Z, et al. BPR: bayesian personalized ranking from implicit feedback[C]//Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. Montreal, Canada, 2009: 452−461. [29] 作者简介： 柴瑞敏，副教授，主要研究方向为 数据库理论、数据挖掘。参与项目 10 余项。参编教材 3 部，发表学术论 文 30 余篇。 殷臣，硕士研究生，主要研究方向 为推荐系统、深度学习。 孟祥福，教授，博士，主要研究方 向为空间关键字查询、大数据分析与 可视化、机器学习、推荐系统。主持国 家自然科学基金 20 项，获授权发明专 利 1 项。出版专著 1 部，发表学术论 文 50 余篇。 第 3 期 柴瑞敏，等：基于时空循环神经网络的下一个兴趣点推荐方法 ·415·
