第16卷第2期 智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992/tis.202005028 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20201104.1455.006.html 面向推荐系统的分期序列自注意力网络 鲍维克，袁春2 (1.清华大学计算机科学与技术系，北京100084；2.清华大学深圳国际研究生院，广东深圳518000) 摘要：在推荐系统中，为了充分表达用户反馈数据内部的相互依赖和序列性，准确提取用户的长期/一般偏 好、应对数据的动态性，本文提出了一种分期序列自注意力网络(Iong-term&short--term sequential self-attention network,LSSSAN)进行序列推荐。模型采用自注意力机制和GRU捕捉了用户反馈数据之间的相互依赖和序列 性：模型采用注意力机制为不同反馈数据赋予不同权重以动态捕捉重点信息，同时考虑了上下文的动态性：模 型基于用户的长期反馈数据，准确表达了用户的长期/一般偏好。该模型在两个数据集上进行训练和测试，结 果表明该模型的推荐效果整体优于之前的相关工作。 关键词：推荐系统：序列推荐：注意力机制：动态赋权；自注意力机制：序列依赖关系；门控循环单元：序列性偏好 中图分类号：TP391 文献标志码：A文章编号：1673-4785(2021)02-0353-09 中文引用格式：鲍维克，袁春.面向推荐系统的分期序列自注意力网络.智能系统学报，2021,16(2)：353-361. 英文引用格式：BAO Weike,YUAN Chun.Recommendation system with long-term and short--term sequential self-attention net- work[JI.CAAI transactions on intelligent systems,2021,16(2):353-361. Recommendation system with long-term and short-term sequential self-attention network BAO Weike',YUAN Chun' (1.Department of Computer Science and Technology,Tsinghua University,Beijing 100084,China;2.Shenzhen International Gradu- ate School,Tsinghua University,Shenzhen 518000,China) Abstract:To fully express the internal interdependence,user interaction data sequentiality,and long-term or general preferences and deal with the dynamics of data,this paper proposes the long-term and short-term sequential self-atten- tion network(LSSAN)for sequential recommendation in the recommendation system,and the LSSSAN model.This model uses self-attention and a GRU to capture the dependence and sequentiality among the user's data.Moreover,the model uses Attention Net to combine user characteristics and the candidate item set for recommendation as context for capturing the dynamics of the recommendation task.The model accurately expresses the general preferences of users based on their long-term interaction data.We train and test the LSSSAN on two data sets,and its effect is generally bet- ter than that of the previous work. Keywords:recommendation system;sequence recommendation;attention model;dynamic weighting;self-attention model;sequence dependence;GRU;sequential preference 随着互联网的普及，互联网应用的用户数量 互联网公司在庞大的用户数据之上采用智能推荐 空前增长，阿里巴巴集团公布截至2019年12月 算法提高产品的可用性和用户体验。然而经典的 31日的季度业绩显示四，其中国零售市场移动月 推荐算法往往存在一些问题：1)对于用户反馈 活跃用户达8.24亿，创12个季度以来新高。诸多 (user-item interactions)数据表现出的相互依赖和 序列性分析不足；2)对反馈数据和上下文的动态 收稿日期：2020-05-21.网络出版日期：2020-11-05. 通信作者：袁春.E-mail:yuanc(@sz.tsinghua.edu.cn. 性应对不足；3)模型往往固定表达了用户的长期/DOI: 10.11992/tis.202005028 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20201104.1455.006.html 面向推荐系统的分期序列自注意力网络 鲍维克1 ，袁春2 （1. 清华大学 计算机科学与技术系，北京 100084; 2. 清华大学 深圳国际研究生院，广东 深圳 518000） 摘 要：在推荐系统中，为了充分表达用户反馈数据内部的相互依赖和序列性，准确提取用户的长期/一般偏 好、应对数据的动态性，本文提出了一种分期序列自注意力网络 (long-term & short-term sequential self-attention network，LSSSAN) 进行序列推荐。模型采用自注意力机制和 GRU 捕捉了用户反馈数据之间的相互依赖和序列 性；模型采用注意力机制为不同反馈数据赋予不同权重以动态捕捉重点信息，同时考虑了上下文的动态性；模 型基于用户的长期反馈数据，准确表达了用户的长期/一般偏好。该模型在两个数据集上进行训练和测试，结 果表明该模型的推荐效果整体优于之前的相关工作。 关键词：推荐系统；序列推荐；注意力机制；动态赋权；自注意力机制；序列依赖关系；门控循环单元；序列性偏好 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2021)02−0353−09 中文引用格式：鲍维克, 袁春. 面向推荐系统的分期序列自注意力网络 [J]. 智能系统学报, 2021, 16(2): 353–361. 英文引用格式：BAO Weike, YUAN Chun. Recommendation system with long-term and short-term sequential self-attention net￾work[J]. CAAI transactions on intelligent systems, 2021, 16(2): 353–361. Recommendation system with long-term and short-term sequential self-attention network BAO Weike1 ，YUAN Chun2 (1. Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China; 2. Shenzhen International Gradu￾ate School, Tsinghua University, Shenzhen 518000, China) Abstract: To fully express the internal interdependence, user interaction data sequentiality, and long-term or general preferences and deal with the dynamics of data, this paper proposes the long-term and short-term sequential self-atten￾tion network (LSSAN) for sequential recommendation in the recommendation system, and the LSSSAN model. This model uses self-attention and a GRU to capture the dependence and sequentiality among the user’s data. Moreover, the model uses Attention Net to combine user characteristics and the candidate item set for recommendation as context for capturing the dynamics of the recommendation task. The model accurately expresses the general preferences of users based on their long-term interaction data. We train and test the LSSSAN on two data sets, and its effect is generally bet￾ter than that of the previous work. Keywords: recommendation system; sequence recommendation; attention model; dynamic weighting; self-attention model; sequence dependence; GRU; sequential preference 随着互联网的普及，互联网应用的用户数量 空前增长，阿里巴巴集团公布截至 2019 年 12 月 31 日的季度业绩显示[1] ，其中国零售市场移动月 活跃用户达 8.24 亿，创 12 个季度以来新高。诸多 互联网公司在庞大的用户数据之上采用智能推荐 算法提高产品的可用性和用户体验。然而经典的 推荐算法往往存在一些问题：1) 对于用户反馈 (user-item interactions) 数据表现出的相互依赖和 序列性分析不足；2) 对反馈数据和上下文的动态 性应对不足；3) 模型往往固定表达了用户的长期/ 收稿日期：2020−05−21. 网络出版日期：2020−11−05. 通信作者：袁春. E-mail：yuanc@sz.tsinghua.edu.cn. 第 16 卷第 2 期 智 能 系 统 学 报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021