第2期 鲍维克，等：面向推荐系统的分期序列自注意力网络 ·355· Deep Interest NetworkNext Item Recommenda- 反映了用户的长期/一般偏好，短期用户反馈数据 tion with Self-Attention Sequential Recommender Lt反映了用户近期的短期偏好和序列性偏好。 System Based on Hierarchical Attention Networks4 举例来说，用户A是个运动爱好者，平时喜欢购 等，通过注意力机制，模型能够计算出用户反馈 买一些运动设备，有一天，用户A由于手机损坏 数据的相对权重以动态捕捉重点信息，进而准确 购买了手机和手机保护膜。此时如果基于用户 估计了用户的偏好表示。 A的长期/一般偏好，推荐系统会更偏向于给用户 A推荐运动相关的item,而如果基于用户A的短 2分期序列自注意力网络 期偏好，推荐系统则会偏向于给用户A推荐手机 本文提出了一种分期序列自注意力网络(log 相关的item,考虑到用户A短期购买日志（先后购 term short-term sequential self-attention network, 买手机和手机保护膜)的序列性，推荐系统则可 LSSSAN)进行序列推荐。 能会向用户A推荐手机保护壳。 2.1问题表述 LSSSAN基于以上内容，估计用户的综合偏 在基于LSSSAN的推荐系统中：u表示用户u 好，并利用用户“的综合偏好计算用户u对候选 的特征表示；L.表示用户u的用户反馈数据序 项item的偏好得分，得分越高说明用户u越 列，如用户点击、购买的item序列；∈L.表示用 倾向于选择候选项item。 户u的用户反馈数据序列L.中的一项item;L 2.2模型结构 表示可能被推荐的候选item集合；，∈Ld表示 在序列推荐的场景中，用户偏好往往有以下 候选item集合Ld中的一项。 的特点：1)用户反馈数据往往是长序列，用户反 文献[6,9]表明短期反馈数据对推荐结果有 馈数据存在着复杂的相互依赖关系；2)短期用 着重要影响，结合长期和短期反馈数据能够准确 户反馈数据和其表达的序列性，影响推荐结果 反映用户的综合偏好；文献[14]的工作利用用户 的重要因素；3)相同的item,在不同的候选 长期反馈数据充分表达了用户的长期/一般偏好， item集合或不同的用户下，对于推荐结果有不同 并结合短期反馈数据表达的短期偏好准确估计了 的影响；4)在考虑不同的item对于结果的影响 用户的综合偏好。基于此，本文将用户反馈数据 时，应对不同的item赋予不同的权重以动态捕 L.划分为用户长期反馈数据Ls和用户短期反 捉重点信息。 馈数据L（(在本文的实验环节，将一天内的反馈 基于此，本文设计了LSSSAN模型，网络结构 数据为短期反馈数据)。长期用户反馈数据L 如图2所示。 候选itemjv 来Output-偏好得分s 综合偏好表示即■ 注意力权重向量即一 注意力层：提取综合偏好 Context 序列性偏好表示。 长期偏好表示一 GRUGRUGRU 自注意力层：提取长期偏好 GRU层 Embedding 提取序列性偏好 … ■… 稀疏输入 user u 2 item m 电aem 2 aem ---……候选item列表 用户的长期反馈数据序列用户的短期反馈数据序列 Lang Lon 图2分期序列自注意力网络的结构 Fig.2 Structure of LSSSAN Embedding层：对用户、可能被推荐的候选 制，可以为不同的用户反馈数据赋予不同的权 item集合、用户反馈数据的特征的稀疏表示进行 重，以动态捕捉重点信息，反映了不同的用户反 embed,.转化为稠密的embedding表示。 馈数据对推荐结果影响的差异性。自注意力机制 自注意力层：在推荐系统中，应用注意力机 是一种特殊的注意力机制，由于在机器翻译领域Deep Interest Network[12] 、Next Item Recommenda￾tion with Self-Attention[13] 、Sequential Recommender System Based on Hierarchical Attention Networks [14] 等，通过注意力机制，模型能够计算出用户反馈 数据的相对权重以动态捕捉重点信息，进而准确 估计了用户的偏好表示。 2 分期序列自注意力网络 本文提出了一种分期序列自注意力网络 (long￾term & short-term sequential self-attention network, LSSSAN) 进行序列推荐。 2.1 问题表述 u u Lu u v u j ∈ Lu u Lu L cand u v u 3 j ∈ L cand u L cand u 在基于 LSSSAN 的推荐系统中： 表示用户 的特征表示； 表示用户 的用户反馈数据序 列，如用户点击、购买的 item 序列； 表示用 户 的用户反馈数据序列 中的一项 item； 表示可能被推荐的候选 item 集合； 表示 候选 item 集合 中的一项。 Lu L long u L short u L long u 文献 [6, 9] 表明短期反馈数据对推荐结果有 着重要影响，结合长期和短期反馈数据能够准确 反映用户的综合偏好；文献 [14] 的工作利用用户 长期反馈数据充分表达了用户的长期/一般偏好， 并结合短期反馈数据表达的短期偏好准确估计了 用户的综合偏好。基于此，本文将用户反馈数据 划分为用户长期反馈数据 和用户短期反 馈数据 (在本文的实验环节，将一天内的反馈 数据为短期反馈数据)。长期用户反馈数据 L short u 反映了用户的长期/一般偏好，短期用户反馈数据 反映了用户近期的短期偏好和序列性偏好。 举例来说，用户 A 是个运动爱好者，平时喜欢购 买一些运动设备，有一天，用户 A 由于手机损坏， 购买了手机和手机保护膜。此时如果基于用户 A 的长期/一般偏好，推荐系统会更偏向于给用户 A 推荐运动相关的 item，而如果基于用户 A 的短 期偏好，推荐系统则会偏向于给用户 A 推荐手机 相关的 item，考虑到用户 A 短期购买日志 (先后购 买手机和手机保护膜) 的序列性，推荐系统则可 能会向用户 A 推荐手机保护壳。 u u v cand 3 j u v cand 3 j LSSSAN 基于以上内容，估计用户的综合偏 好，并利用用户 的综合偏好计算用户 对候选 项 item 的偏好得分，得分越高说明用户 越 倾向于选择候选项 item 。 2.2 模型结构 在序列推荐的场景中，用户偏好往往有以下 的特点：1) 用户反馈数据往往是长序列，用户反 馈数据存在着复杂的相互依赖关系；2) 短期用 户反馈数据和其表达的序列性，影响推荐结果 的重要因素； 3 ) 相 同 的 item，在不同的候 选 item 集合或不同的用户下，对于推荐结果有不同 的影响；4) 在考虑不同的 item 对于结果的影响 时，应对不同的 item 赋予不同的权重以动态捕 捉重点信息。 基于此，本文设计了 LSSSAN 模型，网络结构 如图 2 所示。 候选 item j v3j u 综合偏好表示 u comp 长期偏好表示 u long Context Output 注意力权重向量 α comp u 注意力层: 提取综合偏好 自注意力层: 提取长期偏好 Embedding 稀疏输入 序列性偏好表示 u seq GRU GRU GRU … … … … item 1 item 2 item … m item t+1 item t+2 item t+n GRU 层: 提取序列性偏好 list L user u 候选 item 列表 Lu cand 用户的长期反馈数据序列 Lu long 用户的短期反馈数据序列 Lu short 偏好得分su j 图 2 分期序列自注意力网络的结构 Fig. 2 Structure of LSSSAN Embedding 层：对用户、可能被推荐的候选 item 集合、用户反馈数据的特征的稀疏表示进行 embed，转化为稠密的 embedding 表示。 自注意力层：在推荐系统中，应用注意力机 制，可以为不同的用户反馈数据赋予不同的权 重，以动态捕捉重点信息，反映了不同的用户反 馈数据对推荐结果影响的差异性。自注意力机制 是一种特殊的注意力机制，由于在机器翻译领域 第 2 期 鲍维克，等：面向推荐系统的分期序列自注意力网络 ·355·