·354· 智能系统学报 第16卷 一般偏好，而非基于反馈数据对长期/一般偏好进 图l中，item表示推荐系统中的项(item可以 行表达。 为商品、视频等)，一个用户的反馈数据记录由多 为此，本文提出了一种面向推荐系统的分期 个item组成，Model表示推荐模型，推荐系统的任 序列自注意力网络(long-term&short-term sequen- 务是将合适的item推荐给用户。w表示用户u的 tial self-attention network,LSSSAN)。“分期"表示 特征表示；L表示用户u的用户反馈数据序列， 将用户的反馈数据分为长期和短期，用户的长期 由多个item组成，∈L.为用户u的用户反馈数 反馈数据反映了用户的长期/一般偏好，用户的短 据序列Lm中的一项；肾∈Ld表示可能被推荐的 期反馈数据反映了用户的短期偏好和序列性偏 候选item集合Lamd中的某一候选item;推荐系统 好；注意力(attention)机制，可以为不同的数据赋 基于以上内容，计算用户u的综合偏好表示oap, 予不同的权重，帮助模型动态捕捉数据中重要的 并通过op计算用户u对候选item,的偏好得 信息，自注意力(self-attention)机制在此基础上， 分，得分越高说明用户u越倾向于选择候选item 可以有效地捕捉长序列数据之间的相互依赖。本 通过以上过程，计算用户u对候选item集 模型中，自注意力机制从用户长期反馈数据提取 Ld中各item的偏好得分，最终得到推荐给用户 用户的长期/一般偏好，GRU(gate recurrent unit)从 u的item集合。 用户短期反馈数据的提取用户的序列性偏好，最 1.2相关工作 后由以上所得综合用户短期反馈数据表现出的短 传统的推荐系统如基于内容推荐和协同过滤 期偏好参与注意力机制，得到了用户的综合偏 推荐，均是以静态方式对用户反馈数据进行建 好。总体来讲，本文模型的亮点如下： 模，对用户反馈数据的信息提取不够充分。而序 1)采用注意力机制为不同的反馈数据赋予不 列推荐模型将用户反馈数据视为序列，考虑了用 同的权重以动态捕捉重点信息，同时也考虑了不 户反馈数据的序列性和相互依赖，进而准确估计 同用户和不同item候选集对推荐结果的动态影响； 了用户的偏好4。 2)自注意力机制捕捉了长期反馈数据之间的 在序列推荐模型中，用户反馈数据序列由较 长期相互依赖，准确地表达了用户的长期/一般偏 长的用户反馈数据组成，使得用户反馈数据序列 好，而非基于用户特征固定地表达长期/一般偏好： 具有更复杂的依赖特性。对于用户反馈数据序列 3)GRU捕捉了短期反馈数据的序列性并参 的处理，其中两个主要的难点回是： 与注意力机制赋权，GU层输入数据的顺序相关 1)学习高阶顺序依赖 性的强弱会影响注意力机制赋予序列性表示的权 高阶顺序依赖在用户反馈数据序列中普遍存 重，进而准确表达了用户的序列性偏好： 在，低阶依赖的可以用马尔科夫模型或因子分 4)在数据集上实验的评价指标整体优于主流 解机刀解决，高阶顺序依赖由于反馈数据的多级 的推荐算法。 级联，模型往往难以表达。针对此问题，目前主 1研究背景 要的两种方案：高阶马尔科夫链模型⑧和RNN(re current neural network)模型。但是，高阶马尔可 1.1推荐系统的一般任务 夫链模型因参数数量随阶数呈指数增长，其分析 通常来说，推荐系统的一般模型可以用以下 的历史状态有限；而单一的RNN模型难以处理具 形式表达，如图1所示。 有非严格顺序相关性的用户反馈数据序列。 偏好得分s 2)学习长期顺序依赖 Output 长期顺序依赖指序列中彼此远离的用户反馈 数据之间的依赖性。文献[9-10]分别使用LSTM 综合偏好表示唧 (long short-term memory)GRU(gate recurrent 推荐模型 候选item jv unit)来解决这个问题。但是，单一的RNN模型依 Embedding 赖于序列中相邻项的强相关性，对于弱相互依赖 稀疏输入 性和非严格顺序相关性的数据处理表现不佳。文 用户反馈数据序列 献[11]通过利用混合模型的优势，将具有不同时 L。 间范围的多个子模型组合在一起，以捕获短期和 图1推荐系统一般模型的结构 长期依赖关系。而注意力机制考虑了用户反馈数 Fig.1 Structure of general recommendation system model 据之间的联系却不依赖于数据的相邻关系，阿里一般偏好，而非基于反馈数据对长期/一般偏好进 行表达。 为此，本文提出了一种面向推荐系统的分期 序列自注意力网络 (long-term & short-term sequen￾tial self-attention network，LSSSAN)。“分期”表示 将用户的反馈数据分为长期和短期，用户的长期 反馈数据反映了用户的长期/一般偏好，用户的短 期反馈数据反映了用户的短期偏好和序列性偏 好；注意力 (attention) 机制，可以为不同的数据赋 予不同的权重，帮助模型动态捕捉数据中重要的 信息，自注意力 (self-attention) 机制在此基础上， 可以有效地捕捉长序列数据之间的相互依赖。本 模型中，自注意力机制从用户长期反馈数据提取 用户的长期/一般偏好，GRU(gate recurrent unit) 从 用户短期反馈数据的提取用户的序列性偏好，最 后由以上所得综合用户短期反馈数据表现出的短 期偏好参与注意力机制，得到了用户的综合偏 好。总体来讲，本文模型的亮点如下： 1) 采用注意力机制为不同的反馈数据赋予不 同的权重以动态捕捉重点信息，同时也考虑了不 同用户和不同 item 候选集对推荐结果的动态影响； 2) 自注意力机制捕捉了长期反馈数据之间的 长期相互依赖，准确地表达了用户的长期/一般偏 好，而非基于用户特征固定地表达长期/一般偏好； 3) GRU 捕捉了短期反馈数据的序列性并参 与注意力机制赋权，GRU 层输入数据的顺序相关 性的强弱会影响注意力机制赋予序列性表示的权 重，进而准确表达了用户的序列性偏好； 4) 在数据集上实验的评价指标整体优于主流 的推荐算法。 1 研究背景 1.1 推荐系统的一般任务 通常来说，推荐系统的一般模型可以用以下 形式表达，如图 1 所示。 综合偏好表示 u comp 偏好得分su j Output Embedding 稀疏输入 用户反馈数据序列 Lu user u item 1 item 2 item m 候选 item j v3j u 推荐模型 … … 图 1 推荐系统一般模型的结构 Fig. 1 Structure of general recommendation system model u u Lu u v u j ∈ Lu u Lu v u 3 j ∈ L cand u L cand u u u comp u comp u v u 3 j u v u 3 j 图 1 中，item 表示推荐系统中的项 (item 可以 为商品、视频等)，一个用户的反馈数据记录由多 个 item 组成，Model 表示推荐模型，推荐系统的任 务是将合适的 item 推荐给用户。 表示用户 的 特征表示； 表示用户 的用户反馈数据序列， 由多个 item 组成， 为用户 的用户反馈数 据序列 中的一项； 表示可能被推荐的 候选 item 集合 中的某一候选 item；推荐系统 基于以上内容，计算用户 的综合偏好表示 ， 并通过 计算用户 对候选 item 的偏好得 分，得分越高说明用户 越倾向于选择候选 item 。 u L cand u u 通过以上过程，计算用户 对候选 item 集 中各 item 的偏好得分，最终得到推荐给用户 的 item 集合。 1.2 相关工作 传统的推荐系统如基于内容推荐和协同过滤 推荐，均是以静态方式对用户反馈数据进行建 模，对用户反馈数据的信息提取不够充分。而序 列推荐模型将用户反馈数据视为序列，考虑了用 户反馈数据的序列性和相互依赖，进而准确估计 了用户的偏好[2-4]。 在序列推荐模型中，用户反馈数据序列由较 长的用户反馈数据组成，使得用户反馈数据序列 具有更复杂的依赖特性。对于用户反馈数据序列 的处理，其中两个主要的难点[2] 是： 1) 学习高阶顺序依赖 高阶顺序依赖在用户反馈数据序列中普遍存 在，低阶依赖的可以用马尔科夫模型[5] 或因子分 解机[6-7] 解决，高阶顺序依赖由于反馈数据的多级 级联，模型往往难以表达。针对此问题，目前主 要的两种方案：高阶马尔科夫链模型[8] 和 RNN(re￾current neural network) 模型[9]。但是，高阶马尔可 夫链模型因参数数量随阶数呈指数增长，其分析 的历史状态有限；而单一的 RNN 模型难以处理具 有非严格顺序相关性的用户反馈数据序列。 2) 学习长期顺序依赖 长期顺序依赖指序列中彼此远离的用户反馈 数据之间的依赖性。文献 [9-10] 分别使用 LSTM (long short-term memory) 和 GRU(gate recurrent unit) 来解决这个问题。但是，单一的 RNN 模型依 赖于序列中相邻项的强相关性，对于弱相互依赖 性和非严格顺序相关性的数据处理表现不佳。文 献 [11] 通过利用混合模型的优势，将具有不同时 间范围的多个子模型组合在一起，以捕获短期和 长期依赖关系。而注意力机制考虑了用户反馈数 据之间的联系却不依赖于数据的相邻关系，阿里 ·354· 智 能 系 统 学 报 第 16 卷