·670 智能系统学报 第12卷 1)查询词和URL的突发性现象研究要分开 O和p以后，通过借鉴LDA和DCMLDA中Gibbs采 建模。 样的方法，在SBM中概率P(za)为 2)建模时，网络搜索特点，包括查询词、URL和 session3个维度都要考虑在内[4-1]。 T(∑a, ΠT(n+) P(za)= session是指在短时间内提交的满足相同信息 Πr(a,) 需求的一系列查询。为了避免同一会话中包含不 a+a 相干的查询而导致的性能降低，本文优先考虑同一 式中n4为第d个文档中主题z的数量。 会话中查询词之间的语义一致性。通过对比分析， 概率P(wlz,B)为 本文采用文献[16]提出的一系列规则来划分搜索 IIr(na.+B) session。这些规则用于评估查询之间的词汇相似 =1 P(w zB) 性，并在检测相关搜索查询时表现出很高精度。 2.1查询词和URL独立的主题模型(SBM) 式中n.为第d个文档中第k个主题下查询词w的 SBM的生成过程是基于查询词和URL相互独 个数。 立的假设。与LDA和DCMLDA等传统主题模型不 当该session中没有URL被点击时的条件概 同，SBM中的文档有查询词、被点击URL和查询时 率为 间三项。图1是SBM的搜索主题模型概率图。首 C+a 先，从超参数为a的Dirichlet分布中抽样生成文档 P(z=k X:0,z,w,u,a,B,8) 与主题之间的关系矩阵0,0是一个D×K的矩阵，其 中D代表文档数量，K代表主题数。对于每一个主 题k,从超参为B,和δ的Dirichlet分布中分别取样 T(Σ(C+B) =1 I(cop +B.+N) 生成查询词与主题之间的关系矩阵0和URL与主 三(c+B+,) T(C四+B.) 题之间的关系矩阵2.0和2是DxK×V的三维矩 阵，V代表训练语料库中出现的所有词的词表。对 式中：C表示文档d中分配主题为k的session的 于文档中的每一个session,从参数为0，的多项分布 数量，C表示文档d中查询词w被分配主题k的 中选择一个主题：，从参数为P的查询词的多项分 次数，N表示第i个session中查询词0的个数。 布中，采样生成查询词心。然后，生成点击事件的二 当一个session中有URL被点击时的条件概 项分布，如果URL被点击了，从参数为2的URL 率为 的多项分布中，采样生成URLu。变量0和δ是基 CaK og P(a=k1X=1,2-,w,u,cB,8)x 于单个特定文档的，因此SBM可以为每一个用户查 乞(C+a) 询词和URL的突发性建模。 @ rΣ(c世+B》 w=1 T(C"+B4+N) 0 宫G+a+》 T(C四+BA) r宫+】 T(C+δ4+N) D Π 图1SBM网络搜索分析主题模型 T∑(C"+a4+N) T(C+δ4） = Fig.1 SBM web search analysis topic model 式中，C表示文档d中URLu被分配主题k的次 SBM中的Gibbs采样方法借鉴了LDA和 数，Wn表示第i个session中URLu的数量。 DCMLDA中Gibbs采样的方法，并进行了推导。模 2.2查询词和URL相关联的主题模型(CS-SBM) 型的完全似然函数为 查询词和URL通过搜索引擎紧密地结合在一 P(w,u,zla,B,6)=P(ulz,6)P(w|z,B)P(z|a) 起，这使得本文研究的问题变得更加复杂。被点击 展开上式中的多项分布和Dirichlet分布，利用多项 的URL是由对应的查询词经过搜索得出的。在网 分布和Dirichlet分布的共轭性质，分别积分掉参数 络搜索的情境中，URL是提交查询词给搜索引擎后１）查询词和 ＵＲＬ 的突发性现象研究要分开 建模［１３］ 。 ２）建模时，网络搜索特点，包括查询词、ＵＲＬ 和 ｓｅｓｓｉｏｎ ３ 个维度都要考虑在内［１４－１５］ 。 ｓｅｓｓｉｏｎ 是指在短时间内提交的满足相同信息 需求的一系列查询。 为了避免同一会话中包含不 相干的查询而导致的性能降低，本文优先考虑同一 会话中查询词之间的语义一致性。 通过对比分析， 本文采用文献［１６］ 提出的一系列规则来划分搜索 ｓｅｓｓｉｏｎ。 这些规则用于评估查询之间的词汇相似 性，并在检测相关搜索查询时表现出很高精度。 ２．１ 查询词和 ＵＲＬ 独立的主题模型（ＳＢＭ） ＳＢＭ 的生成过程是基于查询词和 ＵＲＬ 相互独 立的假设。 与 ＬＤＡ 和 ＤＣＭＬＤＡ 等传统主题模型不 同，ＳＢＭ 中的文档有查询词、被点击 ＵＲＬ 和查询时 间三项。 图 １ 是 ＳＢＭ 的搜索主题模型概率图。 首 先，从超参数为 α 的 Ｄｉｒｉｃｈｌｅｔ 分布中抽样生成文档 与主题之间的关系矩阵 θ，θ 是一个 Ｄ×Ｋ 的矩阵，其 中 Ｄ 代表文档数量，Ｋ 代表主题数。 对于每一个主 题 ｋ，从超参为 βｋ 和 δｋ 的 Ｄｉｒｉｃｈｌｅｔ 分布中分别取样 生成查询词与主题之间的关系矩阵 θ 和 ＵＲＬ 与主 题之间的关系矩阵 Ω。 θ 和 Ω 是 Ｄ×Ｋ×Ｖ 的三维矩 阵，Ｖ 代表训练语料库中出现的所有词的词表。 对 于文档中的每一个 ｓｅｓｓｉｏｎ，从参数为 θｄ 的多项分布 中选择一个主题 ｚ，从参数为 φｚｄ的查询词的多项分 布中，采样生成查询词 ｗ。 然后，生成点击事件的二 项分布，如果 ＵＲＬ 被点击了，从参数为 Ωｚｄ的 ＵＲＬ 的多项分布中，采样生成 ＵＲＬ ｕ。 变量 θ 和 δ 是基 于单个特定文档的，因此 ＳＢＭ 可以为每一个用户查 询词和 ＵＲＬ 的突发性建模。 图 １ ＳＢＭ 网络搜索分析主题模型 Ｆｉｇ．１ ＳＢＭ ｗｅｂ ｓｅａｒｃｈ ａｎａｌｙｓｉｓ ｔｏｐｉｃ ｍｏｄｅｌ ＳＢＭ 中 的 Ｇｉｂｂｓ 采 样 方 法 借 鉴 了 ＬＤＡ 和 ＤＣＭＬＤＡ 中 Ｇｉｂｂｓ 采样的方法，并进行了推导。 模 型的完全似然函数为 Ｐ（ｗ，ｕ，ｚ α，β，δ） ＝ Ｐ（ｕ ｚ，δ）Ｐ（ｗ ｚ，β）Ｐ（ｚ α） 展开上式中的多项分布和 Ｄｉｒｉｃｈｌｅｔ 分布，利用多项 分布和 Ｄｉｒｉｃｈｌｅｔ 分布的共轭性质，分别积分掉参数 θ 和 φ 以后，通过借鉴 ＬＤＡ 和 ＤＣＭＬＤＡ 中 Ｇｉｂｂｓ 采 样的方法，在 ＳＢＭ 中概率 Ｐ（ｚ α）为 Ｐ（ｚ α） ＝ Γ（∑ Ｋ ｚ ＝ １ αｚ） ∏ Ｋ ｚ ＝ １ Γ（αｚ） æ è ç ç ç ö ø ÷ ÷ ÷ Ｄ ∏ Ｄ ｄ ＝ １ ∏ Ｔ ｚ ＝ １ Γ（ｎｄｚ ＋ αｚ） Γ（∑ Ｚ ｚ ＝ １ （ｎｄｚ ＋ αｚ）） 式中 ｎｄｚ为第 ｄ 个文档中主题 ｚ 的数量。 概率 Ｐ（ｗ｜ｚ，β）为 Ｐ（ｗ ｚ，β） ＝ ∏ Ｄ ｄ ＝ １ ∏ Ｋ ｋ ＝ １ Γ（∑ Ｗ ｗ ＝ １ βｋｗ） ∏ Ｗ ｗ ＝ １ Γ（βｋｗ） ∏ Ｗ ｗ ＝ １ Γ（ｎｄｋｗ ＋ βｋｗ） Γ（∑ Ｗ ｗ ＝ １ （ｎｄｋｗ ＋ βｋｗ）） æ è ç ç ç ö ø ÷ ÷ ÷ 式中 ｎｄｋｗ为第 ｄ 个文档中第 ｋ 个主题下查询词 ｗ 的 个数。 当该 ｓｅｓｓｉｏｎ 中没有 ＵＲＬ 被点击时的条件概 率为 Ｐ（ｚｉ ＝ ｋ Ｘｉ ＝ ０，ｚ －ｉ，ｗ，ｕ，α，β，δ） ∝ Ｃ ＤＫ ｄｋ ＋ αｋ ∑ Ｋ ｋ′ ＝ １ （Ｃ ＤＫ ｄｋ′ ＋ αｋ ′） · Γ（∑ Ｗ ｔ ＝ １ （Ｃ ＫＷＤ ｋｗｄ ＋ βｗｋ）） Γ（∑ Ｗ ｔ ＝ １ （Ｃ ＫＷＤ ｋｗｄ ＋ βｗｋ ＋ Ｎｉｗ）） ∏ Ｗ ｗ ＝ １ Γ（Ｃ ＫＷＤ ｋｗｄ ＋ βｗｋ ＋ Ｎｉｗ） Γ（Ｃ ＫＷＤ ｋｗｄ ＋ βｗ） 式中：Ｃ ＤＫ ｄｋ 表示文档 ｄ 中分配主题为 ｋ 的 ｓｅｓｓｉｏｎ 的 数量，Ｃ ＫＷＤ ｋｗｄ 表示文档 ｄ 中查询词 ｗ 被分配主题 ｋ 的 次数，Ｎｉｗ表示第 ｉ 个 ｓｅｓｓｉｏｎ 中查询词 ｗ 的个数。 当一个 ｓｅｓｓｉｏｎ 中有 ＵＲＬ 被点击时的条件概 率为 Ｐ（ｚｉ ＝ ｋ ｜ Ｘｉ ＝ １，ｚ －ｉ，ｗ，ｕ，α，β，δ） ∝ Ｃ ＤＫ ｄｋ ＋ αｋ ∑ Ｋ ｋ′ ＝ １ （Ｃ ＤＫ ｄｋ′ ＋ αｋ ′） · Γ（∑ Ｗ ｗ ＝ １ （Ｃ ＫＷＤ ｋｗｄ ＋ βｗｋ）） Γ（∑ Ｗ ｗ ＝ １ （Ｃ ＫＷＤ ｋｗｄ ＋ βｗ ＋ Ｎｉｗ）） ∏ Ｗ ｗ ＝ １ Γ（Ｃ ＫＷＤ ｋｗｄ ＋ βｗｋ ＋ Ｎｉｗ） Γ（Ｃ ＫＷＤ ｋｗｄ ＋ βｗｋ） · Γ（∑ Ｕ ｕ ＝ １ （Ｃ ＫＵＤ ｋｕｄ ＋ δｕｋ）） Γ（∑ Ｕ ｕ ＝ １ （Ｃ ＫＵＤ ｋｕｄ ＋ δｕｋ ＋ Ｎｉｕ）） ∏ Ｕ ｕ ＝ １ Γ（Ｃ ＫＵＤ ｋｕｄ ＋ δｕｋ ＋ Ｎｉｕ） Γ（Ｃ ＫＵＤ ｋｕｄ ＋ δｕｋ） 式中，Ｃ ＫＵＤ ｋｕｄ 表示文档 ｄ 中 ＵＲＬ ｕ 被分配主题 ｋ 的次 数，Ｎｉｕ表示第 ｉ 个 ｓｅｓｓｉｏｎ 中 ＵＲＬ ｕ 的数量。 ２．２ 查询词和 ＵＲＬ 相关联的主题模型（ＣＳ⁃ＳＢＭ） 查询词和 ＵＲＬ 通过搜索引擎紧密地结合在一 起，这使得本文研究的问题变得更加复杂。 被点击 的 ＵＲＬ 是由对应的查询词经过搜索得出的。 在网 络搜索的情境中，ＵＲＬ 是提交查询词给搜索引擎后 ·６７０· 智 能 系 统 学 报 第 １２ 卷