第12卷第5期 智能系统学报 Vol.12 No.5 2017年10月 CAAI Transactions on Intelligent Systems 0ct.2017 D0I:10.11992/tis.201706012 网络出版地址：htp:/kns.cmki.net/kcms/detail/23.1538.TP.20170831.1051.002.html 融合语义信息的矩阵分解词向量学习模型 陈培，景丽萍 (北京交通大学交通数据分析与挖掘北京市重点实验室，北京100044) 摘要：词向量在自然语言处理中起着重要的作用，近年来受到越来越多研究者的关注。然而，传统词向量学习方 法往往依赖于大量未经标注的文本语料库，却忽略了单词的语义信息如单词间的语义关系。为了充分利用已有领 域知识库（包含丰富的词语义信息），文中提出一种融合语义信息的词向量学习方法(KbEMF),该方法在矩阵分解学 习词向量的模型上加入领域知识约束项，使得拥有强语义关系的词对获得的词向量相对近似。在实际数据上进行 的单词类比推理任务和单词相似度量任务结果表明，KbEMF比已有模型具有明显的性能提升。 关键词：自然语言处理：词向量：矩阵分解：语义信息：知识库 中图分类号：TP391文献标志码：A文章编号：1673-4785(2017)05-0661-07 中文引用格式：陈培，景丽萍.融合语义信息的矩阵分解词向量学习模型[J].智能系统学报，2017,12(5)：661-667. 英文引用格式：CHEN Pei,JING Liping..Word representation learning model using matrix factorization to incorporate semantic information [J].CAAI transactions on intelligent systems,2017,12(5):661-667. Word representation learning model using matrix factorization to incorporate semantic information CHEN Pei,JING Liping (Beijing Key Lab of Traffic Data Analysis and Mining,Beijing Jiaotong University,Beijing 100044,China) Abstract:Word representation plays an important role in natural language processing and has attracted a great deal of attention from many researchers due to its simplicity and effectiveness.However,traditional methods for learning word representations generally rely on a large amount of unlabeled training data,while neglecting the semantic information of words,such as the semantic relationship between words.To sufficiently utilize knowledge bases that contain rich semantic word information in existing fields,in this paper,we propose a word representation learning method that incorporates semantic information(KbEMF).In this method,we use matrix factorization to incorporate field knowledge constraint items into a learning word representation model,which identifies words with strong semantic relationships as being relatively approximate to the obtained word representations.The results of word analogy reasoning tasks and word similarity measurement tasks obtained using actual data show the performance of KbEMF to be superior to that of existing models. Keywords:natural language processing;word representation;matrix factorization;semantic information; knowledge base 词向量是单词在实数空间所表示的一个低维 分析、机器翻译等。在处理上述任务的过程中通常 连续向量，它能够同时捕获单词的语义信息和语法 需要用到更大单位级别（如短语、句子、段落、篇章） 信息。近年来，词向量已被广泛地应用于各种各样 的向量表示，这些向量则可以由词向量组合获得。 的自然语言处理任务中-)]，如命名实体识别、情感 因此学习优质的词向量非常重要。 现有的词向量学习方法是利用单词的上下文 收稿日期：2017-06-06.网络出版日期：2017-08-31. 基金项目：国家自然科学基金项目(61370129,61375062,61632004). 信息预测该单词含义，并且使上下文信息相似的单 通信作者：景丽葬.E-mial:pjing(@bjtu.cdu.cn. 词含义也相似，因此对应的词向量在空间距离上更
第 １２ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．５ ２０１７ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１７０６０１２ 网络出版地址：ｈｔｔｐ： ／ ／ ｋｎｓ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１７０８３１．１０５１．００２．ｈｔｍｌ 融合语义信息的矩阵分解词向量学习模型 陈培，景丽萍 （北京交通大学 交通数据分析与挖掘北京市重点实验室，北京 １０００４４） 摘 要：词向量在自然语言处理中起着重要的作用，近年来受到越来越多研究者的关注。 然而，传统词向量学习方 法往往依赖于大量未经标注的文本语料库，却忽略了单词的语义信息如单词间的语义关系。 为了充分利用已有领 域知识库（包含丰富的词语义信息），文中提出一种融合语义信息的词向量学习方法（ＫｂＥＭＦ），该方法在矩阵分解学 习词向量的模型上加入领域知识约束项，使得拥有强语义关系的词对获得的词向量相对近似。 在实际数据上进行 的单词类比推理任务和单词相似度量任务结果表明，ＫｂＥＭＦ 比已有模型具有明显的性能提升。 关键词：自然语言处理；词向量；矩阵分解；语义信息；知识库 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０５－０６６１－０７ 中文引用格式：陈培，景丽萍．融合语义信息的矩阵分解词向量学习模型［Ｊ］． 智能系统学报， ２０１７， １２（５）： ６６１－６６７． 英文引用格式：ＣＨＥＮ Ｐｅｉ， ＪＩＮＧ Ｌｉｐｉｎｇ． Ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ ｕｓｉｎｇ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ｔｏ ｉｎｃｏｒｐｏｒａｔｅ ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（５）： ６６１－６６７． Ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ ｕｓｉｎｇ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ｔｏ ｉｎｃｏｒｐｏｒａｔｅ ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ ＣＨＥＮ Ｐｅｉ， ＪＩＮＧ Ｌｉｐｉｎｇ （Ｂｅｉｊｉｎｇ Ｋｅｙ Ｌａｂ ｏｆ Ｔｒａｆｆｉｃ Ｄａｔａ Ａｎａｌｙｓｉｓ ａｎｄ Ｍｉｎｉｎｇ， Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００４４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｐｌａｙｓ ａｎ ｉｍｐｏｒｔａｎｔ ｒｏｌｅ ｉｎ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｈａｓ ａｔｔｒａｃｔｅｄ ａ ｇｒｅａｔ ｄｅａｌ ｏｆ ａｔｔｅｎｔｉｏｎ ｆｒｏｍ ｍａｎｙ ｒｅｓｅａｒｃｈｅｒｓ ｄｕｅ ｔｏ ｉｔｓ ｓｉｍｐｌｉｃｉｔｙ ａｎｄ ｅｆｆｅｃｔｉｖｅｎｅｓｓ． Ｈｏｗｅｖｅｒ， ｔｒａｄｉｔｉｏｎａｌ ｍｅｔｈｏｄｓ ｆｏｒ ｌｅａｒｎｉｎｇ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｇｅｎｅｒａｌｌｙ ｒｅｌｙ ｏｎ ａ ｌａｒｇｅ ａｍｏｕｎｔ ｏｆ ｕｎｌａｂｅｌｅｄ ｔｒａｉｎｉｎｇ ｄａｔａ， ｗｈｉｌｅ ｎｅｇｌｅｃｔｉｎｇ ｔｈｅ ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｗｏｒｄｓ， ｓｕｃｈ ａｓ ｔｈｅ ｓｅｍａｎｔｉｃ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｗｏｒｄｓ． Ｔｏ ｓｕｆｆｉｃｉｅｎｔｌｙ ｕｔｉｌｉｚｅ ｋｎｏｗｌｅｄｇｅ ｂａｓｅｓ ｔｈａｔ ｃｏｎｔａｉｎ ｒｉｃｈ ｓｅｍａｎｔｉｃ ｗｏｒｄ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ｅｘｉｓｔｉｎｇ ｆｉｅｌｄｓ， ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｅ ｐｒｏｐｏｓｅ ａ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ｔｈａｔ ｉｎｃｏｒｐｏｒａｔｅｓ ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ （ＫｂＥＭＦ）． Ｉｎ ｔｈｉｓ ｍｅｔｈｏｄ， ｗｅ ｕｓｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ｔｏ ｉｎｃｏｒｐｏｒａｔｅ ｆｉｅｌｄ ｋｎｏｗｌｅｄｇｅ ｃｏｎｓｔｒａｉｎｔ ｉｔｅｍｓ ｉｎｔｏ ａ ｌｅａｒｎｉｎｇ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｏｄｅｌ， ｗｈｉｃｈ ｉｄｅｎｔｉｆｉｅｓ ｗｏｒｄｓ ｗｉｔｈ ｓｔｒｏｎｇ ｓｅｍａｎｔｉｃ ｒｅｌａｔｉｏｎｓｈｉｐｓ ａｓ ｂｅｉｎｇ ｒｅｌａｔｉｖｅｌｙ ａｐｐｒｏｘｉｍａｔｅ ｔｏ ｔｈｅ ｏｂｔａｉｎｅｄ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ． Ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ｗｏｒｄ ａｎａｌｏｇｙ ｒｅａｓｏｎｉｎｇ ｔａｓｋｓ ａｎｄ ｗｏｒｄ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅｍｅｎｔ ｔａｓｋｓ ｏｂｔａｉｎｅｄ ｕｓｉｎｇ ａｃｔｕａｌ ｄａｔａ ｓｈｏｗ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ＫｂＥＭＦ ｔｏ ｂｅ ｓｕｐｅｒｉｏｒ ｔｏ ｔｈａｔ ｏｆ ｅｘｉｓｔｉｎｇ ｍｏｄｅｌｓ． Ｋｅｙｗｏｒｄｓ： ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ； ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ； ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ； ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ； ｋｎｏｗｌｅｄｇｅ ｂａｓｅ 收稿日期：２０１７－０６－０６． 网络出版日期：２ 基金项目：国家自然科学基金项目（６１３７０ 词向量是单词在实数空间所表示的一个低维 连续向量，它能够同时捕获单词的语义信息和语法 信息。 近年来，词向量 １２ ０ ９ １７ ，６ － １ ０ ３ ８ ７ － ５ ３ ０ １ 通信作者：景丽萍．Ｅ⁃ｍｉａｌ： ｌｐｊｉｎｇ＠ ｂｊｔｕ．ｅｄｕ．ｃｎ． 已被广泛地应用于各种各样 的自然语言处理任务中［１－５］ ，如命名实体识别、情感 分析、机器翻译等。 在处理上述任务的过程中通常 需要用到更大单位级别（如短语、句子、段落、篇章） 的向量表示，这些向量则可以由词向量组合获得。 因此学习优质的词向量非常重要。 有的词向量学习方法是利用单词的上下文 ６ ． ２，６１６３２００４） 信息 现 预测该单词含义，并且使上下文信息相似的单 词含义也相似，因此对应的词向量在空间距离上更 ．
.662. 智能系统学报 第12卷 靠近。现有的词向量学习方法大致可以分为基于 学习过程中，提出了高质量的词向量联合学习模型 神经网络学习词向量和基于矩阵分解学习词向量。 RCM。Liu等[1通过在训练skip-gram模型过程中 基于神经网络学习词向量是根据上下文与目标单 加入单词相似性排序信息约束词向量学习，提出了 词之间的关系建立语言模型，通过训练语言模型获 SWE模型，该模型通过单词间的3种语义关系，即 得词向量[6-1]。但有效词向量的获取是建立在训练 近反义关系、上下位关系及类别关系获取单词相似 大规模文本语料库的基础上，这无疑使计算成本很 性排序信息。Faruqui等[0)采用后处理的方式调整 高。近年来提出的CBOW和skip-gram模型去除 已经预先训练好的词向量，提出了Retro模型，该模 了神经网络结构中非线性隐层，使算法复杂度大大 型可以利用任意知识库信息调整由任意词向量模 降低，并且也获得了高效的词向量。CBOW根据上 型训练好的词向量，而无需重新训练词向量。 下文预测目标单词，skip-gam根据目标单词预测上 以上研究都是通过拓展神经网络词向量学习 下文单词。基于矩阵分解的词向量学习模型3-) 模型构建的。与之不同，本文提出的KbEMF模型 是通过分解从文本语料库中提取的矩阵（如共现矩 是基于矩阵分解学习词向量。该模型以ⅱ等)提 阵或由共现矩阵生成的PMI矩阵)得到低维连续的 出的EMF模型为框架加人领域知识约束项，使具有 词向量，并且文献[13]和文献[14]证明了矩阵分解 较强语义关系的词对学习到的词向量在实数空间 的词向量学习模型与skip-gram完全等价。 中的距离更近，也就是更加近似。与Faruqui等采 上述模型学习的词向量已被有效地应用于自 用后处理方式调整训练好的词向量方式不同， 然语言处理任务中，然而这些模型在学习词向量的 KbEMF是一个同时利用语料库和知识库学习词向 过程中仅使用了文本语料库信息，却忽略了单词间 量的联合模型，并且在单词类比推理和单词相似度 的语义信息。一旦遇到下列情形很难保证所得词 量两个实验任务中展示了它的优越性。 向量的质量：1)含义不同甚至完全相反的单词 (good/bad)往往出现在相似的上下文中，那么它们 1 矩阵分解词向量学习模型相关背景 的词向量必然十分相似，这明显与现实世界相悖； KbEMF模型是通过扩展矩阵分解词向量学习 2)对于两个含义相似的单词，其中一个出现在语料 模型构建的，本节介绍有关矩阵分解学习词向量涉 库中的次数极少，另外一个却频繁出现，或者它们 及的背景知识。 出现在不同的上下文中，那么最终它们学得的词向 矩阵分解给定一个矩阵X,矩阵分解的目标 量会有很大差别：3)大量上下文噪音的存在使学得 在于找到两个低秩的矩阵Y和Z,使得X≈YZ,因 的词向量不能准确反映出单词间的真实关系，甚至 此矩阵分解的目标函数可以用min叱(X,YZ)公式来 会误导整个词向量的训练过程。 表示，其中（表示将矩阵X近似分解为Z与Y的乘 为解决上述问题，本文考虑从领域知识库提取 积造成的损失。不同的损失函数得到不同的矩阵 语义信息并融入到词向量学习的过程中。这会给 分解模型，例如，非负矩阵分解21、概率矩阵分 词向量的学习带来下列优势。 解2]、最大边界矩阵分解] 首先，知识库明确定义了单词的语义关系 共现矩阵对于一个特定的训练语料库T,V (knife/fork都属于餐具，animal/dog具有范畴包含 是从该语料库中提取的全部单词生成的词汇表，当 关系等)，引入这些语义关系约束词向量的学习，使 上下文窗口设定为L时，对任意的w:∈V,它的上下 学到的词向量具有更准确的关系。另外，相似单词 文单词为0-L,…,01,0#1,…,w+L,则共现矩阵X 出现在不同的上下文中或者出现频次存在较大差 的每个元素值#(0，c)表示0和c的共现次数，即上 异带来的词向量偏差问题，都可以通过知识库丰富 下文单词c出现在目标单词0上下文中的次数， 的语义信息予以修正。再者，知识库是各领域的权 威专家构建的，具有更高的可靠性。因此，引入语 #(o)=∑#(0，c)表示出现在0上下文中全部c 义信息约束词向量的学习是很有必要的。 的次数。同样地，#(c)=∑(0，c)表示c作为 目前融合语义信息学习词向量已有一些研究 上下文出现在语料库中的次数。 成果。Bian等[16)利用单词结构信息、语法信息及语 EMF模型skip-gram模型学得的词向量在多 义信息学习词向量，并取得了良好的效果。Xu 项自然语言处理任务中都取得了良好的表现，却没 等[)分别给取自于知识库的两类知识信息(R-NET 有清晰的理论原理解释。由此，EMF从表示学习的 和C-NET)建立正则约束函数，并将它们与skp 角度出发，重新定义了skip-am模型的目标函数， ram模型联合学习词向量，提出了RC-NET模型。 将其精确地解释为矩阵分解模型，把词向量解释为 Yu等[8]将单词间的语义相似信息融入到CBOW的 softmax损失下显示词向量d,关于表示字典C的一
靠近。 现有的词向量学习方法大致可以分为基于 神经网络学习词向量和基于矩阵分解学习词向量。 基于神经网络学习词向量是根据上下文与目标单 词之间的关系建立语言模型，通过训练语言模型获 得词向量［６－１２］ 。 但有效词向量的获取是建立在训练 大规模文本语料库的基础上，这无疑使计算成本很 高。 近年来提出的 ＣＢＯＷ 和 ｓｋｉｐ⁃ｇｒａｍ 模型［１１］去除 了神经网络结构中非线性隐层，使算法复杂度大大 降低，并且也获得了高效的词向量。 ＣＢＯＷ 根据上 下文预测目标单词，ｓｋｉｐ⁃ｇｒａｍ 根据目标单词预测上 下文单词。 基于矩阵分解的词向量学习模型［１３－１５］ 是通过分解从文本语料库中提取的矩阵（如共现矩 阵或由共现矩阵生成的 ＰＭＩ 矩阵）得到低维连续的 词向量，并且文献［１３］和文献［１４］证明了矩阵分解 的词向量学习模型与 ｓｋｉｐ⁃ｇｒａｍ 完全等价。 上述模型学习的词向量已被有效地应用于自 然语言处理任务中，然而这些模型在学习词向量的 过程中仅使用了文本语料库信息，却忽略了单词间 的语义信息。 一旦遇到下列情形很难保证所得词 向量的质量： １） 含义不同甚至完全相反的单词 （ｇｏｏｄ ／ ｂａｄ）往往出现在相似的上下文中，那么它们 的词向量必然十分相似，这明显与现实世界相悖； ２）对于两个含义相似的单词，其中一个出现在语料 库中的次数极少，另外一个却频繁出现，或者它们 出现在不同的上下文中，那么最终它们学得的词向 量会有很大差别；３）大量上下文噪音的存在使学得 的词向量不能准确反映出单词间的真实关系，甚至 会误导整个词向量的训练过程。 为解决上述问题，本文考虑从领域知识库提取 语义信息并融入到词向量学习的过程中。 这会给 词向量的学习带来下列优势。 首先， 知 识 库 明 确 定 义 了 单 词 的 语 义 关 系 （ｋｎｉｆｅ ／ ｆｏｒｋ 都属于餐具，ａｎｉｍａｌ ／ ｄｏｇ 具有范畴包含 关系等），引入这些语义关系约束词向量的学习，使 学到的词向量具有更准确的关系。 另外，相似单词 出现在不同的上下文中或者出现频次存在较大差 异带来的词向量偏差问题，都可以通过知识库丰富 的语义信息予以修正。 再者，知识库是各领域的权 威专家构建的，具有更高的可靠性。 因此，引入语 义信息约束词向量的学习是很有必要的。 目前融合语义信息学习词向量已有一些研究 成果。 Ｂｉａｎ 等［１６］利用单词结构信息、语法信息及语 义信息学习 词 向 量， 并 取 得 了 良 好 的 效 果。 Ｘｕ 等［１７］分别给取自于知识库的两类知识信息（Ｒ⁃ＮＥＴ 和 Ｃ⁃ＮＥＴ） 建立正则约束函数，并将它们与 ｓｋｉｐ⁃ ｇｒａｍ 模型联合学习词向量，提出了 ＲＣ⁃ＮＥＴ 模型。 Ｙｕ 等［１８］将单词间的语义相似信息融入到 ＣＢＯＷ 的 学习过程中，提出了高质量的词向量联合学习模型 ＲＣＭ。 Ｌｉｕ 等［１９］通过在训练 ｓｋｉｐ⁃ｇｒａｍ 模型过程中 加入单词相似性排序信息约束词向量学习，提出了 ＳＷＥ 模型，该模型通过单词间的 ３ 种语义关系，即 近反义关系、上下位关系及类别关系获取单词相似 性排序信息。 Ｆａｒｕｑｕｉ 等［２０］采用后处理的方式调整 已经预先训练好的词向量，提出了 Ｒｅｔｒｏ 模型，该模 型可以利用任意知识库信息调整由任意词向量模 型训练好的词向量，而无需重新训练词向量。 以上研究都是通过拓展神经网络词向量学习 模型构建的。 与之不同，本文提出的 ＫｂＥＭＦ 模型 是基于矩阵分解学习词向量。 该模型以 Ｌｉ 等［１３］ 提 出的 ＥＭＦ 模型为框架加入领域知识约束项，使具有 较强语义关系的词对学习到的词向量在实数空间 中的距离更近，也就是更加近似。 与 Ｆａｒｕｑｕｉ 等采 用后处 理 方 式 调 整 训 练 好 的 词 向 量 方 式 不 同， ＫｂＥＭＦ 是一个同时利用语料库和知识库学习词向 量的联合模型，并且在单词类比推理和单词相似度 量两个实验任务中展示了它的优越性。 １ 矩阵分解词向量学习模型相关背景 ＫｂＥＭＦ 模型是通过扩展矩阵分解词向量学习 模型构建的，本节介绍有关矩阵分解学习词向量涉 及的背景知识。 矩阵分解 给定一个矩阵 Ｘ，矩阵分解的目标 在于找到两个低秩的矩阵 Ｙ 和 Ｚ，使得 Ｘ≈ＹＺ，因 此矩阵分解的目标函数可以用 ｍｉｎ Ｙ，Ｚ ζ（Ｘ，ＹＺ） 公式来 表示，其中 ζ 表示将矩阵 Ｘ 近似分解为 Ｚ 与 Ｙ 的乘 积造成的损失。 不同的损失函数得到不同的矩阵 分解模型， 例如， 非负矩阵分解［２１］ 、 概率矩阵分 解［２２］ 、最大边界矩阵分解［２３］ 。 共现矩阵 对于一个特定的训练语料库 Ｔ，Ｖ 是从该语料库中提取的全部单词生成的词汇表，当 上下文窗口设定为 Ｌ 时，对任意的 ｗｉ∈Ｖ，它的上下 文单词为ｗｉ－Ｌ ，…，ｗｉ－１ ，ｗｉ＋１ ，…，ｗｉ＋Ｌ ，则共现矩阵 Ｘ 的每个元素值＃（ｗ，ｃ）表示 ｗ 和 ｃ 的共现次数，即上 下文单词 ｃ 出现在目标单词 ｗ 上下文中的次数， ＃（ｗ） ＝∑ｃ∈Ｖ ＃（ｗ，ｃ） 表示出现在 ｗ 上下文中全部 ｃ 的次数。 同样地， ＃（ｃ） ＝∑ｗ∈Ｖ ＃（ｗ，ｃ） 表示 ｃ 作为 上下文出现在语料库中的次数。 ＥＭＦ 模型 ｓｋｉｐ⁃ｇｒａｍ 模型学得的词向量在多 项自然语言处理任务中都取得了良好的表现，却没 有清晰的理论原理解释。 由此，ＥＭＦ 从表示学习的 角度出发，重新定义了 ｓｋｉｐ⁃ｇｒａｍ 模型的目标函数， 将其精确地解释为矩阵分解模型，把词向量解释为 ｓｏｆｔｍａｘ 损失下显示词向量 ｄｗ 关于表示字典 Ｃ 的一 ·６６２· 智 能 系 统 学 报 第 １２ 卷
第5期 陈培，等：融合语义信息的矩阵分解词向量学习模型 ·663· 个隐表示，并直接显式地证明了skip-gram就是分解 tr(w S.w)tr(W S.W)-2tr(W'SW)= 词共现矩阵学习词向量的模型。这一证明为进一 tr(w'(S.+S-25)W) 步推广及拓展skip-gram提供了坚实理论基础。 最终所得语义约束模型为 EMF目标函数用(1)式表示： R=tr(W(S.+S-2s)W) (2) minw,wC)=-t(NCwW+∑.e(∑e) 式中：r(·)表示矩阵的迹；S,表示语义矩阵S第i 行全部元素值的加和，即S的第i行和：S,表示语义 (1) 矩阵S第j列全部元素值的加和，即S的第j列和； 式中：X为共现矩阵；W为单词矩阵：C为上下文矩 Sm表示以S:为对角元素值的对角矩阵，S表示以 阵，V中单词、上下文单词c对应的词向量构成W S,为对角元素值的对角矩阵。 和C的列向量，d.为单词w所在X列的列向量。 2.3模型融合 Sn=S.,1×S.2X…×S×…XS,m,表示S的笛卡尔 将语义约束模型R与EMF相结合，得到融合语 乘积，Sc={0,1,…,k #(w)#(c）k是一个 义信息的矩阵分解词向量学习模型KEMF: ∑.cev#(0,c) 参数。 0=-tr(x"c"w)+∑n(∑erc)+ wEV X'ES。 2融合语义信息的矩阵分解词向量学 ytr(W'(S +S-2S)W) (3) 式中y是语义组合权重，表示语义约束模型在联合 习模型 模型中所占的比重大小。y在词向量学习过程中扮 2.1提取语义信息并构建语义矩阵 演相当重要的角色，该参数设置值过小时会弱化先 本文选择WordNet做先验知识库。WordNet是 验知识对词向量学习的影响，若过大则会破坏词向 一个覆盖范围较广的英语词汇语义网，它把含义相 量学习的通用性，无论哪种情况都不利于词向量的 同的单词组织在同义词集合中，每个同义词集合都 学习。该模型目标在于最小化目标函数0，采用变 代表一个基本的语义概念，并且这些集合之间也由 量交替迭代策略求取最优解。当Y=0时表示没有 各种关系（例如整体部分关系、上下文关系）连接。 融合语义信息，即为EMF模型。 本文基于同义词集合及集合间的关系词构建 2.4模型求解 一个语义关系矩阵S∈Rx",它的每一个元素S,= 目标函数，即式(3)不是关于C和W的联合凸 S(:,w)表示词汇表V中第i个单词w:与第j个单 函数，但却是关于C或W的凸函数，因此本文采用 词心，之间的语义相关性。如果S,=0表示单词：与 被广泛应用于矩阵分解的变量交替迭代优化策略 w没有语义相关性，反之S,≠0则表示单词w:与0 求取模型的最优解。分别对C、W求偏导数，得到 具有相关性。简单起见，本文将语义关系矩阵S构 =(ExIc-)W 30 (4) 建成0-1矩阵，如果单词w:与w:具有上述语义关系 则令Sa=1,否则S:=0。 aW=C(ExIcmX-x)+(L+L)W (5) a 2.2构建语义约束模型 本文构建语义约束模型的前提是具有语义相 式中：L=S+S-2S;Ex1cwX位于w行c列的值是 关性的词对心：、心，学到的词向量更相似，在实数空 EncIwX(w,c)=Q(w,c)o(cTw),Q位于w行c列的 间中有更近的距离，本文采用向量的欧氏距离作为 值是Q(0,c）=k0)#(C+#(,0),0)= #(0,c) 度量词对相似程度的标尺，即d(w:,w)= 1+。。本文的优化更新策略为 1 w:一w,?。因此，语义约束模型可以表示为 R=∑Sg‖小w:-w,2= W-W+n[C(ExcTwX -X)+y(L+L)W] 是5w+听g-2) (6) C←C+n[(Ex1cmwX-X)W] (7) 在一次循环中先对W迭代更新，直到目标函数 O对W收敛为止，然后对C迭代更新，再次使目标 Sw0:+若s"w-22S和%= 函数O对C收敛，至此一次循环结束，依此循环下 I= 去直到最终目标函数关于C和W都收敛为止
个隐表示，并直接显式地证明了ｓｋｉｐ⁃ｇｒａｍ就是分解 词共现矩阵学习词向量的模型。 这一证明为进一 步推广及拓展 ｓｋｉｐ⁃ｇｒａｍ 提供了坚实理论基础。 ＥＭＦ 目标函数用（１）式表示： ｍｉｎＷ，Ｃ ζ（Ｘ，ＷＣ）＝ －ｔｒ Ｘ Ｔ Ｃ Ｔ ( Ｗ) ＋∑ｗ∈Ｖ ｌｎ ∑Ｘ′ｗ∈Ｓｗ ｅ Ｘ′ Ｔ ｗＣ Ｔ ｗ ( ) （１） 式中：Ｘ 为共现矩阵；Ｗ 为单词矩阵；Ｃ 为上下文矩 阵，Ｖ 中单词 ｗ、上下文单词 ｃ 对应的词向量构成 Ｗ 和 Ｃ 的列向量，ｄｗ 为单词 ｗ 所在 Ｘ 列的列向量。 Ｓｗ ＝ Ｓｗ，１ ×Ｓｗ，２ ×…×Ｓｗ，ｃ ×…×Ｓｗ，｜ Ｖ｜ ，表示 Ｓｗ，ｃ的笛卡尔 乘积， Ｓｗ，ｃ ＝ ｛ ０， １， …， ｋ ＃（ｗ）＃（ｃ） ∑ｗ，ｃ∈Ｖ ＃（ｗ，ｃ） ｝ ｋ 是一个 参数。 ２ 融合语义信息的矩阵分解词向量学 习模型 ２．１ 提取语义信息并构建语义矩阵 本文选择 ＷｏｒｄＮｅｔ 做先验知识库。 ＷｏｒｄＮｅｔ 是 一个覆盖范围较广的英语词汇语义网，它把含义相 同的单词组织在同义词集合中，每个同义词集合都 代表一个基本的语义概念，并且这些集合之间也由 各种关系（例如整体部分关系、上下文关系）连接。 本文基于同义词集合及集合间的关系词构建 一个语义关系矩阵 Ｓ ∈ R Ｖ×Ｖ ，它的每一个元素Ｓｉｊ ＝ Ｓ（ｗｉ，ｗｊ） 表示词汇表 Ｖ 中第 ｉ 个单词ｗｉ 与第 ｊ 个单 词 ｗｊ 之间的语义相关性。 如果 Ｓｉｊ ＝ ０ 表示单词ｗｉ 与 ｗｊ 没有语义相关性，反之 Ｓｉｊ ≠ ０ 则表示单词 ｗｉ 与ｗｊ 具有相关性。 简单起见，本文将语义关系矩阵 Ｓ 构 建成 ０－１ 矩阵，如果单词 ｗｉ 与ｗｊ 具有上述语义关系 则令 Ｓｉｊ ＝ １，否则 Ｓｉｊ ＝ ０。 ２．２ 构建语义约束模型 本文构建语义约束模型的前提是具有语义相 关性的词对 ｗｉ、ｗｊ 学到的词向量更相似，在实数空 间中有更近的距离，本文采用向量的欧氏距离作为 度 量 词 对 相 似 程 度 的 标 尺， 即 ｄ ｗｉ，ｗｊ ( ) ＝ ｗｉ － ｗｊ ２ 。 因此，语义约束模型可以表示为 Ｒ ＝ ∑ｗｉ ，ｗｊ∈Ｖ Ｓｉｊ ｗｉ － ｗｊ ２ ＝ ∑ Ｖ ｉ，ｊ ＝ １ Ｓｉｊ（ｗ Ｔ ｉ ｗｉ ＋ ｗ Ｔ ｊ ｗｊ － ２ ｗ Ｔ ｉ ｗｊ） ＝ ∑ Ｖ ｉ ＝１ （∑ Ｖ ｊ ＝１ Ｓｉｊ） ｗ Ｔ ｉ ｗｉ ＋∑ Ｖ ｊ ＝１ （∑ Ｖ ｉ ＝１ Ｓｉｊ） ｗ Ｔ ｊ ｗｊ － ２∑ Ｖ ｉ， ｊ ＝１ Ｓｉｊ ｗ Ｔ ｉ ｗｊ ＝ ∑ Ｖ ｉ ＝ １ Ｓｉｗ Ｔ ｉ ｗｉ ＋ ∑ Ｖ ｊ ＝ １ Ｓｊｗ Ｔ ｊ ｗｊ － ２∑ Ｖ ｉ，ｊ ＝ １ Ｓｉｊ ｗ Ｔ ｉ ｗｊ ＝ ｔｒ（Ｗ Ｔ ＳｒｏｗＷ） ＋ ｔｒ（Ｗ Ｔ ＳｃｏｌＷ） － ２ｔｒ（Ｗ Ｔ ＳＷ） ＝ ｔｒ（Ｗ Ｔ （Ｓｒｏｗ ＋ Ｓｃｏｌ － ２Ｓ）Ｗ） 最终所得语义约束模型为 Ｒ ＝ ｔｒ（Ｗ Ｔ （Ｓｒｏｗ ＋ Ｓｃｏｌ － ２Ｓ）Ｗ） （２） 式中：ｔｒ（·）表示矩阵的迹； Ｓｉ 表示语义矩阵 Ｓ 第 ｉ 行全部元素值的加和，即 Ｓ 的第 ｉ 行和； Ｓｊ 表示语义 矩阵 Ｓ 第 ｊ 列全部元素值的加和，即 Ｓ 的第 ｊ 列和； Ｓｒｏｗ表示以 Ｓｉ 为对角元素值的对角矩阵，Ｓｃｏｌ表示以 Ｓｊ 为对角元素值的对角矩阵。 ２．３ 模型融合 将语义约束模型 Ｒ 与 ＥＭＦ 相结合，得到融合语 义信息的矩阵分解词向量学习模型 ＫｂＥＭＦ： Ｏ ＝－ ｔｒ Ｘ Ｔ Ｃ Ｔ ( Ｗ) ＋ ∑ｗ∈Ｖ ｌｎ ∑Ｘ′ｗ∈Ｓｗ ｅ Ｘ′ Ｔ ｗＣ Ｔ ｗ ( ) ＋ γｔｒ（Ｗ Ｔ （Ｓｒｏｗ ＋ Ｓｃｏｌ － ２Ｓ）Ｗ） （３） 式中 γ 是语义组合权重，表示语义约束模型在联合 模型中所占的比重大小。 γ 在词向量学习过程中扮 演相当重要的角色，该参数设置值过小时会弱化先 验知识对词向量学习的影响，若过大则会破坏词向 量学习的通用性，无论哪种情况都不利于词向量的 学习。 该模型目标在于最小化目标函数 Ｏ，采用变 量交替迭代策略求取最优解。 当 γ ＝ ０ 时表示没有 融合语义信息，即为 ＥＭＦ 模型。 ２．４ 模型求解 目标函数，即式（３）不是关于 Ｃ 和 Ｗ 的联合凸 函数，但却是关于 Ｃ 或 Ｗ 的凸函数，因此本文采用 被广泛应用于矩阵分解的变量交替迭代优化策略 求取模型的最优解。 分别对 Ｃ、Ｗ 求偏导数，得到 ∂Ｏ ∂Ｃ ＝ (ＥＸ ＣＴＷ Ｘ － Ｘ) Ｗ Ｔ （４） ∂Ｏ ∂Ｗ ＝ Ｃ(ＥＸ ＣＴＷ Ｘ － Ｘ) ＋ γ（Ｌ ＋ Ｌ Ｔ ）Ｗ （５） 式中：Ｌ ＝ Ｓｒｏｗ ＋Ｓｃｏｌ －２Ｓ；ＥＸ｜ ＣＴＷ Ｘ 位于 ｗ 行 ｃ 列的值是 ＥＸ｜ ＣＴＷ Ｘ（ｗ，ｃ） ＝ Ｑ（ｗ，ｃ）σ ｃ Ｔ ( ｗ) ，Ｑ 位于 ｗ 行 ｃ 列的 值 是 Ｑ（ｗ，ｃ） ＝ ｋ ＃（ｗ）＃（ｃ） ＃（ｗ，ｃ） ＋ ＃（ｗ，ｃ），σ (ｘ) ＝ １ １ ＋ ｅ －ｘ 。 本文的优化更新策略为 Ｗ ← Ｗ ＋ η Ｃ(ＥＸ｜ ＣＴＷ Ｘ － Ｘ) ＋ γ（Ｌ ＋ Ｌ Ｔ [ ）Ｗ] （６） Ｃ ← Ｃ ＋ η［ (ＥＸ ＣＴＷ Ｘ － Ｘ) Ｗ Ｔ ］ （７） 在一次循环中先对 Ｗ 迭代更新，直到目标函数 Ｏ 对 Ｗ 收敛为止，然后对 Ｃ 迭代更新，再次使目标 函数 Ｏ 对 Ｃ 收敛，至此一次循环结束，依此循环下 去直到最终目标函数关于 Ｃ 和 Ｗ 都收敛为止。 第 ５ 期 陈培，等：融合语义信息的矩阵分解词向量学习模型 ·６６３·
·664. 智能系统学报 第12卷 算法KbEMF算法的伪代码 3.2实验设置 输入共现矩阵X,语义关系矩阵S,学习率7， 下列实验展示了由KEMF获取的词向量在不 最大迭代次数K,k: 同任务中的性能表现。为保持实验效果的一致性， 输出Wx,Cx 所有模型设置相同的参数。词向量维数统一设置 1)随机初始化：W。,C。 为200，学习率设置为6×10-7，上下文窗口为5，迭 2)fori=1toK,执行 代次数设置为300。 3)W=W- 另外，语义组合权重的大小也对实验有重要影 4)forj=1tok,执行 响。对于单词类比推理和单词相似度量任务本文 5)W.=W+n[W-(ExI W-W)+y(L+L) 均采取相同的实验策略寻找最佳语义组合权重，下 w] 面以单词类比推理任务为例详细说明最佳语义组 6)j=j+1 7)C:=C- 合权重找寻的实验过程。设定y∈[0.01,100]，首 先实验y=0.01,0.1,1,10,100的单词推理正确率， 8)forj=1tok,执行 9)C:=C:+(ExIcwX-X)W: 如图1(b)所示，y=0.01,0.1,1时KbEMF没有提 升实验效果，因为语义信息所起作用太小：在y= 10)j=j+1 11)i=i+1 100时KbEMF实验效果反而更差，这是过分强调语 义信息破坏了词向量的通用性：只有在y=10时 3实验与结果 KbEMF效果较好，则最佳语义组合权重在y=10附 本节主要展示融合语义信息后获取的词向量 近的可能性最大。然后在y∈[1,10]和y∈[10， 在单词类比推理和单词相似度量任务上的性能表 100]采取同样的策略继续寻找下去，最终会得到最 现。首先介绍实验数据集及实验设置，然后分别描 佳组合权重。实验结果表明，不同任务在不同词频 述每个实验的任务和结果，并分析实验结果。 下的最优语义组合权重也不同。 3.1数据集 3.3单词类比推理 本实验选择Ewik9'作为训练语料库，经过去 给出一个问题a:b:c:d,a、b、c、d各表示一 除原始语料库中HTML元数据、超链接等预处理操 个单词其中d是未知的，类比推理任务的目标在 作后，得到一个词汇量将近13亿的训练数据集。然 于找到一个最合适的d使得a,b,c,d的词向量 后通过设置单词过滤词频限制词汇表的大小，把低 满足vec(d)与vec(b)-vec(a)+vec(c)的余弦距 于设定过滤词频的单词剔除词汇表，因此，不同过 离最近。例如，语义推理Germary:Berlin:: 滤词频产生不同大小的词汇表。 France:d,则需要找出一个向量vec(d),使它与 本实验选用WordNet2作为知识库，WordNet2有 vec(Berlin)-vec(Germary)+vec(France)最近似， 120000同义词集合，其中包含150000单词。本文 如果vec(d)对应的d是Paris则推理正确。同 借助JWI从WordNet2中抽取单词间的语义关系： 理，又如语法推理quick:quickly:slow:d,如果找 同一个同义词集合内单词对的同义关系，以及不同 到d是slowly则推理正确。该实验任务的评价指 集合间单词对的上下位关系。 标是推理出单词d的正确率，正确率越高，则 不同的实验任务所用的测试数据集也不相同。 在单词类比推理任务中，本文使用的测试集为 KbEMF学得的词向量越好。 谷歌查询数据集(Google query dataset),该数据集 本实验评估了不同参数设置对KbEMF模型影 包含19544个问题，共14种关系类型，其中5种语 响，图1是词频为6000次时，分别改变模型中词向 义关系，9种语法关系。在单词相似度量任务中，本 量维度及语义组合权重所绘制的。 文使用下列3个数据集：Luong等2使用的稀有单 从图1(a)可以看出，词向量维度小于200时， 词，Finkelstein等2]使用的Wordsim-353(WS353) 随着词向量维度增加单词推理正确率在提升，词向 数据集(RW),Huang等[o发布的上下文单词相似 量维度在200~350之间实验效果趋向于稳定，因此 数据集(SCWS)。它们分别包含2003、2034、353个 在同时兼顾实验速度与效果的情况下，本文选择学 单词对及相应的人工标注的相似度分值。 习200维度的词向量
算法 ＫｂＥＭＦ 算法的伪代码 输入 共现矩阵 Ｘ，语义关系矩阵 Ｓ，学习率 η， 最大迭代次数 Ｋ，ｋ； 输出 ＷＫ ，ＣＫ 。 １）随机初始化： Ｗ０ ，Ｃ０ ２）ｆｏｒ ｉ ＝ １ ｔｏ Ｋ，执行 ３）Ｗｉ ＝Ｗｉ－１ ４）ｆｏｒ ｊ ＝ １ ｔｏ ｋ， 执行 ５） Ｗｉ ＝ Ｗｉ ＋ η［Ｗｉ－１ ＥＸ ＣＴ ( ｉ－１ＷｉＷ － Ｗ) ＋ γ（Ｌ ＋ Ｌ Ｔ ） Ｗｉ ］ ６）ｊ ＝ ｊ＋１ ７） Ｃｉ ＝ Ｃｉ－１ ８）ｆｏｒ ｊ ＝ １ ｔｏ ｋ， 执行 ９） Ｃｉ ＝ Ｃｉ ＋ η ＥＸ Ｃ Ｔ ｉ Ｗｉ ( Ｘ － Ｘ) Ｗ Ｔ ｉ １０）ｊ ＝ ｊ＋１ １１）ｉ ＝ ｉ＋１ ３ 实验与结果 本节主要展示融合语义信息后获取的词向量 在单词类比推理和单词相似度量任务上的性能表 现。 首先介绍实验数据集及实验设置，然后分别描 述每个实验的任务和结果，并分析实验结果。 ３．１ 数据集 本实验选择 Ｅｎｗｉｋ９ １ 作为训练语料库，经过去 除原始语料库中 ＨＴＭＬ 元数据、超链接等预处理操 作后，得到一个词汇量将近 １３ 亿的训练数据集。 然 后通过设置单词过滤词频限制词汇表的大小，把低 于设定过滤词频的单词剔除词汇表，因此，不同过 滤词频产生不同大小的词汇表。 本实验选用 ＷｏｒｄＮｅｔ ２ 作为知识库，ＷｏｒｄＮｅｔ ２ 有 １２０ ０００同义词集合，其中包含１５０ ０００单词。 本文 借助 ＪＷＩ ３ 从 ＷｏｒｄＮｅｔ ２ 中抽取单词间的语义关系： 同一个同义词集合内单词对的同义关系，以及不同 集合间单词对的上下位关系。 不同的实验任务所用的测试数据集也不相同。 在单词类比推理任务中，本文使用的测试集为 谷歌查询数据集（Ｇｏｏｇｌｅ ｑｕｅｒｙ ｄａｔａｓｅｔ ４ ），该数据集 包含１９ ５４４个问题，共 １４ 种关系类型，其中 ５ 种语 义关系，９ 种语法关系。 在单词相似度量任务中，本 文使用下列 ３ 个数据集：Ｌｕｏｎｇ 等［２４］ 使用的稀有单 词，Ｆｉｎｋｅｌｓｔｅｉｎ 等［２５］ 使用的 Ｗｏｒｄｓｉｍ⁃３５３ （ ＷＳ３５３） 数据集（ＲＷ），Ｈｕａｎｇ 等［６］ 发布的上下文单词相似 数据集（ＳＣＷＳ）。 它们分别包含 ２００３、２０３４、３５３ 个 单词对及相应的人工标注的相似度分值。 ３．２ 实验设置 下列实验展示了由 ＫｂＥＭＦ 获取的词向量在不 同任务中的性能表现。 为保持实验效果的一致性， 所有模型设置相同的参数。 词向量维数统一设置 为 ２００，学习率设置为 ６ × １０ －７ ，上下文窗口为 ５，迭 代次数设置为 ３００。 另外，语义组合权重的大小也对实验有重要影 响。 对于单词类比推理和单词相似度量任务本文 均采取相同的实验策略寻找最佳语义组合权重，下 面以单词类比推理任务为例详细说明最佳语义组 合权重找寻的实验过程。 设定 γ ∈ ［０．０１，１００］，首 先实验 γ ＝ ０．０１，０．１，１，１０，１００ 的单词推理正确率， 如图 １ （ｂ）所示， γ ＝ ０．０１，０．１，１ 时 ＫｂＥＭＦ 没有提 升实验效果，因为语义信息所起作用太小；在 γ ＝ １００ 时 ＫｂＥＭＦ 实验效果反而更差，这是过分强调语 义信息破坏了词向量的通用性；只有在 γ ＝ １０ 时 ＫｂＥＭＦ 效果较好，则最佳语义组合权重在 γ ＝ １０ 附 近的可能性最大。 然后在 γ ∈ ［１，１０］和 γ ∈ ［１０， １００］采取同样的策略继续寻找下去，最终会得到最 佳组合权重。 实验结果表明，不同任务在不同词频 下的最优语义组合权重也不同。 ３．３ 单词类比推理 给出一个问题 ａ ∶ ｂ ∶ ∶ｃ ∶ ｄ，ａ、ｂ、ｃ、ｄ 各表示一 个单词其中 ｄ 是未知的，类比推理任务的目标在 于找到一个最合适的 ｄ 使得 ａ， ｂ， ｃ， ｄ 的词向量 满足 ｖｅｃ（ ｄ）与 ｖｅｃ（ ｂ） －ｖｅｃ（ ａ） ＋ｖｅｃ（ ｃ） 的余弦距 离 最 近。 例 如， 语 义 推 理 Ｇｅｒｍａｒｙ ∶ Ｂｅｒｌｉｎ ∶ ∶ Ｆｒａｎｃｅ ∶ ｄ，则需要找出一个向量 ｖｅｃ（ ｄ） ，使它与 ｖｅｃ（ Ｂｅｒｌｉｎ） ⁃ｖｅｃ（ Ｇｅｒｍａｒｙ） ＋ｖｅｃ（ Ｆｒａｎｃｅ） 最近似， 如果 ｖｅｃ（ ｄ） 对应的 ｄ 是 Ｐａｒｉｓ 则推理正确。 同 理，又如语法推理 ｑｕｉｃｋ：ｑｕｉｃｋｌｙ ∶ ∶ｓｌｏｗ ∶ ｄ，如果找 到 ｄ 是 ｓｌｏｗｌｙ 则推理正确。 该实验任务的评价指 标 是 推 理 出 单 词 ｄ 的 正 确 率， 正 确 率 越 高， 则 ＫｂＥＭＦ 学得的词向量越好。 本实验评估了不同参数设置对 ＫｂＥＭＦ 模型影 响，图 １ 是词频为６ ０００次时，分别改变模型中词向 量维度及语义组合权重所绘制的。 从图 １ （ａ）可以看出，词向量维度小于 ２００ 时， 随着词向量维度增加单词推理正确率在提升，词向 量维度在 ２００～３５０ 之间实验效果趋向于稳定，因此 在同时兼顾实验速度与效果的情况下，本文选择学 习 ２００ 维度的词向量。 ·６６４· 智 能 系 统 学 报 第 １２ 卷
第5期 陈培，等：融合语义信息的矩阵分解词向量学习模型 ·665 78.0 下面通过将KbEMF与EMF、Retro(CBOW)、 77.5 Retro(Skip-gram)、SWE进行比较来说明KbEMF的 77.0 优越性。Retro根据知识库信息对预先训练好的词 76.5 向量进行微调，该模型的缺点在于无法在语料库学 76.0 习词向量阶段利用丰富的语义信息。虽然SWE同 75.5 时利用了语义信息和语料库信息学习词向量，但该 75.0 模型的基础框架skip-gram只考虑了语料库的局部 共现信息。本文提出的KEMF则克服了上述模型 74.5 00.010.11351015203050100 的弱点，同时利用语料信息和语义信息学习词向 语义组合权重 (a)向量维度 量，并且它所分解的共现矩阵覆盖了语料库的全局 78.0r 共现信息。表1展示了词频为3500时KEMF与 77.5 EMF,Retro(CBOW)、Retro(Skip-gram)5、SWE的单 词推理正确率。 77.0 表1 KbEMF与其他方法的单词推理正确率 76.5 Table 1 Performance of KbEMF compared to other approaches 76.0 名 方法 75.5 单词推理正确率 EMF 80.93 75. 50100150200250300350400 Retro(CBOW) 78.47 维度 (b)语义组合权重 Retro(Skip-gram） 77.30 图1 KbEMF在不同向量维度和语义组合权重的正确率 SWE 79.77 Fig.1 Performance when incorporating semantic knowledge KbEMF 83.01 related to word analogical reasoning for different 表1中KEMF对应的单词推理正确率最高，这 vector sizes and semantic combination weights 说明该模型所获取的词向量质量最优。 图1(b)中随着语义组合权重增大，单词推理 3.4单词相似度量 正确率在提升，继续增大正确率反而减小，说明过 单词相似度量是评估词向量优劣的又一经典 大或过小的语义组合权重都不利于学习词向量。 实验。该实验把人工标注的词对相似度作为词对 从该实验还可以看出，语义组合权重在[5,20]之间 相似度的标准值，把计算得到的词对向量余弦值作 单词推理正确率最高，词向量在该任务中表现最优。 为词对相似度的估计值，然后计算词对相似度的标 图2展示了在不同过滤词频下，KbEMF的单词 准值与估计值之间的斯皮尔曼相关系数(spearman 推理正确率均在不同程度上高于EMF,尤其在词频 correlation coefficient),并将它作为词向量优劣的评 为3500时效果最佳。对于不同词频，该实验均设 价指标。斯皮尔曼相关系数的值越高表明单词对 置语义组合权重y-10,尽管该参数值在某些词频 相似度的估计值与标准值越一致，学习的词向量 下不是最优的，却在一定程度上说明本文模型的普 越好。 遍适用性。 由于单词相似度量希望相似度高或相关度高 84 e-KbEMF模型 的词对间彼此更靠近，语义信息的融入使具有强语 0 +EMF模型 义关系的词对获得更相似的词向量。那么计算所 7 得的关系词对向量的余弦值越大，词对相似度的标 准值与估计值之间的斯皮尔曼相关系数就越高。 72 与单词类比推理实验过程类似，通过调整 68 10 KbEMF模型参数（词向量维度、语义组合权重以及 1.01.52.02.53.03.54.04.55.05.56.0 过滤词频次 单词过滤词频)，获得单词相似度量实验中表现优 图2不同过滤词频下EMF与KbEMF的正确率对比 异的词向量。 Fig.2 Performance of KbEMF compared to EMF for 本实验比较了KbEMF与SWE、Retro在单词相 different word frequencies 似度量任务中的性能表现，结果展示在表2中。由
（ａ）向量维度 （ｂ）语义组合权重 图 １ ＫｂＥＭＦ 在不同向量维度和语义组合权重的正确率 Ｆｉｇ．１ Ｐｅｒｆｏｒｍａｎｃｅ ｗｈｅｎ ｉｎｃｏｒｐｏｒａｔｉｎｇ ｓｅｍａｎｔｉｃ ｋｎｏｗｌｅｄｇｅ ｒｅｌａｔｅｄ ｔｏ ｗｏｒｄ ａｎａｌｏｇｉｃａｌ ｒｅａｓｏｎｉｎｇ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｖｅｃｔｏｒ ｓｉｚｅｓ ａｎｄ ｓｅｍａｎｔｉｃ ｃｏｍｂｉｎａｔｉｏｎ ｗｅｉｇｈｔｓ 图 １ （ ｂ）中随着语义组合权重增大，单词推理 正确率在提升，继续增大正确率反而减小，说明过 大或过小的语义组合权重都不利于学习词向量。 从该实验还可以看出，语义组合权重在［５，２０］之间 单词推理正确率最高，词向量在该任务中表现最优。 图 ２ 展示了在不同过滤词频下，ＫｂＥＭＦ 的单词 推理正确率均在不同程度上高于 ＥＭＦ，尤其在词频 为 ３ ５００ 时效果最佳。 对于不同词频，该实验均设 置语义组合权重 γ ＝ １０，尽管该参数值在某些词频 下不是最优的，却在一定程度上说明本文模型的普 遍适用性。 图 ２ 不同过滤词频下 ＥＭＦ 与 ＫｂＥＭＦ 的正确率对比 Ｆｉｇ．２ Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ＫｂＥＭＦ ｃｏｍｐａｒｅｄ ｔｏ ＥＭＦ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｗｏｒｄ ｆｒｅｑｕｅｎｃｉｅｓ 下面通过将 ＫｂＥＭＦ 与 ＥＭＦ、Ｒｅｔｒｏ （ ＣＢＯＷ）、 Ｒｅｔｒｏ（Ｓｋｉｐ⁃ｇｒａｍ） ５ 、ＳＷＥ 进行比较来说明 ＫｂＥＭＦ 的 优越性。 Ｒｅｔｒｏ 根据知识库信息对预先训练好的词 向量进行微调，该模型的缺点在于无法在语料库学 习词向量阶段利用丰富的语义信息。 虽然 ＳＷＥ 同 时利用了语义信息和语料库信息学习词向量，但该 模型的基础框架 ｓｋｉｐ⁃ｇｒａｍ 只考虑了语料库的局部 共现信息。 本文提出的 ＫｂＥＭＦ 则克服了上述模型 的弱点，同时利用语料信息和语义信息学习词向 量，并且它所分解的共现矩阵覆盖了语料库的全局 共现信息。 表 １ 展示了词频为 ３ ５００ 时 ＫｂＥＭＦ 与 ＥＭＦ、Ｒｅｔｒｏ（ＣＢＯＷ）、 Ｒｅｔｒｏ（Ｓｋｉｐ⁃ｇｒａｍ） ５ 、ＳＷＥ 的单 词推理正确率。 表 １ ＫｂＥＭＦ 与其他方法的单词推理正确率 Ｔａｂｌｅ １ Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ＫｂＥＭＦ ｃｏｍｐａｒｅｄ ｔｏ ｏｔｈｅｒ ａｐｐｒｏａｃｈｅｓ ％ 方法 单词推理正确率 ＥＭＦ ８０．９３ Ｒｅｔｒｏ（ＣＢＯＷ） ７８．４７ Ｒｅｔｒｏ（Ｓｋｉｐ⁃ｇｒａｍ） ７７．３０ ＳＷＥ ７９．７７ ＫｂＥＭＦ ８３．０１ 表 １ 中 ＫｂＥＭＦ 对应的单词推理正确率最高，这 说明该模型所获取的词向量质量最优。 ３．４ 单词相似度量 单词相似度量是评估词向量优劣的又一经典 实验。 该实验把人工标注的词对相似度作为词对 相似度的标准值，把计算得到的词对向量余弦值作 为词对相似度的估计值，然后计算词对相似度的标 准值与估计值之间的斯皮尔曼相关系数（ ｓｐｅａｒｍａｎ ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ），并将它作为词向量优劣的评 价指标。 斯皮尔曼相关系数的值越高表明单词对 相似度的估计值与标准值越一致，学习的词向量 越好。 由于单词相似度量希望相似度高或相关度高 的词对间彼此更靠近，语义信息的融入使具有强语 义关系的词对获得更相似的词向量。 那么计算所 得的关系词对向量的余弦值越大，词对相似度的标 准值与估计值之间的斯皮尔曼相关系数就越高。 与单词 类 比 推 理 实 验 过 程 类 似， 通 过 调 整 ＫｂＥＭＦ 模型参数（词向量维度、语义组合权重以及 单词过滤词频），获得单词相似度量实验中表现优 异的词向量。 本实验比较了 ＫｂＥＭＦ 与 ＳＷＥ、Ｒｅｔｒｏ 在单词相 似度量任务中的性能表现，结果展示在表 ２ 中。 由 第 ５ 期 陈培，等：融合语义信息的矩阵分解词向量学习模型 ·６６５·
·666 智能系统学报 第12卷 于不同数据集下最佳语义组合权重不同，该实验针 [C]//Association for the Advancement of Artificial 对数据集WS353/SCWS/RW分别设置语义组合权 Intelligence.Austin Texas,USA,2015:2418-2424. 重为y=1,y=1,y=15。 [3]MAAS A L.DALY R E,PHAM P T,et al.Learning word 表2不同数据集下KbMF与其他方法的斯皮尔曼相关系数 vectors for sentiment analysis[C]//Proceedings of the 49th Table 2 Spearman correlation coefficients of KbEMF compared Annual Meeting of the Association for Computational to other approaches on different datasets Linguistics.Portland Oregon,USA,2011:142-150. [4]DHILLON P,FOSTER D P,UNGAR L H.Multi-view 数据集 方法 learning of word embeddings via cca [C]//Advances in WS353 SCWs RW Neural Information Processing Systems.Granada,Spain, EMF 0.7918 0.6474 0.6786 2011:199-207. Retro(CBOW) 0.7816 0.6685 0.6071 [5]BANSAL M,GIMPEL K,LIVESCU K.Tailoring continuous word representations for dependency parsing[C]//Meeting Retro(Skip-gram) 0.6930 0.6449 0.7143 of the Association for Computational Linguistics.Baltimore SWE 0.7965 0.6593 0.6429 Maryland,USA,2014:809-815. KbEMF 0.7999 0.6740 0.7500 [6]HUANG E H.SOCHER R,MANNING C D,et al.Improving word representations via global context and multiple word 表2中KbEMF在上述3个数据集的斯皮尔曼 prototypes[C]//Meeting of the Association for Computational 相关系数均有所提升，因为KbEMF相比较Retro在 Linguistics.Jeju Island,Korea,2012:873-882. 语料库学习词向量阶段就融入了语义知识库信息， [7]MNIH A,HINTON G.Three new graphical models for 相较于SWE则运用了语料库全局的共现信息，因此 statistical language modelling[C]//Proceedings of the 24th 表现最好。尤其KEMF在RW上的斯皮尔曼相关 International Conference on Machine Learning.New York, 系数提升显著，这说明语义知识库信息的融入有助 USA,2007:641-648. 于改善学习稀有单词的词向量。 [8 MNIH A,HINTON G.A scalable hierarchical distributed language model C]//Advances in Neural Information 4 结束语 Processing Systems.Vancouver,Canada,2008:1081-1088. 学习高效的词向量对自然语言处理至关重要。 [9]BENGIO Y,DUCHARME R,VINCENT P,et al.A neural 仅依赖语料库学习词向量无法很好地体现单词本 probabilistic language model[J].Journal of machine learning research,2003,3(02):1137-1155. 身的含义及单词间复杂的关系，因此本文通过从丰 [10]COLLOBERT R,WESTON J,BOTTOU L,et al.Natural 富的知识库提取有价值的语义信息作为对单一依 language processing (almost)from scratch[J].Journal of 赖语料库信息的约束监督，提出了融合语义信息的 machine learning research,2011,12(8):2493-2537. 矩阵分解词向量学习模型，该模型大大改善了词向 [11]MIKOLOV T,CHEN K,CORRADO G,ET AL.Efficient 量的质量。在实验中将Enwik9作为训练文本语料 estimation of word representations in vector space[C]/ 库并且将WordNet作为先验知识库，将学到的词向 International Conference on Learning Representations 量用于单词相似度量和单词类比推理两项任务中， Scottsdale,USA,2013. 充分展示了本文模型的优越性。 [12]BAIN J,Gao B,Liu T Y.Knowledge-powered deep leaming 在后续的研究工作中，我们将继续探索结合其 for word embedding [C]//Joint European Conference on 他知识库（如PPDB、WAN等），从中抽取更多类型 Machine Leaming and Knowledge Discovery in Databases. 的语义信息（如部分整体关系、多义词等），进而定 Springer,Berlin,Heidelberg,2014:132-148. [13]LI Y,XU L,TIAN F,ET AL.Word embedding revisited:a 义不同更有针对性的语义约束模型，进一步改善词 new representation leamning and explicit matrix factorization 向量。并将它们用于文本挖掘和自然语言处理任 perspective [C]//International Conference on Artificial 务中。 Intelligence.Buenos Aires,Argentina,2015:3650-3656. 参考文献： [14]LEVY O,GOLDBERG Y.Neural word embedding as implicit matrix factorization [C]//Advances in Neural [1]TURIAN J,RATINOV L,BENGIO Y.Word representations:a Information Processing Systems.Montreal Quebec, simple and general method for semi-supervised leaming[C]// Canada,2014:2177-2185. Proceedings of the 48th Annual Meeting of the Association for [15 PENNINGTON J,SOCHER R,MANNING C.Glove: Computational Linguistics.Uppsala,Sweden,2010:384-394. global vectors for word representation[C]//Conference on [2]LIU Y,LIU Z,CHUA T S,et al.Topical word embeddings Empirical Methods in Natural Language Processing.Doha
于不同数据集下最佳语义组合权重不同，该实验针 对数据集 ＷＳ３５３ ／ ＳＣＷＳ ／ ＲＷ 分别设置语义组合权 重为 γ ＝ １，γ ＝ １，γ ＝ １５。 表２ 不同数据集下 ＫｂＥＭＦ 与其他方法的斯皮尔曼相关系数 Ｔａｂｌｅ ２ Ｓｐｅａｒｍａｎ ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔｓ ｏｆ ＫｂＥＭＦ ｃｏｍｐａｒｅｄ ｔｏ ｏｔｈｅｒ ａｐｐｒｏａｃｈｅｓ ｏｎ ｄｉｆｆｅｒｅｎｔ ｄａｔａｓｅｔｓ 方法 数据集 ＷＳ３５３ ＳＣＷＳ ＲＷ ＥＭＦ ０．７９１ ８ ０．６４７ ４ ０．６７８ ６ Ｒｅｔｒｏ（ＣＢＯＷ） ０．７８１ ６ ０．６６８ ５ ０．６０７ １ Ｒｅｔｒｏ（Ｓｋｉｐ⁃ｇｒａｍ） ０．６９３ ０ ０．６４４ ９ ０．７１４ ３ ＳＷＥ ０．７９６ ５ ０．６５９ ３ ０．６４２ ９ ＫｂＥＭＦ ０．７９９ ９ ０．６７４ ０ ０．７５０ ０ 表 ２ 中 ＫｂＥＭＦ 在上述 ３ 个数据集的斯皮尔曼 相关系数均有所提升，因为 ＫｂＥＭＦ 相比较 Ｒｅｔｒｏ 在 语料库学习词向量阶段就融入了语义知识库信息， 相较于 ＳＷＥ 则运用了语料库全局的共现信息，因此 表现最好。 尤其 ＫｂＥＭＦ 在 ＲＷ 上的斯皮尔曼相关 系数提升显著，这说明语义知识库信息的融入有助 于改善学习稀有单词的词向量。 ４ 结束语 学习高效的词向量对自然语言处理至关重要。 仅依赖语料库学习词向量无法很好地体现单词本 身的含义及单词间复杂的关系，因此本文通过从丰 富的知识库提取有价值的语义信息作为对单一依 赖语料库信息的约束监督，提出了融合语义信息的 矩阵分解词向量学习模型，该模型大大改善了词向 量的质量。 在实验中将 Ｅｎｗｉｋ９ 作为训练文本语料 库并且将 ＷｏｒｄＮｅｔ 作为先验知识库，将学到的词向 量用于单词相似度量和单词类比推理两项任务中， 充分展示了本文模型的优越性。 在后续的研究工作中，我们将继续探索结合其 他知识库（如 ＰＰＤＢ、ＷＡＮ 等），从中抽取更多类型 的语义信息（如部分整体关系、多义词等），进而定 义不同更有针对性的语义约束模型，进一步改善词 向量。 并将它们用于文本挖掘和自然语言处理任 务中。 参考文献： ［ １］ＴＵＲＩＡＮ Ｊ， ＲＡＴＩＮＯＶ Ｌ， ＢＥＮＧＩＯ Ｙ． Ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ： ａ ｓｉｍｐｌｅ ａｎｄ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ ｆｏｒ ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４８ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｕｐｐｓａｌａ， Ｓｗｅｄｅｎ， ２０１０： ３８４－３９４． ［２］ＬＩＵ Ｙ， ＬＩＵ Ｚ， ＣＨＵＡ Ｔ Ｓ， ｅｔ ａｌ． Ｔｏｐｉｃａｌ ｗｏｒｄ ｅｍｂｅｄｄｉｎｇｓ ［ Ｃ ］ ／ ／ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ ｔｈｅ Ａｄｖａｎｃｅｍｅｎｔ ｏｆ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ． Ａｕｓｔｉｎ Ｔｅｘａｓ， ＵＳＡ， ２０１５： ２４１８－２４２４． ［３］ＭＡＡＳ Ａ Ｌ， ＤＡＬＹ Ｒ Ｅ， ＰＨＡＭ Ｐ Ｔ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ｗｏｒｄ ｖｅｃｔｏｒｓ ｆｏｒ ｓｅｎｔｉｍｅｎｔ ａｎａｌｙｓｉｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４９ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｐｏｒｔｌａｎｄ Ｏｒｅｇｏｎ， ＵＳＡ， ２０１１： １４２－１５０． ［４］ ＤＨＩＬＬＯＮ Ｐ， ＦＯＳＴＥＲ Ｄ Ｐ， ＵＮＧＡＲ Ｌ Ｈ． Ｍｕｌｔｉ⁃ｖｉｅｗ ｌｅａｒｎｉｎｇ ｏｆ ｗｏｒｄ ｅｍｂｅｄｄｉｎｇｓ ｖｉａ ｃｃａ ［ Ｃ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｇｒａｎａｄａ， Ｓｐａｉｎ， ２０１１： １９９－２０７． ［５］ＢＡＮＳＡＬ Ｍ， ＧＩＭＰＥＬ Ｋ， ＬＩＶＥＳＣＵ Ｋ． Ｔａｉｌｏｒｉｎｇ ｃｏｎｔｉｎｕｏｕｓ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｏｒ ｄｅｐｅｎｄｅｎｃｙ ｐａｒｓｉｎｇ［ Ｃ］ ／ ／ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｂａｌｔｉｍｏｒｅ Ｍａｒｙｌａｎｄ， ＵＳＡ， ２０１４： ８０９－８１５． ［６］ＨＵＡＮＧ Ｅ Ｈ， ＳＯＣＨＥＲ Ｒ， ＭＡＮＮＩＮＧ Ｃ Ｄ， ｅｔ ａｌ． Ｉｍｐｒｏｖｉｎｇ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｖｉａ ｇｌｏｂａｌ ｃｏｎｔｅｘｔ ａｎｄ ｍｕｌｔｉｐｌｅ ｗｏｒｄ ｐｒｏｔｏｔｙｐｅｓ［Ｃ］ ／ ／ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｊｅｊｕ Ｉｓｌａｎｄ， Ｋｏｒｅａ， ２０１２： ８７３－８８２． ［７］ ＭＮＩＨ Ａ， ＨＩＮＴＯＮ Ｇ． Ｔｈｒｅｅ ｎｅｗ ｇｒａｐｈｉｃａｌ ｍｏｄｅｌｓ ｆｏｒ ｓｔａｔｉｓｔｉｃａｌ ｌａｎｇｕａｇｅ ｍｏｄｅｌｌｉｎｇ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＵＳＡ， ２００７： ６４１－６４８． ［８ ］ ＭＮＩＨ Ａ， ＨＩＮＴＯＮ Ｇ． Ａ ｓｃａｌａｂｌｅ ｈｉｅｒａｒｃｈｉｃａｌ ｄｉｓｔｒｉｂｕｔｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ ［ Ｃ ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， Ｃａｎａｄａ， ２００８：１０８１－１０８８． ［９］ＢＥＮＧＩＯ Ｙ， ＤＵＣＨＡＲＭＥ Ｒ， ＶＩＮＣＥＮＴ Ｐ， ｅｔ ａｌ． Ａ ｎｅｕｒａｌ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌａｎｇｕａｇｅ ｍｏｄｅｌ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ， ２００３， ３（０２）： １１３７－１１５５． ［１０］ＣＯＬＬＯＢＥＲＴ Ｒ， ＷＥＳＴＯＮ Ｊ， ＢＯＴＴＯＵ Ｌ， ｅｔ ａｌ． Ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ （ａｌｍｏｓｔ） ｆｒｏｍ ｓｃｒａｔｃｈ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ， ２０１１， １２（８）： ２４９３－２５３７． ［１１］ＭＩＫＯＬＯＶ Ｔ， ＣＨＥＮ Ｋ， ＣＯＲＲＡＤＯ Ｇ， ＥＴ ＡＬ． Ｅｆｆｉｃｉｅｎｔ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｉｎ ｖｅｃｔｏｒ ｓｐａｃｅ ［ Ｃ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ． Ｓｃｏｔｔｓｄａｌｅ， ＵＳＡ，２０１３． ［１２］ＢＡＩＮ Ｊ， Ｇａｏ Ｂ， Ｌｉｕ Ｔ Ｙ． Ｋｎｏｗｌｅｄｇｅ⁃ｐｏｗｅｒｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ ［ Ｃ］ ／ ／ Ｊｏｉｎｔ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅｓ． Ｓｐｒｉｎｇｅｒ， Ｂｅｒｌｉｎ， Ｈｅｉｄｅｌｂｅｒｇ， ２０１４： １３２－１４８． ［１３］ＬＩ Ｙ， ＸＵ Ｌ， ＴＩＡＮ Ｆ， ＥＴ ＡＬ． Ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ ｒｅｖｉｓｉｔｅｄ： ａ ｎｅｗ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ａｎｄ ｅｘｐｌｉｃｉｔ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ｐｅｒｓｐｅｃｔｉｖｅ ［ Ｃ ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ． Ｂｕｅｎｏｓ Ａｉｒｅｓ， Ａｒｇｅｎｔｉｎａ， ２０１５： ３６５０－３６５６． ［１４］ ＬＥＶＹ Ｏ， ＧＯＬＤＢＥＲＧ Ｙ． Ｎｅｕｒａｌ ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ ａｓ ｉｍｐｌｉｃｉｔ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ［ Ｃ ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｍｏｎｔｒｅａｌ Ｑｕｅｂｅｃ， Ｃａｎａｄａ， ２０１４： ２１７７－２１８５． ［ １５ ］ ＰＥＮＮＩＮＧＴＯＮ Ｊ， ＳＯＣＨＥＲ Ｒ， ＭＡＮＮＩＮＧ Ｃ． Ｇｌｏｖｅ： ｇｌｏｂａｌ ｖｅｃｔｏｒｓ ｆｏｒ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［Ｃ］ ／ ／ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｄｏｈａ， ·６６６· 智 能 系 统 学 报 第 １２ 卷
第5期 陈培，等：融合语义信息的矩阵分解词向量学习模型 ·667. Qatar,2014:1532-1543 [22 MNIH A,SALAKHUTDINOV R.Probabilistie matrix [16]BIAN J,GAO B,LIU T Y.Knowledge-powered deep factorization [C]//Advances in Neural Information learning for word embedding [C ]//Joint European Processing Systems.Vancouver,Canada,2008: Conference on Machine Learning and Knowledge Discovery 1257-1264. in Databases.Berlin,Germany,2014:132-148. [23 SREBRO N,RENNIE J D M,JAAKKOLA T.Maximum- [17]XU C,BAI Y,BIAN J,et al.Rc-net:a general margin matrix factorization [J].Advances in neural framework for incorporating knowledge into word information processing systems,2004,37(2):1329-1336. representations C]//Proceedings of the 23rd ACM [24]LUONG T,SOCHER R,MANNING C D.Better word International Conference on Conference on Information and representations with recursive neural networks for morphology Knowledge Management.Shanghai,China,2014: [C]//Seventeenth Conference on Computational Natural 1219-1228. Language Learning.Sofia,Bulgaria,2013:104-113. [18]YU M,DREDZE M.Improving lexical embeddings with [25]FINKELSTEIN R L.Placing search in context:the concept semantic knowledge[C]//Meeting of the Association for revisited[]].ACM transactions on information systems, Computational Linguistics.Baltimore Maryland,USA, 2002,20(1):116-131. 2014:545-550. 作者简介： [19]LIU Q,JIANG H,WEI S,et al.Learning semantic word 陈培，女，1990年生，硕士研究生， embeddings based on ordinal knowledge constraints[C]/ 主要研究方向为自然语言处理、情感 The 53rd Annual Meeting of the Association for 分析。 Computational Linguistics and the 7th International Joint Conference of the Asian Federation of Natural Language Processing.Beijing,China,2015:1501-1511. [20 FARUQUI M,DODGE J,JAUHAR S K,et al. Retrofitting word vectors to semantic lexicons [C]//The 景丽萍，女，1978年生，教授，博士， 2015 Conference of the North American Chapter of the 主要研究方向为数据挖掘、文本挖掘、 Association for Computational Linguistics.Colorado,USA, 生物信息学、企业智能。 2015:1606-1615. [21]LEE DD.SEUNG H S.Algorithms for non-negative matrix factorization [C ]//Advances in Neural Information Processing Systems.Vancouver,Canada,2001:556-562
Ｑａｔａｒ， ２０１４： １５３２－１５４３． ［ １６］ ＢＩＡＮ Ｊ， ＧＡＯ Ｂ， ＬＩＵ Ｔ Ｙ． Ｋｎｏｗｌｅｄｇｅ⁃ｐｏｗｅｒｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ ［ Ｃ ］ ／ ／ Ｊｏｉｎｔ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅｓ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ， ２０１４： １３２－１４８． ［ １７ ］ ＸＵ Ｃ， ＢＡＩ Ｙ， ＢＩＡＮ Ｊ， ｅｔ ａｌ． Ｒｃ⁃ｎｅｔ： ａ ｇｅｎｅｒａｌ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｉｎｃｏｒｐｏｒａｔｉｎｇ ｋｎｏｗｌｅｄｇｅ ｉｎｔｏ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ． Ｓｈａｎｇｈａｉ， Ｃｈｉｎａ， ２０１４： １２１９－１２２８． ［１８］ ＹＵ Ｍ， ＤＲＥＤＺＥ Ｍ． Ｉｍｐｒｏｖｉｎｇ ｌｅｘｉｃａｌ ｅｍｂｅｄｄｉｎｇｓ ｗｉｔｈ ｓｅｍａｎｔｉｃ ｋｎｏｗｌｅｄｇｅ ［ Ｃ］ ／ ／ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｂａｌｔｉｍｏｒｅ Ｍａｒｙｌａｎｄ， ＵＳＡ， ２０１４： ５４５－５５０． ［１９］ＬＩＵ Ｑ， ＪＩＡＮＧ Ｈ， ＷＥＩ Ｓ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ｓｅｍａｎｔｉｃ ｗｏｒｄ ｅｍｂｅｄｄｉｎｇｓ ｂａｓｅｄ ｏｎ ｏｒｄｉｎａｌ ｋｎｏｗｌｅｄｇｅ ｃｏｎｓｔｒａｉｎｔｓ［Ｃ］ ／ ／ Ｔｈｅ ５３ｒｄ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ ａｎｄ ｔｈｅ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ａｓｉａｎ Ｆｅｄｅｒａｔｉｏｎ ｏｆ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ， ２０１５： １５０１－１５１１． ［ ２０ ］ ＦＡＲＵＱＵＩ Ｍ， ＤＯＤＧＥ Ｊ， ＪＡＵＨＡＲ Ｓ Ｋ， ｅｔ ａｌ． Ｒｅｔｒｏｆｉｔｔｉｎｇ ｗｏｒｄ ｖｅｃｔｏｒｓ ｔｏ ｓｅｍａｎｔｉｃ ｌｅｘｉｃｏｎｓ ［ Ｃ］ ／ ／ Ｔｈｅ ２０１５ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｎｏｒｔｈ Ａｍｅｒｉｃａｎ Ｃｈａｐｔｅｒ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｃｏｌｏｒａｄｏ， ＵＳＡ， ２０１５： １６０６－１６１５． ［２１］ＬＥＥ Ｄ Ｄ， ＳＥＵＮＧ Ｈ Ｓ． Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｎｏｎ⁃ｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ［ Ｃ ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ．Ｖａｎｃｏｕｖｅｒ， Ｃａｎａｄａ， ２００１： ５５６－５６２． ［２２ ］ ＭＮＩＨ Ａ， ＳＡＬＡＫＨＵＴＤＩＮＯＶ Ｒ． Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ［ Ｃ ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， Ｃａｎａｄａ， ２００８： １２５７－１２６４． ［２３］ ＳＲＥＢＲＯ Ｎ， ＲＥＮＮＩＥ Ｊ Ｄ Ｍ， ＪＡＡＫＫＯＬＡ Ｔ． Ｍａｘｉｍｕｍ⁃ ｍａｒｇｉｎ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ［ Ｊ ］． Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ， ２００４， ３７（２）：１３２９－１３３６． ［２４］ ＬＵＯＮＧ Ｔ， ＳＯＣＨＥＲ Ｒ， ＭＡＮＮＩＮＧ Ｃ Ｄ． Ｂｅｔｔｅｒ ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｗｉｔｈ ｒｅｃｕｒｓｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｏｒｐｈｏｌｏｇｙ ［ Ｃ ］ ／ ／ Ｓｅｖｅｎｔｅｅｎｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｌｅａｒｎｉｎｇ． Ｓｏｆｉａ， Ｂｕｌｇａｒｉａ，２０１３： １０４－１１３． ［２５］ＦＩＮＫＥＬＳＴＥＩＮ Ｒ Ｌ． Ｐｌａｃｉｎｇ ｓｅａｒｃｈ ｉｎ ｃｏｎｔｅｘｔ：ｔｈｅ ｃｏｎｃｅｐｔ ｒｅｖｉｓｉｔｅｄ ［ Ｊ］． ＡＣＭ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍｓ， ２００２， ２０（１）： １１６－１３１． 作者简介： 陈培，女，１９９０ 年生，硕士研究生， 主要研究方向为自然语言处理、情感 分析。 景丽萍，女，１９７８ 年生，教授，博士， 主要研究方向为数据挖掘、文本挖掘、 生物信息学、企业智能。 第 ５ 期 陈培，等：融合语义信息的矩阵分解词向量学习模型 ·６６７·
