马忠贵等：知识图谱的最新进展、关键技术和挑战 .1259· 组中头实体向量和关系向量之和应该约等于尾实 和关系都由复平面中的向量表示，计算头实体向 体的向量.通过随机替换事实元组中的某一项来 量和根据关系向量建立的对角矩阵以及尾实体向 构建负例.计算元组中头向量和关系向量的和向 量的共轭这三者的乘积，结果的实部作为元组的 量与尾向量的距离作为候选实体的得分.尽管 得分.Liu等m提出ANALOGY模型，利用实体和 TransE模型简单且有效，但其仍然具有许多缺陷， 关系的类比性质来建模，实体由嵌入空间中的向 因而衍生出很多基于该模型的方法.Wang等s的 量表示，将关系矩阵处理得到一系列稀疏的对角 提出TransH模型，每一个关系都有一个特定的超 矩阵，减少了关系矩阵的参数.将头尾实体向量与 平面，头实体向量和尾实体向量投影至特定的关 关系矩阵的积作为元组得分 系超平面计算事实元组得分.Lin等I6提出TransR Balazevic等I提出了基于KKT(Karush Kuhn 模型，针对特定关系引入了空间.Xiao等67提出 Tucker)分解的tuckER模型，将所有实体和关系分 了ManifoldE模型，引入了特定关系参数.尾实体 别表示为行向量嵌入矩阵，从这两个矩阵中取出 向量有效范围是以头实体向量和关系实体向量的 头尾实体向量和关系向量，将这些向量和一个核 和向量为中心，以特定关系参数为半径的一个超 心张量相乘得到元组的得分.针对大部分现存的 球面.Feng等Is提出的TransF模型和ManifoldE 基于知识图谱嵌入的模型，Kristiadi等网研究了如 模型有着相似的思路，放宽了TransE中对实体关 何将文字信息整合到现存的表示模型中去，提出 系向量的要求，仅需要头实体向量位于尾实体向 了LiteralE模型，在实体的嵌入表示上加入文字信 量和负的关系向量的和向量的方向上，同时尾实 息，用实体表示和文字信息的联合表示取代原本 体向量也位于头实体向量和关系向量的和向量的 模型的单独的实体表示.Zhang等I聊提出了CrossE 方向上 模型，基于向量表示实体和关系，生成多个元组的 Kzaemi与Poole!69提出SimplE模型，允许实 特定嵌入即交互嵌入.由交互表示和尾实体的嵌 体拥有两个独立学习的向量表示，而关系由一个 入表示的匹配程度给出元组得分 向量表示.Ebisu与Ichise提出了TorusE嵌入模 基于表示学习的知识推理模型的比较如表1 型，将TransE的思想应用在李群(Lie group)理论 所示. 中的圆环面上，即在圆环面上计算表示向量间的 3.3基于神经网络的推理 距离来取得元组得分.Xu与Lim提出DihEdral模 基于神经网络的推理方法将知识图谱中事实 型，针对性地增强了知识推理的可解释性，通过离 元组表示为问量形式送入神经网络中，通过训练 散值将关系建模成组的元素，显著地缩小了解空 神经网络不断提高事实元组的得分，最终通过输 间.Sun等四提出RotatE模型，将关系看作是从头 出得分选择候选实体完成推理.Socher等8提出 实体向量向尾实体向量的旋转，元组得分通过计 适应于实体间关系推理的神经张量网络(Neural 算旋转后的头实体向量和尾实体向量的距离得到 tensor networks,NTN)模型，用双线性张量层取代 Zhang等1引入超复数的概念，提出了QuatE模 神经网络层，实体通过连续的词向量平均表示进 型，通过一个拥有三个虚部的超复数来表示知识 而提升模型的表现.Neelakantan等s2使用循环神 图谱中的实体和关系.与RotatE想法类似，QuatE 经网络来建模知识图谱中的分布式语义的多跳路 模型将关系看作超复数平面下头实体到尾实体的 径.Das等I8主要是将符号逻辑推理中丰富的多 旋转 步推理与神经网络的泛化能力相结合.通过学习 3.2.2基于语义匹配的推理模型 实体、关系和实体的种类来联合推理，并使用神经 Nickel等提出的RESCAL模型将实体和向 注意力建模来整合多跳路径.在单层RNN中分享 量联系起来，从而捕捉其中隐含的语义，潜在因子 参数来表示所有关系的逻辑组成.Graves等&刷建 间的相互作用建模后得到关系表示矩阵，计算实 立了可微神经计算机模型，将神经网络和记忆系 体向量与关系矩阵的乘积来得到元组得分 统结合起来，将通过样本学习到的知识储存起来 Yang等阿提出DistMult模型，每一个关系都表示 并进行快速知识推理 为向量，再将向量转化为对角矩阵，通过计算头尾 Dettmers等8针对知识图谱中大规模与过拟 实体向量与关系对角矩阵的乘积得到元组的得 合的问题，设计了参数简洁且计算高效的二维卷 分.Trouillon等7提出Complex模型，引入复数嵌 积神经网络(Convolutional2D,ConvE)模型 入针对不对称关系建模.在Complex模型中，实体 Vashishth等Iso基于特征排列、新的特征变形以及组中头实体向量和关系向量之和应该约等于尾实 体的向量. 通过随机替换事实元组中的某一项来 构建负例. 计算元组中头向量和关系向量的和向 量与尾向量的距离作为候选实体的得分. 尽管 TransE 模型简单且有效，但其仍然具有许多缺陷， 因而衍生出很多基于该模型的方法. Wang 等[65] 提出 TransH 模型，每一个关系都有一个特定的超 平面，头实体向量和尾实体向量投影至特定的关 系超平面计算事实元组得分. Lin 等[66] 提出 TransR 模型，针对特定关系引入了空间. Xiao 等[67] 提出 了 ManifoldE 模型，引入了特定关系参数. 尾实体 向量有效范围是以头实体向量和关系实体向量的 和向量为中心，以特定关系参数为半径的一个超 球面. Feng 等[68] 提出的 TransF 模型和 ManifoldE 模型有着相似的思路，放宽了 TransE 中对实体关 系向量的要求，仅需要头实体向量位于尾实体向 量和负的关系向量的和向量的方向上，同时尾实 体向量也位于头实体向量和关系向量的和向量的 方向上. Kzaemi 与 Poole[69] 提出 SimplE 模型 ，允许实 体拥有两个独立学习的向量表示，而关系由一个 向量表示. Ebisu 与 Ichise[70] 提出了 TorusE 嵌入模 型 ，将 TransE 的思想应用在李群（Lie group）理论 中的圆环面上，即在圆环面上计算表示向量间的 距离来取得元组得分. Xu 与 Li[71] 提出 DihEdral 模 型，针对性地增强了知识推理的可解释性，通过离 散值将关系建模成组的元素，显著地缩小了解空 间. Sun 等[72] 提出 RotatE 模型，将关系看作是从头 实体向量向尾实体向量的旋转，元组得分通过计 算旋转后的头实体向量和尾实体向量的距离得到 Zhang 等[73] 引入超复数的概念，提出了 QuatE 模 型，通过一个拥有三个虚部的超复数来表示知识 图谱中的实体和关系. 与 RotatE 想法类似，QuatE 模型将关系看作超复数平面下头实体到尾实体的 旋转. 3.2.2 基于语义匹配的推理模型 Nickel 等[74] 提出的 RESCAL 模型将实体和向 量联系起来，从而捕捉其中隐含的语义，潜在因子 间的相互作用建模后得到关系表示矩阵，计算实 体 向 量 与 关 系 矩 阵 的 乘 积 来 得 到 元 组 得 分 . Yang 等[75] 提出 DistMult 模型，每一个关系都表示 为向量，再将向量转化为对角矩阵，通过计算头尾 实体向量与关系对角矩阵的乘积得到元组的得 分. Trouillon 等[76] 提出 Complex 模型，引入复数嵌 入针对不对称关系建模. 在 Complex 模型中，实体 和关系都由复平面中的向量表示，计算头实体向 量和根据关系向量建立的对角矩阵以及尾实体向 量的共轭这三者的乘积，结果的实部作为元组的 得分. Liu 等[77] 提出 ANALOGY 模型，利用实体和 关系的类比性质来建模，实体由嵌入空间中的向 量表示，将关系矩阵处理得到一系列稀疏的对角 矩阵，减少了关系矩阵的参数. 将头尾实体向量与 关系矩阵的积作为元组得分. Balazevic 等[78] 提出了基于 KKT（Karush Kuhn Tucker）分解的 tuckER 模型，将所有实体和关系分 别表示为行向量嵌入矩阵，从这两个矩阵中取出 头尾实体向量和关系向量，将这些向量和一个核 心张量相乘得到元组的得分. 针对大部分现存的 基于知识图谱嵌入的模型，Kristiadi 等[79] 研究了如 何将文字信息整合到现存的表示模型中去，提出 了 LiteralE 模型，在实体的嵌入表示上加入文字信 息，用实体表示和文字信息的联合表示取代原本 模型的单独的实体表示. Zhang 等[80] 提出了 CrossE 模型，基于向量表示实体和关系，生成多个元组的 特定嵌入即交互嵌入. 由交互表示和尾实体的嵌 入表示的匹配程度给出元组得分. 基于表示学习的知识推理模型的比较如表 1 所示. 3.3    基于神经网络的推理 基于神经网络的推理方法将知识图谱中事实 元组表示为向量形式送入神经网络中，通过训练 神经网络不断提高事实元组的得分，最终通过输 出得分选择候选实体完成推理. Socher 等[81] 提出 适应于实体间关系推理的神经张量网络（Neural tensor networks，NTN）模型，用双线性张量层取代 神经网络层，实体通过连续的词向量平均表示进 而提升模型的表现. Neelakantan 等[82] 使用循环神 经网络来建模知识图谱中的分布式语义的多跳路 径. Das 等[83] 主要是将符号逻辑推理中丰富的多 步推理与神经网络的泛化能力相结合. 通过学习 实体、关系和实体的种类来联合推理，并使用神经 注意力建模来整合多跳路径. 在单层 RNN 中分享 参数来表示所有关系的逻辑组成. Graves 等[84] 建 立了可微神经计算机模型，将神经网络和记忆系 统结合起来，将通过样本学习到的知识储存起来 并进行快速知识推理. Dettmers 等[85] 针对知识图谱中大规模与过拟 合的问题，设计了参数简洁且计算高效的二维卷 积 神 经 网 络 （ Convolutional 2D， ConvE） 模 型 . Vashishth 等[86] 基于特征排列、新的特征变形以及 马忠贵等： 知识图谱的最新进展、关键技术和挑战 · 1259 ·