第4期 陈新元，等：结合卷积特征提取和路径语义的知识推理 ·731· 提出了基于注意力机制的知识推理方案，根据路 径；其次将前、后向LSTM的隐藏状态拼接，合并 径的语义匹配程度为其分配不同的权重。Nath- 关系序列特征，实体对的多条路径相当于在多个 ani等B使用注意力机制提取知识图中的近邻信 整句级别上并行映射：最后使用基于注意力机制 息，用于发现近似关系簇，以及同一实体的角色 的方法集成不同路径与候选关系的语义关联信 差异。 息，计算关系与实体对的概率得分，用于判定三 Wang等Iso和Zhang等B6认为，长距离的多 元组是否成立。 跳推理有助于发掘实体关联，从而提高知识推理 模型在现实场景中的性能，但注意力机制在长序 2 PKICLA 列上的分配机制有待优化，有研究尝试集成上述 PKICLA模型框架如图1所示。在给定实体 框架以取长补短，Zhou等26提出Att-BLSTM用 对和候选关系的前提下，利用CNN将通过随机游 于关系分类，词级嵌入后使用双向LSTM)合并 走得到的实体间多条路径分别依据其关系序列编 句级信息并结合注意力机制评分：Chiu等s使用 码为低维表示，将变长路径映射到定长的向量序 LSTM和CNN的混合模型识别命名实体，降低特 列，保留其局部结构；使用双向LSTM将路径的 征工程的计算量。 特征序列合并为单一向量，减少计算开销；由于 由于基于嵌入特征提取的模型和基于关系路 不同路径与候选关系的语义关联程度不同，结合 径语义的模型各有优点，因此本文在前人工作基 注意力机制计算各路径的相关性并分配权重，加 础上将嵌入表示与语义提取结合，提出PKICLA 权计算关系的状态向量，通过该关系与相应实体 模型，首先使用自定义的CNN框架编码完整路 对的概率得分判定三元组是否有效。 实体对_1.随机游走。路径集合刀 (ese) 2.过滤器 {12，} 卷积操作 嵌入表示 e F P=P1,Pz 1.卷积 2.全连接 步长为2 t内核 候选关系 注意力机制 r n条编码路径 score(p r) 双向LSTM P() 图1 PKICLA模型框架 Fig.1 Model framework of PKICLA 2.1路径关系序列的向量嵌入 ing algorithm)算法得到与候选三元组(e,r,e)的 给定KG包括实体集E和关系集R。三元组 头/尾实体e、e,对应且概率较高的路径。PRA通 (h,r,t)中，h∈E表示头实体或源实体，t∈E表示 过Random Walk,在全图范围内从源实体开始寻 尾实体或目标实体，r∈R表示关系。三元组的向 找并一一列举到达目标实体的长度符合要求的n 量表示为(e,r,e),体现实体和关系的有序链接。 条路径，记录每条路径上的关系和中间实体，完 实体对间可能存在多条路径，因此将路径视作原 整路径π可表示为{e,r1,e1,r2,e2,…,e-1,I,e,…, 子性特征会导致特征矩阵随数据规模上升迅速膨 r,e}eⅡ，其关系序列可表示为{r,2,…,r山其中 张。ConvE使用CNN提取三元组的局部特征，大 (e-l,r,e)表示路径中的第i个三元组。记录不同 大降低了参数规模；本文采用自定义的CNN框架 路径到达目标实体的概率，根据预设阈值进行筛 将路径嵌入低维表示。首先使用PRA(path rank-. 选。Ⅱ表示筛选后的路径集合。不同路径的关系提出了基于注意力机制的知识推理方案，根据路 径的语义匹配程度为其分配不同的权重。Nath￾ani 等 [34] 使用注意力机制提取知识图中的近邻信 息，用于发现近似关系簇，以及同一实体的角色 差异。 Wang 等 [50] 和 Zhang 等 [36] 认为，长距离的多 跳推理有助于发掘实体关联，从而提高知识推理 模型在现实场景中的性能，但注意力机制在长序 列上的分配机制有待优化，有研究尝试集成上述 框架以取长补短，Zhou 等 [26] 提出 Att-BLSTM 用 于关系分类，词级嵌入后使用双向 LSTM[51] 合并 句级信息并结合注意力机制评分；Chiu 等 [52] 使用 LSTM 和 CNN 的混合模型识别命名实体，降低特 征工程的计算量。 由于基于嵌入特征提取的模型和基于关系路 径语义的模型各有优点，因此本文在前人工作基 础上将嵌入表示与语义提取结合，提出 PKICLA 模型，首先使用自定义的 CNN 框架编码完整路 径；其次将前、后向 LSTM 的隐藏状态拼接，合并 关系序列特征，实体对的多条路径相当于在多个 整句级别上并行映射；最后使用基于注意力机制 的方法集成不同路径与候选关系的语义关联信 息，计算关系与实体对的概率得分，用于判定三 元组是否成立。 2 PKICLA PKICLA 模型框架如图 1 所示。在给定实体 对和候选关系的前提下，利用 CNN 将通过随机游 走得到的实体间多条路径分别依据其关系序列编 码为低维表示，将变长路径映射到定长的向量序 列，保留其局部结构；使用双向 LSTM 将路径的 特征序列合并为单一向量，减少计算开销；由于 不同路径与候选关系的语义关联程度不同，结合 注意力机制计算各路径的相关性并分配权重，加 权计算关系的状态向量，通过该关系与相应实体 对的概率得分判定三元组是否有效。 双向 LSTM 注意力机制 卷积操作 实体对 (es , et ) 嵌入表示 候选关系 r 1. 随机游走 2. 过滤器 r es r1 e1 rt et 1. 卷积 2. 全连接 步长为 2 τ 内核 {c1 , c2 , …, ct} ci=[ci1 , ci2 , …, ciτ] k … hi … … … h1 h1 h1 hi score(pi , r) P(r|es , et ) k 2 k 2 n 条编码路径 r P={p1 , p2 , …, pn} 路径集合 {π1 , π2 , …, πn} pi pi ht ht ht ci c1 ct α1 αi αn k k ∏ … … 图 1 PKICLA 模型框架 Fig. 1 Model framework of PKICLA 2.1 路径关系序列的向量嵌入 (h, r, t) h ∈ E t ∈ E r ∈ R (es ,r, et) 给定 KG 包括实体集 E 和关系集 R。三元组 中， 表示头实体或源实体， 表示 尾实体或目标实体， 表示关系。三元组的向 量表示为 ，体现实体和关系的有序链接。 实体对间可能存在多条路径，因此将路径视作原 子性特征会导致特征矩阵随数据规模上升迅速膨 胀。ConvE 使用 CNN 提取三元组的局部特征，大 大降低了参数规模；本文采用自定义的 CNN 框架 将路径嵌入低维表示。首先使用 PRA(path rank- (es ,r, et) es et n π {es ,r1, e1,r2, e2, ··· , ei−1,ri , ei , ··· , rt , et} ∈ Π {r1,r2, ··· ,rt} (ei−1,ri , ei) i Π ing algorithm) 算法得到与候选三元组 的 头/尾实体 、 对应且概率较高的路径。PRA 通 过 Random Walk，在全图范围内从源实体开始寻 找并一一列举到达目标实体的长度符合要求的 条路径，记录每条路径上的关系和中间实体，完 整路径 可表示为 ，其关系序列可表示为 ，其中 表示路径中的第 个三元组。记录不同 路径到达目标实体的概率，根据预设阈值进行筛 选。 表示筛选后的路径集合。不同路径的关系 第 4 期 陈新元，等：结合卷积特征提取和路径语义的知识推理 ·731·