第1期 周浩，等：融合语义与语法信息的中文评价对象提取 ·173 句子序列 语义信息 B-表征L表征 B-表征I表征 字表征 B-表征I【表征 B-表征L表征 g 5 语法信息 词性表征 词性表征 词性表征 词性表征 词性表征 训练层 LSTM LSTM LSTM LSTM LSTM LSTM STM LSTM LSTM 标注层 CRF CRF CRF CRF CRF 标注结果 B-sub-1 I-sub-1 0 B-sen-1 -sen-I 图1中文评价对象提取模型 Fig.1 Model of Chinese opinion target extraction 1.2Bi-LSTM-CRF网络 h=O,otanh(C) (6) 式中：i,为输入门；为遗忘门；0，为输出门；C,为状 Bi-LSTM-CRF网络是在长短期记忆网络的基 态候选值；W代表权重矩阵；b代表偏置项；σ为 础上优化后的模型，结合了长短期记忆网络与条 sigmoid函数；o代表按元素乘运算。双向长短期 件随机场的优点，是循环神经网络的一种，常常 记忆网络的隐藏层为双层结构，这样结合两个方 用来处理序列数据。网络的优点是：解决长距 向的信息进一步提高模型的学习能力，对于序列 离依赖问题的同时避免了梯度爆炸或消失，并在 标注任务非常有效。将输入字符设为X,先正向 标注路径选择过程中，克服标注标签的偏差问 计算得到正向隐藏层向量h,再反向计算得到反 题。网络模型的核心是记忆单元。Bi-LSTM隐藏 向隐藏层向量表示h:,然后进行拼接得到最终的 层的神经元由多个门控制，包括输入门、输出门、 隐藏层向量表示： 遗忘门。这些门的设置可以使之前输人的信息保 hi=[hyi:hni] (7) 存在网络中，并一直向前传递。记忆单元简单的 结构如图2所示。 2语义与语法信息的融合与标注策略 网络输出 2.1优化字符含义策略 输出门 模型输入是由单个字符组成的句子序列 W={W,W,…,W。中文能够包含语义的最小单 位是词语，因此使输入的字符包含所构成词语的 语义信息是本文的优化目标之一。中文的某一字 遗忘门 细胞状态 符在不同词语中位置不同从而导致字符含义发生 .0 变化，例如：“泡面”与“电灯泡”这组词语，由于 泡”字位置不同，含义也完全不同。参考Chen等回 输人门 的思想，设计了优化字符含义的策略。考虑某字 网络输入 符因在组成词中的位置变化导致的含义不同，从 而为具备这一特征的字符W:=C,C}分配两个 图2LSTM神经单元 Fig.2 Structure of LSTM neural unit 向量，对应字符在词语中的起始与非起始位置。 设1时刻下，网络输人为X,输人门输入为h, 因此嵌入层中的语义信息表征方法如图3所示。 单元状态为C,记忆单元内对应的更新与输出 提取对象1： 泡 如式(1)(6)： f;=(Wi[h-1.X]+br) (1) B-表征 1表征 i=(Wi[h-1X:]+bi) (2) 提取对象2： C,tanh(We[h-1.X,]+be) (3) O:=(Wo[h-1.X,]+bo) (4) 图3字向量选择方法 C:=fioC-1+inoC (5) Fig.3 Character vector selection method1.2 Bi-LSTM-CRF 网络 Bi-LSTM-CRF 网络是在长短期记忆网络的基 础上优化后的模型，结合了长短期记忆网络与条 件随机场的优点，是循环神经网络的一种，常常 用来处理序列数据[11]。网络的优点是：解决长距 离依赖问题的同时避免了梯度爆炸或消失，并在 标注路径选择过程中，克服标注标签的偏差问 题。网络模型的核心是记忆单元。Bi-LSTM 隐藏 层的神经元由多个门控制，包括输入门、输出门、 遗忘门。这些门的设置可以使之前输入的信息保 存在网络中，并一直向前传递。记忆单元简单的 结构如图 2 所示。 遗忘门 网络输入 输入门 输出门 网络输出 h 1 .0 g 细胞状态 图 2 LSTM 神经单元 Fig. 2 Structure of LSTM neural unit Xt ht Ct 设 t 时刻下，网络输入为 ，输入门输入为 ， 单元状态为 ，记忆单元内对应的更新与输出 如式 (1)~(6)： ft = σ(Wf[ht−1,Xt]+bf) (1) it = σ(Wi[ht−1,Xt]+bi) (2) Cet = tanh(Wc[ht−1,Xt]+bc) (3) Ot = σ(W0[ht−1,Xt]+b0) (4) Ct = ft ◦Ct−1 +it ◦Cet (5) ht = Ot ◦ tanh(Ct) (6) it ft Ot Cet W b σ ◦ Xi hf i hri 式中： 为输入门； 为遗忘门； 为输出门； 为状 态候选值； 代表权重矩阵； 代表偏置项； 为 sigmoid 函数； 代表按元素乘运算。双向长短期 记忆网络的隐藏层为双层结构，这样结合两个方 向的信息进一步提高模型的学习能力，对于序列 标注任务非常有效。将输入字符设为 ，先正向 计算得到正向隐藏层向量 ，再反向计算得到反 向隐藏层向量表示 ，然后进行拼接得到最终的 隐藏层向量表示： hi = [hf i; hri] (7) 2 语义与语法信息的融合与标注策略 2.1 优化字符含义策略 W = {W1,W2,··· ,Wk} Wi = {CB,CI} 模型输入是由单个字符组成的句子序列 。中文能够包含语义的最小单 位是词语，因此使输入的字符包含所构成词语的 语义信息是本文的优化目标之一。中文的某一字 符在不同词语中位置不同从而导致字符含义发生 变化，例如：“泡面”与“电灯泡”这组词语，由于 “泡”字位置不同，含义也完全不同。参考 Chen 等 [12] 的思想，设计了优化字符含义的策略。考虑某字 符因在组成词中的位置变化导致的含义不同，从 而为具备这一特征的字符 分配两个 向量，对应字符在词语中的起始与非起始位置。 因此嵌入层中的语义信息表征方法如图 3 所示。 面 电 B-表征 I-表征 灯 泡 泡 提取对象1： 提取对象2： 图 3 字向量选择方法 Fig. 3 Character vector selection method LSTM LSTM LSTM LSTM 灯 泡 还 不 CRF B-sub-1 O B-sen-1 I-sub-1 错 I-sen-1 B-表征 I-表征 词性表征 字表征 词性表征 B-表征 I-表征 B-表征 I-表征 B-表征 I-表征 词性表征 词性表征 词性表征 LSTM LSTM LSTM LSTM LSTM LSTM CRF CRF CRF CRF 语义信息 语法信息 句子序列 训练层 标注层 标注结果 图 1 中文评价对象提取模型 Fig. 1 Model of Chinese opinion target extraction 第 1 期 周浩，等：融合语义与语法信息的中文评价对象提取 ·173·