第1期 周浩，等：融合语义与语法信息的中文评价对象提取 ·175· 式中O(t-,,W为潜在的增益函数，目的是使标注 TP (18) 的真实路径在所有可能路径中的得分最高。因此 R=TP,+FN, 在所有的标签序列找到条件概率最高的序列为 2PRi Fu=P+R (19) T=argmax p(W) (15) 式中：TP,为第类关系中被正确分类的实例个数； 综上，通过神经网络训练输入标签的概率矩 FP:为被错误的分为第类的实例数；FN:为本属于 阵后，根据式(14)、式(15)可选择出得分最高的标 第类实例被分为其他类别的实例数。 注序列。训练模型时给定一组已完成标记的训练 3.3超参数选择 数据T,并定义L2正则化损失似然函数为 神经网络在训练过程中，超参数的设置具有 L=∑，tog(P(W)+Ior (16) 重要的意义。实验结果证明，学习率、迭代次数 对识别效果有很大影响。在网络模型训练过程 式中：A为正则化系数；日为模型的参数集合； 中，迭代次数超过60次时，评论对象提取结果的 (d/2)©为L2范数正则化。模型使用反向传播算 准确率、召回率、F值均开始下降。可见迭代次 法训练随机梯度下降(GSD)算法进行优化。 数并非越多越好，过度迭代可能导致模型过拟 3实验结果与分析 合，影响模型效果。在同一个模型下，以网络的 学习率为自变量，迭代相同次数后，模型在学习 为了验证语义与语法信息对中文评价对象提 率为0.001时表现更好。可见，学习率对网络训 取的积极作用，体现提出的语义信息与语法信息 练效果影响同样很大，学习率过大模型无法收 的有效性与优势，进行了以下实验。并在此基础 敛，导致训练结果不理想。迭代次数和学习率的 上，讨论了不同网络模型对于评价对象提取的影 影响实验结果如图4、图5所示。 响，论证了Binary-.BIO标注策略对提取结果结构 化影响，验证了本文的优势。 3.1实验数据 本文采用2017年CCF大数据与计算智能大 赛(BDCI2017)所提供的中文电商商品评论数据 士一准确率 一·一召回率 集，共包含17652条真实中文评论信息。经统计， 一F 评论中共有情感词43041个，主题词22017个。 50 每条中文评论中存在多个（对）评价对象，按照主 10 30 50 70 迭代次数 题词与情感词对应排序。 图4迭代次数影响 由于数据来源于真实的电商平台，存在数据 Fig.4 Effect of iterations 结构松散，存在大量无具体含义评论的情况，需 进行数据清洗。例如：表情符号、错误的标点符 号以及无需提取的短评论。清洗完毕后，将数据 80 态材书合为 集划分为训练集与测试集，并使用新标注策略进 行标注，生成训练数据。具体划分情况如表2所示。 0 表2数据分配表 60 -=0.01 ±—=0.001 Table 2 Data allocation table 数据 中文评论条数/条 10 30 50 70 90 迭代次数 训练集 12000 图5学习率影响 测试集 2000 Fig.5 Effect of learning rate 3.2评价方法 综上，模型的学习率设为0.001，迭代次数为 对于评价对象提取评价，使用综合性能作为 60次，字符的向量维度设为300维，其中，包含语 最终的评测标准。评价指标包括准确率、召回率 义信息部分为250维，语法信息部分为50维。并 和F值。计算公式如下： 采用Hinton等提出的dropout方法将隐含层的节 TP 点以0.5的概率随机忽略。具体的超参数设置如 P,= (17) TP:+FP, 表3所示。Θi(ti−1,ti ,W) et 式中 为潜在的增益函数，目的是使标注 的真实路径在所有可能路径中的得分最高。因此 在所有的标签序列找到条件概率最高 的序列为 et = argmax t∈t ∗ p(t|W) (15) T L2 综上，通过神经网络训练输入标签的概率矩 阵后，根据式 (14)、式 (15) 可选择出得分最高的标 注序列。训练模型时给定一组已完成标记的训练 数据 ，并定义 正则化损失似然函数为 L = ∑ T log(P(ti |W))+ λ 2 ||Θ||2 (16) λ Θ (λ/2)∥Θ∥ 2 L2 式中： 为正则化系数； 为模型的参数集合； 为 范数正则化。模型使用反向传播算 法训练随机梯度下降 (GSD) 算法进行优化。 3 实验结果与分析 为了验证语义与语法信息对中文评价对象提 取的积极作用，体现提出的语义信息与语法信息 的有效性与优势，进行了以下实验。并在此基础 上，讨论了不同网络模型对于评价对象提取的影 响，论证了 Binary-BIO 标注策略对提取结果结构 化影响，验证了本文的优势。 3.1 实验数据 本文采用 2017 年 CCF 大数据与计算智能大 赛 (BDCI2017) 所提供的中文电商商品评论数据 集，共包含 17 652 条真实中文评论信息。经统计， 评论中共有情感词 43 041 个，主题词 22 017 个。 每条中文评论中存在多个 (对) 评价对象，按照主 题词与情感词对应排序。 由于数据来源于真实的电商平台，存在数据 结构松散，存在大量无具体含义评论的情况，需 进行数据清洗。例如：表情符号、错误的标点符 号以及无需提取的短评论。清洗完毕后，将数据 集划分为训练集与测试集，并使用新标注策略进 行标注，生成训练数据。具体划分情况如表 2 所示。 表 2 数据分配表 Table 2 Data allocation table 数据 中文评论条数/条 训练集 12 000 测试集 2 000 3.2 评价方法 F1 对于评价对象提取评价，使用综合性能作为 最终的评测标准。评价指标包括准确率、召回率 和 值。计算公式如下： Pi = TPi TPi +FPi (17) Ri = TPi TPi +FNi (18) F1i = 2PiRi Pi +Ri (19) TPi i FPi i FNi i 式中： 为第 类关系中被正确分类的实例个数； 为被错误的分为第 类的实例数； 为本属于 第 类实例被分为其他类别的实例数。 3.3 超参数选择 F1 神经网络在训练过程中，超参数的设置具有 重要的意义。实验结果证明，学习率、迭代次数 对识别效果有很大影响。在网络模型训练过程 中，迭代次数超过 60 次时，评论对象提取结果的 准确率、召回率、 值均开始下降。可见迭代次 数并非越多越好，过度迭代可能导致模型过拟 合，影响模型效果。在同一个模型下，以网络的 学习率为自变量，迭代相同次数后，模型在学习 率为 0.001 时表现更好。可见，学习率对网络训 练效果影响同样很大，学习率过大模型无法收 敛，导致训练结果不理想。迭代次数和学习率的 影响实验结果如图 4、图 5 所示。 60 70 80 90 10 30 50 70 90 百分比/% 迭代次数 准确率 召回率 F1 图 4 迭代次数影响 Fig. 4 Effect of iterations 50 60 70 80 90 10 30 50 70 90 F1/% 迭代次数 lr=0.01 lr=0.001 图 5 学习率影响 Fig. 5 Effect of learning rate 综上，模型的学习率设为 0.001，迭代次数为 60 次，字符的向量维度设为 300 维，其中，包含语 义信息部分为 250 维，语法信息部分为 50 维。并 采用 Hinton 等提出的 dropout 方法将隐含层的节 点以 0.5 的概率随机忽略。具体的超参数设置如 表 3 所示。 第 1 期 周浩，等：融合语义与语法信息的中文评价对象提取 ·175·