《郑州大学学报（理学版）》：基于双语对抗学习的半监督情感分类（刘杰、刘欢、李寿山、闫伟）

第52卷第2期 郑州大学学报(理学版) Vol. 52 No. 2 2020年6月 J. Zhengzhou Univ( Nat. Sci. Ed. Jun.2020 基于双语对抗学习的半监督情感分类 刘杰,刘欢2,李寿山2,闫伟 (1.宿迁学院信息工程学院江苏宿迁223800; 2.苏州大学计算机科学与技术学院江苏苏州215006) 摘要:提出了充分利用未标注样本的样本信息的双语对抗学习方法。具体而言,中文的标注样本和未标注样本分 别通过不同的LSTM进行编码,再经过分类器和判别器进行对抗学习。其中,分类器的作用是使标注样本和未标注 样本处于同一分布,而判别器用来区分输入样本是标注样本还是未标注样本。最后,构建一个相同的英文语料的 对抗神经网络,通过联合学习中英文对抗神经网络提升半监督情感分类的性能。实验结果表明,所提出的基于双 语对抗学习的半监督情感分类方法在不同标注样本数量的训练集上都取得了较好的准确率,与其他基准方法相比 有明显提升 关键词:未标注样本;双语对抗学习;半监督情感分类 中图分类号:TP391 文献标志码:A 文章编号:1671-6841(2020)02-0059-05 DOI:10.13705/j.isn.1671-6841.2019262 0引言 情感分类是对带有感情色彩的主观性文本进行分析、推理的过程。例如:产品评论“配件贵、夜间拍摄 外景效果不太好!”被认为是负面的情感。在电子商务平台中存在大量此类评论文本,正确识别这些评论文 本的情感对了解产品质量以及促进电子商务平台的发展等都具有重要意义。 以往的研究中,基于监督学习的情感分类方法已经取得了很好的分类效果口,但是监督学习方法需要 大量的标注样本,标注样本往往费时费力,而无须任何标注样本的无监督学习方法的聚类效果又达不到实际 需求23,因此情感分类研究的关注点逐渐从监督学习转向半监督学习,以此减少情感分类任务对标注样本 的依赖。例如,协同训练、标签传播和深度学习都被广泛应用于半监督的情感分类任务。 然而,已有的半监督情感分类方法仍然需要获取未标注样本的标签。通常获取未标注样本标签的方法 有两种,一种是先从初始训练集训练出一个学习器,再根据学习器的表现对未标注样本进行分类,如此反复 进行,获取未标注样本的标签;另一种是通过规则学习,即从训练数据中学习出一组能用于对未见示例 进行判别的规则获取未标注样本的标签。显然,这两种方法都无法保证获取的未标注样本标签的正确 率,而错误的标注样本也会影响情感分类的性能。 另外,中文情感分类中很多词语在不同语境中的情感也不同。词有多义、歧义的现象,同一观点词在不 同领域、不同的语境中甚至会有相反的情感倾向。词语“高”在例1中的中文句子中表现为褒义,而在例2 中的中文句子中表现为贬义。相对而言,英文句子不需要分词,且中文句子无法确定的情感翻译成英文后更 容易确定。例1的“性价比高”在中文中被分为“性价比”和“高”两个词语而无法确定其情感,而翻译成英文 为“cost- effective”便很容易识别出正面情感, 例1中文:模样讨喜,功能齐全,性价比高;英文: Look favorable,aful- featured, cost-effective。 例2中文:价位高,自动聚焦不好,取景器不清楚!英文: Price high,auto- focus poor, the view finder is 因此,为了缓解传统半监督方法的缺陷以及充分利用双语的辅助信息,本文提出了基于双语对抗学习的 收稿日期:2019-06-23 基金项目:宿迁市科技计划项目(Z2018225,S201712);国家自然科学基金项目(61331011,61375073)。 作者简介:刘杰(1981一),男,江苏扬州人,讲师,主要从事移动互联网络、自然语言处理研究,E-mail:seelie@163.com;通信作者:刘欢 (1993—),女,江苏扬州人,硕士研究生,主要从事情感分析自然语言处理研究,E-mail:892103955@q9com

第 52 卷第 2 期 郑 州 大 学 学 报(理 学 版) Vol. 52 No. 2 2020 年 6 月 J. Zhengzhou Univ. (Nat. Sci. Ed. ) Jun. 2020 收稿日期:2019-06-23 基金项目:宿迁市科技计划项目( Z2018225,S201712) ;国家自然科学基金项目( 61331011,61375073) 。 作者简介:刘杰( 1981—) ,男,江苏扬州人,讲师,主要从事移动互联网络、自然语言处理研究,E-mail: sqcljie@ 163. com;通信作者:刘欢 ( 1993—) ,女,江苏扬州人,硕士研究生,主要从事情感分析自然语言处理研究,E-mail: 892103955@ qq. com。 基于双语对抗学习的半监督情感分类 刘 杰1 , 刘 欢2 , 李寿山2 , 闫 伟1 (1. 宿迁学院 信息工程学院 江苏 宿迁 223800; 2. 苏州大学 计算机科学与技术学院 江苏 苏州 215006) 摘要: 提出了充分利用未标注样本的样本信息的双语对抗学习方法。 具体而言,中文的标注样本和未标注样本分 别通过不同的 LSTM 进行编码,再经过分类器和判别器进行对抗学习。 其中,分类器的作用是使标注样本和未标注 样本处于同一分布,而判别器用来区分输入样本是标注样本还是未标注样本。 最后,构建一个相同的英文语料的 对抗神经网络,通过联合学习中英文对抗神经网络提升半监督情感分类的性能。 实验结果表明,所提出的基于双 语对抗学习的半监督情感分类方法在不同标注样本数量的训练集上都取得了较好的准确率,与其他基准方法相比 有明显提升。 关键词:未标注样本; 双语对抗学习; 半监督情感分类 中图分类号: TP391 文献标志码: A 文章编号: 1671-6841(2020)02-0059-05 DOI: 10. 13705 / j. issn. 1671-6841. 2019262 0 引言 情感分类是对带有感情色彩的主观性文本进行分析、推理的过程。 例如:产品评论“ 配件贵、夜间拍摄 外景效果不太好!”被认为是负面的情感。 在电子商务平台中存在大量此类评论文本,正确识别这些评论文 本的情感对了解产品质量以及促进电子商务平台的发展等都具有重要意义。 以往的研究中,基于监督学习的情感分类方法已经取得了很好的分类效果[ 1] ,但是监督学习方法需要 大量的标注样本,标注样本往往费时费力,而无须任何标注样本的无监督学习方法的聚类效果又达不到实际 需求[ 2- 3] ,因此情感分类研究的关注点逐渐从监督学习转向半监督学习,以此减少情感分类任务对标注样本 的依赖。 例如,协同训练[ 4] 、标签传播[ 5] 和深度学习[ 6] 都被广泛应用于半监督的情感分类任务。 然而,已有的半监督情感分类方法仍然需要获取未标注样本的标签。 通常获取未标注样本标签的方法 有两种,一种是先从初始训练集训练出一个学习器,再根据学习器的表现对未标注样本进行分类,如此反复 进行,获取未标注样本的标签[ 4- 5] ;另一种是通过规则学习,即从训练数据中学习出一组能用于对未见示例 进行判别的规则获取未标注样本的标签[ 7] 。 显然,这两种方法都无法保证获取的未标注样本标签的正确 率,而错误的标注样本也会影响情感分类的性能。 另外,中文情感分类中很多词语在不同语境中的情感也不同。 词有多义、歧义的现象,同一观点词在不 同领域、不同的语境中甚至会有相反的情感倾向[ 8] 。 词语“高”在例 1 中的中文句子中表现为褒义,而在例 2 中的中文句子中表现为贬义。 相对而言,英文句子不需要分词,且中文句子无法确定的情感翻译成英文后更 容易确定。 例 1 的“性价比高”在中文中被分为“性价比”和“高”两个词语而无法确定其情感,而翻译成英文 为“ cost-effective”便很容易识别出正面情感。 例 1 中文:模样讨喜,功能齐全,性价比高;英文:Look favorable, a full-featured, cost-effective。 例 2 中文:价位高,自动聚焦不好,取景器不清楚! 英文:Price high, auto-focus poor, the viewfinder is not clear! 因此,为了缓解传统半监督方法的缺陷以及充分利用双语的辅助信息,本文提出了基于双语对抗学习的

郑州大学学报(理学版) 第52卷 半监督情感分类方法。首先,中文的标注样本和未标注样本经过不同的编码器之后分别通过分类器和判别 器进行对抗学习,其中,分类器的作用是识别样本的情感倾向并且使标注样本和未标注样本处于同一分布 而判别器用来区分输入样本是标注样本还是未标注样本。然后构建一个英文语料的对抗神经网络,其输入 的标注样本和未标注样本为中文样本经过谷歌翻译的英文样本。最后,通过联合学习中英文对抗神经网络 提升半监督情感分类的实验结果 1基于双语对抗学习的半监督情感分类 1.1中文对抗学习的半监督情感分类 中文对抗神经网络的半监督情感分类方法包括两个编码器、一个分类器和一个判别器,图1介绍了中文 对抗神经网络的半监督情感分类方法的模型图。 未标注样本x 编码器E 判别器D (标注未标注 小注样本x (正面负面) 图1中文对抗神经网络的半监督情感分类模型图 Figure 1 Semi-supervised sentiment classification with Chinese adversarial learning 图中的E1和E。表示两个编码器,分别将标注样本和未标注样本映射到代码空间中 h1=E(x1),h。=E(x), 其中:x,表示标注样本输入的词向量形式;x表示未标注样本输入的词向量形式。编码器E1和E。使用标准 的长短期记忆( long short- erm memory,LsTM)神经网络将文本序列编码为固定长度的向量。h和h。分别为 标注样本和未标注样本经过不同的编码器的输出结果 接着,使用分类器C预测文本的情感倾向 P1=C(h1),P。=C(h), 其中:p1和p。表示输入文本x1和x。的分类概率。分类器C使用激活函数是 softman的全连接神经网络 P1= softmax(Wh1+b),P。=so/tmax(Wh。+b), 其中:W和b分别表示该层的权值矩阵和偏置向量 图中的判别器D用来判断输入文本是属于标注样本还是未标注样本,标注样本的真实标签和未标注样 本的预测概率分别作为判别器D的辅助输入 q,=D(h,oy,,q=D(h o P. 其中:q1和q表示输入文本x1和x。的判别概率;y1表示输入文本x1的真实情感标签;④表示连接运算符。 同样,判别器D使用激活函数是 softman的全连接神经网络。 为了更好地训练对抗神经网络,首先使用最小化二元交叉熵作为分类器C的损失函数,损失函数 loss 定义为 loss min( yi log pi 其中:m是样本总量;k是情感类别的数量;y表示第i个样本是否属于第j个情感类别;p;表示第i个样本 预测为第j个情感类别的概率。 接着,通过公式(1)训练判别器的损失 Amax(∑dlgq) 其中:los是判别器D的损失函数;d表示第i个样本属于标注样本还是未标注样本;q;表示第i个样本的 判别概率;λ是对抗网络超参数。 最后,本小节提出的中文对抗神经网络的模型损失函数为 J。= loss+ losing

郑 州 大 学 学 报 (理 学 版) 第 52 卷 半监督情感分类方法。 首先,中文的标注样本和未标注样本经过不同的编码器之后分别通过分类器和判别 器进行对抗学习,其中,分类器的作用是识别样本的情感倾向并且使标注样本和未标注样本处于同一分布, 而判别器用来区分输入样本是标注样本还是未标注样本。 然后构建一个英文语料的对抗神经网络,其输入 的标注样本和未标注样本为中文样本经过谷歌翻译的英文样本。 最后,通过联合学习中英文对抗神经网络 提升半监督情感分类的实验结果。 1 基于双语对抗学习的半监督情感分类 1. 1 中文对抗学习的半监督情感分类 中文对抗神经网络的半监督情感分类方法包括两个编码器、一个分类器和一个判别器,图 1 介绍了中文 对抗神经网络的半监督情感分类方法的模型图。 图 1 中文对抗神经网络的半监督情感分类模型图 Figure 1 Semi-supervised sentiment classification with Chinese adversarial learning 图中的 El 和 Eu 表示两个编码器,分别将标注样本和未标注样本映射到代码空间中, hl = El( xl) , hu = Eu( xu ) , 其中: xl 表示标注样本输入的词向量形式; xu 表示未标注样本输入的词向量形式。 编码器 El 和 Eu 使用标准 的长短期记忆( long short-term memory,LSTM)神经网络将文本序列编码为固定长度的向量。 hl 和 hu 分别为 标注样本和未标注样本经过不同的编码器的输出结果。 接着,使用分类器 C 预测文本的情感倾向, pl = C( hl) , p u = C( hu ) , 其中: pl 和 p u 表示输入文本 xl 和 xu 的分类概率。 分类器 C 使用激活函数是 softmax 的全连接神经网络, pl = softmax(Wchl + bc) , p u = softmax(Wchu + bc) , 其中: Wc 和 bc 分别表示该层的权值矩阵和偏置向量。 图中的判别器 D 用来判断输入文本是属于标注样本还是未标注样本,标注样本的真实标签和未标注样 本的预测概率分别作为判别器 D 的辅助输入, ql = D( hl 􀱇 yl) , q u = D( hu 􀱇 p u ) , 其中: ql 和 q u 表示输入文本 xl 和 xu 的判别概率; yl 表示输入文本 xl 的真实情感标签;􀱇表示连接运算符。 同样,判别器 D 使用激活函数是 softmax 的全连接神经网络。 为了更好地训练对抗神经网络,首先使用最小化二元交叉熵作为分类器 C 的损失函数,损失函数 lossC 定义为 lossC = min( - 1 m∑ m i = 1 ∑ k j = 1 yij log pij) , 其中: m 是样本总量; k 是情感类别的数量; yij 表示第 i 个样本是否属于第 j 个情感类别; pij 表示第 i 个样本 预测为第 j 个情感类别的概率。 接着,通过公式(1)训练判别器的损失 lossD =min θ E (λmax θ D (∑ m i = 1 di log qi) ) , (1) 其中: lossD 是判别器 D 的损失函数; di 表示第 i 个样本属于标注样本还是未标注样本; qi 表示第 i 个样本的 判别概率;λ 是对抗网络超参数。 最后,本小节提出的中文对抗神经网络的模型损失函数为 Jcn = lossC + lossD 。 60

第2期 刘杰,等:基于双语对抗学习的半监督情感分类 61 另外,实验使用Adam(9作为优化函数,在整个神经网络中所有的矩阵和向量被初始化为统一的格式, 即[-√6/(r+c),√6/(r+c)],其中:r和c表示矩阵的行和列的大小。 1.2双语对抗学习的半监督情感分类 双语对抗神经网络的半监督情感分类方法包括中文对抗神经网络和英文对抗神经网络两部分。图2显 示了双语对抗神经网络的半监督情感分类方法的模型图。在本文提出的模型中,通过中文对抗神经网络和 英文对抗神经网络的联合学习有效提高了中文样本的情感分类结果。 具体联合学习的损失函数为 J=J. +J 其中:J。是同J。训练方法相同的英文对抗神经网络的损失函数。 在基于双语对抗学习的半监督情感分类方法中,实验通过融合每条文本的中英文标签概率决定测试样 本的标签类别。 2实验结果与分析 2.1实验设置 本文采用了wan0提供的中国m产品网站m168的中文评论语料,其中包括886条标注样本(451条 正面评论样本和435条负面评论样本)和2000条未标注样本,评论内容主要集中在mp3播放器、手机、数码 相机和笔记本电脑等产品上。对于2.2节使用的英文语料,实验使用中文评论语料对应的谷歌翻译结果。 具体实验中分别使用3组不同的训练样本数量对相同的测试样本进行测试,其中训练样本数量分别为正负 各10条标注样本、正负各20条标注样本、正负各50条标注样本,测试样本数量为正负各300条标注样本, 实验中采用所有未标注样本2000条。 (标注未标注 正面/负面 (正面负面 (标注未标注) 判别器D 分类器C 分类器C 判别器D 编码器 编码器E 编码器E 编码器E 未标注样本 标注样本x 标注样本x 未标注样本x 中文对抗神经网络 英文对抗神经网络 图2基于双语对抗学习的丰监督情感分类模型图 Figure 2 Semi-supervised sentiment classification with bilingual adversarial learning 本文采用 jieba工具进行分词,并且釆用word2vec训练词向量。实验结果采用准确率作为衡量情感分 类性能的评价指标。 2.2实验结 为了验证本文提出方法的有效性,本文实现了以下几种半监督情感分类方法。 baseline(LSTM):本实验使用了标准的LSTM模型进行全监督情感分类方法。 LP(CN):Zhu等提出了一种基于图形的半监督学习方法,即标签传播( label propagation,LP),实验中

第 2 期 刘 杰,等:基于双语对抗学习的半监督情感分类 另外,实验使用 Adam [ 9] 作为优化函数,在整个神经网络中所有的矩阵和向量被初始化为统一的格式, 即 [ - 6 / ( r + c) , 6 / ( r + c) ] , 其中: r 和 c 表示矩阵的行和列的大小。 1. 2 双语对抗学习的半监督情感分类 双语对抗神经网络的半监督情感分类方法包括中文对抗神经网络和英文对抗神经网络两部分。 图 2 显 示了双语对抗神经网络的半监督情感分类方法的模型图。 在本文提出的模型中,通过中文对抗神经网络和 英文对抗神经网络的联合学习有效提高了中文样本的情感分类结果。 具体联合学习的损失函数为 J = Jcn + Jen , 其中:Jen 是同 Jcn 训练方法相同的英文对抗神经网络的损失函数。 在基于双语对抗学习的半监督情感分类方法中,实验通过融合每条文本的中英文标签概率决定测试样 本的标签类别。 2 实验结果与分析 2. 1 实验设置 本文采用了 Wan [ 10] 提供的中国 IT 产品网站 IT168 的中文评论语料,其中包括 886 条标注样本( 451 条 正面评论样本和 435 条负面评论样本)和 2 000 条未标注样本,评论内容主要集中在 mp3 播放器、手机、数码 相机和笔记本电脑等产品上。 对于 2. 2 节使用的英文语料,实验使用中文评论语料对应的谷歌翻译结果。 具体实验中分别使用 3 组不同的训练样本数量对相同的测试样本进行测试,其中训练样本数量分别为正负 各 10 条标注样本、正负各 20 条标注样本、正负各 50 条标注样本,测试样本数量为正负各 300 条标注样本, 实验中采用所有未标注样本 2 000 条。 图 2 基于双语对抗学习的半监督情感分类模型图 Figure 2 Semi-supervised sentiment classification with bilingual adversarial learning 本文采用 jieba 工具进行分词,并且采用 word2vec 训练词向量。 实验结果采用准确率作为衡量情感分 类性能的评价指标。 2. 2 实验结果 为了验证本文提出方法的有效性,本文实现了以下几种半监督情感分类方法。 baseline( LSTM) :本实验使用了标准的 LSTM 模型进行全监督情感分类方法。 LP(CN) :Zhu [ 5] 等提出了一种基于图形的半监督学习方法,即标签传播( label propagation,LP ) ,实验中 61

郑州大学学报(理学版) 第52卷 仅使用中文语料进行标签传播。 self- training(CN):本实验采用传统的自训练算法,仅使用中文语料进行自训练算法 ⅤAE(CN):本实验采用变分自编码器实现半监督情感分类,仅使用中文语料进行变分自编码器(var iational autoencoder,ⅤAE)实验。 AL(CN):该方法为2.1小节介绍的中文对抗学习的半监督分类方法。 LP(CN+EN):将中文语料和英文语料分别进行标签传播,然后通过融合每条文本的中英文标签概率决 定测试样本的标签。 el- training(CN+EN):将中文语料和英文语料分别进行自训练,然后通过融合每条文本的中英文标签 概率决定测试样本的标签。 ⅤAE(CN+EN):将中文语料和英文语料分别进行变分自编码器的实验,然后联合学习中英文模型的损 失函数,最后通过融合每条文本的中英文标签概率决定测试样本的标签。 AL(CN+EN):该方法为2.2小节介绍的基于双语对抗学习的半监督分类方法。 表1展示了上述几种方法在不同训练集数量上的半监督情感分类任务的性能 表1各方法在不同训练集数量上情感分类任务上的准确率 Table 1 The accurate rate of semi-supervised sentiment classification task on different training sets 600条测试样本在不同训练集上的准确率 20条训练样本 40条训练样本 100条训练样本 LSTM 0.7917 0.825 0.8333 LP(CN) 0.7067 0.7350 0.7950 0.8217 0.8150 0.8517 ⅤAE(CN 0.8017 0.7833 0.8600 0.8250 0.8300 LP(CN+EN) 0.7399 0.7483 000 0337 self-training( CN+EN) 0.8600 0.8500 ⅤAE(CN+EN) 0.8150 0.8467 0.8900 AL(CN+EN) 0.8800 0.8580 0.8967 通过比较,从表1中可以得出以下结论。 1)对抗学习的方法比其他基准半监督的方法好(如表1中粗体所示)。对抗学习的方法在不同训练集 规模上的实验结果比传统的半监督方法(LP和 self-training)的结果都高,并且对比ⅤAE的实验结果也有明 显提升。实验结果说明通过分类器和判别器的对抗学习可以有效学习到未标注样本的文本信息,增强模型 的数据特征,从而帮助分类器更好地进行分类。 2)使用双语对抗学习的半监督情感分类方法比使用单语对抗学习的半监督情感分类方法的实验结果 更好。具体而言,与单语实验相比,加入英文语料的融合结果之后,LP(CN←EN)方法在3种不同的训练集规 模中的实验结果如下:LP(CN+EN)方法平均提高了1.99%; elf-training(CN+EN)方法的实验结果平均提高 了2.78%;VAE(CN+EN)方法的实验结果平均提高了3.56%;本文提出的AL(CN+EN)方法的实验结果平 均提高了3.71%。实验结果表明,利用双语信息能够有效提升半监督情感分类的实验性能。 3)本文提出的基于双语对抗学习的半监督情感分类方法AL(CN+EN)在所有的实验中都表现最好。 当训练集数量为100条时,使用AL(CN+EN)方法进行情感分类任务的准确率比未使用未标注样本的LSTM 方法提高6.34%。实验结果表明利用双语信息及对抗茡习能有效提高半监督情感分类的实验性能,本文提 出的对抗网络能够捕捉未标注样本中的有效信息 3结语 本文提出了基于双语对抗学习的半监督情感分类方法,主要通过分类器和判别器之间的对抗学习充分 利用未标注样本的样本信息,这种对抗学习的方法可以有效避免对未标注样本分类或者自动标注带来的错

郑 州 大 学 学 报 (理 学 版) 第 52 卷 仅使用中文语料进行标签传播。 self-training(CN) :本实验采用传统的自训练算法,仅使用中文语料进行自训练算法。 VAE(CN) :本实验采用变分自编码器实现半监督情感分类[ 11] ,仅使用中文语料进行变分自编码器( var￾iational autoencoder,VAE)实验。 AL(CN) :该方法为 2. 1 小节介绍的中文对抗学习的半监督分类方法。 LP(CN+EN) :将中文语料和英文语料分别进行标签传播,然后通过融合每条文本的中英文标签概率决 定测试样本的标签。 self-training(CN+EN) :将中文语料和英文语料分别进行自训练,然后通过融合每条文本的中英文标签 概率决定测试样本的标签。 VAE(CN+EN) :将中文语料和英文语料分别进行变分自编码器的实验,然后联合学习中英文模型的损 失函数,最后通过融合每条文本的中英文标签概率决定测试样本的标签。 AL(CN+EN) :该方法为 2. 2 小节介绍的基于双语对抗学习的半监督分类方法。 表 1 展示了上述几种方法在不同训练集数量上的半监督情感分类任务的性能。 表 1 各方法在不同训练集数量上情感分类任务上的准确率 Table 1 The accurate rate of semi-supervised sentiment classification task on different training sets 方法 600 条测试样本在不同训练集上的准确率 20 条训练样本 40 条训练样本 100 条训练样本 LSTM 0. 791 7 0. 82 5 0. 833 3 LP(CN) 0. 706 7 0. 735 0 0. 795 0 self-training(CN) 0. 821 7 0. 815 0 0. 851 7 VAE(CN) 0. 801 7 0. 783 3 0. 860 0 AL(CN) 0. 825 0 0. 830 0 0. 868 3 LP(CN+EN) 0. 739 9 0. 748 3 0. 808 3 self-training(CN+EN) 0. 860 0 0. 850 0 0. 861 7 VAE(CN+EN) 0. 815 0 0. 846 7 0. 890 0 AL(CN+EN) 0. 880 0 0. 858 0 0. 896 7 通过比较,从表 1 中可以得出以下结论。 1) 对抗学习的方法比其他基准半监督的方法好(如表 1 中粗体所示) 。 对抗学习的方法在不同训练集 规模上的实验结果比传统的半监督方法( LP 和 self-training)的结果都高,并且对比 VAE 的实验结果也有明 显提升。 实验结果说明通过分类器和判别器的对抗学习可以有效学习到未标注样本的文本信息,增强模型 的数据特征,从而帮助分类器更好地进行分类。 2) 使用双语对抗学习的半监督情感分类方法比使用单语对抗学习的半监督情感分类方法的实验结果 更好。 具体而言,与单语实验相比,加入英文语料的融合结果之后,LP(CN+EN)方法在 3 种不同的训练集规 模中的实验结果如下:LP(CN+EN)方法平均提高了 1. 99%;self-training(CN+EN)方法的实验结果平均提高 了 2. 78%;VAE(CN+EN) 方法的实验结果平均提高了 3. 56%;本文提出的 AL( CN+EN) 方法的实验结果平 均提高了 3. 71%。 实验结果表明,利用双语信息能够有效提升半监督情感分类的实验性能。 3) 本文提出的基于双语对抗学习的半监督情感分类方法 AL( CN+EN) 在所有的实验中都表现最好。 当训练集数量为 100 条时,使用 AL(CN+EN)方法进行情感分类任务的准确率比未使用未标注样本的 LSTM 方法提高 6. 34%。 实验结果表明利用双语信息及对抗学习能有效提高半监督情感分类的实验性能,本文提 出的对抗网络能够捕捉未标注样本中的有效信息。 3 结语 本文提出了基于双语对抗学习的半监督情感分类方法,主要通过分类器和判别器之间的对抗学习充分 利用未标注样本的样本信息,这种对抗学习的方法可以有效避免对未标注样本分类或者自动标注带来的错 62

第2期 刘杰,等:基于双语对抗学习的半监督情感分类 63 误标签的问题。同时本文使用了中文语料对应的英文语料的对抗学习,通过中英文对抗神经网络的联合学 习有效提高了半监督情感分类任务的性能 参考文献: [1] PANG B, LEE L, VAITHYANATHAN S. Sentiment classification using machine learning techniques [c]//Proceedings of the Empirical Methods in Natural Language Processing. Philadelphia, 2002: 79-86 [2] ZAGIBALOV T, CARROLL J. Automatie seed word selection for unsupervised sentiment classification of Chinese text [c]// Proceedings of the: International Conference on Computational Linguistics. Manchester, 2008: 1073-1080 3] LIN C H, HE Y L. Joint sentiment/topic model for sentiment analysis [c]// Proceeding of the 18th ACM Conference on Infor- mation& Knowledge Management. Hong Kong, 2009: 375-384. [4 WAN X J. Co-training for cross-lingual sentiment classification [ c]// Proceedings of Joint Conference of the Meeting of the ACI and the International Joint Conference on Natural Language. Singapore, 2009: 235-243 [5 ZHU X J, GHAHRAMANI Z. Learning from labeled and unlabeled data with label propagation [J]. Tech Report, 2002, 3175 (2004):237-244. [6] ZHOU SS, CHEN Q C, WANG X L. Active deep networks for semi-supervised sentiment elassification [c]//Proceedings of he International Conference on Computational Linguistics. Beijing, 2010: 1515-1523 [7]王志昊.情感分类特征选择方法[D].苏州:苏州大学,2014 WANG Z H. Research on feature selection for sentiment classification [D]. Suzhou: Soochow University, 2014. [8]苏艳.双语情感分类方法研究[D].苏州:苏州大学,2013 SU Y. Sentiment elassification with bilingual text [D]- Suzhou: Soochow University, 2013 [9] KINGMA D P, BA J. Adam: a method for stochastic optimization C]//International Conference on Learning Representions 2015:1-13 [10 WAN X J. Bilingual co-training for sentiment classification of Chinese produet reviews[ J]. Computational linguistics, 2011, 3 (3):587-616 [11] XU W D, SUN H Z, DENG C, et al. Variational autoencoders for semi-supervised text classification [c]//Proceedings of the 31st AAAl Conference on Artificial Intelligence. San Francisco. 2017: 3358-3364 Semi-supervised Sentiment Classification with Bil Adversarial Learning Liu Jie, LIU Huan, LI Shoushan YAN Wei (1. Institute of Information Engineering, Suqian College, Suqian 223800, China; 2. School of Computer Science Technology, Soochon University, Suzhou 215006, China) Abstract: A bilingual adversarial learning approach was proposed to make full use of the information of abeled samples. Specifically, the labeled and unlabeled Chinese samples were encoded by independ ent LSTMs. and then fed into classifier and discriminator. The function of classifier was to make the la- beled samples and unlabeled in the same distribution, while the discriminator was used to distinguish whether the input sample was labeled and unlabeled. Finally, another adversarial neural network with the English samples was constructed, and the performance of semi-supervised sentiment classification was ex lish adversarial networks studies showed that the proposed approach achieved good accuracy on different sizes of training sets, and demonstrated the significant improvement compared to other baselines. Key words: unlabeled samples; bilingual adversarial learning; semi-supervised sentiment classification (责任编辑:王浩毅)

第 2 期 刘 杰,等:基于双语对抗学习的半监督情感分类 误标签的问题。 同时本文使用了中文语料对应的英文语料的对抗学习,通过中英文对抗神经网络的联合学 习有效提高了半监督情感分类任务的性能。 参考文献: [1] PANG B, LEE L, VAITHYANATHAN S. Sentiment classification using machine learning techniques [C]∥ Proceedings of the Empirical Methods in Natural Language Processing. Philadelphia, 2002: 79-86. [2] ZAGIBALOV T, CARROLL J. Automatic seed word selection for unsupervised sentiment classification of Chinese text [ C]∥ Proceedings of the International Conference on Computational Linguistics. Manchester, 2008: 1073-1080. [3] LIN C H, HE Y L. Joint sentiment / topic model for sentiment analysis [C]∥ Proceeding of the 18th ACM Conference on Infor￾mation & Knowledge Management. Hong Kong, 2009: 375-384. [4] WAN X J. Co-training for cross-lingual sentiment classification [C]∥ Proceedings of Joint Conference of the Meeting of the ACL and the International Joint Conference on Natural Language. Singapore, 2009: 235-243. [5] ZHU X J, GHAHRAMANI Z. Learning from labeled and unlabeled data with label propagation [ J] . Tech Report, 2002, 3175 (2004) : 237-244. [6] ZHOU S S, CHEN Q C, WANG X L. Active deep networks for semi-supervised sentiment classification [ C]∥ Proceedings of the International Conference on Computational Linguistics. Beijing, 2010: 1515-1523. [7] 王志昊. 情感分类特征选择方法[D] . 苏州:苏州大学,2014. WANG Z H. Research on feature selection for sentiment classification [D] . Suzhou: Soochow University, 2014. [8] 苏艳. 双语情感分类方法研究[D] . 苏州:苏州大学,2013. SU Y. Sentiment classification with bilingual text [D] . Suzhou: Soochow University, 2013. [9] KINGMA D P, BA J. Adam: a method for stochastic optimization [ C]∥International Conference on Learning Representions. San Diego, 2015:1-13. [10] WAN X J. Bilingual co-training for sentiment classification of Chinese product reviews[ J] . Computational linguistics, 2011, 37 (3) : 587-616. [11] XU W D, SUN H Z, DENG C, et al. Variational autoencoders for semi-supervised text classification [C]∥ Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, 2017: 3358-3364. Semi-supervised Sentiment Classification with Bilingual Adversarial Learning LIU Jie 1 , LIU Huan 2 , LI Shoushan 2 , YAN Wei 1 (1. Institute of Information Engineering, Suqian College, Suqian 223800, China; 2. School of Computer Science & Technology, Soochow University, Suzhou 215006, China) Abstract: A bilingual adversarial learning approach was proposed to make full use of the information of unlabeled samples. Specifically, the labeled and unlabeled Chinese samples were encoded by independ￾ent LSTMs, and then fed into classifier and discriminator. The function of classifier was to make the la￾beled samples and unlabeled in the same distribution, while the discriminator was used to distinguish whether the input sample was labeled and unlabeled. Finally, another adversarial neural network with the English samples was constructed, and the performance of semi-supervised sentiment classification was ex￾pected to be improved through the joint learning of Chinese and English adversarial networks. Empirical studies showed that the proposed approach achieved good accuracy on different sizes of training sets, and demonstrated the significant improvement compared to other baselines. Key words: unlabeled samples; bilingual adversarial learning; semi-supervised sentiment classification (责任编辑:王浩毅) 63