郑州大学学报(理学版) 第52卷 半监督情感分类方法。首先,中文的标注样本和未标注样本经过不同的编码器之后分别通过分类器和判别 器进行对抗学习,其中,分类器的作用是识别样本的情感倾向并且使标注样本和未标注样本处于同一分布 而判别器用来区分输入样本是标注样本还是未标注样本。然后构建一个英文语料的对抗神经网络,其输入 的标注样本和未标注样本为中文样本经过谷歌翻译的英文样本。最后,通过联合学习中英文对抗神经网络 提升半监督情感分类的实验结果 1基于双语对抗学习的半监督情感分类 1.1中文对抗学习的半监督情感分类 中文对抗神经网络的半监督情感分类方法包括两个编码器、一个分类器和一个判别器,图1介绍了中文 对抗神经网络的半监督情感分类方法的模型图。 未标注样本x 编码器E 判别器D (标注未标注 小注样本x (正面负面) 图1中文对抗神经网络的半监督情感分类模型图 Figure 1 Semi-supervised sentiment classification with Chinese adversarial learning 图中的E1和E。表示两个编码器,分别将标注样本和未标注样本映射到代码空间中 h1=E(x1),h。=E(x), 其中:x,表示标注样本输入的词向量形式;x表示未标注样本输入的词向量形式。编码器E1和E。使用标准 的长短期记忆( long short- erm memory,LsTM)神经网络将文本序列编码为固定长度的向量。h和h。分别为 标注样本和未标注样本经过不同的编码器的输出结果 接着,使用分类器C预测文本的情感倾向 P1=C(h1),P。=C(h), 其中:p1和p。表示输入文本x1和x。的分类概率。分类器C使用激活函数是 softman的全连接神经网络 P1= softmax(Wh1+b),P。=so/tmax(Wh。+b), 其中:W和b分别表示该层的权值矩阵和偏置向量 图中的判别器D用来判断输入文本是属于标注样本还是未标注样本,标注样本的真实标签和未标注样 本的预测概率分别作为判别器D的辅助输入 q,=D(h,oy,,q=D(h o P. 其中:q1和q表示输入文本x1和x。的判别概率;y1表示输入文本x1的真实情感标签;④表示连接运算符。 同样,判别器D使用激活函数是 softman的全连接神经网络。 为了更好地训练对抗神经网络,首先使用最小化二元交叉熵作为分类器C的损失函数,损失函数 loss 定义为 loss min( yi log pi 其中:m是样本总量;k是情感类别的数量;y表示第i个样本是否属于第j个情感类别;p;表示第i个样本 预测为第j个情感类别的概率。 接着,通过公式(1)训练判别器的损失 Amax(∑dlgq) 其中:los是判别器D的损失函数;d表示第i个样本属于标注样本还是未标注样本;q;表示第i个样本的 判别概率;λ是对抗网络超参数。 最后,本小节提出的中文对抗神经网络的模型损失函数为 J。= loss+ losing郑 州 大 学 学 报 (理 学 版) 第 52 卷 半监督情感分类方法。 首先,中文的标注样本和未标注样本经过不同的编码器之后分别通过分类器和判别 器进行对抗学习,其中,分类器的作用是识别样本的情感倾向并且使标注样本和未标注样本处于同一分布, 而判别器用来区分输入样本是标注样本还是未标注样本。 然后构建一个英文语料的对抗神经网络,其输入 的标注样本和未标注样本为中文样本经过谷歌翻译的英文样本。 最后,通过联合学习中英文对抗神经网络 提升半监督情感分类的实验结果。 1 基于双语对抗学习的半监督情感分类 1. 1 中文对抗学习的半监督情感分类 中文对抗神经网络的半监督情感分类方法包括两个编码器、一个分类器和一个判别器,图 1 介绍了中文 对抗神经网络的半监督情感分类方法的模型图。 图 1 中文对抗神经网络的半监督情感分类模型图 Figure 1 Semi-supervised sentiment classification with Chinese adversarial learning 图中的 El 和 Eu 表示两个编码器,分别将标注样本和未标注样本映射到代码空间中, hl = El( xl) , hu = Eu( xu ) , 其中: xl 表示标注样本输入的词向量形式; xu 表示未标注样本输入的词向量形式。 编码器 El 和 Eu 使用标准 的长短期记忆( long short-term memory,LSTM)神经网络将文本序列编码为固定长度的向量。 hl 和 hu 分别为 标注样本和未标注样本经过不同的编码器的输出结果。 接着,使用分类器 C 预测文本的情感倾向, pl = C( hl) , p u = C( hu ) , 其中: pl 和 p u 表示输入文本 xl 和 xu 的分类概率。 分类器 C 使用激活函数是 softmax 的全连接神经网络, pl = softmax(Wchl + bc) , p u = softmax(Wchu + bc) , 其中: Wc 和 bc 分别表示该层的权值矩阵和偏置向量。 图中的判别器 D 用来判断输入文本是属于标注样本还是未标注样本,标注样本的真实标签和未标注样 本的预测概率分别作为判别器 D 的辅助输入, ql = D( hl 􀱇 yl) , q u = D( hu 􀱇 p u ) , 其中: ql 和 q u 表示输入文本 xl 和 xu 的判别概率; yl 表示输入文本 xl 的真实情感标签;􀱇表示连接运算符。 同样,判别器 D 使用激活函数是 softmax 的全连接神经网络。 为了更好地训练对抗神经网络,首先使用最小化二元交叉熵作为分类器 C 的损失函数,损失函数 lossC 定义为 lossC = min( - 1 m∑ m i = 1 ∑ k j = 1 yij log pij) , 其中: m 是样本总量; k 是情感类别的数量; yij 表示第 i 个样本是否属于第 j 个情感类别; pij 表示第 i 个样本 预测为第 j 个情感类别的概率。 接着,通过公式(1)训练判别器的损失 lossD =min θ E (λmax θ D (∑ m i = 1 di log qi) ) , (1) 其中: lossD 是判别器 D 的损失函数; di 表示第 i 个样本属于标注样本还是未标注样本; qi 表示第 i 个样本的 判别概率;λ 是对抗网络超参数。 最后,本小节提出的中文对抗神经网络的模型损失函数为 Jcn = lossC + lossD 。 60