第2期 李易南，等：面向众包数据的特征扩维标签质量提高方法 ·233· 1.0 1.0 的性能不佳的情况，有如下实验：在选择专家集 0.9 0.9 -+-MV 0.8 时，尽量保证正负例数量基本一致，其余条件不 VF -+-FA 0.7 变，实验结果如下。 06 0.6 首先是准确率对比，图7和图8为两数据集 0.5 3 0.5 A 3 分别在高质量和低质量标记情况下校正的准确率。 众包标签数量 众包标签数量 (a)mushroom (b)kr-vs-kp 1.0 1.0 0.9 0.9 1.0f +-MV -+-FA 1.0h 站0.8 0.9 VF 0.9 +-FA 0> 0.6 MV-AVNC 0.6 MV-AVNC MV+FAEQ MV+FAEQ 0.7 0.7 0.5 9 0.5 3 5 5 7 9 0.6 0.6 众包标签数量 众包标签数量 0.5 0.5 7 9 (a)sick (b)tic-tac-toe 众包标签数量 众包标签数量 (c)sprmpase (d)sick 图7高质量标记时众包准确率 Fig.7 Accuracy of Crowdsourcing on high quality labeling 1.0 1.0h 0.9 0.9 1.0h 1.0f -+-FA +-FA 0 0.9 0.9 0.7 解0.8 站0.8 0.6 0.6 是0.7 0.5 0.5 0.6 MV MVIFES 0.6 +MV ±MXS 众包标签数量 众包标签数量 0.5 3 > 0.5 7 9 (e)biodeg (f)tic-tac-toe 众包标签数量 众包标签数量 (a)sick (b)tic-tac-toe 1.0 1.0 -+-FA 0.9 0.9 + 图8低质量标记时众包准确率 0.8 0.8 Fig.8 Accuracy of Crowdsourcing on low quality labeling 20.7 0.7 MV 其次是训练模型对比，图9和图10为两数据 0.6 VF 0.6 +FA 集分别在高质量和低质量标记情况下所得校正结 0.5 0.5 5 7 5 7 果训练模型的AUC。 众包标签数量 众包标签数量 (g)vote (h)ionosphere 1.0H 1.0h 0.9 0.9 图6低质量标记时众包训练模型AUC 0.8 Fig.6 AUC of model trained by crowdsourcing on high quality labeling +MV 0.7 0.6 0.6 -+-FA -+FA 由图4和图5，有以下观察结果： 0.5 > 9 0.5 5 1 1)简单去除噪声可以提高所训练模型的质 众包标签数量 众包标签数量 (a)sick (b)tic-tac-toe 量，这验证了文献[9]的结论： 图9高质量标记时众包训练模型AUC 2)和简单去除噪声数据相比，本方法提供了 Fig.9 AUC of model trained by Crowdsourcing on high 将噪声实例校正并重新加入数据集的机会，从而 quality labeling 能够训练出更好的模型。 1.0 1.0h 3)对比图5和图6，本方法在标记质量下降 0.9 0.9 时，所得众包结果训练模型的AUC降幅不大，证 0.8 0.7 明本方法在标记质量较时能够保持结果的稳定。 0.6 0.6 4)sick数据集结果不佳，原因在于其数据分 0.5 0.5 5 5 5 布极不均衡，随机选择的专家集可能会出现严重 众包标签数量 众包标签数量 (a)sick (b)tic-tac-toe 的偏向，从而影响识别和校正效果。 3.4不平衡数据集 图10低质量标记时众包训练模型AUC Fig.10 AUC of model trained by Crowdsourcing on high 针对sick和tic-tac-toe等不平衡数据集出现 quality labelingMV VF FA 1 5 3 (a) mushroom 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (b) kr-vs-kp 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (c) sprmpase 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (d) sick 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (e) biodeg 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (f) tic-tac-toe 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (g) vote 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (h) ionosphere 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 MV VF FA MV VF FA MV VF FA MV VF FA MV VF FA MV VF FA MV VF FA 图 6 低质量标记时众包训练模型 AUC Fig. 6 AUC of model trained by crowdsourcing on high quality labeling 由图 4 和图 5，有以下观察结果： 1) 简单去除噪声可以提高所训练模型的质 量，这验证了文献 [9] 的结论； 2) 和简单去除噪声数据相比，本方法提供了 将噪声实例校正并重新加入数据集的机会，从而 能够训练出更好的模型。 3) 对比图 5 和图 6，本方法在标记质量下降 时，所得众包结果训练模型的 AUC 降幅不大，证 明本方法在标记质量较差时能够保持结果的稳定。 4) sick 数据集结果不佳，原因在于其数据分 布极不均衡，随机选择的专家集可能会出现严重 的偏向，从而影响识别和校正效果。 3.4 不平衡数据集 针对 sick 和 tic-tac-toe 等不平衡数据集出现 的性能不佳的情况，有如下实验：在选择专家集 时，尽量保证正负例数量基本一致，其余条件不 变，实验结果如下。 首先是准确率对比，图 7 和图 8 为两数据集 分别在高质量和低质量标记情况下校正的准确率。 1 5 3 (a) sick 众包标签数量 准确率 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (b) tic-tac-toe 众包标签数量 准确率 7 9 0.5 0.6 0.7 0.8 0.9 1.0 MV MV+AVNC MV+FAEQ MV MV+AVNC MV+FAEQ 图 7 高质量标记时众包准确率 Fig. 7 Accuracy of Crowdsourcing on high quality labeling 1 5 3 (a) sick 众包标签数量 准确率 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (b) tic-tac-toe 众包标签数量 准确率 7 9 0.5 0.6 0.7 0.8 0.9 1.0 MV MV+AVNC MV MV+FAEQ MV+AVNC MV+FAEQ 图 8 低质量标记时众包准确率 Fig. 8 Accuracy of Crowdsourcing on low quality labeling 其次是训练模型对比，图 9 和图 10 为两数据 集分别在高质量和低质量标记情况下所得校正结 果训练模型的 AUC。 1 5 3 (a) sick 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (b) tic-tac-toe 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 MV VF FA MV VF FA 图 9 高质量标记时众包训练模型 AUC Fig. 9 AUC of model trained by Crowdsourcing on high quality labeling 1 5 3 (a) sick 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 1 5 3 (b) tic-tac-toe 众包标签数量 AUC 7 9 0.5 0.6 0.7 0.8 0.9 1.0 MV VF FA MV VF FA 图 10 低质量标记时众包训练模型 AUC Fig. 10 AUC of model trained by Crowdsourcing on high quality labeling 第 2 期 李易南，等：面向众包数据的特征扩维标签质量提高方法 ·233·