第5期 黄庆康，等：应用于不平衡多分类问题的损失平衡函数 ·957· 100 98 94 96 98 ●CE ●CE ●CE ×OS *0S 92 ×OS 9 4PE AP APE ✉LE LE 90 LE resnet18 resnet50 resnet101 resnet18 resnet50 resnet101 resnet18 resnet50 resnet101 模型 模型 模型 (a)caltech PART (b)ILSVRC PARTI (c)ILSVRC PART2 图2不同算法在各数据集上正确率及其标准差 Fig.2 The accuracy and standard deviation of different algorithms for each dataset 由图3可知，在训练集上交叉嫡损失函数和 陷入局部极小点。LE损失函数在训练集上正确 过采样方法模型正确率曲线处于几乎完全一致状 率低于交叉嫡损失函数和过采样方法，在测试集 态，但在测试集上，过采样方法的正确率要比交 上却高于其他算法。这证明该方法一定程度上避 叉熵损失函数方法高，说明过采样方法能够提高 免了模型的过拟合问题，实现了更好泛化能力。 模型的泛化能力。而基于PE方法的结果在训练 这是该方法能够优于与其思想类似的过采样方法 集出现较大的波动，表明其在寻找最优参数过程 的主要原因。 中搜索的范围更为广泛，同时也不够稳定，容易 100 95 % 90 85 ●CE CE 70 xOS 80 ×OS APE 75 PE 60 ✉LE 70 LE 10 20 30.40 50 60 70 0 10 20 3040 50 6070 迭代次数 迭代次数 (a)训练阶段 (b)测试阶段 图3不同算法在数据集ILSVRC PART2上各阶段正确率 Fig.3 The accuracy of different algorithms in each epoch with respect to the ILSVRC PART2 dataset 3结束语 nition,2018.77:354-377. [3]JEATRAKUL P,WONG K W.FUNG CC.Using mis- 本文基于传统处理类别不平衡问题的手段， classification analysis for data cleaning[C]//Proceedings of 结合过采样和代价敏感学习的优点，利用模型在 International Workshop on Advanced Computational Intel- 小批量训练过程中动态产生的类别信息，实现了 ligence and Intelligent Informatics.Tokyo,Japan,2009: 在小批量内样本的损失平衡。在提高算法便利性 297-302. 的同时，进一步提高了模型在不平衡数据集上的 [4]BATISTA GE A P A,PRATI R C.MONARD MC.A 分类精度。将该方法应用于3个不平衡图像数据 study of the behavior of several methods for balancing ma- 集分类实验中，结果证明该方法的可行性。在视 chine learning training data[J].ACM SIGKDD explora- 觉领域一阶段的目标检测模型中，背景和目标的 tions newsletter,2004,6(1):20-29. 不平衡性严重影响了模型的分类效果。因此将该 [5]XIAO Jianxiong,HAYS J,EHINGER K A,et al.SUN database:Large-scale scene recognition from abbey to 算法应用于目标检测领域，以验证该算法的有效 zoo[C]//Proceedings of 2010 IEEE Computer Society Con- 性是接下来的工作之一。 ference on Computer Vision and Pattern Recognition.San 参考文献： Francisco,USA,2010:3485-3492 [6]GRZYMALA-BUSSE J W,GOODWIN L K, [1]LECUN Y,BENGIO Y,HINTON G.Deep learning[J]. GRZYMALA-BUSSE W J,et al.An approach to imbal- Nature,2015,521(7553):436-444 anced data sets based on changing rule strength[M]/PAL S [2]GU Jiuxiang,WANG Zhenhua,KUEN J,et al.Recent ad- K,POLKOWSKI L,SKOWRON A.Rough-Neural Com- vances in convolutional neural networks[J].Pattern recog- puting.Berlin,Heidelberg:Springer,2004:543-553.100 99 98 97 resnet18 resnet50 模型 (a) caltech PART (b) ILSVRC PART1 (c) ILSVRC PART2 正确率/% resnet101 94 96 92 90 88 resnet18 resnet50 模型 正确率/% resnet101 96 98 94 92 90 resnet18 resnet50 模型 正确率/% resnet101 CE OS PE LE CE OS PE LE CE OS PE LE 图 2 不同算法在各数据集上正确率及其标准差 Fig. 2 The accuracy and standard deviation of different algorithms for each dataset 由图 3 可知，在训练集上交叉熵损失函数和 过采样方法模型正确率曲线处于几乎完全一致状 态，但在测试集上，过采样方法的正确率要比交 叉熵损失函数方法高，说明过采样方法能够提高 模型的泛化能力。而基于 PE 方法的结果在训练 集出现较大的波动，表明其在寻找最优参数过程 中搜索的范围更为广泛，同时也不够稳定，容易 陷入局部极小点。LE 损失函数在训练集上正确 率低于交叉熵损失函数和过采样方法，在测试集 上却高于其他算法。这证明该方法一定程度上避 免了模型的过拟合问题，实现了更好泛化能力。 这是该方法能够优于与其思想类似的过采样方法 的主要原因。 (b) 测试阶段 CE OS PE LE 90 100 80 70 60 0 10 20 迭代次数 (a) 训练阶段 正确率/% 30 40 50 CE OS PE LE 60 70 70 90 95 85 80 75 70 0 10 20 迭代次数 正确率/% 30 40 50 60 图 3 不同算法在数据集 ILSVRC PART2 上各阶段正确率 Fig. 3 The accuracy of different algorithms in each epoch with respect to the ILSVRC PART2 dataset 3 结束语 本文基于传统处理类别不平衡问题的手段， 结合过采样和代价敏感学习的优点，利用模型在 小批量训练过程中动态产生的类别信息，实现了 在小批量内样本的损失平衡。在提高算法便利性 的同时，进一步提高了模型在不平衡数据集上的 分类精度。将该方法应用于 3 个不平衡图像数据 集分类实验中，结果证明该方法的可行性。在视 觉领域一阶段的目标检测模型中，背景和目标的 不平衡性严重影响了模型的分类效果。因此将该 算法应用于目标检测领域，以验证该算法的有效 性是接下来的工作之一。 参考文献： LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436–444. [1] GU Jiuxiang, WANG Zhenhua, KUEN J, et al. Recent ad￾vances in convolutional neural networks[J]. Pattern recog- [2] nition, 2018, 77:354–377. JEATRAKUL P, WONG K W, FUNG C C. Using mis￾classification analysis for data cleaning[C]//Proceedings of International Workshop on Advanced Computational Intel￾ligence and Intelligent Informatics. Tokyo, Japan, 2009: 297−302. [3] BATISTA G E A P A, PRATI R C, MONARD M C. A study of the behavior of several methods for balancing ma￾chine learning training data[J]. ACM SIGKDD explora￾tions newsletter, 2004, 6(1): 20–29. [4] XIAO Jianxiong, HAYS J, EHINGER K A, et al. SUN database: Large-scale scene recognition from abbey to zoo[C]//Proceedings of 2010 IEEE Computer Society Con￾ference on Computer Vision and Pattern Recognition. San Francisco, USA, 2010: 3485−3492. [5] GRZYMALA-BUSSE J W, GOODWIN L K, GRZYMALA-BUSSE W J, et al. An approach to imbal￾anced data sets based on changing rule strength[M]//PAL S K, POLKOWSKI L, SKOWRON A. Rough-Neural Com￾puting. Berlin, Heidelberg: Springer, 2004: 543−553. [6] 第 5 期 黄庆康，等：应用于不平衡多分类问题的损失平衡函数 ·957·