第6期 闵帆，等：SUCE:基于聚类集成的半监督二分类方法 ·979· 表2SUCE与基础算法分类精度对比 Table 2 Comparing the classification accuracy of SUCE and basic algorithms 算法 数据库 Sonar Wdbc Ionosphere Voting Win Initial 0.63475±0.01427 0.87889±0.00173 0.74881±0.006820.8785940.00506 0 ID3 SUCE-ID3 0.75938±0.00660 0.92642±0.00002 0.82184±0.00264 0.87136±0.00301 3 Initial 0.61256±0.01841 0.86316±001400 0.75089±0.01118 0.90419±0.00678 1 C4.5 SUCE-C4.5 0.75213±0.00691 0.91545±0.00001 0.81990±0.00232 0.86992±0.00358 3 Initial 0.77182±0.00596 0.94954±0.00003 0.88413±0.00226 0.89318±0.00138 1 Naive Bayes SUCE-Bayes 0.78388±0.00593 0.94269±0.00002 0.87540±0.00182 0.86502±0.00074 1 Initial 0.68625±0.01037 0.92989±0.00005 0.82418±0.00209 0.90371±0.00197 1 kNN SUCE-ANN 0.78438±0.00766 0.93565±0.00004 0.86175±0.00203 0.85701±0.00088 2 Initial 0.66652±0.00933 0.91316±0.00002 0.84911±0.00183 0.89115±0.00207 1 Logistic SUCE-Logistic 0.77988±0.00703 0.92916±0.00002 0.84113±0.00181 0.84803±0.00127 2 Initial 0.62755±0.01424 0.877150.00124 0.75890±0.00550 0.90586±0.00647 1 OneR SUCE-OneR 0.76213±0.00612 0.90896±0.00004 0.82674±0.00205 0.87232±0.00403 3 4结束语 hidden Markov models[J].Journal of visual languages and computing,2009,20(3):188-195 本文提出的基于集成聚类的半监督二分类算 [8]SHAHSHAHANI B M,LANDGREBE D A.The effect of 法SUCE解决了样本过少情况下的分类效果较差 unlabeled samples in reducing the small sample size prob- 的问题。优点在于通过集成聚类的学习充分挖掘 lem and mitigating the Hughes phenomenon[J].IEEE 大量未标记样本中的重要信息，而不需要去求助 transactions on geoscience and remote sensing,1994, 外界来解决，降低了学习的成本。在未来的工作 32(5):1087-1095 中，进一步研究以下3个方向：1)由目前只能解 [9]梁吉业，高嘉伟，常瑜.半监督学习研究进展[U.山西大 决二分类问题过渡到多分类问题；2)加入更多学 学学报：自然科学版，2009,32(4)：528-534 习能力强的聚类算法，扩大集成学习个体学习器 LIANG Jiye,GAO Jiawei,CHANG Yu.The research and 的规模；3)引入代价敏感，增强集成学习的能力。 advances on semi-supervised learning[J].Journal of Shanxi university:natural science edition,2009,32(4):528-534. 参考文献： [10]MERZ C J,ST CLAIR D C,BOND W E.Semi-super- [1]MITCHELL T M.机器学习M.曾华军，张银奎，译.北 vised adaptive resonance theory (SMART2)[Cl//Proceed- 京：机械工业出版社.2003. ings of 1992 International Joint Conference on Neural [2]ZHU Xiaojin.Semi-supervised learning literature Networks.Baltimore,USA,1992:851-856. survey[R].Madison:University of Wisconsin,2008: [11]VEGA-PONS S,RUIZ-SHULCLOPER J.A survey of 63-77. clustering ensemble algorithms[J].International journal of [3]张晨光，张燕半监督学习M.北京：中国农业科学技术 pattern recognition and artificial intelligence,2011,25(3): 出版社.2013. 337-372 [4]周志华.机器学习M).北京：清华大学出版社，2016 [12]蔡毅，朱秀芳，孙章丽，等.半监督集成学习综述U.计 [5]NIGAM K,MCCALLUM A K,THRUN S,et al.Text 算机科学，2017,44(6A:7-13. classification from labeled and unlabeled documents using CAI Yi,ZHU Xiufang,SUN Zhangli,et al.Semi-super- EM[J].Machine learning,2000,39(2/3):103-134 vised and ensemble learning:a review[J].Computer sci- [6]SONG Yangqiu,ZHANG Changshui,LEE J,et al.Semi- ence,2017,446A):7-13. supervised discriminative classification with application to [13]曾令伟，伍振兴，杜文才.基于改进自监督学习群体智 tumorous tissues segmentation of MR brain images[J].Pat- 能(ISLCI)的高性能聚类算法.重庆邮电大学学报： tern analysis and applications,2009,12(2):99-115. 自然科学版，2016,28(1)：131-137 [7]FENG Wei,XIE Lei,Zeng Jia,et al.Audio-visual human ZENG Lingwei,WU Zhenxing,DU Wencai.Improved recognition using semi-supervised spectral learning and Self supervised learning collection intelligence based high4 结束语 本文提出的基于集成聚类的半监督二分类算 法 SUCE 解决了样本过少情况下的分类效果较差 的问题。优点在于通过集成聚类的学习充分挖掘 大量未标记样本中的重要信息，而不需要去求助 外界来解决，降低了学习的成本。在未来的工作 中，进一步研究以下 3 个方向：1) 由目前只能解 决二分类问题过渡到多分类问题；2) 加入更多学 习能力强的聚类算法，扩大集成学习个体学习器 的规模；3) 引入代价敏感，增强集成学习的能力。 参考文献： MITCHELL T M. 机器学习[M]. 曾华军, 张银奎, 译. 北 京: 机械工业出版社, 2003. [1] ZHU Xiaojin. Semi-supervised learning literature survey[R]. Madison: University of Wisconsin, 2008: 63–77. [2] 张晨光, 张燕. 半监督学习[M]. 北京: 中国农业科学技术 出版社, 2013. [3] [4] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016. NIGAM K, MCCALLUM A K, THRUN S, et al. Text classification from labeled and unlabeled documents using EM[J]. Machine learning, 2000, 39(2/3): 103–134. [5] SONG Yangqiu, ZHANG Changshui, LEE J, et al. Semi￾supervised discriminative classification with application to tumorous tissues segmentation of MR brain images[J]. Pat￾tern analysis and applications, 2009, 12(2): 99–115. [6] FENG Wei, XIE Lei, Zeng Jia, et al. Audio-visual human recognition using semi-supervised spectral learning and [7] hidden Markov models[J]. Journal of visual languages and computing, 2009, 20(3): 188–195. SHAHSHAHANI B M, LANDGREBE D A. The effect of unlabeled samples in reducing the small sample size prob￾lem and mitigating the Hughes phenomenon[J]. IEEE transactions on geoscience and remote sensing, 1994, 32(5): 1087–1095. [8] 梁吉业, 高嘉伟, 常瑜. 半监督学习研究进展[J]. 山西大 学学报: 自然科学版, 2009, 32(4): 528–534. LIANG Jiye, GAO Jiawei, CHANG Yu. The research and advances on semi-supervised learning[J]. Journal of Shanxi university: natural science edition, 2009, 32(4): 528–534. [9] MERZ C J, ST CLAIR D C, BOND W E. Semi-super￾vised adaptive resonance theory (SMART2)[C]//Proceed￾ings of 1992 International Joint Conference on Neural Networks. Baltimore, USA, 1992: 851–856. [10] VEGA-PONS S, RUIZ-SHULCLOPER J. A survey of clustering ensemble algorithms[J]. International journal of pattern recognition and artificial intelligence, 2011, 25(3): 337–372. [11] 蔡毅, 朱秀芳, 孙章丽, 等. 半监督集成学习综述[J]. 计 算机科学, 2017, 44(6A): 7–13. CAI Yi, ZHU Xiufang, SUN Zhangli, et al. Semi-super￾vised and ensemble learning: a review[J]. Computer sci￾ence, 2017, 44(6A): 7–13. [12] 曾令伟, 伍振兴, 杜文才. 基于改进自监督学习群体智 能 (ISLCI) 的高性能聚类算法[J]. 重庆邮电大学学报: 自然科学版, 2016, 28(1): 131–137. ZENG Lingwei, WU Zhenxing, DU Wencai. Improved Self supervised learning collection intelligence based high [13] 表 2 SUCE 与基础算法分类精度对比 Table 2 Comparing the classification accuracy of SUCE and basic algorithms 算法 数据库 Sonar Wdbc Ionosphere Voting Win ID3 Initial 0.634 75±0.014 27 0.878 89±0.001 73 0.748 81±0.006 82 0.878 59±0.005 06 0 SUCE-ID3 0.759 38±0.006 60 0.926 42±0.000 02 0.821 84±0.002 64 0.871 36±0.003 01 3 C4.5 Initial 0.612 56±0.018 41 0.863 16±0014 00 0.750 89±0.011 18 0.904 19±0.006 78 1 SUCE-C4.5 0.752 13±0.006 91 0.915 45±0.000 01 0.819 90±0.002 32 0.869 92±0.003 58 3 Naive Bayes Initial 0.771 82±0.005 96 0.949 54±0.000 03 0.884 13±0.002 26 0.893 18±0.001 38 1 SUCE-Bayes 0.783 88±0.005 93 0.942 69±0.000 02 0.875 40±0.001 82 0.865 02±0.000 74 1 kNN Initial 0.686 25±0.010 37 0.929 89±0.000 05 0.824 18±0.002 09 0.903 71±0.001 97 1 SUCE-kNN 0.784 38±0.007 66 0.935 65±0.000 04 0.861 75±0.002 03 0.857 01±0.000 88 2 Logistic Initial 0.666 52±0.009 33 0.913 16±0.000 02 0.849 11±0.001 83 0.891 15±0.002 07 1 SUCE-Logistic 0.779 88±0.007 03 0.929 16±0.000 02 0.841 13±0.001 81 0.848 03±0.001 27 2 OneR Initial 0.627 55±0.014 24 0.877 15±0.001 24 0.758 90±0.005 50 0.905 86±0.006 47 1 SUCE-OneR 0.762 13±0.006 12 0.908 96±0.000 04 0.826 74±0.002 05 0.872 32±0.004 03 3 第 6 期 闵帆，等：SUCE：基于聚类集成的半监督二分类方法 ·979·