·16· 智能系统学报 第2卷 表18类分类问题的L=5的纠错编码 函数.提出了将多种分类方法结合到一起组成混合 Table 1 Error-correcting codes of eight sorts of 分类器的思想.由于实际应用中需要解决大量的多 problems for L=5 类别的分类问题，如何有效地运用方法解决多类分 类别 码 字 类问题将会受到越来越多的重视.该文总结了现有 编号 2 3 4 J 的主要的多类支持向量机及其优缺点，希望在这方 1 0 0 0 1 面起到一点承前启后的作用，以便读者更好地学习、 2 0 0 1 0 1 掌握和运用多类支持向量机技术 3 0 1 0 0 4 0 1 1 0 0 参考文献： 5 0 0 [1]HSU C W LIN CJ.A comparison of methods for multi- 6 1 class support vector machines[J].IEEE Transactions on 0 Neural Networks,2002,13(2):415-425 0 [2 KUSIRKUL B,USSIVA KUL N.Multiclass support vector machines using adaptive directed acyclic graph 纠错编码支持向量机在分类过程中所需分类器 [A].Proceedings of the 2002 International Joint Confer- 的个数等于纠错编码的位数L,当类别大的时候仅 ence on Neural Networks C].Honolulu,HI,USA, 需要较少的分类器，但是如何根据具体问题确定码 2002,1(5):980-985. 本选择排列顺序以达到最优的分类性能依然有待 [3]PHETKAEW T,KUSIRIKUL B.RIVEPIBOON W. 研究 Reordering adaptive directed acyclic graphs:an improved algorithm for multiclass support vector machines A]. 5结束语 Proceedings of the 2003 International Joint Conference on Neural Networks[C].Portland,OR,USA,2003. 该文总结了现有多类支持向量机的4种主要结 [4]TIAN X,DENG F Q.An improved multi-class SVM algo- 构形式，并详细介绍了其代表性算法，对各种方法进 rithm and its application to the credit sooring model[A].Pro- 行了性能优劣的比较.用多个两类分类器实现多类 ceedings of the fifth World Congress on Intelligent Control and 分类是最早发展起来的多类支持向量机，其代表算 Automation[C].Hangzhou,China,2004. [5]ANGUITA D,RIDELLA S,STERPI D.A new method 法是1-a-r SVM和1-a1SVM.和1-arSVM相比， for multiclass support vector machines[A].Proceedings 1a1SVM不仅提高了训练速度而且改善了误分、 of the 2004 International Joint Conference on Neural Net- 拒分区域范围，但在采用投票机制进行决策时仍存 works[C].Budapest,Hungary,2004. 在一些无法分类的样本.当类别数目过大时，这种方 [6]黄勇，郑春颖，宋忠虎.多类支持向量机算法综述[U] 法的训练速度和分类速度都会大幅度的降低，因此 计算技术与自动化，2005,24(4)：61-63 比较适用于小类别的分类研究： HUANG Yong,ZEN G Chunyin,SONG Zhonghu.Mul- ticlass support vector machines algorithm summari-zation 经过进一步研究，人们提出了几种层次结构的 [J ]Computing Technology and Automation,2005,24 SVM,与第一种方法不同之处在于，这种方法的测 (4):61-63. 试阶段采用树形结构，在每个节点上仍用两类SVM [7]刘志刚，李德仁，秦前清，史文中，支持向量机在多类 进行分类，其代表算法有DAGSVM和BTM-SVM 分类问题中的推广U】.计算机工程与应用，2004(7)： 等.这种方法简单易行，在分类速度和精度上也有一 10-13. 定的改善，对于一般规模的多分类问题，是一种有效 LIN Zhigang,LI Deren,QIN Qianqing,SHI Wenzhong. An analytical overview of methods for multi-category 的方法.用一个最优化问题实现多分类问题的计算 support vector machines[J].Computer Engineering and 复杂度比较高，因此一般实际应用中都不采用.纠错 Applications,2004(7):10-13. 编码SVM在如何选择码本及排列顺序以达到最优 [8]TA KA HASHI F.Decisiorrtree-based multi-class sup- 的分类性能上还有待于进一步的理论研究 port vector machines[A].Proceedings of the 9th Inter- 随着研究的深入，提出了模糊支持向量机，它是 national Conference on Neural Information Processing 针对SVM多类问题中存在不可分区域的现象提出 [C].Orchid Country Club,Singapore,2002. [9]PLATT J,CRISTIANINI N,SHAWE TA YLOR J. 的.当一些样本不能被确切地定义为属于某一类时， Large margin DA Gs for multiclass classification A]. 文中所述的多类方法便会把此类样本硬性分配给某 Proceedings of Neural Information Processing Systems 一类别，而模糊支持向量机则是引入了模糊隶属度 [C].[s.1.]Cambridge,2000. 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net表 1 8 类分类问题的 L = 5 的纠错编码 Table 1 Error2correcting codes of eight sorts of problems for L = 5 类别 编号 码 字 1 2 3 4 5 1 0 0 0 1 1 2 0 0 1 0 1 3 0 1 0 0 1 4 0 1 1 0 0 5 1 0 0 1 0 6 1 1 0 1 1 7 1 1 1 0 1 8 1 1 1 1 0 纠错编码支持向量机在分类过程中所需分类器 的个数等于纠错编码的位数 L ,当类别大的时候仅 需要较少的分类器 ,但是如何根据具体问题确定码 本、选择排列顺序以达到最优的分类性能依然有待 研究. 5 结束语 该文总结了现有多类支持向量机的 4 种主要结 构形式 ,并详细介绍了其代表性算法 ,对各种方法进 行了性能优劣的比较. 用多个两类分类器实现多类 分类是最早发展起来的多类支持向量机 ,其代表算 法是 12a2r SVM 和 12a21 SVM. 和 12a2rSVM 相比 , 12a21 SVM 不仅提高了训练速度而且改善了误分、 拒分区域范围 ,但在采用投票机制进行决策时仍存 在一些无法分类的样本. 当类别数目过大时 ,这种方 法的训练速度和分类速度都会大幅度的降低 ,因此 比较适用于小类别的分类研究. 经过进一步研究 ,人们提出了几种层次结构的 SVM ,与第一种方法不同之处在于 ,这种方法的测 试阶段采用树形结构 ,在每个节点上仍用两类 SVM 进行分类 ,其代表算法有 DA G2SVM 和 B TM2SVM 等. 这种方法简单易行 ,在分类速度和精度上也有一 定的改善 ,对于一般规模的多分类问题 ,是一种有效 的方法. 用一个最优化问题实现多分类问题的计算 复杂度比较高 ,因此一般实际应用中都不采用. 纠错 编码 SVM 在如何选择码本及排列顺序以达到最优 的分类性能上还有待于进一步的理论研究. 随着研究的深入 ,提出了模糊支持向量机 ,它是 针对 SVM 多类问题中存在不可分区域的现象提出 的. 当一些样本不能被确切地定义为属于某一类时 , 文中所述的多类方法便会把此类样本硬性分配给某 一类别 ,而模糊支持向量机则是引入了模糊隶属度 函数. 提出了将多种分类方法结合到一起组成混合 分类器的思想. 由于实际应用中需要解决大量的多 类别的分类问题 ,如何有效地运用方法解决多类分 类问题将会受到越来越多的重视. 该文总结了现有 的主要的多类支持向量机及其优缺点 ,希望在这方 面起到一点承前启后的作用 ,以便读者更好地学习、 掌握和运用多类支持向量机技术. 参考文献 : [ 1 ] HSU C W ,L IN C J. A comparison of methods for multi2 class support vector machines[J ]. IEEE Transactions on Neural Networks , 2002 , 13 (2) : 415 - 425. [ 2 ] KIJ SIR KUL B , USSIVA KUL N. Multiclass support vector machines using adaptive directed acyclic graph [A ]. Proceedings of the 2002 International Joint Confer2 ence on Neural Networks [ C ]. Honolulu , HI , USA , 2002 ,1 (5) : 980 - 985. [3 ] PHET KAEW T , KIJ SIRIKUL B , RIV EPIBOON W. Reordering adaptive directed acyclic graphs: an improved algorithm for multiclass support vector machines [ A ]. Proceedings of the 2003 International Joint Conference on Neural Networks[C]. Portland , OR , USA , 2003. [4 ] TIAN X,DENG F Q. An improved multi2class SVM algo2 rithm and its application to the credit scoring model[A]. Pro2 ceedings of the fifth World Congress on Intelligent Control and Automation[C]. Hangzhou , China ,2004. [5 ]AN GUITA D , RIDELLA S , STERPI D. A new method for multiclass support vector machines[ A ]. Proceedings of the 2004 International Joint Conference on Neural Net2 works[C]. Budapest , Hungary , 2004. [6 ]黄 勇 ,郑春颖 ,宋忠虎. 多类支持向量机算法综述[J ]. 计算技术与自动化 , 2005 , 24 (4) : 61 - 63. HUAN G Yong , ZEN G Chunyin , SON G Zhonghu. Mul2 ticlass support vector machines algorithm summari2zation [J ]. Computing Technology and Automation , 2005 , 24 (4) : 61 - 63. [7 ]刘志刚 , 李德仁 , 秦前清 , 史文中. 支持向量机在多类 分类问题中的推广[J ]. 计算机工程与应用 , 2004 (7) : 10 - 13. L IN Zhigang , L I Deren , QIN Qianqing , SHI Wenzhong. An analytical overview of methods for multi2category support vector machines[J ]. Computer Engineering and Applications , 2004 (7) : 10 - 13. [ 8 ] TA KA HASHI F. Decision2tree2based multi2class sup2 port vector machines[ A ]. Proceedings of the 9th Inter2 national Conference on Neural Information Processing [C]. Orchid Country Club , Singapore , 2002. [ 9 ] PLA TT J , CRISTIANINI N , SHAWE2TA YLOR J. Large margin DA Gs for multiclass classification [ A ]. Proceedings of Neural Information Processing Systems [C]. [s. l. ] , Cambridge , 2000. · 61 · 智 能 系 统 学 报 第 2 卷