第2卷第2期 智能系统学报 Vol.2№2 2007年4月 CAAI Transactions on Intelligent Systems Apr.2007 多类支持向量机方法的研究现状与分析 赵春晖，陈万海，郭春燕 (哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨150001) 摘要：支持向量机(SVM)是建立在统计学理论基础上的一种小样本机器学习方法，最初应用于解决两类分类问 题.然而在解决实际问题中遇到的多为多分类问题，如何有效的将其推广到多类分类问题是一个正在研究的问题。 该文对现有的多类支持向量机方法从组合多个两类分类器层次结构、一次性优化问题和纠错编码等4个角度进行 了综合归纳和分析，详细介绍了每种方法的代表性算法，并比较其优劣。 关键词：多类支持向量机；两类分类器；层次结构；一次性优化；纠错编码 中图分类号：TP391文献标识码：A文章编号：1673-4785(2007)02-0011-07 Research and analysis of methods for multiclass support vector machines ZHAO Chumhui,CHEN Wamhai,GUO Chumyan (College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China) Abstract:The SVM is a limited sample learning method which was developed from statistical theory,and o- riginally designed for binary classification.However,many practical problems are multi-classification ones.How to effectively extend binary classification to multi-classification is an ongoing research issue. This paper generalizes and analyzes multiclass support vector machines from four angles:combination of several binary classifiers,hierarchical structures,one-off optimization and error correcting codes.Several representative algorithms for various methods are introduced in detail and their advantages and disadvanta- ges are compared. Key words:multiclass support vector machine;binary classifier;hierarchical structure;one-off optimiza- tion;error correcting code 1992~1995年，Vapnik在统计学习理论的基 上的线性可分问题，然后在这个新空间中求取最优 础上发展出了一种新的模式识别方法支持向量机 分类面」 (support vector machine,SVM)I,它采用结构风 最初支持向量机是用于解决2类分类问题，不 险最小化原则代替了传统机器学习方法中的经验风 能直接用于多类分类.而实际应用中遇到的多为多 险最小化原则，在解决小样本、非线性及高维模式识 分类问题，如何有效地将其推广到多类分类问题仍 别问题中表现出许多特有的优势.支持向量机的基 是当前支持向量机研究的重要内容之一，文中把支 本思想可概括为：寻找一个最优分类超平面，使得训 持向量机应用到多类分类问题中的算法统称为多类 练样本中的2类样本点能被无错误的分开，并且要 支持向量机.目前人们对多类支持向量机的研究虽 使2类的分类间隔最大；而对线性不可分问题，通过 还有待于完善，但也取得了一定的成就.至今已经有 核函数将低维输入空间的数据映射到高维空间，从 几种卓有成效的方法将SVM推广到多类分类问 而将原低维空间的线性不可分问题转化为高维空间 题2).下面根据多类支持向量机的不同实现方法 把它分成4大类来详细介绍，并比较其优劣，以便读 收稿日期：200611-14。 基金项目：国家自然科学基金资助项目(60672034)：高校博士点基金 者在今后的研究中尽量避免这些方法所存在的各种 资助项目(20060217021)，黑龙江省自然科学基金资助项 弊端，发展出更多有效的多类支持向量机算法 目（刀G20606-01). 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net第 2 卷第 2 期 智 能 系 统 学 报 Vol. 2 №. 2 2007 年 4 月 CAA I Transactions on Intelligent Systems Apr. 2007 多类支持向量机方法的研究现状与分析 赵春晖 ,陈万海 ,郭春燕 (哈尔滨工程大学 信息与通信工程学院 ,黑龙江 哈尔滨 150001) 摘 要 :支持向量机(SVM)是建立在统计学理论基础上的一种小样本机器学习方法 ,最初应用于解决两类分类问 题. 然而在解决实际问题中遇到的多为多分类问题 ,如何有效的将其推广到多类分类问题是一个正在研究的问题. 该文对现有的多类支持向量机方法从组合多个两类分类器、层次结构、一次性优化问题和纠错编码等 4 个角度进行 了综合归纳和分析 ,详细介绍了每种方法的代表性算法 ,并比较其优劣. 关键词 :多类支持向量机 ;两类分类器 ;层次结构 ;一次性优化 ;纠错编码 中图分类号 : TP391 文献标识码 :A 文章编号 :167324785 (2007) 0220011207 Research and analysis of methods for multiclass support vector machines ZHAO Chun2hui , CH EN Wan2hai , GUO Chun2yan (College of Information and Communication Engineering , Harbin Engineering University , Harbin 150001 , China) Abstract :The SVM is a limited sample learning met hod which was developed from statistical t heory , and o2 riginally designed for binary classification. However , many practical problems are multi2classification ones. How to effectively extend binary classification to multi2classification is an ongoing research issue. This paper generalizes and analyzes multiclass support vector machines from four angles: combination of several binary classifiers , hierarchical struct ures , one - off optimization and error correcting codes. Several representative algorithms for various met hods are introduced in detail and t heir advantages and disadvanta2 ges are compared. Keywords :multiclass support vector machine ; binary classifier ; hierarchical struct ure ; one2off optimiza2 tion ; error correcting code 收稿日期 :2006211214. 基金项目 :国家自然科学基金资助项目(60672034) ;高校博士点基金 资助项目(20060217021) ;黑龙江省自然科学基金资助项 目(ZJ G20606 - 01) . 1992～1995 年 ,Vap nik 在统计学习理论的基 础上发展出了一种新的模式识别方法 —支持向量机 (support vector machine ,SVM) [1 ] ,它采用结构风 险最小化原则代替了传统机器学习方法中的经验风 险最小化原则 ,在解决小样本、非线性及高维模式识 别问题中表现出许多特有的优势. 支持向量机的基 本思想可概括为 :寻找一个最优分类超平面 ,使得训 练样本中的 2 类样本点能被无错误的分开 ,并且要 使 2 类的分类间隔最大 ;而对线性不可分问题 ,通过 核函数将低维输入空间的数据映射到高维空间 ,从 而将原低维空间的线性不可分问题转化为高维空间 上的线性可分问题 ,然后在这个新空间中求取最优 分类面. 最初支持向量机是用于解决 2 类分类问题 ,不 能直接用于多类分类. 而实际应用中遇到的多为多 分类问题 ,如何有效地将其推广到多类分类问题仍 是当前支持向量机研究的重要内容之一 ,文中把支 持向量机应用到多类分类问题中的算法统称为多类 支持向量机. 目前人们对多类支持向量机的研究虽 还有待于完善 ,但也取得了一定的成就. 至今已经有 几种卓有成效的方法将 SVM 推广到多类分类问 题[2 - 5 ] . 下面根据多类支持向量机的不同实现方法 把它分成 4 大类来详细介绍 ,并比较其优劣 ,以便读 者在今后的研究中尽量避免这些方法所存在的各种 弊端 ,发展出更多有效的多类支持向量机算法