机器学习：一种改进的多类支持向量机超光谱图像分类方法

第3卷第1期 智能系统学报 Vol.3 N2 1 2008年2月 CAAI Transactions on Intelligent Systems Fcb.2008 一种改进的多类支持向量机超光谱图像分类方法 赵春晖，陈万海，万建 (哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨150001) 摘要：支持向量机(SVM)是建立在统计学理论基础上的一种机器学习方法，用于解决二类分类问题，如何有效地 将其推广到多类分类问题是一个正在研究的课题.总结了现有的主要的支持向量机多类分类算法，并在1x1SVM 分类算法基础上提出一种二次分类的方法.改良了惩罚因子，提高了不易分的类别之间的可分程度.通过对超光谱 图像进行分类实验，结果表明该方法具有较高的分类精度」 关键词：支持向量机，二次分类；多类支持向量机 中图分类号：TN919.81文献标识码：A文章编号：1673-4785(2008)01-007706 An improved hyperspectral image classification method for a multiclass support vector machine ZHAO Chumhui,CHEN Wan-hai,WAN jian (College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China) Abstract:SVM is a machine learning method developed on the basis of statistics theory and originally de- signed for binary classification problems.The most effective way to extend it for multiclass classification is still an area of considerable discussion.This paper presental a secondary classification method based on 1- a-1 SVM classification algorithm after a general overview of typical methods for a multiclass SVM.Our method improves the penalty factors,so it enhances the divisibility of classes that were difficult to classify Experimental results of hyperspectral image classification showed that the suggested multiclass SVM has higher classification precision. Keywords support vector machine;secondary classification;multiclass SVM 支持向量机(support vector machine,SVM)是的分类效果.但当其应用到数据量大、维数高的超光 Va即nik等在统计学习理论的基础上发展的一种新 谱图像时，就会遇到如何选择最佳惩罚因子和最优 的模式识别方法，在解决小样本、非线性及高维模式权向量系数的问题.由于目前尚无具体理论来指导 识别问题中表现出许多特有的优势.最初支持向量 最佳惩罚因子的选择，因此需要依赖大量的试验和 机是用以解决两类分类问题，不能直接用于多类分 研究者的经验，这对于高维的超光谱图像来说是很 类，而实际应用中遇到的多是多类分类问题.目前已不现实的.文中针对这种情况提出了一种改进的多 经有许多算法将SVM推广到多类分类问题，这些类支持向量机分类方法，即在1a1SVM分类结果 算法统称为多类支持向量机· 的基础上进行二次分类，以改善错分样本较多的类 1a1SVM分类方法是一个具有代表性的多类 别之间的混淆程度。 支持向量机算法，它在一定程度上改善了传统的多 类支持向量机存在的错分、拒分区域，可以获得较好 1支持向量机的分类原理 支持向量机的分类原理可概括为：寻找一个最 收稿日期：2007-0606 优分类超平面，使得训练样本中的两类样本点能被 基金项目：高等学校博士学科点基金资助项目(20060217021)；黑龙 无错误的分开，并且要使两类的分类间隔最大；而对 江省自然科学基金资助项目（刀G060601). 通讯作者：赵春晖.E-mail:zhaochunhui@hrbeu..edu.cn. 线性不可分问题，通过核函数将低维输入空间的数 1994-2008 China Academic Journal Electronie Publishing House.All rights reserved.http://www.cnki.net

第 3 卷第 1 期 智 能 系 统 学 报 Vol. 3 №. 1 2008 年 2 月 CAA I Transactions on Intelligent Systems Feb. 2008 一种改进的多类支持向量机超光谱图像分类方法 赵春晖 ,陈万海 ,万 建 (哈尔滨工程大学 信息与通信工程学院 ,黑龙江 哈尔滨 150001) 摘 要 :支持向量机(SVM)是建立在统计学理论基础上的一种机器学习方法 ,用于解决二类分类问题 ,如何有效地 将其推广到多类分类问题是一个正在研究的课题. 总结了现有的主要的支持向量机多类分类算法 ,并在 12a21 SVM 分类算法基础上提出一种二次分类的方法. 改良了惩罚因子 ,提高了不易分的类别之间的可分程度. 通过对超光谱 图像进行分类实验 ,结果表明该方法具有较高的分类精度. 关键词 :支持向量机 ;二次分类 ;多类支持向量机 中图分类号 : TN919. 81 文献标识码 :A 文章编号 :167324785 (2008) 0120077206 An improved hyperspectral image classification method for a multiclass support vector machine ZHAO Chun2hui , CH EN Wan2hai , WAN jian (College of Information and Communication Engineering , Harbin Engineering University , Harbin 150001 ,China) Abstract :SVM is a machine learning met hod developed on t he basis of statistics t heory and originally de2 signed for binary classification problems. The most effective way to extend it for multiclass classification is still an area of considerable discussion. This paper presental a secondary classification met hod based on 12 a21 SVM classification algorithm after a general overview of typical methods for a multiclass SVM. Our met hod imp roves t he penalty factors , so it enhances the divisibility of classes t hat were difficult to classify. Experimental results of hyperspectral image classification showed t hat the suggested multiclass SVM has higher classification precision. Keywords :support vector machine ; secondary classification ; multiclass SVM 收稿日期 :2007206206. 基金项目 :高等学校博士学科点基金资助项目 (20060217021) ;黑龙 江省自然科学基金资助项目(ZJ G0606201) . 通讯作者 :赵春晖. E2mail :zhaochunhui @hrbeu. edu. cn. 支持向量机(support vector machine , SVM) 是 Vap nik 等在统计学习理论的基础上发展的一种新 的模式识别方法 ,在解决小样本、非线性及高维模式 识别问题中表现出许多特有的优势. 最初支持向量 机是用以解决两类分类问题 ,不能直接用于多类分 类 ,而实际应用中遇到的多是多类分类问题. 目前已 经有许多算法将 SVM 推广到多类分类问题 ,这些 算法统称为多类支持向量机. 12a21 SVM 分类方法是一个具有代表性的多类 支持向量机算法 ,它在一定程度上改善了传统的多 类支持向量机存在的错分、拒分区域 ,可以获得较好 的分类效果. 但当其应用到数据量大、维数高的超光 谱图像时 ,就会遇到如何选择最佳惩罚因子和最优 权向量系数的问题. 由于目前尚无具体理论来指导 最佳惩罚因子的选择 ,因此需要依赖大量的试验和 研究者的经验 ,这对于高维的超光谱图像来说是很 不现实的. 文中针对这种情况提出了一种改进的多 类支持向量机分类方法 ,即在 12a21 SVM 分类结果 的基础上进行二次分类 ,以改善错分样本较多的类 别之间的混淆程度. 1 支持向量机的分类原理 支持向量机的分类原理可概括为 :寻找一个最 优分类超平面 ,使得训练样本中的两类样本点能被 无错误的分开 ,并且要使两类的分类间隔最大 ;而对 线性不可分问题 ,通过核函数将低维输入空间的数

·78· 智能系统学报 第3卷 据映射到高维空间，从而将原低维空间的线性不可 是一个不等式约束下二次函数极值问题，存在唯一 分问题转化为高维空间上的线性可分问题，然后在 解.且根据KKT条件，这个优化问题的解必须满 这个新空间中求取最优分类面 足： 支持向量机分类的目标就是根据结构风险最小 a(w[(w·x)+b1-1+)=0 化原则，构造一个目标函数，寻找一个满足分类要求 i=1,2,“,n 的最优超平面，即寻找最优线性判别函数.设{x}∈ 因此，对多数样本的a将为0，对分类问题不 R为两类的样本数据，∈(+1，·1}为相应的类 起什么作用，只有取值不为0的a对应的样本才 别标号，i=1,2,n.如果x属于第1类，则= 决定最终分类结果，这样的样本称之为支持向量，它 1;如果x,属于第2类，则=-1.线性判别函数的 们通常只是全体样本中的很少一部分 一般形式为g(y=w·x+b,相应的分类面为x· 求解上述问题后得到最终的判别函数为 x+b=0.为了使待分样本尽可能好地分开，要求分 f(signf oy.K(x+b. (5) 类间隔何表示为2/wW最大，这相当于使lwⅡ 最小.寻找最优分类面可转化为求解数学形式的优 根据∫()的结果来确定x属于哪一类 化问题，通常可分为3种情况1 2现有的多类支持向量机算法 1)线性可分问题 针对线性可分情况，问题的目标函数的数学形 目前对于多类分类问题，支持向量机的解决途 式为 径有2种23)：一种是通过构造多个两类SVM分类 min支kwP 器并将它们组合起来实现多类分类，将多类问题转 1) 化为两类分类问题，第2种是一次性解决多类分类 2)线性不可分问题. 问题，即把所有子分类器的参数直接放在一个最优 在处理线性不可分问题时，引人松弛变量￡， 化方程里同时优化，这种思想尽管看起来简洁，但在 i=1,2,,n和惩罚因子C,对错分样本进行条件控 最优化问题求解过程中的变量远远多于第1种，训 制.这样，式1)可重新描述为 练速度及分类精度也不占优势，因此目前多采用第 1种方法，文中介绍的这几种多类支持向量机都属 m2Jw,9=wP+c∑e 2 于第1种方法 s.t.y[w·x)+b1-1+e≥0， 2.11-ar SVM算法 e≥0，i=1,2,…n,C>0 2) I~xr(o ne-against-rest),SVM算法是解决多类 3)非线性可分问题. 分类问题的最早的方法，对于k(k2)类SVM分类 对于非线性情况，引人核函数(x)将原数据空 问题，把其中一类作为第1类，其余类视为另一类， 间的非线性问题转化为高维特征空间的线性问题， 自然地将k分类问题转化为k个两类分类问题，得 即把x替换为(x),其相应的内积x·x替换为 到k个两类分类器，分类时未知样本最后的输出是 K(x·x=rx)Tx,式2)变为 两类分类器输出为最大的那一类 2.21-x1SVM算法 mnJw,9=之IwF+c2。 I-ar1(one-against-one)SVM算法是在每两类 s.t.[(w·tx)+b1-1+￡≥0， 之间训练一个分类器，因此对于一个k类问题，训练 e≥0，i=1,2,,n,C>0. (3) 阶段共构造C个两类分类器，每个分类器是取任意 对于上述凸优化问题，可引入拉格朗日乘子a 2个类别的数据进行训练.在测试阶段可以采用不 (i=1,2,,d,根据目标函数及约束条件建立La 同的方式测试样本属于哪一类，最常用的一种方法 grange函数并将其转化为下面的对偶问题，即满足 是“最大投票法”，即每个两类分类器都对样本的类 约束条件 别进行判断，采用投票机制为其相应的类别“投上一 票”，最后得票最多的类别即是该未知样本的所属 Da,=0,0≤a≤C,1=1,2,n 类.因此，文中在此算法的基础上，提出了一种改进 对4求解下列函数的最大值 的多类支持向量机分类方法。 3二次分类的多类支持向量机 式中：a=[a4…an严.设此矩阵方程的解为a.这 支持向量机应用于实际植被的模式识别时，常 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net

据映射到高维空间 ,从而将原低维空间的线性不可 分问题转化为高维空间上的线性可分问题 ,然后在 这个新空间中求取最优分类面. 支持向量机分类的目标就是根据结构风险最小 化原则 ,构造一个目标函数 ,寻找一个满足分类要求 的最优超平面 ,即寻找最优线性判别函数. 设{ xi} ∈ R D 为两类的样本数据 , yi ∈{ + 1 , - 1} 为相应的类 别标号 , i = 1 , 2 , …, n. 如果 xi 属于第 1 类 ,则 yi = 1 ;如果 xi 属于第 2 类 ,则 yi = - 1. 线性判别函数的 一般形式为 g ( x) = w ·x + b,相应的分类面为 x · x + b = 0. 为了使待分样本尽可能好地分开 ,要求分 类间隔(可表示为 2/ ‖w ‖) 最大 ,这相当于使 ‖w ‖ 最小. 寻找最优分类面可转化为求解数学形式的优 化问题 ,通常可分为 3 种情况[1 ] . 1) 线性可分问题. 针对线性可分情况 ,问题的目标函数的数学形 式为 min 1 2 ‖w ‖2 . (1) 2) 线性不可分问题. 在处理线性不可分问题时 , 引人松弛变量εi , i = 1 ,2 , …, n 和惩罚因子 C ,对错分样本进行条件控 制. 这样 ,式(1) 可重新描述为 min w, b,ε J (w,ε) = 1 2 ‖w ‖2 + C ∑ n i = 1 εi , s. t. yi[ (w ·xi) + b] - 1 +εi ≥0 , εi ≥0 , i = 1 ,2 , …, n , C > 0. (2) 3) 非线性可分问题. 对于非线性情况 ,引人核函数 0. (3) 对于上述凸优化问题 ,可引入拉格朗日乘子αi ( i = 1 ,2 , …, n) ,根据目标函数及约束条件建立 La2 grange 函数并将其转化为下面的对偶问题 ,即满足 约束条件 : ∑ n i =1 yαi i = 0 ,0 ≤αi ≤C, i = 1 ,2 , …, n. 对αi 求解下列函数的最大值 : Q(α) = ∑ n i = 1 αi - 1 2 ∑ n i , j =1 ααi j y i y j K ( xi ·xj) . (4) 式中 :α= [α1α2 …αn ] T . 设此矩阵方程的解为α3 i . 这 是一个不等式约束下二次函数极值问题 ,存在唯一 解. 且根据 KKT 条件 , 这个优化问题的解必须满 足 : αi ( yi[ (w ·<( xi) ) + b] - 1 +εi) = 0 , i = 1 ,2 , …, n. 因此 ,对多数样本的α3 i 将为 0 ,对分类问题不 起什么作用 ,只有取值不为 0 的α3 i 对应的样本才 决定最终分类结果 ,这样的样本称之为支持向量 ,它 们通常只是全体样本中的很少一部分. 求解上述问题后得到最终的判别函数为 f ( x) = sign{ ∑ n i =1 α3 i y i K ( xi , x) + b 3 } . (5) 根据 f ( x) 的结果来确定 x 属于哪一类. 2 现有的多类支持向量机算法 目前对于多类分类问题 ,支持向量机的解决途 径有 2 种[223 ] :一种是通过构造多个两类 SVM 分类 器并将它们组合起来实现多类分类 ,将多类问题转 化为两类分类问题 ;第 2 种是一次性解决多类分类 问题 ,即把所有子分类器的参数直接放在一个最优 化方程里同时优化 ,这种思想尽管看起来简洁 ,但在 最优化问题求解过程中的变量远远多于第 1 种 ,训 练速度及分类精度也不占优势 ,因此目前多采用第 1 种方法 ,文中介绍的这几种多类支持向量机都属 于第 1 种方法. 2. 1 12a2r SVM 算法 12a2r (one2against2rest) SVM 算法是解决多类 分类问题的最早的方法 ,对于 k ( k ≥2) 类 SVM 分类 问题 ,把其中一类作为第 1 类 ,其余类视为另一类 , 自然地将 k 分类问题转化为 k 个两类分类问题 ,得 到 k 个两类分类器 ,分类时未知样本最后的输出是 两类分类器输出为最大的那一类. 2. 2 12a21 SVM 算法 12a21 (one2against2one) SVM 算法是在每两类 之间训练一个分类器 ,因此对于一个 k 类问题 ,训练 阶段共构造 C 2 k 个两类分类器 ,每个分类器是取任意 2 个类别的数据进行训练. 在测试阶段可以采用不 同的方式测试样本属于哪一类 ,最常用的一种方法 是“最大投票法”,即每个两类分类器都对样本的类 别进行判断 ,采用投票机制为其相应的类别“投上一 票”,最后得票最多的类别即是该未知样本的所属 类. 因此 ,文中在此算法的基础上 ,提出了一种改进 的多类支持向量机分类方法. 3 二次分类的多类支持向量机 支持向量机应用于实际植被的模式识别时 ,常 · 87 · 智 能 系 统 学 报 第 3 卷

第1期 赵春晖，等：一种改进的多类支持向量机超光谱图像分类方法 ·79· 会出现某两类或某几类植被的光谱特性极为相似的 max 情况，它们在分类时往往会产生严重混淆的现象，导 致整体分类效果不够理想.这种现象产生的原因是 由于植物种类的分类精度很大程度上取决于植物长 0≤a≤C,ya=0,1=1,2,m8 势和叶面叶绿素含量，当不同物种叶面叶绿素的含 式中：C为惩罚因子，用来对错分样本进行条件控 量相近时，容易错分，这就取决于实际拍摄图片的时 制，根据经验和多次实验得到最佳惩罚因子C°，设 间和地点等各种因素.针对此现象文中提出了一种 此时的拉格朗日乘子α为不等式约束的最优解，由 二次分类的多类支持向量机，它是在1-a1SVM算 此得到权向量系数为 法的基础上改进的多类支持向量机分类方法 w°= 采用1-1SVM进行分类时，训练阶段需要在 yix (9) 每两类之间训练一个分类器，对于一个k类问题需 把这个最佳惩罚因子C和最优的权系数向量 要构造C个两类分类器.对于第i类和第j类之间 x反馈到1a1SVM算法中重新分类 的训练，需要解决下列两类分类问题 4 实验结果与分析 wwcw 为了验证所提方法的有效性，采用AVIRIS超 光谱遥感图像进行实验.该图像取自1992年6月拍 (w)Tx+b≥1-9，fy=i, 摄的美国印第安纳州西北部印第安遥感试验区的一 (w)Tx)+9≤1+g,fy=j, 部分]，它包含了农作物和森林植被的混合区 9≥0 (6) 文中实验分析共有3组分类实验，利用自适应 在测试时采用最大投票法，判断符号函数： 波段选择的方法1从原始图像的220个波段中选取 f(x)=sign((w)(x+) 7 3个波段图像：9波段、18波段和50波段作为研究 若未知样本x属于第i类则第1类的票数加一， 对象，对照真实地物图，进行玉米、大豆、干草、林地、 反之第j类加一，x属于最后票数最多的那一类 牧场和草地这6类地物的分类实验 两类分类的支持向量机在训练阶段需要寻找最 文中采用混淆矩阵和总体分类精度来分析分类 佳惩罚因子C.如果惩罚因子选择的不恰当，分类精 效果，混淆矩阵定义如下6] 度将会受到不良影响.采用1~a1SVM算法进行分 11 类时，若类别数k较大时，需要构造大量的两类分类 M 10 器.在实际应用中不可能做到把每个两类分类问题 都做多次实验来寻找最佳惩罚因子，因此提出了二 式中：mg表示实验区内应属于第1类的样本被分到 次分类的方法，分析采用1x1SVM进行第1次分 第j类中去的样本总数，n为类别数.如果混淆矩阵 类的结果，找出混淆最严重的组合，对它们进行二次 中对角线上的元素值愈大，则表示分类结果的可靠 分类，寻找最佳惩罚因子重新分类，这样就可以减小 性愈高，如果混淆矩阵中非对角线上的元素值愈大 这些类别之间的混淆程度.二次分类算法在训练阶 则表示错误分类的现象愈严重，文中实验结果的混 段的模型如图1所示 淆矩阵采用表格的形式进行描述.像素的总体分类 训练样本 分类器1 最终判决 精度OA)的定义如下： 函数 最住惩罚 因子C OA 11) 严重混淆 的组合 分类器2 式中：N为参与分类的总样本数，m为第i类正确 分类的样本数 将1a1SVM和改进的二次分类算法应用到3 图1二次分类的训练阶段模型 组波段的地物分类中，并从灰度图和混淆矩阵2个 Fig.I Training stage model of secondary classification 方面来比较它们的分类效果 进行二次分类时需要单独解决这个组合的两类 1)9波段的地物分类 分类问题.对于k类问题，假设有一对混淆严重的组 基于1a1SVM的分类灰度图和混淆矩阵如 合为第i类和第j类，其相应的对偶问题为 图2、表1所示 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net

会出现某两类或某几类植被的光谱特性极为相似的 情况 ,它们在分类时往往会产生严重混淆的现象 ,导 致整体分类效果不够理想. 这种现象产生的原因是 由于植物种类的分类精度很大程度上取决于植物长 势和叶面叶绿素含量 ,当不同物种叶面叶绿素的含 量相近时 ,容易错分 ,这就取决于实际拍摄图片的时 间和地点等各种因素. 针对此现象文中提出了一种 二次分类的多类支持向量机 ,它是在 12a21 SVM 算 法的基础上改进的多类支持向量机分类方法. 采用 12a21 SVM 进行分类时 ,训练阶段需要在 每两类之间训练一个分类器 ,对于一个 k 类问题需 要构造 C 2 k 个两类分类器. 对于第 i 类和第 j 类之间 的训练 ,需要解决下列两类分类问题 : min w ij , b ij ,εij 1 2 (w ij ) T w ij + C ∑t εij t (w ij ) T , (w ij ) T <( xt) + b ij ≥1 - εij t , If yt = i , (w ij ) T <( xt) + b ij ≤- 1 +εij t , If yt = j , εij t ≥0. (6) 在测试时采用最大投票法 ,判断符号函数 : f ( x) = sign ( (w ij ) T <( x) + b ij ) . (7) 若未知样本 x 属于第 i 类则第 i 类的票数加一, 反之第 j 类加一 , x属于最后票数最多的那一类. 两类分类的支持向量机在训练阶段需要寻找最 佳惩罚因子 C. 如果惩罚因子选择的不恰当 ,分类精 度将会受到不良影响. 采用 12a21 SVM 算法进行分 类时 ,若类别数 k 较大时 ,需要构造大量的两类分类 器. 在实际应用中不可能做到把每个两类分类问题 都做多次实验来寻找最佳惩罚因子 ,因此提出了二 次分类的方法 ,分析采用 12a21 SVM 进行第 1 次分 类的结果 ,找出混淆最严重的组合 ,对它们进行二次 分类 ,寻找最佳惩罚因子重新分类 ,这样就可以减小 这些类别之间的混淆程度. 二次分类算法在训练阶 段的模型如图 1 所示. 图 1 二次分类的训练阶段模型 Fig. 1 Training stage model of secondary classification 进行二次分类时需要单独解决这个组合的两类 分类问题. 对于 k 类问题 ,假设有一对混淆严重的组 合为第 i 类和第 j 类 ,其相应的对偶问题为 max ∑ n i =1 αi - 1 2 ∑ n i , j = 1 ααi j y i y j K ( xi ·xj) , 0 ≤αi ≤C, ∑ n i =1 yαi i = 0 , i = 1 ,2 , …, n. (8) 式中 : C 为惩罚因子 ,用来对错分样本进行条件控 制 ,根据经验和多次实验得到最佳惩罚因子 C 3 ,设 此时的拉格朗日乘子α3 为不等式约束的最优解 ,由 此得到权向量系数为 w 3 = ∑ n i = 1 α3 i y i xi . (9) 把这个最佳惩罚因子 C 3 和最优的权系数向量 x 3 反馈到 12a21 SVM 算法中重新分类. 4 实验结果与分析 为了验证所提方法的有效性 ,采用 AVIRIS 超 光谱遥感图像进行实验. 该图像取自 1992 年 6 月拍 摄的美国印第安纳州西北部印第安遥感试验区的一 部分[4 ] ,它包含了农作物和森林植被的混合区. 文中实验分析共有 3 组分类实验 ,利用自适应 波段选择的方法[5 ]从原始图像的 220 个波段中选取 3 个波段图像 :9 波段、18 波段和 50 波段作为研究 对象 ,对照真实地物图 ,进行玉米、大豆、干草、林地、 牧场和草地这 6 类地物的分类实验. 文中采用混淆矩阵和总体分类精度来分析分类 效果 ,混淆矩阵定义如下[ 6 ] : M = m11 … m1 n … ω … mn1 … mnn . (10) 式中 : mij表示实验区内应属于第 i 类的样本被分到 第 j 类中去的样本总数 , n 为类别数. 如果混淆矩阵 中对角线上的元素值愈大 ,则表示分类结果的可靠 性愈高 ,如果混淆矩阵中非对角线上的元素值愈大 , 则表示错误分类的现象愈严重 ,文中实验结果的混 淆矩阵采用表格的形式进行描述. 像素的总体分类 精度(OA) 的定义如下 : OA = ∑ n i =1 mii N . (11) 式中 : N 为参与分类的总样本数 , mii 为第 i 类正确 分类的样本数. 将 12a21 SVM 和改进的二次分类算法应用到 3 组波段的地物分类中 ,并从灰度图和混淆矩阵 2 个 方面来比较它们的分类效果. 1) 9 波段的地物分类. 基于 12a21 SVM 的分类灰度图和混淆矩阵如 图 2、表 1 所示. 第 1 期 赵春晖 ,等 :一种改进的多类支持向量机超光谱图像分类方法 · 97 ·

·80- 智能系统学报 第3卷 所示 (a)真实地物灰度图 图3基于二次分类的9波段分类灰度图 Fig.3 waveband grey image by secondary classification 表39波段的混淆矩阵 Table 3 Mixture matrix of 9-waveband 玉米牧场草地干草大豆林地 玉米1072 0 4 357 0 牧场 7 315 4393 30 (b)9波段分类灰度图 草地0 2 7225 17 千草0 0 2 486 1 0 图2基于1--1SVM的分类灰度图 ●0 10 2 1437 0 Fig.2 Grey image by 1-a 1 SVM classification 大豆1019 林地 0 61 15 0 > 1211 表19波段的混淆凭阵 Table 1 Mixture matrix of 9-waveband 总体分类精度：74.9%. 玉米。 牧场草地干草 大豆 林地 2)18波段的地物分类 玉米985 0 4 1 444 0 基于11SVM的分类灰度图和混淆矩阵如 牧场 7315 43 93 30 9 图4、表4所示 草地 0 2 722 5 17 干草 0 0 2 486 1 0 大豆1027 0 10 2 1429 0 林地 0 61 15 0 7 1211 总体分类精度：74.30%. 从混淆矩阵中可以看出玉米和大豆这两类混淆 最严重，因此采用文中提出的二次分类方法，训练出 玉米和大豆两类别之间的最佳惩罚因子，并重新对 图4基于1r1SVM的18波段分类灰度图 地物图像进行分类 Fig.4 18-waveband grey image by r1 SVM classification 经过多次实验，得到玉米和大豆的惩罚因子C 和分类精度之间的关系如表2所示 表418波段的混淆矩阵 Table 4 Mixture matrix of 18-waveband 表29波段的惩罚因子和分类精度关系 玉米 牧场 草地干草 大豆 林地 he 2 Relation between penalty factor and classification 玉米1030 0 4 3 397 0 precision for 9-waveband 牧场 7 319 42 98 26 5 惩罚因子 196 草地 0 2 721 7 16 1 ∞2000201 195 100 200 千草 0 0 486 1 0 分类精度 大豆1069 0 8 41387 0 62.1063.9264.17 64.20 64.1763.86 /% 林地0 58 15 0 61215 从表5中选取精度最大时对应的C为200 总体分类精度：74.44% 二次分类的分类灰度图和混淆矩阵如图3、表3 18波段的玉米和大豆的惩罚因子C和分类精 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.ne

表 1 9 波段的混淆矩阵 Table 1 Mixture matrix of 92waveband 玉米 牧场 草地 干草 大豆 林地 玉米 985 0 4 1 444 0 牧场 7 315 43 93 30 9 草地 0 2 722 5 17 1 干草 0 0 2 486 1 0 大豆 1 027 0 10 2 1 429 0 林地 0 61 15 0 7 1 211 总体分类精度 :74. 30 %. 从混淆矩阵中可以看出玉米和大豆这两类混淆 最严重 ,因此采用文中提出的二次分类方法 ,训练出 玉米和大豆两类别之间的最佳惩罚因子 ,并重新对 地物图像进行分类. 经过多次实验 ,得到玉米和大豆的惩罚因子 C 和分类精度之间的关系如表 2 所示. 表 2 9 波段的惩罚因子和分类精度关系 Table 2 Relation between penalty factor and classification precision for 92waveband 惩罚因子 C ∞ 2000 201 196～ 200 195 100 分类精度 / % 62. 10 63. 92 64. 17 64. 20 64. 17 63. 86 从表 5 中选取精度最大时对应的 C 为 200. 二次分类的分类灰度图和混淆矩阵如图 3、表 3 所示. 图 3 基于二次分类的 9 波段分类灰度图 Fig. 3 92waveband grey image by secondary classification 表 3 9 波段的混淆矩阵 Table 3 Mixture matrix of 92waveband 玉米 牧场 草地 干草 大豆 林地 玉米 1 072 0 4 1 357 0 牧场 7 315 43 93 30 9 草地 0 2 722 5 17 1 干草 0 0 2 486 1 0 大豆 1 019 0 10 2 1 437 0 林地 0 61 15 0 7 1 211 总体分类精度 :74. 9 %. 2) 18 波段的地物分类. 基于 12a21 SVM 的分类灰度图和混淆矩阵如 图 4、表 4 所示. 图 4 基于 12a21 SVM 的 18 波段分类灰度图 Fig. 4 182waveband grey image by 12a21 SVM classification 表 4 18 波段的混淆矩阵 Table 4 Mixture matrix of 182waveband 玉米 牧场 草地 干草 大豆 林地 玉米 1 030 0 4 3 397 0 牧场 7 319 42 98 26 5 草地 0 2 721 7 16 1 干草 0 0 2 486 1 0 大豆 1 069 0 8 4 1 387 0 林地 0 58 15 0 6 1 215 总体分类精度 :74. 44 %. 18 波段的玉米和大豆的惩罚因子 C 和分类精 · 08 · 智 能 系 统 学 报 第 3 卷

第1期 赵春晖，等：一种改进的多类支持向量机超光谱图像分类方法 ·81· 度之间的关系如表5所示 表750波段的混淆矩阵 表518波段的惩罚因子和分类精度关系 Table 7 Mixture matrix of 50-waveband Ebe 5 Relation between penalty factor and classification 玉米牧场 草地干草 大豆林地 precision for 18-waveband 玉米 952 0 9 469 0 惩罚因子 89 牧场 6 266 27 92 46 60 2000 94 88 85 C 93 草地 0 0 725 18 3 1 分类精度 干草 0 0 3 486 0 0 62.1762.1762.9762.9962.9762.92 1% 大豆 878 0 13 1560 0 林地 0 77 白 0 1200 从表5中选取18波段的最佳C为90 二次分类的分类灰度图和混淆矩阵如图5、表6 总体分类精度：74.89%. 所示 50波段的玉米和大豆的惩罚因子C和分类精 度之间的关系如表8所示 表850波段的惩罚因子和分类精度关系 Tbe 8 Relation between penalty factor and classification precision for 50-waveband 惩罚因子 43 50056 42 0 55 分类精度 69.9570.2670.8570.8970.8565.22 1% 图5基于二次分类的18波段分类灰度图 从表中选取50波段的最佳C是50 Fig.5 18-waveband grey image by secondary classification 二次分类的分类灰度图和混淆矩阵如图7、表9 表618波段的混淆矩阵 所示 Table 6 Mixture matrix of 18-waveband 玉米牧场 草地 干草大豆 林地 玉米 1046 0 4 3 381 0 牧场 7 319 42 98 26 草地0 2 721 7 16 干草 0 0 2 486 1 0 大豆1053 0 8 41403 0 林地 0 8 15 0 6 1215 图7基于二次分类的50波段分类灰度图 总体分类精度：75.67% Fig.7 50waveband grey image by secondary classification 3)50波段的地物分类。 表950波段的混淆矩阵 基于1a1SVM的分类灰度图和混淆矩阵如 Table 9 Mixture matrix of 50-waveband 图6、表7所示 玉米 牧场 草地 干草 大豆 林地 玉米1126 0 4 9 295 0 牧场 9 266 27 92 43 60 草地 0 0 725 18 3 千草 0 0 3 486 0 0 大豆 828 0 13 17 1610 0 林地 0 77 12 0 51200 总体分类精度：78.12% 图6基于1r1SVM的50波段分类灰度图 表3、6、9所示的是利用文中提出的改进的二次 Fig.6 50 waveband grey image by 1-ar 1 SVM classification 分类方法的结果，将其与1-a1SVM分类方法的混 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net

度之间的关系如表 5 所示. 表 5 18 波段的惩罚因子和分类精度关系 Table 5 Relation between penalty factor and classification precision for 182waveband 惩罚因子 C ∞ 2000 94 89～ 93 88 85 分类精度 / % 62. 17 62. 17 62. 97 62. 99 62. 97 62. 92 从表 5 中选取 18 波段的最佳 C 为 90. 二次分类的分类灰度图和混淆矩阵如图 5、表 6 所示. 图 5 基于二次分类的 18 波段分类灰度图 Fig. 5 182waveband grey image by secondary classification 表 6 18 波段的混淆矩阵 Table 6 Mixture matrix of 182waveband 玉米 牧场 草地 干草 大豆 林地 玉米 1 046 0 4 3 381 0 牧场 7 319 42 98 26 5 草地 0 2 721 7 16 1 干草 0 0 2 486 1 0 大豆 1 053 0 8 4 1 403 0 林地 0 58 15 0 6 1 215 总体分类精度 :75. 67 %. 3) 50 波段的地物分类. 基于 12a21 SVM 的分类灰度图和混淆矩阵如 图 6、表 7 所示. 图 6 基于 12a21 SVM 的 50 波段分类灰度图 Fig. 6 502waveband grey image by 12a21 SVM classification 表 7 50 波段的混淆矩阵 Table 7 Mixture matrix of 502waveband 玉米 牧场 草地 干草 大豆 林地 玉米 952 0 4 9 469 0 牧场 6 266 27 92 46 60 草地 0 0 725 18 3 1 干草 0 0 3 486 0 0 大豆 878 0 13 17 1 560 0 林地 0 77 12 0 5 1 200 总体分类精度 :74. 89 %. 50 波段的玉米和大豆的惩罚因子 C 和分类精 度之间的关系如表 8 所示. 表 8 50 波段的惩罚因子和分类精度关系 Table 8 Relation between penalty factor and classification precision for 502waveband 惩罚因子 C ∞ 500 56 43～ 55 42 0 分类精度 / % 69. 95 70. 26 70. 85 70. 89 70. 85 65. 22 从表中选取 50 波段的最佳 C是 50. 二次分类的分类灰度图和混淆矩阵如图 7、表 9 所示. 图 7 基于二次分类的 50 波段分类灰度图 Fig. 7 502waveband grey image by secondary classification 表 9 50 波段的混淆矩阵 Table 9 Mixture matrix of 502waveband 玉米 牧场 草地 干草 大豆 林地 玉米 1 126 0 4 9 295 0 牧场 9 266 27 92 43 60 草地 0 0 725 18 3 1 干草 0 0 3 486 0 0 大豆 828 0 13 17 1 610 0 林地 0 77 12 0 5 1 200 总体分类精度 :78. 12 %. 表 3、6、9 所示的是利用文中提出的改进的二次 分类方法的结果 ,将其与 12a21 SVM 分类方法的混 第 1 期 赵春晖 ,等 :一种改进的多类支持向量机超光谱图像分类方法 · 18 ·

·82 智能系统学报 第3卷 淆矩阵表1、4、7相比较会发现，之前混淆较严重的 [3]刘志刚，李德仁，秦前清，等.支持向量机在多类分类问题 玉米大豆这两类在新方法的分类结果中混淆样本 中的推广U].计算机工程与应用，2004(7)：1013. 有了很大的改观.从分类的总体精度上还可以看出， LIU Zhigang,LI Deren,QIN Qianqing,et al.An analyt- 选取的波段数与分类精度也有很大的关系，波段数 ical overview of methods for multi-category support vec- 目越多，所包含的光谱特性就越丰富，得到的分类结 tor machines [J ]Computer Engineering and Applica- 果就越好」 tions,2004(7):1013. 分类总体精度提高不上去的主要原因是原始图 [4]LANDGR EBE D.Multispectral data analysis:a signal 像的精度不高，由于使用的AVIRIS图像是从高空 theory perspective[R].West Lafayette,USA:Universi- 拍摄，其分辨率仅为20m20m,像元混合的概率 ty,1998. 很大，而且图片拍摄于6月，玉米和大豆正处于生长 [5]刘春红，赵春晖，张凌雁.一种新的高光谱遥感图像降维 的早期，它们所反应的光谱特性极其相似，在这些客 方法卩].中国图像图形学报，2005,10(3)：218-222. 观原因的影响下，这两类的分类精度不可能大幅度 LIU Chunhong,ZHAO Chunhui,ZHANG Lingyan.A 的提高，仍存在一定的分类误差。 new method of hyperspectral remote sensing image di- 5结束语 mensional reduction [J ]Journal of Image and Graphic, 2005,10(3):218222 该文提出的二次分类方法保留了1a1SVM [6]赵英时.遥感应用分析原理与方法[M].北京：科学出版 分类的优点，改善了超光谱图像分类中某些植被由 社，2003 于光谱特性相似而产生严重混淆的问题.利用二次 作者简介： 分类方法可以在短时间内取得混淆最严重的类别的 赵春晖，男，1965年生，教授，博士生导 最佳惩罚因子，将其应用到1a1SVM的训练过程 师，获省部级科技奖5项.主要研究方向为 中，得到最优的权系数向量和支持向量，改善了分类 智能信息处理技术、图像处理.出版著作3 精度.它弥补了1-x1SVM算法不能确定最佳惩罚 部，发表论文200余篇」 因子的缺陷，提高了支持向量机应用到超光谱图像 中的分类效果 在许多的实际应用中都需要解决多类别的分类 陈万海，男，1963年生，副教授，博士研 问题，如何有效地将支持向量机推广到多类分类问 究生.主要研究方向为超光谱遥感图像处理 题仍有广阔的研究空间. 技术，发表论文18篇 参考文献： [1]任建峰，郭雷.多类支持向量机的自然图像分类[U], 西北工业大学学报，2005,23(3)：295298 REN Jianfeng,GUO Lei.Improving scene image classifica- 万建，男，1980年生，博士研究生.主 tion with multiclass SVMs [J].Journal of Northwestern 要研究方向为信号与图像处理，发表论文5 Polytechnical University,2005,23(3):295-298 篇。 [2]HSU C W,LIN CJ.A comparison of methods for mul- ticlass support vector machines[J].IEEE Transactions on Neural Networks,2002,13(2):415-425. 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net

淆矩阵表 1、4、7 相比较会发现 ,之前混淆较严重的 玉米 —大豆这两类在新方法的分类结果中混淆样本 有了很大的改观. 从分类的总体精度上还可以看出 , 选取的波段数与分类精度也有很大的关系 ,波段数 目越多 ,所包含的光谱特性就越丰富 ,得到的分类结 果就越好. 分类总体精度提高不上去的主要原因是原始图 像的精度不高 ,由于使用的 AVIRIS 图像是从高空 拍摄 ,其分辨率仅为 20 m ×20 m ,像元混合的概率 很大 ,而且图片拍摄于 6 月 ,玉米和大豆正处于生长 的早期 ,它们所反应的光谱特性极其相似 ,在这些客 观原因的影响下 ,这两类的分类精度不可能大幅度 的提高 ,仍存在一定的分类误差. 5 结束语 该文提出的二次分类方法保留了 12a21 SVM 分类的优点 ,改善了超光谱图像分类中某些植被由 于光谱特性相似而产生严重混淆的问题. 利用二次 分类方法可以在短时间内取得混淆最严重的类别的 最佳惩罚因子 ,将其应用到 12a21 SVM 的训练过程 中 ,得到最优的权系数向量和支持向量 ,改善了分类 精度. 它弥补了 12a21 SVM 算法不能确定最佳惩罚 因子的缺陷 ,提高了支持向量机应用到超光谱图像 中的分类效果. 在许多的实际应用中都需要解决多类别的分类 问题 ,如何有效地将支持向量机推广到多类分类问 题仍有广阔的研究空间. 参考文献 : [1 ]任建峰 ,郭 雷. 多类支持向量机的自然图像分类[J ]. 西北工业大学学报 , 2005 , 23 (3) : 2952298. REN Jianfeng , GUO Lei. Improving scene image classifica2 tion with multi2class SVMs [J ]. Journal of Northwestern Polytechnical University , 2005 , 23 (3) : 2952298. [2 ] HSU C W , L IN C J. A comparison of methods for mul2 ticlass support vector machines[J ]. IEEE Transactions on Neural Networks , 2002 , 13 (2) : 4152425. [3 ]刘志刚 ,李德仁 ,秦前清 ,等. 支持向量机在多类分类问题 中的推广[J ]. 计算机工程与应用 , 2004 (7) : 10213. L IU Zhigang , L I Deren , QIN Qianqing ,et al. An analyt2 ical overview of methods for multi2category support vec2 tor machines [J ]. Computer Engineering and Applica2 tions , 2004 (7) : 10213. [4 ]LANDGREBE D. Multispectral data analysis: a signal theory perspective[ R]. West Lafayette ,USA : Universi2 ty , 1998. [5 ]刘春红 ,赵春晖 ,张凌雁. 一种新的高光谱遥感图像降维 方法[J ]. 中国图像图形学报 , 2005 , 10 (3) : 2182222. L IU Chunhong , ZHAO Chunhui , ZHAN G Lingyan. A new method of hyperspectral remote sensing image di2 mensional reduction [J ]. Journal of Image and Graphic , 2005 , 10 (3) : 2182222. [6 ]赵英时. 遥感应用分析原理与方法[ M]. 北京 : 科学出版 社 , 2003. 作者简介 : 赵春晖 ,男 ,1965 年生 ,教授 ,博士生导 师. 获省部级科技奖 5 项. 主要研究方向为 智能信息处理技术、图像处理. 出版著作 3 部 ,发表论文 200 余篇. 陈万海 ,男 ,1963 年生 ,副教授 ,博士研 究生. 主要研究方向为超光谱遥感图像处理 技术 ,发表论文 18 篇. 万 建 ,男 ,1980 年生 ,博士研究生. 主 要研究方向为信号与图像处理 ,发表论文 5 篇. · 28 · 智 能 系 统 学 报 第 3 卷