第9卷第3期 智能系统学报 Vol.9 No.3 2014年6月 CAAI Transactions on Intelligent Systems Jun.2014 D0:10.3969/j.issn.1673-4785.201404006 网s络出版地址：http:/www.cmki.net/kcms/doi/10.3969/j.issn.16734785.201404006.html 基于多分类器组合的高光谱图像波段选择方法 李士进，常纯，余宇峰，王亚明 (河海大学计算机与信息学院，江苏南京210098) 摘要：由于高光谱数据具有波段多，数据量大等特点，对其进行降维处理成为高光谱遥感研究的一个重要问题。 提出一种基于多分类器组合的高光谱波段选择方法，该方法通过遗传算法良好的寻优能力获得若干组较优初始波 段子集，在此基础上使用这些波段子集训练若干个基分类器，进而利用改进的基于相同错误差异性度量的分类器选 择方法选出部分较优分类器，实现波段选择的目的：最终通过局部精度分析的动态分类器选择实现多分类器组合决 策。在公共测试数据集上的实验结果表明：与以往直接选择最优波段子集方法相比，提出的算法能够选择更多具有 鉴别能力的波段，明显提高了分类正确率。 关键词：高光谱遥感：模式分类：波段选择：多分类器组合：错误多样性度量 中图分类号：TP18文献标志码：A文章编号：1673-4785(2014)03-0372-07 中文引用格式：李士进，常纯，余宇峰，等.基于多分类器组合的高光谱图像波段选择方法[J].智能系统学报，2014,9(3)：372-378. 英文引用格式：LI Shijin,CHANG Chun,YU Yufeng,etal.MIuIti-classifier combination-based hyperspectral band selection[J]. CAAI Transactions on Intelligent Systems,2014,9(3):372-378. Multi-classifier combination-based hyperspectral band selection LI Shijin,CHANG Chun,YU Yufeng,WANG Yaming (College of Computer and Information,Hohai University,Nanjing 210098.China) Abstract:Due to the multi-waveband and massive data characteristics of hyperspectral data,dimension reduction is becoming a distinct problem in regards to hyperspectral remote sensing research.A hyperspectral band selection al- gorithm has been proposed based on a multi-classifier combination.This algorithm obtains several groups of sub-op- timal initial waveband subsets through a genetic algorithm,which has better optimizing ability and on this basis trains several base classifiers with these waveband subsets,and further selects several member classifiers from the initial classifier pool by using an improved classifier selection method that is based on same-fault measures,reali- zing the purpose of the wave band selection.And finally,the multi-classifier combination decision is made through dynamic classifier selection based on the analysis of local classification accuracy (DCS-LA).The experimental re- sults regarding the Indian Pine benchmark data set show that this new method can select these bands with more dis- criminative information and obviously improve the accuracy of the classification process. Keywords:hyperspectral remote sensing;pattern classification;band selection;multiple classifiers combination; error diversity;dimension reduction 随着遥感技术和成像光谱仪的发展，高光谱图 段数多、数据量庞大等特点给高光谱图像的分类、识 像的分辨率不断提高，应用需求越来越广泛，但其波 别等带来了很大的困难。利用全部波段数据进行分 类等处理不但处理困难，而且由于大量冗余信息的 收稿日期：2014-04-16.网络出版日期：2014-06-14 基金项目：国家自然科学基金资助项目(61170200) 存在和部分噪音波段或信噪比很低的波段数据的影 通信作者：李土进.E-mail:lishijin@hhu.cdu.cn 响还会降低分类或识别精度」。因此，在保证地物
第 ９ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．３ ２０１４ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０４００６ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｏｉ ／ １０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３４７８５．２０１４０４００６．ｈｔｍｌ 基于多分类器组合的高光谱图像波段选择方法 李士进，常纯，余宇峰，王亚明 （河海大学 计算机与信息学院，江苏 南京 ２１００９８） 摘 要：由于高光谱数据具有波段多，数据量大等特点，对其进行降维处理成为高光谱遥感研究的一个重要问题。 提出一种基于多分类器组合的高光谱波段选择方法，该方法通过遗传算法良好的寻优能力获得若干组较优初始波 段子集，在此基础上使用这些波段子集训练若干个基分类器，进而利用改进的基于相同错误差异性度量的分类器选 择方法选出部分较优分类器，实现波段选择的目的；最终通过局部精度分析的动态分类器选择实现多分类器组合决 策。 在公共测试数据集上的实验结果表明：与以往直接选择最优波段子集方法相比，提出的算法能够选择更多具有 鉴别能力的波段，明显提高了分类正确率。 关键词：高光谱遥感；模式分类；波段选择；多分类器组合；错误多样性度量 中图分类号： ＴＰ１８ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０３⁃０３７２⁃０７ 中文引用格式：李士进，常纯，余宇峰，等． 基于多分类器组合的高光谱图像波段选择方法［Ｊ］． 智能系统学报， ２０１４， ９（３）： ３７２⁃３７８． 英文引用格式：ＬＩ Ｓｈｉｊｉｎ， ＣＨＡＮＧ Ｃｈｕｎ， ＹＵ Ｙｕｆｅｎｇ， ｅｔ ａｌ． Ｍｕｌｔｉ－ｃｌａｓｓｉｆｉｅｒ ｃｏｍｂｉｎａｔｉｏｎ⁃ｂａｓｅｄ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｂａｎｄ ｓｅｌｅｃｔｉｏｎ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（３）： ３７２⁃３７８． Ｍｕｌｔｉ⁃ｃｌａｓｓｉｆｉｅｒ ｃｏｍｂｉｎａｔｉｏｎ⁃ｂａｓｅｄ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｂａｎｄ ｓｅｌｅｃｔｉｏｎ ＬＩ Ｓｈｉｊｉｎ， ＣＨＡＮＧ Ｃｈｕｎ， ＹＵ Ｙｕｆｅｎｇ， ＷＡＮＧ Ｙａｍｉｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ， Ｈｏｈａｉ Ｕｎｉｖｅｒｓｉｔｙ， Ｎａｎｊｉｎｇ ２１００９８， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｄｕｅ ｔｏ ｔｈｅ ｍｕｌｔｉ⁃ｗａｖｅｂａｎｄ ａｎｄ ｍａｓｓｉｖｅ ｄａｔａ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｄａｔａ， ｄｉｍｅｎｓｉｏｎ ｒｅｄｕｃｔｉｏｎ ｉｓ ｂｅｃｏｍｉｎｇ ａ ｄｉｓｔｉｎｃｔ ｐｒｏｂｌｅｍ ｉｎ ｒｅｇａｒｄｓ ｔｏ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｒｅｓｅａｒｃｈ． Ａ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｂａｎｄ ｓｅｌｅｃｔｉｏｎ ａｌ⁃ ｇｏｒｉｔｈｍ ｈａｓ ｂｅｅｎ ｐｒｏｐｏｓｅｄ ｂａｓｅｄ ｏｎ ａ ｍｕｌｔｉ⁃ｃｌａｓｓｉｆｉｅｒ ｃｏｍｂｉｎａｔｉｏｎ． Ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｏｂｔａｉｎｓ ｓｅｖｅｒａｌ ｇｒｏｕｐｓ ｏｆ ｓｕｂ⁃ｏｐ⁃ ｔｉｍａｌ ｉｎｉｔｉａｌ ｗａｖｅｂａｎｄ ｓｕｂｓｅｔｓ ｔｈｒｏｕｇｈ ａ ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ， ｗｈｉｃｈ ｈａｓ ｂｅｔｔｅｒ ｏｐｔｉｍｉｚｉｎｇ ａｂｉｌｉｔｙ ａｎｄ ｏｎ ｔｈｉｓ ｂａｓｉｓ ｔｒａｉｎｓ ｓｅｖｅｒａｌ ｂａｓｅ ｃｌａｓｓｉｆｉｅｒｓ ｗｉｔｈ ｔｈｅｓｅ ｗａｖｅｂａｎｄ ｓｕｂｓｅｔｓ， ａｎｄ ｆｕｒｔｈｅｒ ｓｅｌｅｃｔｓ ｓｅｖｅｒａｌ ｍｅｍｂｅｒ ｃｌａｓｓｉｆｉｅｒｓ ｆｒｏｍ ｔｈｅ ｉｎｉｔｉａｌ ｃｌａｓｓｉｆｉｅｒ ｐｏｏｌ ｂｙ ｕｓｉｎｇ ａｎ ｉｍｐｒｏｖｅｄ ｃｌａｓｓｉｆｉｅｒ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｔｈａｔ ｉｓ ｂａｓｅｄ ｏｎ ｓａｍｅ⁃ｆａｕｌｔ ｍｅａｓｕｒｅｓ， ｒｅａｌｉ⁃ ｚｉｎｇ ｔｈｅ ｐｕｒｐｏｓｅ ｏｆ ｔｈｅ ｗａｖｅ ｂａｎｄ ｓｅｌｅｃｔｉｏｎ． Ａｎｄ ｆｉｎａｌｌｙ， ｔｈｅ ｍｕｌｔｉ⁃ｃｌａｓｓｉｆｉｅｒ ｃｏｍｂｉｎａｔｉｏｎ ｄｅｃｉｓｉｏｎ ｉｓ ｍａｄｅ ｔｈｒｏｕｇｈ ｄｙｎａｍｉｃ ｃｌａｓｓｉｆｉｅｒ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ａｎａｌｙｓｉｓ ｏｆ ｌｏｃａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ （ＤＣＳ⁃ＬＡ）． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅ⁃ ｓｕｌｔｓ ｒｅｇａｒｄｉｎｇ ｔｈｅ Ｉｎｄｉａｎ Ｐｉｎｅ ｂｅｎｃｈｍａｒｋ ｄａｔａ ｓｅｔ ｓｈｏｗ ｔｈａｔ ｔｈｉｓ ｎｅｗ ｍｅｔｈｏｄ ｃａｎ ｓｅｌｅｃｔ ｔｈｅｓｅ ｂａｎｄｓ ｗｉｔｈ ｍｏｒｅ ｄｉｓ⁃ ｃｒｉｍｉｎａｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｏｂｖｉｏｕｓｌｙ ｉｍｐｒｏｖｅ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｒｏｃｅｓｓ． Ｋｅｙｗｏｒｄｓ：ｈｙｐｅｒｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ； ｐａｔｔｅｒｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ； ｂａｎｄ ｓｅｌｅｃｔｉｏｎ； ｍｕｌｔｉｐｌｅ ｃｌａｓｓｉｆｉｅｒｓ ｃｏｍｂｉｎａｔｉｏｎ； ｅｒｒｏｒ ｄｉｖｅｒｓｉｔｙ； ｄｉｍｅｎｓｉｏｎ ｒｅｄｕｃｔｉｏｎ 收稿日期：２０１４⁃０４⁃１６． 网络出版日期：２０１４⁃０６⁃１４． 基金项目：国家自然科学基金资助项目（６１１７０２００ ）． 通信作者：李士进．Ｅ⁃ｍａｉｌ：ｌｉｓｈｉｊｉｎ＠ ｈｈｕ．ｅｄｕ．ｃｎ． 随着遥感技术和成像光谱仪的发展， 高光谱图 像的分辨率不断提高，应用需求越来越广泛，但其波 段数多、数据量庞大等特点给高光谱图像的分类、识 别等带来了很大的困难。 利用全部波段数据进行分 类等处理不但处理困难，而且由于大量冗余信息的 存在和部分噪音波段或信噪比很低的波段数据的影 响还会降低分类或识别精度［ １ ］ 。 因此，在保证地物
第3期 李士进，等：基于多分类器组合的高光谱图像波段选择方法 ·373· 识别率的情况下，进一步挖掘发现具有鉴别信息的 表，然后用蚁群算法以较高的求精解能力获得最优 波段，减少数据量、节省计算资源的降维处理非常必 波段组合。Li等2]将时间序列模式匹配的思想运 要。特征提取和特征选择是高光谱图像的2种主要 用到高光谱波段选择中，先通过提取光谱曲线中重 降维方法。由于高光谱图像的每一个波段都对应着 要点作为候选波段集，然后再利用分支定界法搜索 一幅相应波段的图像，通过线性或非线性变换，将 最优波段子集。 高维特征空间映射到低维空间的特征提取的方法会 虽然目前高光谱波段选择的方法很多，但由于 使提取出来的特征失去原有的物理意义，所以特征 原始波段数目一般高达数百个，以往基于搜索算法 提取的方法并不适用于高光谱图像的降维。而波段 的波段选择方法往往只保留一组最佳波段组合，而 选择是从高光谱图像所有波段中选择最具鉴别力的 其余未选中的波段则被抛弃。这对于最后的分类任 波段子集，既能大大降低高光谱图像的数据维数，又 务意味着较多的鉴别信息损失，因而波段选择后的 能比较完整地保留分类鉴别信息，是目前高光谱降 分类正确率还有较大提升空间。 维处理的主流方法[2,3川) 本文从提高图像分类正确率角度出发，提出一 针对高光谱波段选择问题，研究人员提出了各 种新的波段选择方法，将多分类器组合的思想运用 种方法。Serpico等提出了一种局部极值约束的离 于高光谱波段选择中。本文重新定义的高光谱波段 散二进制空间搜索方法用于高光谱波段选择)。 选择问题为：给定待选择的最大波段数目N,如何选 后来，Serpico等继续开展了研究2]，提出了针对分 择k组波段子集，使组合后的分类正确率更高，每组 类正确率最优化的连续波段选择方法，他们把若干 波段子集的波段数为，这k组波段子集中包含的不 相邻波段进行平均，提出了s-bands的概念。该方法 同波段总数不超过N。以往的波段选择研究都是从 取得了较高的分类正确率，但这是一种特征提取和 选择一组最优波段子集角度出发，最大化该组被选 波段选择的混合算法，涉及的波段数远大于一般方 中波段的分类正确率。本文则基于初步选择出的多 法所选择的波段。Bazi等提出了基于遗传算法和支 个不同较优波段子集，构成多个特征子空间进行多 持向量机的高光谱波段选择方法[]，在搜索最佳鉴 分类器组合，从分类器互补性及多样性角度重新选 别波段过程中，同时对SVM参数进行了优化。Soto- 择出满足最大波段数约束的最佳波段组合，进一步 ca等提出了基于确定性去火的随机搜索方法用于 提高分类正确率。 波段选择)，在搜索过程中，他们尽可能地考虑了 具体地，首先多次采用基于遗传算法的波段选 波段之间的无关性。Gu0等[发现特征选择时只保 择算法获得若干组相对较优的波段子集，再基于这 留与类别信息最相关的波段存在一定的问题，特别 些波段子集分别训练支持向量机得到若干个基分类 是特征之间相关性较大时更加严重。他们提出了一 器，然后通过多分类器组合方法对这些基分类器进 种快速的贪心优化策略进行波段选择，但从最终的 行组合。在组合之前，根据最大波段数目约束条件 分类结果看不是很理想。戴宏亮与戴道清)提出 进行了多分类器选择，从而实现最后的波段选择。 了智能遗传算法同时优化全间隔自适应模糊支持向 具体采用基于差异性度量的带有波段数目约束的分 量机参数集和波段选择中的大量参数，构成一种智 类器选择算法选出部分较优分类器组合，得到一组 能分类器，进行高光谱遥感图像分类。吴昊等⑧]将 互补性及错误多样性较好的分类器。最后采用基于 分组的概念引入波段选择中，利用条件互信息将波 局部分类精度的动态分类器选择组合方法，根据每 段分成若干组，再使用支持向量机和遗传算法相结 个分类器对测试样本邻域中若干训练样本的分类正 合的搜索算法(GA-SVM)搜索出相对最优的波段组 确率从多个分类器中选出最优的一个分类器作为决 合。Yang等提出了最小估计丰度协方差(MEAC) 策判断分类器，获得最终分类结果。 的波段选择方法[)，在选择过程中估计候选波段与 本文提出的波段选择方法有两轮搜索选择过 已经选择波段的丰度协方差矩阵的迹。葛亮等为使 程，第1轮采用常规搜索方法获得多个较优波段子 无监督的波段选择能够更好地保留高光谱图像的鉴 集，在第2轮则采用多分类器组合思想，选择若干具 别信息，提出一种基于波段聚类的高光谱图像波段 有较强互补性与多样性的波段子集，使更多的具有 选择方法[0。王立国与魏芳洁提出一种结合遗传 鉴别力的波段能在第2轮组合选择中获得被选中的 算法和蚁群算法的高光谱图像波段选择方法山。 机会。较之传统一次（最优）选择方法，本文方法在 该算法首先利用遗传算法以较快的寻优能力获得几 有效地规避了高光谱数据高维特征问题的同时，保 组较优解，以此来初始化蚁群算法的初始信息素列 留了更多的鉴别信息，明显提高了分类精度
识别率的情况下，进一步挖掘发现具有鉴别信息的 波段，减少数据量、节省计算资源的降维处理非常必 要。 特征提取和特征选择是高光谱图像的 ２ 种主要 降维方法。 由于高光谱图像的每一个波段都对应着 一幅相应波段的图像， 通过线性或非线性变换， 将 高维特征空间映射到低维空间的特征提取的方法会 使提取出来的特征失去原有的物理意义， 所以特征 提取的方法并不适用于高光谱图像的降维。 而波段 选择是从高光谱图像所有波段中选择最具鉴别力的 波段子集，既能大大降低高光谱图像的数据维数，又 能比较完整地保留分类鉴别信息，是目前高光谱降 维处理的主流方法［２，３⁃１１］ 。 针对高光谱波段选择问题，研究人员提出了各 种方法。 Ｓｅｒｐｉｃｏ 等提出了一种局部极值约束的离 散二进制空间搜索方法用于高光谱波段选择［２］ 。 后来，Ｓｅｒｐｉｃｏ 等继续开展了研究［ １２ ］ ，提出了针对分 类正确率最优化的连续波段选择方法，他们把若干 相邻波段进行平均，提出了 ｓ⁃ｂａｎｄｓ 的概念。 该方法 取得了较高的分类正确率，但这是一种特征提取和 波段选择的混合算法，涉及的波段数远大于一般方 法所选择的波段。 Ｂａｚｉ 等提出了基于遗传算法和支 持向量机的高光谱波段选择方法［４］ ，在搜索最佳鉴 别波段过程中，同时对 ＳＶＭ 参数进行了优化。 Ｓｏｔｏ⁃ ｃａ 等提出了基于确定性去火的随机搜索方法用于 波段选择［５］ ，在搜索过程中，他们尽可能地考虑了 波段之间的无关性。 Ｇｕｏ 等［６］发现特征选择时只保 留与类别信息最相关的波段存在一定的问题，特别 是特征之间相关性较大时更加严重。 他们提出了一 种快速的贪心优化策略进行波段选择，但从最终的 分类结果看不是很理想。 戴宏亮与戴道清［７］ 提出 了智能遗传算法同时优化全间隔自适应模糊支持向 量机参数集和波段选择中的大量参数，构成一种智 能分类器，进行高光谱遥感图像分类。 吴昊等［８］ 将 分组的概念引入波段选择中，利用条件互信息将波 段分成若干组，再使用支持向量机和遗传算法相结 合的搜索算法（ＧＡ⁃ＳＶＭ）搜索出相对最优的波段组 合。 Ｙａｎｇ 等提出了最小估计丰度协方差（ＭＥＡＣ） 的波段选择方法［９］ ，在选择过程中估计候选波段与 已经选择波段的丰度协方差矩阵的迹。 葛亮等为使 无监督的波段选择能够更好地保留高光谱图像的鉴 别信息，提出一种基于波段聚类的高光谱图像波段 选择方法［１０］ 。 王立国与魏芳洁提出一种结合遗传 算法和蚁群算法的高光谱图像波段选择方法［１１］ 。 该算法首先利用遗传算法以较快的寻优能力获得几 组较优解，以此来初始化蚁群算法的初始信息素列 表，然后用蚁群算法以较高的求精解能力获得最优 波段组合。 Ｌｉ 等［ １２ ］将时间序列模式匹配的思想运 用到高光谱波段选择中，先通过提取光谱曲线中重 要点作为候选波段集，然后再利用分支定界法搜索 最优波段子集。 虽然目前高光谱波段选择的方法很多，但由于 原始波段数目一般高达数百个，以往基于搜索算法 的波段选择方法往往只保留一组最佳波段组合，而 其余未选中的波段则被抛弃。 这对于最后的分类任 务意味着较多的鉴别信息损失，因而波段选择后的 分类正确率还有较大提升空间。 本文从提高图像分类正确率角度出发，提出一 种新的波段选择方法，将多分类器组合的思想运用 于高光谱波段选择中。 本文重新定义的高光谱波段 选择问题为：给定待选择的最大波段数目 Ｎ，如何选 择 ｋ 组波段子集，使组合后的分类正确率更高，每组 波段子集的波段数为 ｎ，这 ｋ 组波段子集中包含的不 同波段总数不超过 Ｎ。 以往的波段选择研究都是从 选择一组最优波段子集角度出发，最大化该组被选 中波段的分类正确率。 本文则基于初步选择出的多 个不同较优波段子集，构成多个特征子空间进行多 分类器组合，从分类器互补性及多样性角度重新选 择出满足最大波段数约束的最佳波段组合，进一步 提高分类正确率。 具体地，首先多次采用基于遗传算法的波段选 择算法获得若干组相对较优的波段子集，再基于这 些波段子集分别训练支持向量机得到若干个基分类 器，然后通过多分类器组合方法对这些基分类器进 行组合。 在组合之前，根据最大波段数目约束条件 进行了多分类器选择，从而实现最后的波段选择。 具体采用基于差异性度量的带有波段数目约束的分 类器选择算法选出部分较优分类器组合，得到一组 互补性及错误多样性较好的分类器。 最后采用基于 局部分类精度的动态分类器选择组合方法，根据每 个分类器对测试样本邻域中若干训练样本的分类正 确率从多个分类器中选出最优的一个分类器作为决 策判断分类器，获得最终分类结果。 本文提出的波段选择方法有两轮搜索选择过 程，第 １ 轮采用常规搜索方法获得多个较优波段子 集，在第 ２ 轮则采用多分类器组合思想，选择若干具 有较强互补性与多样性的波段子集，使更多的具有 鉴别力的波段能在第 ２ 轮组合选择中获得被选中的 机会。 较之传统一次（最优）选择方法，本文方法在 有效地规避了高光谱数据高维特征问题的同时，保 留了更多的鉴别信息，明显提高了分类精度。 第 ３ 期 李士进，等：基于多分类器组合的高光谱图像波段选择方法 ·３７３·
·374. 智能系统学报 第9卷 1 多分类器组合方法 得到聚类中心V,V2,…,Vx; 对于该算法，如何选择一个合适的K值是很重 波段选择优劣的评判标准除了选择的波段数 要的问题，本文实验对参数K做了大范围的搜索， 外，往往是通过最终的分类正确率来衡量，针对高光 详见实验分析。 谱数据波段间相关性高的特点，本文将多分类器组 1.4局部精度估计的动态分类器选择(DCS-LA) 合的思想引入高光谱波段选择中。多分类器组合是 DCS-LA方法16的主要特点是对于待分类样本 根据各个分类器的整体性能将每个分类器的输出按 X·,从已有的基分类器C,C2,…,C中动态挑选合 某种方式“组合”到一起，并达到“共识”[]。同时， 适的一个或多个对其进行分类，或者样本所在邻域 多分类器系统的性能很大程度上取决于成员分类器 内最优的分类器来对其进行分类，它是一种特殊的 的差异性，为了选出具有较强错误差异性的分类器 分类器集成方法，其主要步骤为： 组合，本文研究了聚类选择法以及基于局部分类精 1)如果所有的分类器C:返回X·相同的类别ω， 度的动态分类器选择两种组合方法。另外，多分类 则该测试样本被赋予类别ω，算法结束，否则转2)； 器组合方法可以根据单个分类器输出类型分为抽象 2)计算每个基分类器的局部分类精度L4(X), 级、排序级和度量级3类，本文选择基于抽象级的几广=1,2，…，N,k为X·邻域内训练样本数： 种分类器组合方法，如多数投票法、行为知识空间法 3)确定局部分类精度最高的基分类器C:,使 对基于不同特征子空间训练的分类器进行组合。 LA.z(X)=max,(LA.k(X)),并将C的输出作为 L.1多数投票法(majority voting) X·的类别，算法结束。 投票法是最常用的抽象级分类器组合方法，其 从以上步骤可以看出DCS-LA的分类正确率主 遵循的原则是“少数服从多数”。多数投票规则3] 要取决于局部分类精度估计，本文采用基于先验知 将最多数分类器一致分类的类别作为待分类样本的 识的局部精度。该方法将局部分类精度 类别。当出现多个类别获得的投票数目相同时，一 L4.(X·)定义为X·的局部邻域R(X·)内被正 般随机选择其中一个类别作为最终的结果。此外， 确分类的训练样本比例。假设R(X·)内有k个训 考虑到不同分类器的分类正确率，也可以对各个结 练样本，其中有k,个样本被C:正确分类，则分类器 果按照分类器不同表现设置不同的权重，进行加权 C:对X·的局部分类精度为 投票。 l.2行为知识空间法(behavior--knowledge space, 4(X)=E (1) BKS) 由于在选择分类器时没有考虑分类器C:对测试样 很多分类器组合方法都需要假设分类器之间相 本X·的分类结果，所以一般称之为先验局部精度 互独立。在无法满足该假设的情况下，可以考虑从 估计。 知识空间获得信息，它能同步记录所有分类器对每 个训练样本的决策。由于知识空间记录了所有分类 2多分类器组合的高光谱波段选择方法 器的行为，所以也被称为“行为知识空间”，简称 传统的波段选择需要在整个原始波段空间进行 BKS14]。使用该方法时，训练集中的样本被划分成 搜索，本文针对高光谱图像波段多且相关性高等特 不同的模式，这些模式是根据所有分量分类器分类 点，提出将多分类器组合的思想运用于高光谱波段 结果的不同组合来定义的。当一个未知样本需要进 选择中，通过遗传算法搜索得到K组较优波段组 行分类时，所有分量分类器对分类结果的组合都是 合，使用这K组波段组合分别训练K个基分类器， 已知的，由此确定对应的模式。然后根据该模式中 然后从这K个分类器中选出部分差异性较大的分 的样本实际类别，把未知样本归入出现次数最多的 类器进行组合，实现波段选择的目标。最后分类测 类别。 试时采用基于局部分类精度的动态分类器选择方法 l.3聚类-选择法(clustering-selection) (DCS_LA)得到最后的分类结果。 聚类-选择算法训练过程如下： 上述过程中，存在两次多分类器组合过程。在 1)利用训练数据集Z训练L个基分类器C, 第1次分类器选择时，采用基于错误多样性度量的 C2,…,C,初始化聚类数K; 带波段数目约束的多分类器选择方法。在多分类器 2)通过K-均值方法将Z聚成K类（不考虑样 组合研究中，研究人员[.8]已经发现从基分类器中 本集的真实类别)，通过计算每个簇中的样本均值 去除一些作用不大和性能不好的分类器，剩下的少
１ 多分类器组合方法 波段选择优劣的评判标准除了选择的波段数 外，往往是通过最终的分类正确率来衡量，针对高光 谱数据波段间相关性高的特点，本文将多分类器组 合的思想引入高光谱波段选择中。 多分类器组合是 根据各个分类器的整体性能将每个分类器的输出按 某种方式“组合”到一起，并达到“共识” ［ １３ ］ 。 同时， 多分类器系统的性能很大程度上取决于成员分类器 的差异性，为了选出具有较强错误差异性的分类器 组合，本文研究了聚类选择法以及基于局部分类精 度的动态分类器选择两种组合方法。 另外，多分类 器组合方法可以根据单个分类器输出类型分为抽象 级、排序级和度量级 ３ 类，本文选择基于抽象级的几 种分类器组合方法，如多数投票法、行为知识空间法 对基于不同特征子空间训练的分类器进行组合。 １．１ 多数投票法（ｍａｊｏｒｉｔｙ ｖｏｔｉｎｇ） 投票法是最常用的抽象级分类器组合方法，其 遵循的原则是“少数服从多数”。 多数投票规则［１３ ］ 将最多数分类器一致分类的类别作为待分类样本的 类别。 当出现多个类别获得的投票数目相同时，一 般随机选择其中一个类别作为最终的结果。 此外， 考虑到不同分类器的分类正确率，也可以对各个结 果按照分类器不同表现设置不同的权重，进行加权 投票。 １．２ 行为知识空间法（ ｂｅｈａｖｉｏｒ⁃ｋｎｏｗｌｅｄｇｅ ｓｐａｃｅ， ＢＫＳ） 很多分类器组合方法都需要假设分类器之间相 互独立。 在无法满足该假设的情况下，可以考虑从 知识空间获得信息，它能同步记录所有分类器对每 个训练样本的决策。 由于知识空间记录了所有分类 器的行为，所以也被称为“ 行为知识空间”，简称 ＢＫＳ ［１ ４ ］ 。 使用该方法时，训练集中的样本被划分成 不同的模式，这些模式是根据所有分量分类器分类 结果的不同组合来定义的。 当一个未知样本需要进 行分类时，所有分量分类器对分类结果的组合都是 已知的，由此确定对应的模式。 然后根据该模式中 的样本实际类别，把未知样本归入出现次数最多的 类别。 １．３ 聚类－选择法（ｃｌｕｓｔｅｒｉｎｇ⁃ｓｅｌｅｃｔｉｏｎ） 聚类－选择算法训练过程如下： １）利用训练数据集 Ｚ 训练 Ｌ 个基分类器 Ｃ１ ， Ｃ２ ，…，ＣＬ ，初始化聚类数 Ｋ ； ２）通过 Ｋ ⁃均值方法将 Ｚ 聚成 Ｋ 类（不考虑样 本集的真实类别），通过计算每个簇中的样本均值 得到聚类中心 Ｖ１ ，Ｖ２ ，…，ＶＫ ； 对于该算法，如何选择一个合适的 Ｋ 值是很重 要的问题，本文实验对参数 Ｋ 做了大范围的搜索， 详见实验分析。 １．４ 局部精度估计的动态分类器选择（ＤＣＳ⁃ＬＡ） ＤＣＳ⁃ＬＡ 方法［１６］的主要特点是对于待分类样本 Ｘ ∗ ，从已有的基分类器 Ｃ１ ，Ｃ２ ，…，ＣＬ 中动态挑选合 适的一个或多个对其进行分类，或者样本所在邻域 内最优的分类器来对其进行分类，它是一种特殊的 分类器集成方法，其主要步骤为： １）如果所有的分类器 Ｃｊ 返回 Ｘ ∗ 相同的类别 ω， 则该测试样本被赋予类别 ω ，算法结束，否则转 ２）； ２）计算每个基分类器的局部分类精度 ＬＡｊ，ｋ Ｘ ∗ ( ) ， ｊ ＝ １，２，…，Ｎ ， ｋ 为 Ｘ ∗ 邻域内训练样本数； ３）确定局部分类精度最高的基分类器 Ｃｊ ，使 ＬＡｊ，ｋ Ｘ ∗ ( ) ＝ ｍａｘｉ (ＬＡｉ，ｋ (Ｘ) ) ，并将 Ｃｊ 的输出作为 Ｘ ∗ 的类别，算法结束。 从以上步骤可以看出 ＤＣＳ⁃ＬＡ 的分类正确率主 要取决于局部分类精度估计，本文采用基于先验知 识 的 局 部 精 度。 该 方 法 将 局 部 分 类 精 度 ＬＡｊ，ｋ Ｘ ∗ ( ) 定义为 Ｘ ∗ 的局部邻域 Ｒｋ Ｘ ∗ ( ) 内被正 确分类的训练样本比例。 假设 Ｒｋ Ｘ ∗ ( ) 内有 ｋ 个训 练样本，其中有 ｋＴ 个样本被 Ｃｊ 正确分类，则分类器 Ｃｊ 对 Ｘ ∗ 的局部分类精度为 ＬＡｊ，ｋ Ｘ ∗ ( ) ＝ ｋＴ ｋ （１） 由于在选择分类器时没有考虑分类器 Ｃｊ 对测试样 本 Ｘ ∗ 的分类结果，所以一般称之为先验局部精度 估计。 ２ 多分类器组合的高光谱波段选择方法 传统的波段选择需要在整个原始波段空间进行 搜索，本文针对高光谱图像波段多且相关性高等特 点，提出将多分类器组合的思想运用于高光谱波段 选择中，通过遗传算法搜索得到 Ｋ 组较优波段组 合，使用这 Ｋ 组波段组合分别训练 Ｋ 个基分类器， 然后从这 Ｋ 个分类器中选出部分差异性较大的分 类器进行组合，实现波段选择的目标。 最后分类测 试时采用基于局部分类精度的动态分类器选择方法 （ＤＣＳ＿ＬＡ）得到最后的分类结果。 上述过程中，存在两次多分类器组合过程。 在 第 １ 次分类器选择时，采用基于错误多样性度量的 带波段数目约束的多分类器选择方法。 在多分类器 组合研究中，研究人员［ １７⁃ １８ ］已经发现从基分类器中 去除一些作用不大和性能不好的分类器，剩下的少 ·３７４· 智 能 系 统 学 报 第 ９ 卷
第3期 李士进，等：基于多分类器组合的高光谱图像波段选择方法 ·375· 量分类器能够获得更好的预测效果。因此本文在高 5)挑选Score,最小的分类器，记为C,计算C 光谱波段选择多分类器组合过程中，也进行了分类 和S中各分类器对应波段的并集S,如果S的波 器选择。由于本文的目的是通过多分类器组合实现 段总数1SI<=total,则将C,加入S,S=SU{C}, 波段选择，因此希望选择的分类器数目较少，这样最 从U中减去C,U=U八{C},转(2)，否则转6) 终的波段总数才能更加符合用户要求。 6)算法结束，返回S。 以往的多分类器选择研究中，主要考虑分类器 在对测试样本进行分类时，由于前面选择得到 之间的互补性和多样性，特别是错误多样性(emor 了若干分类器，可以采用多分类器组合的方法确定 diversity,亦称为差异性)。Aksela和Laaksonen] 其最终类别。通过比较分析各种常见分类器组合方 分析比较了各种错误多样性指标，发现同误多样性 法（具体见实验部分），最终采用基于局部分类精度 指标(same-fault measure)具有不俗的表现。该指标 的动态分类器选择(DCS-LA)方法进行组合。根据 考虑2个分类器如果犯相同错误的概率较小，则组 文献[16]中的基于局部分类精度估计的方法，对于 合后获得正确分类结果的可能性更大。由于高光谱 每个测试样本，利用1.4节中基于先验知识的局部 波段选择多分类器组合过程中不但需要获得更高的 精度估计方法计算S中各分类器在该样本邻域的局 分类正确率，而且希望组合后参与分类的波段总数 部精度(local accuracy,LA),选出LA最高的分类器 尽可能少，因此在最小化相同错误概率的同时，还要 作为其最终的决策分类器。分类过程如下。 最大化同时正确的概率。因此，提出如下错误多样 算法2基于局部分类精度的动态分类器选择 性指标： 的分类算法 0×N9 SFi=- Ni (2) 输人：训练集Train={xy:},测试样本x,图 2中算法1选择得到的分类器集合S 式中：W"表示2个分类器C:、C错误分类结果是 输出：测试样本x的类标签y 相同的样本数，N1表示2个分类器C:、C分类结 1)针对测试样本x,基于不同特征空间（对应 果都正确的样本数。该指标越小，表明2个分类器 组合分类器S中不同的成员分类器)寻找它的k个 犯同样错误的次数较少，它们之间的多样性越好。 最近邻训练样本点，通过每一个分类器对k个最近 在选择分类器过程中，分别考察候选分类器与 邻样本点进行分类： 各个已经选择分类器之间的错误多样性，选择与已 2)选择出S中局部分类精度最高的分类器C, 经选择分类器错误多样性指标之和最小的分类器。 作为该样本的最终分类器： 算法1带波段数目约束的多分类器选择算法 3)利用C:对x进行分类，得到的类别标签y即 输入：给定选择波段总数上限total,K组波段数 为最终分类结果。 目为n的分类器集合U={C,C2,,Cx}。 3实验结果与分析 输出：分类器集合S。 1)初始化S为空集： 本文采用的高光谱图像测试数据集为Indian 2)根据每个分类器在训练集上的分类精度选 Pine数据集)。原始Indian Pine数据集包含220 取分类精度最高的第一个分类器，记为C:,将C,加 个连续的波段，其中18个波段由于受大气影响而被 入S,S=SU{C},同时从U中减去C:,U= 丢弃，因此剩下202个有效波段。该图像数据包含 U叭{C:}; 玉米区、树林、黄豆以及牧场等9种类别的样本，测 3)根据式(2)计算U中每个分类器C和S中 试样本与训练样本不是随机分配，而是对每类分别 已经选取的各个分类器C,的多样性SF,； 定义空间不相交的测试区与训练区，以尽可能减少 4)对于U中每个分类器C。,P=1,2,…, 它们的相关性，最终实验数据包括训练样本5012 U川，IU为集合U中分类器数目，计算其与S中已 个，测试样本3728个[3]。 经选取的各个分类器的错误多样性之和： 3.1对比实验1 Score,,=∑SF4 为了比较出对高光谱数据波段选择具有最优效 果的多分类器组合方法，本文实现了四组多分类器 g=1 式中：SF,为分类器C,、C,之间的错误多样性度 组合方法，分别是多数投票法、行为知识空间法、K 量值，C,为S中已经被选取的各个分类器，|S表 均值聚类选择法以及基于局部分类精度估计的动态 示已选分类器集合中分类器数目： 分类器选择法。在进行多分类器组合之前，首先通
量分类器能够获得更好的预测效果。 因此本文在高 光谱波段选择多分类器组合过程中，也进行了分类 器选择。 由于本文的目的是通过多分类器组合实现 波段选择，因此希望选择的分类器数目较少，这样最 终的波段总数才能更加符合用户要求。 以往的多分类器选择研究中，主要考虑分类器 之间的互补性和多样性，特别是错误多样性（ ｅｒｒｏｒ ｄｉｖｅｒｓｉｔｙ，亦称为差异性）。 Ａｋｓｅｌａ 和 Ｌａａｋｓｏｎｅｎ ［ １９ ］ 分析比较了各种错误多样性指标，发现同误多样性 指标（ｓａｍｅ⁃ｆａｕｌｔ ｍｅａｓｕｒｅ）具有不俗的表现。 该指标 考虑 ２ 个分类器如果犯相同错误的概率较小，则组 合后获得正确分类结果的可能性更大。 由于高光谱 波段选择多分类器组合过程中不但需要获得更高的 分类正确率，而且希望组合后参与分类的波段总数 尽可能少，因此在最小化相同错误概率的同时，还要 最大化同时正确的概率。 因此，提出如下错误多样 性指标： ＳＦｉ，ｊ ＝ Ｎ ００ ｓａｍｅ × Ｎ ００ ｓａｍｅ Ｎ １１ （２） 式中： Ｎ ００ ｓａｍｅ 表示 ２ 个分类器 Ｃｉ 、 Ｃｊ 错误分类结果是 相同的样本数， Ｎ １１ 表示 ２ 个分类器 Ｃｉ 、 Ｃｊ 分类结 果都正确的样本数。 该指标越小，表明 ２ 个分类器 犯同样错误的次数较少，它们之间的多样性越好。 在选择分类器过程中，分别考察候选分类器与 各个已经选择分类器之间的错误多样性，选择与已 经选择分类器错误多样性指标之和最小的分类器。 算法 １ 带波段数目约束的多分类器选择算法 输入：给定选择波段总数上限 ｔｏｔａｌ， Ｋ 组波段数 目为 ｎ 的分类器集合 Ｕ ＝ Ｃ１ ，Ｃ２ ，．．．，ＣＫ { } 。 输出：分类器集合 Ｓ 。 １）初始化 Ｓ 为空集； ２） 根据每个分类器在训练集上的分类精度选 取分类精度最高的第一个分类器，记为 Ｃｉ ， 将 Ｃｉ 加 入 Ｓ ， Ｓ ＝ Ｓ ∪ Ｃｉ { } ，同时从 Ｕ 中减去 Ｃｉ ， Ｕ ＝ Ｕ＼ Ｃｉ { } ； ３）根据式（２）计算 Ｕ 中每个分类器 Ｃｐ 和 Ｓ 中 已经选取的各个分类器 Ｃｑ 的多样性 ＳＦｐ，ｑ ； ４）对于 Ｕ 中每个分类器 Ｃｐ ， Ｐ ＝ １，２，… ， Ｕ ， Ｕ 为集合 Ｕ 中分类器数目，计算其与 Ｓ 中已 经选取的各个分类器的错误多样性之和： Ｓｃｏｒｅｐ ＝ ∑ ｜ Ｓ｜ ｑ ＝ １ ＳＦｐ，ｑ 式中： ＳＦｐ，ｑ 为分类器 Ｃｐ 、 Ｃｑ 之间的错误多样性度 量值， Ｃｑ 为 Ｓ 中已经被选取的各个分类器， Ｓ 表 示已选分类器集合中分类器数目； ５） 挑选 Ｓｃｏｒｅｐ 最小的分类器， 记为 Ｃｊ ， 计算 Ｃｊ 和 Ｓ 中各分类器对应波段的并集 Ｓａｌｌ ，如果 Ｓａｌｌ 的波 段总数｜ Ｓａｌｌ ｜ ＜＝ｔｏｔａｌ，则将 Ｃｊ 加入 Ｓ ， Ｓ ＝ Ｓ ∪ Ｃｊ { } ， 从 Ｕ 中减去 Ｃｊ ， Ｕ ＝ Ｕ＼ Ｃｊ { } ，转（２），否则转 ６） ６）算法结束，返回 Ｓ。 在对测试样本进行分类时，由于前面选择得到 了若干分类器，可以采用多分类器组合的方法确定 其最终类别。 通过比较分析各种常见分类器组合方 法（具体见实验部分），最终采用基于局部分类精度 的动态分类器选择（ＤＣＳ⁃ＬＡ）方法进行组合。 根据 文献［１６］中的基于局部分类精度估计的方法，对于 每个测试样本，利用 １．４ 节中基于先验知识的局部 精度估计方法计算 Ｓ 中各分类器在该样本邻域的局 部精度（ｌｏｃａｌ ａｃｃｕｒａｃｙ， ＬＡ），选出 ＬＡ 最高的分类器 作为其最终的决策分类器。 分类过程如下。 算法 ２ 基于局部分类精度的动态分类器选择 的分类算法 输入：训练集 Ｔｒａｉｎ ＝ ｘｉ，ｙｉ { } Ｎ ｉ ＝ １ ，测试样本ｘ， 图 ２ 中算法 １ 选择得到的分类器集合 Ｓ 输出：测试样本 ｘ 的类标签 ｙ １）针对测试样本 ｘ ，基于不同特征空间（对应 组合分类器 Ｓ 中不同的成员分类器）寻找它的 ｋ 个 最近邻训练样本点，通过每一个分类器对 ｋ 个最近 邻样本点进行分类； ２）选择出 Ｓ 中局部分类精度最高的分类器 Ｃｊ ， 作为该样本的最终分类器； ３）利用 Ｃｊ 对 ｘ 进行分类，得到的类别标签 ｙ 即 为最终分类结果。 ３ 实验结果与分析 本文采用的高光谱图像测试数据集为 Ｉｎｄｉａｎ Ｐｉｎｅ 数据集［ １ ］ 。 原始 Ｉｎｄｉａｎ Ｐｉｎｅ 数据集包含 ２２０ 个连续的波段，其中 １８ 个波段由于受大气影响而被 丢弃，因此剩下 ２０２ 个有效波段。 该图像数据包含 玉米区、树林、黄豆以及牧场等 ９ 种类别的样本，测 试样本与训练样本不是随机分配，而是对每类分别 定义空间不相交的测试区与训练区，以尽可能减少 它们的相关性，最终实验数据包括训练样本 ５ ０１２ 个，测试样本 ３ ７２８ 个［３］ 。 ３．１ 对比实验 １ 为了比较出对高光谱数据波段选择具有最优效 果的多分类器组合方法，本文实现了四组多分类器 组合方法，分别是多数投票法、行为知识空间法、 Ｋ 均值聚类选择法以及基于局部分类精度估计的动态 分类器选择法。 在进行多分类器组合之前，首先通 第 ３ 期 李士进，等：基于多分类器组合的高光谱图像波段选择方法 ·３７５·
·376· 智能系统学报 第9卷 过文献[8]中方法，即利用条件互信息将202个有效 高光谱波段选择中，动态选择参与组合的分类器确 波段分成12组，再使用GA-SVM的方法搜索出相对 实比较有效，既减少了参与组合的分类器，也达到了 较优的波段子集，多次利用该方法获取10组波段子 波段选择的目的。 集后，将这些相对较优的波段子集训练成10个基分 表2基于不同波段数目约束的动态分类器选择的分类精度 类器(10组分类器含有波段总数为47，每个子集12 Table 2 The classification accuracy of dynamic classifier 个波段)，然后使用上述4种多分类器组合方法对 selection based on different numbers of bands 这10个基分类器进行组合。 最大波段数目 选择分类器数目分类正确率/% 表14种不同分类器组合方法的分类精度 12 1 85.38 Table 1 The classification accuracy based on classifiers 20 3 86.51 combination methods of four different 30 4 88.39 多分类器组合方法 分类正确率/% 40 > 88.47 Majority voting 86.45 50 10 88.71 BKS 85.7 Clustering-Selection 85.3 3.3对比实验3 DCS_LA 88.71 为了证明本文算法较之传统搜索算法的优点， 使用另外2种常用的全局波段空间搜索的高光谱波 表1给出了4种多分类器组合方法的分类精度 段选择方法与本文算法进行比较这两种方法分别是 比较。4组实验都选取所有10个基分类器，共47个 遗传算法的波段选择方法和文献[12]中的自适应 波段。从表1中可以看出，行为知识空间法，即BKS 分支定界法搜索的波段选择方法。在此，采用两种 方法比多数投票法效果稍差，这主要是因为对于高光 方法同样分别搜索12、20、30、40、50个波段进行最 谱数据具有“同谱异物”的特点，分类时测试样本输出 后的分类，由于遗传算法的随机性，对每一组波段分 模式与训练样本的输出模式匹配时，相同模式有很多 别搜索3次，取3次分类结果进行平均得到平均分 是同样被错误分类的，即相同错误的分类器的差异性 类精度，如表3。 不够明显，直接导致了分类结果趋向错误分类的那一 表3遗传算法、分支定界法以及本文算法的平均分类精度 部分。本文实验中采用的K-均值聚类对参数K做 Table 3 The average classification accuracy of GA,BB 了(10,500)范围的搜索，最后当K为200时，取得 and the proposed algorithm 85.3%最佳的效果。聚类选择方法作为无监督学习方 波段数目 遗传算法 分支定界法 本文算法 法，没有考虑训练样本的类别分布，所以在分类中很 12 83.43 83.88 84.41 难占有优势。显然，DCS-LA的分类精度最高，说明通 20 82.72 83.91 86.51 过该算法对多分类器进行组合比较有效。在分类器 30 83.47 85.20 88.39 选择过程中，还可以调整选择的分类器数目，即对应 选择的波段数目，详见对比实验2。 40 84.34 85.03 88.47 3.2对比实验2 50 83.52 84.50 88.71 为了进一步验证多分类器组合算法对波段选择 从表3可以看出，当波段数目分别为12、20 的有效性，本文进行了5组实验，分别选择不同波段 30、40、50时，本文算法在分类正确率上具有明显的 总数限制的多个分类器，然后进行基于DCS-LA组 优势，其中，遗传算法在波段数目为40时达到最高 合方法的分类测试，表2给出了这几种情况的详细 分类正确率84.34%，自适应分支定界法在波段数目 分类精度。从表2中可以看出，通过确定分类器组 为30时达到最高分类正确率85.20%，而本文算法 合总体多样性，即对应波段总数上限total,选择的分 使用局部分类精度的动态分类器选择，在对应波段 类器组合数目也不相同，选取的波段数目也各不相 数目为30时，达到了88.39%的分类正确率，明显高 同。当波段总数为50时，即对全部10个基分类器 于其他2种直接搜索一组最优波段子集的方法，因 进行组合时，分类结果最好，正确率达到了88.71%。 此本文方法具有较强的竞争力。 而选择波段不超过30个时，只选择了4个分类器， 3.4讨论 此时分类正确率为88.39%，明显高于利用所有202 多分类器组合在遥感图像分类，特别是高光谱 个波段进行分类的精度83.2%：而与10个分类器全 图像分类中得到了广泛关注[o]。Skurichina and 部参与组合的正确率也很接近，表明在本文研究的 Duin[21]研究了基于多次特征选择的多分类器组合
过文献［ ８ ］中方法，即利用条件互信息将 ２０２ 个有效 波段分成 １２ 组，再使用 ＧＡ⁃ＳＶＭ 的方法搜索出相对 较优的波段子集，多次利用该方法获取 １０ 组波段子 集后，将这些相对较优的波段子集训练成 １０ 个基分 类器（１０ 组分类器含有波段总数为 ４７，每个子集 １２ 个波段），然后使用上述 ４ 种多分类器组合方法对 这 １０ 个基分类器进行组合。 表 １ ４ 种不同分类器组合方法的分类精度 Ｔａｂｌｅ １ Ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｂａｓｅｄ ｏｎ ｃｌａｓｓｉｆｉｅｒｓ ｃｏｍｂｉｎａｔｉｏｎ ｍｅｔｈｏｄｓ ｏｆ ｆｏｕｒ ｄｉｆｆｅｒｅｎｔ 多分类器组合方法 分类正确率／ ％ Ｍａｊｏｒｉｔｙ ｖｏｔｉｎｇ ８６．４５ ＢＫＳ ８５．７ Ｃｌｕｓｔｅｒｉｎｇ⁃Ｓｅｌｅｃｔｉｏｎ ８５．３ ＤＣＳ＿ＬＡ ８８．７１ 表 １ 给出了 ４ 种多分类器组合方法的分类精度 比较。 ４ 组实验都选取所有 １０ 个基分类器，共 ４７ 个 波段。 从表 １ 中可以看出，行为知识空间法，即 ＢＫＳ 方法比多数投票法效果稍差，这主要是因为对于高光 谱数据具有“同谱异物”的特点，分类时测试样本输出 模式与训练样本的输出模式匹配时，相同模式有很多 是同样被错误分类的，即相同错误的分类器的差异性 不够明显，直接导致了分类结果趋向错误分类的那一 部分。 本文实验中采用的 Ｋ －均值聚类对参数 Ｋ 做 了（１０，５００） 范围的搜索，最后当 Ｋ 为 ２００ 时，取得 ８５．３％最佳的效果。 聚类选择方法作为无监督学习方 法，没有考虑训练样本的类别分布，所以在分类中很 难占有优势。 显然，ＤＣＳ⁃ＬＡ 的分类精度最高，说明通 过该算法对多分类器进行组合比较有效。 在分类器 选择过程中，还可以调整选择的分类器数目，即对应 选择的波段数目，详见对比实验 ２。 ３．２ 对比实验 ２ 为了进一步验证多分类器组合算法对波段选择 的有效性，本文进行了 ５ 组实验，分别选择不同波段 总数限制的多个分类器，然后进行基于 ＤＣＳ⁃ＬＡ 组 合方法的分类测试，表 ２ 给出了这几种情况的详细 分类精度。 从表 ２ 中可以看出，通过确定分类器组 合总体多样性，即对应波段总数上限 ｔｏｔａｌ，选择的分 类器组合数目也不相同，选取的波段数目也各不相 同。 当波段总数为 ５０ 时，即对全部 １０ 个基分类器 进行组合时，分类结果最好，正确率达到了 ８８．７１％。 而选择波段不超过 ３０ 个时，只选择了 ４ 个分类器， 此时分类正确率为 ８８．３９％，明显高于利用所有 ２０２ 个波段进行分类的精度 ８３．２％；而与 １０ 个分类器全 部参与组合的正确率也很接近，表明在本文研究的 高光谱波段选择中，动态选择参与组合的分类器确 实比较有效，既减少了参与组合的分类器，也达到了 波段选择的目的。 表 ２ 基于不同波段数目约束的动态分类器选择的分类精度 Ｔａｂｌｅ ２ Ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ｄｙｎａｍｉｃ ｃｌａｓｓｉｆｉｅｒ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｉｆｆｅｒｅｎｔ ｎｕｍｂｅｒｓ ｏｆ ｂａｎｄｓ 最大波段数目 选择分类器数目 分类正确率／ ％ １２ １ ８５．３８ ２０ ２ ８６．５１ ３０ ４ ８８．３９ ４０ ７ ８８．４７ ５０ １０ ８８．７１ ３．３ 对比实验 ３ 为了证明本文算法较之传统搜索算法的优点， 使用另外 ２ 种常用的全局波段空间搜索的高光谱波 段选择方法与本文算法进行比较这两种方法分别是 遗传算法的波段选择方法和文献［１２］ 中的自适应 分支定界法搜索的波段选择方法。 在此，采用两种 方法同样分别搜索 １２、２０、３０、４０、５０ 个波段进行最 后的分类，由于遗传算法的随机性，对每一组波段分 别搜索 ３ 次，取 ３ 次分类结果进行平均得到平均分 类精度，如表 ３。 表 ３ 遗传算法、分支定界法以及本文算法的平均分类精度 Ｔａｂｌｅ ３ Ｔｈｅ ａｖｅｒａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ＧＡ， ＢＢ ａｎｄ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ 波段数目 遗传算法 分支定界法 本文算法 １２ ８３．４３ ８３．８８ ８４．４１ ２０ ８２．７２ ８３．９１ ８６．５１ ３０ ８３．４７ ８５．２０ ８８．３９ ４０ ８４．３４ ８５．０３ ８８．４７ ５０ ８３．５２ ８４．５０ ８８．７１ 从表 ３ 可以看出，当波段数目分别为 １２、２０、 ３０、４０、５０ 时，本文算法在分类正确率上具有明显的 优势，其中，遗传算法在波段数目为 ４０ 时达到最高 分类正确率 ８４．３４％，自适应分支定界法在波段数目 为 ３０ 时达到最高分类正确率 ８５．２０％，而本文算法 使用局部分类精度的动态分类器选择，在对应波段 数目为 ３０ 时，达到了 ８８．３９％的分类正确率，明显高 于其他 ２ 种直接搜索一组最优波段子集的方法，因 此本文方法具有较强的竞争力。 ３．４ 讨论 多分类器组合在遥感图像分类，特别是高光谱 图像分类中得到了广泛关注［ ２０ ］ 。 Ｓｋｕｒｉｃｈｉｎａ ａｎｄ Ｄｕｉｎ ［ ２１ ］研究了基于多次特征选择的多分类器组合 ·３７６· 智 能 系 统 学 报 第 ９ 卷
第3期 李士进，等：基于多分类器组合的高光谱图像波段选择方法 ·377· 方法，他们采用多次序贯选择特征子集的方法获得 IEEE Transactions on Geoscience and Remote Sensing, 多个基分类器，每次从前一次选择余下的特征中选 2001,39(7):1360-1367. 择次优的特征子集，最后将所有基分类器进行组合 [3]BAZI Y,MELGANI F.Toward an optimal SVM classifica- 集成。该方法与本文方法的不同有2点：1)所有特 tion system for hyperspectral remote sensing images [J]. 征参与了最后的分类决策，每个特征都被分配到一 IEEE Transactions on Geoscience and Remote Sensing, 2006,44(11):3374-3385. 个基分类器：2)所有分类器都参与了决策融合。文 [4]SOTOCA J M,PLA F.Hyperspectral data selection from 献[22]研究了多支持向量机集成的高光谱图像分 mutual information between image bands M].Berlin: 类方法。该方法通过波段间相关性将波段分组，然 Springer,2006:853-861. 后构建多个支持向量机分类器：最后的分类结果是 [5]GUO B,DAMPER R I,GUNN S R,et al.A fast separabil- 以多个支持向量机的输出再输入另一个支持向量机 ity-based feature-selection method for high-dimensional re- 后得到的输出。该方法也是所有波段都参与了分类 motely sensed image classification[]].Pattern Recognition, 决策。Du等2]研究了基于证据融合的多分类器组 2008,41(5):1653-1662. [6]戴宏亮，戴道清.基于ETAFSVM的高光谱遥感图像自动 合方法及其在高光谱图像分类中的应用。该文采用 波段选择和分类[J].计算机科学，2009,36(4)：268- 的基分类器有马氏距离分类器、多层前向神经网络、 272. 径向基神经网络、支持向量机以及决策树。同样，该 DAI Hongliang,DAI Daoqing.Automatic band selection and 文关注的是多分类器集成在高光谱图像分类中的适 classification of hyperspectral remote sensing images based 应性，并未考虑波段选择问题。 on ETAFSVM[J.Computer Science,2009.36(4):268- 272. 4 结束语 [7]吴吴，李士进，林林，等.多策略结合的高光谱图像波段选 本文提出了一种基于多分类器组合的高光谱波 择新方法[J].计算机科学与探索，2010,4(5)：464- 472 段选择方法，通过多次采用遗传算法搜索出相对较 WU Hao,LI Shijin,LIN Lin,et al.Multiple-strategy com- 优的若干组波段组合，然后分别将这些波段组合训 bination based approach to band selection for hyper-spectral 练成若干基分类器，再使用基于错误多样性度量的 image classification[J ]Journal of Frontiers of Computer 分类器选择算法选择出其中符合最大波段数约束的 Science and Technology,2010,4(5):464-472. 部分分类器，达到波段选择的目的。在此基础上，采 [8]YANG He,DU Qian,SU Hongjun,et al.An efficient 用DCS-LA动态分类器选择方法，选取具有最高LA method for supervised hyperspectral band selection[J]. 的分类器的输出作为最后分类结果，通过实验验证 IEEE Geosci Remote Sensing Lett,2011,8(1):138-142. 了多分类器组合的波段选择方法的有效性。 [9]葛亮，王斌，张立明.基于波段聚类的高光谱图像波段选 多分类器组合研究是当前模式识别领域的研究 择[J].计算机辅助设计与图形学学报，2012,24(11)： 1447-1454. 热点之一，本文提出了基于多分类器组合方法来应 GE Liang,WANG Bing,ZHANG Liming.Band selection 对高光谱数据高维度且波段相关性高的问题。多分 based on band clustering for hyperspectral imagery [J]. 类器组合的作用主要在于降低高维波段搜索问题及 Journal of Computer-Aided Design Computer Graphics. 提升分类性能，而真正有效地提高分类准确率还依 2012,24(11):1447-1454. 赖于成员分类器的整体差异性的增大。差异性的研 [10]王立国，魏芳洁.结合遗传算法和蚁群算法的高光谱图 究是多分类器组合系统研究的关键问题之一，目前 像波段选择[J].中国图象图形学报，2013,18(2)： 还没有被广泛接受的理论与方法。定义新的差异性 235-242. 度量并以此来构造和训练多分类器组合系统，更好 WANG Liguo,WEI Fangjie.Band selection for hyperspec- 地提高多分类器组合的有效性是下一步需要研究的 tral imagery based on combination of genetic algorithm and ant colony algorithm[J.Joumal of Image and Graphics, 方向。 2013,18(2):235-242. 参考文献： [11]LI Shijin,ZHU Yuelong,WAN Dingsheng,et al.Spectral similarity-preserving hyperspectral band selection[J].Re- [1]LANDGREBE D A.Signal theory methods in multispectral mote Sensing Letters,2013,4(10):969-978. remote sensing[M].John Wiley Sons,2005:5-12. [12]SERPICO S B,MOSER G.Extraction of spectral channels [2]SERPICO S B,BRUZZONE L.A new search algorithm for from hyperspectral images for classification purposes[J]. feature selection in hyperspectral remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing
方法，他们采用多次序贯选择特征子集的方法获得 多个基分类器，每次从前一次选择余下的特征中选 择次优的特征子集，最后将所有基分类器进行组合 集成。 该方法与本文方法的不同有 ２ 点：１）所有特 征参与了最后的分类决策，每个特征都被分配到一 个基分类器；２）所有分类器都参与了决策融合。 文 献［２２］研究了多支持向量机集成的高光谱图像分 类方法。 该方法通过波段间相关性将波段分组，然 后构建多个支持向量机分类器；最后的分类结果是 以多个支持向量机的输出再输入另一个支持向量机 后得到的输出。 该方法也是所有波段都参与了分类 决策。 Ｄｕ 等［ ２３ ］研究了基于证据融合的多分类器组 合方法及其在高光谱图像分类中的应用。 该文采用 的基分类器有马氏距离分类器、多层前向神经网络、 径向基神经网络、支持向量机以及决策树。 同样，该 文关注的是多分类器集成在高光谱图像分类中的适 应性，并未考虑波段选择问题。 ４ 结束语 本文提出了一种基于多分类器组合的高光谱波 段选择方法，通过多次采用遗传算法搜索出相对较 优的若干组波段组合，然后分别将这些波段组合训 练成若干基分类器，再使用基于错误多样性度量的 分类器选择算法选择出其中符合最大波段数约束的 部分分类器，达到波段选择的目的。 在此基础上，采 用 ＤＣＳ⁃ＬＡ 动态分类器选择方法，选取具有最高 ＬＡ 的分类器的输出作为最后分类结果，通过实验验证 了多分类器组合的波段选择方法的有效性。 多分类器组合研究是当前模式识别领域的研究 热点之一，本文提出了基于多分类器组合方法来应 对高光谱数据高维度且波段相关性高的问题。 多分 类器组合的作用主要在于降低高维波段搜索问题及 提升分类性能，而真正有效地提高分类准确率还依 赖于成员分类器的整体差异性的增大。 差异性的研 究是多分类器组合系统研究的关键问题之一，目前 还没有被广泛接受的理论与方法。 定义新的差异性 度量并以此来构造和训练多分类器组合系统，更好 地提高多分类器组合的有效性是下一步需要研究的 方向。 参考文献： ［１］ＬＡＮＤＧＲＥＢＥ Ｄ Ａ． Ｓｉｇｎａｌ ｔｈｅｏｒｙ ｍｅｔｈｏｄｓ ｉｎ ｍｕｌｔｉｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ［Ｍ］． Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， ２００５： ５⁃１２． ［２］ＳＥＲＰＩＣＯ Ｓ Ｂ， ＢＲＵＺＺＯＮＥ Ｌ． Ａ ｎｅｗ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｉｎ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｉｍａｇｅｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ， ２００１， ３９（７）： １３６０⁃１３６７． ［３］ＢＡＺＩ Ｙ， ＭＥＬＧＡＮＩ Ｆ． Ｔｏｗａｒｄ ａｎ ｏｐｔｉｍａｌ ＳＶＭ ｃｌａｓｓｉｆｉｃａ⁃ ｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｉｍａｇｅｓ ［ Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ， ２００６，４４（１１）： ３３７４⁃３３８５． ［４］ ＳＯＴＯＣＡ Ｊ Ｍ， ＰＬＡ Ｆ． Ｈｙｐｅｒｓｐｅｃｔｒａｌ ｄａｔａ ｓｅｌｅｃｔｉｏｎ ｆｒｏｍ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｂｅｔｗｅｅｎ ｉｍａｇｅ ｂａｎｄｓ ［ Ｍ ］． Ｂｅｒｌｉｎ： Ｓｐｒｉｎｇｅｒ， ２００６： ８５３⁃８６１． ［５］ＧＵＯ Ｂ， ＤＡＭＰＥＲ Ｒ Ｉ， ＧＵＮＮ Ｓ Ｒ， ｅｔ ａｌ． Ａ ｆａｓｔ ｓｅｐａｒａｂｉｌ⁃ ｉｔｙ⁃ｂａｓｅｄ ｆｅａｔｕｒｅ⁃ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｈｉｇｈ⁃ｄｉｍｅｎｓｉｏｎａｌ ｒｅ⁃ ｍｏｔｅｌｙ ｓｅｎｓｅｄ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００８， ４１（５）： １６５３⁃１６６２． ［６］戴宏亮，戴道清．基于 ＥＴＡＦＳＶＭ 的高光谱遥感图像自动 波段选择和分类［ Ｊ］．计算机科学， ２００９， ３６（ ４）： ２６８⁃ ２７２． ＤＡＩ Ｈｏｎｇｌｉａｎｇ， ＤＡＩ Ｄａｏｑｉｎｇ． Ａｕｔｏｍａｔｉｃ ｂａｎｄ ｓｅｌｅｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ＥＴＡＦＳＶＭ［Ｊ］． Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ２００９， ３６（４）： ２６８⁃ ２７２． ［７］吴昊，李士进，林林，等．多策略结合的高光谱图像波段选 择新方法［ Ｊ］． 计算机科学与探索， ２０１０， ４（ ５）： ４６４⁃ ４７２． ＷＵ Ｈａｏ， ＬＩ Ｓｈｉｊｉｎ， ＬＩＮ Ｌｉｎ， ｅｔ ａｌ． Ｍｕｌｔｉｐｌｅ⁃ｓｔｒａｔｅｇｙ ｃｏｍ⁃ ｂｉｎａｔｉｏｎ ｂａｓｅｄ ａｐｐｒｏａｃｈ ｔｏ ｂａｎｄ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｈｙｐｅｒ⁃ｓｐｅｃｔｒａｌ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｆｒｏｎｔｉｅｒｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， ２０１０， ４（５）： ４６４⁃４７２． ［８］ ＹＡＮＧ Ｈｅ， ＤＵ Ｑｉａｎ， ＳＵ Ｈｏｎｇｊｕｎ， ｅｔ ａｌ． Ａｎ ｅｆｆｉｃｉｅｎｔ ｍｅｔｈｏｄ ｆｏｒ ｓｕｐｅｒｖｉｓｅｄ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｂａｎｄ ｓｅｌｅｃｔｉｏｎ ［ Ｊ ］． ＩＥＥＥ Ｇｅｏｓｃｉ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｌｅｔｔ， ２０１１， ８（１）： １３８⁃１４２． ［９］葛亮，王斌，张立明．基于波段聚类的高光谱图像波段选 择［Ｊ］．计算机辅助设计与图形学学报， ２０１２， ２４（１１）： １４４７⁃１４５４． ＧＥ Ｌｉａｎｇ， ＷＡＮＧ Ｂｉｎｇ， ＺＨＡＮＧ Ｌｉｍｉｎｇ． Ｂａｎｄ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｂａｎｄ ｃｌｕｓｔｅｒｉｎｇ ｆｏｒ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｅｒｙ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ⁃Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ２０１２， ２４（１１）： １４４７⁃１４５４． ［１０］王立国，魏芳洁．结合遗传算法和蚁群算法的高光谱图 像波段选择［ Ｊ］． 中国图象图形学报， ２０１３， １８ （ ２）： ２３５⁃２４２． ＷＡＮＧ Ｌｉｇｕｏ，ＷＥＩ Ｆａｎｇｊｉｅ．Ｂａｎｄ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｈｙｐｅｒｓｐｅｃ⁃ ｔｒａｌ ｉｍａｇｅｒｙ ｂａｓｅｄ ｏｎ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ ａｎｄ ａｎｔ ｃｏｌｏｎｙ ａｌｇｏｒｉｔｈｍ［ Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｅ ａｎｄ Ｇｒａｐｈｉｃｓ， ２０１３， １８（２）： ２３５⁃２４２． ［１１］ ＬＩ Ｓｈｉｊｉｎ，ＺＨＵ Ｙｕｅｌｏｎｇ，ＷＡＮ Ｄｉｎｇｓｈｅｎｇ， ｅｔ ａｌ． Ｓｐｅｃｔｒａｌ ｓｉｍｉｌａｒｉｔｙ⁃ｐｒｅｓｅｒｖｉｎｇ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｂａｎｄ ｓｅｌｅｃｔｉｏｎ［ Ｊ］． Ｒｅ⁃ ｍｏｔｅ Ｓｅｎｓｉｎｇ Ｌｅｔｔｅｒｓ， ２０１３， ４（１０）： ９６９⁃９７８． ［１２］ＳＥＲＰＩＣＯ Ｓ Ｂ， ＭＯＳＥＲ Ｇ． Ｅｘｔｒａｃｔｉｏｎ ｏｆ ｓｐｅｃｔｒａｌ ｃｈａｎｎｅｌｓ ｆｒｏｍ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｕｒｐｏｓｅｓ ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ， 第 ３ 期 李士进，等：基于多分类器组合的高光谱图像波段选择方法 ·３７７·
·378, 智能系统学报 第9卷 2007,45(2):484-495. recent developments[C]//Proceedings of the 7th Interna- [13]ZHOU Z H.Ensemble Methods:Foundations and algo- tional Conference on Multiple Classifier Systems.:Berlin: rithms[M].Boca Raton:CRC Press,2012. Springer-Verlag,2007:501-512. [14]KUNCHEVA L I.Switching between selection and fusion in [21]MARINA S,ROBERT P W.Combining feature subsets in combining classifiers:an experiment[J].IEEE Transac- feature selection[C]//Proceedings of the 5th International tions on Systems,Man,and Cybernetics,Part B:Cyber- Conference on Multiple Classifier Systems.Berlin,2005: netics,.2002,32(2):146-156. 165-175. [15]KUNCHEVA L I,WHITAKER C J.Measures of diversity [22]XAVIER C,BJoRN W,JON A B,et al.Ensemble strate- in classifier ensembles and their relationship with the en- gies for classifying hyperspectral remote sensing data[C]/ semble accuracy[J].Machine Learning,2003,51(2): Proceedings of the 9th International Conference on Multiple 181-207. Classifier Systems,Berlin:Springer-Verlag,2009:62-71. [16]WOODS K,KEGELMEYER JR W P,BOWYER K.Com- [23]DU Peijun,ZHANG Wei,SUN Hao.Multiple classifier bination of multiple classifiers using local accuracy esti- combination for hyperspectral remote sensing image classi- mates[J].IEEE Transactions on Pattern Analysis and Ma- fication[C]//Proceedings of the 9th International Confer- chine Intelligence,1997,19(4):405-410. ence on Multiple Classifier Systems,Berlin,2009:52-61. [17]ZHOU Z H,WU J X,TANG W.Ensembling neural net- 作者简介： works:many could be better than all[]].Artificial Intelli- 李士进，男，1973年生，教授，博 gence,2002,137(1/2):239-263. 士，主要研究方向为模式识别与计算机 [18]张春霞，张讲社选择性集成学习算法综述[J].计算机 视觉。 学报，2011,34(8)：1399-1410. ZHANG Chunxia,ZHANG Jiangshe.A survey of selective ensemble learning algorithms[J].Chinese Journal of Com- puters,2011,34(8):1399-1410. 常纯，女，1989年生，硕士研究生， [19]AKSELA M,LAAKSONEN J.Using diversity of errors for selecting members of a committee classifier[J].Pattern 主要研究方向为图像处理与模式识别。 Recognition,2006,39(4):608-623. [20]BENEDIKTSSON J A,CHANUSSOT J,FAUVEL M.Mul- tiple classifier systems in remote sensing:from basics to 2014第7届计算智能与设计国际会议 2014 7th International Symposium on Computational Intelligence and Design 2014 7th International Symposium on Computational Intelligence and Design (ISCID 2014)will take place in Hangzhou, China,between 13-14 December,2014.This symposium provides an idea-exchange and discussion platform for the world'sengineers and academia to share cutting-edge information,address the hottest issue in computational intelligence and design,explore new technologies,exchange and build upon ideas.We're certain you will find the city of Hangzhou and the surrounding area to be most pleasant and it will be our distinct pleasure to welcome each of you to the ISCID. Contact Us E-mail:iscid2014@gmail.com Website:http://iukm.zju.edu.cn/iscid/
２００７， ４５（２）： ４８４⁃４９５． ［１３］ ＺＨＯＵ Ｚ Ｈ． Ｅｎｓｅｍｂｌｅ Ｍｅｔｈｏｄｓ： Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ ａｌｇｏ⁃ ｒｉｔｈｍｓ［Ｍ］． Ｂｏｃａ Ｒａｔｏｎ： ＣＲＣ Ｐｒｅｓｓ， ２０１２． ［１４］ＫＵＮＣＨＥＶＡ Ｌ Ｉ． Ｓｗｉｔｃｈｉｎｇ ｂｅｔｗｅｅｎ ｓｅｌｅｃｔｉｏｎ ａｎｄ ｆｕｓｉｏｎ ｉｎ ｃｏｍｂｉｎｉｎｇ ｃｌａｓｓｉｆｉｅｒｓ： ａｎ ｅｘｐｅｒｉｍｅｎｔ ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃ⁃ ｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ， Ｍａｎ， ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ， Ｐａｒｔ Ｂ： Ｃｙｂｅｒ⁃ ｎｅｔｉｃｓ， ２００２， ３２（２）： １４６⁃１５６． ［１５］ＫＵＮＣＨＥＶＡ Ｌ Ｉ， ＷＨＩＴＡＫＥＲ Ｃ Ｊ． Ｍｅａｓｕｒｅｓ ｏｆ ｄｉｖｅｒｓｉｔｙ ｉｎ ｃｌａｓｓｉｆｉｅｒ ｅｎｓｅｍｂｌｅｓ ａｎｄ ｔｈｅｉｒ ｒｅｌａｔｉｏｎｓｈｉｐ ｗｉｔｈ ｔｈｅ ｅｎ⁃ ｓｅｍｂｌｅ ａｃｃｕｒａｃｙ ［ Ｊ］． Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ， ２００３， ５１ （ ２）： １８１⁃２０７． ［１６］ＷＯＯＤＳ Ｋ， ＫＥＧＥＬＭＥＹＥＲ ＪＲ Ｗ Ｐ， ＢＯＷＹＥＲ Ｋ． Ｃｏｍ⁃ ｂｉｎａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｃｌａｓｓｉｆｉｅｒｓ ｕｓｉｎｇ ｌｏｃａｌ ａｃｃｕｒａｃｙ ｅｓｔｉ⁃ ｍａｔｅｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａ⁃ ｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， １９９７， １９（４）： ４０５⁃４１０． ［１７］ＺＨＯＵ Ｚ Ｈ， ＷＵ Ｊ Ｘ， ＴＡＮＧ Ｗ． Ｅｎｓｅｍｂｌｉｎｇ ｎｅｕｒａｌ ｎｅｔ⁃ ｗｏｒｋｓ： ｍａｎｙ ｃｏｕｌｄ ｂｅ ｂｅｔｔｅｒ ｔｈａｎ ａｌｌ［Ｊ］． Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉ⁃ ｇｅｎｃｅ， ２００２， １３７（１ ／ ２）： ２３９⁃２６３． ［１８］张春霞，张讲社．选择性集成学习算法综述［ Ｊ］．计算机 学报， ２０１１， ３４（８）： １３９９⁃１４１０． ＺＨＡＮＧ Ｃｈｕｎｘｉａ，ＺＨＡＮＧ Ｊｉａｎｇｓｈｅ． Ａ ｓｕｒｖｅｙ ｏｆ ｓｅｌｅｃｔｉｖｅ ｅｎｓｅｍｂｌｅ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ［Ｊ］． Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍ⁃ ｐｕｔｅｒｓ， ２０１１， ３４（８）： １３９９⁃１４１０． ［１９］ＡＫＳＥＬＡ Ｍ， ＬＡＡＫＳＯＮＥＮ Ｊ． Ｕｓｉｎｇ ｄｉｖｅｒｓｉｔｙ ｏｆ ｅｒｒｏｒｓ ｆｏｒ ｓｅｌｅｃｔｉｎｇ ｍｅｍｂｅｒｓ ｏｆ ａ ｃｏｍｍｉｔｔｅｅ ｃｌａｓｓｉｆｉｅｒ ［ Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００６， ３９（４）： ６０８⁃６２３． ［２０］ＢＥＮＥＤＩＫＴＳＳＯＮ Ｊ Ａ， ＣＨＡＮＵＳＳＯＴ Ｊ， ＦＡＵＶＥＬ Ｍ． Ｍｕｌ⁃ ｔｉｐｌｅ ｃｌａｓｓｉｆｉｅｒ ｓｙｓｔｅｍｓ ｉｎ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ： ｆｒｏｍ ｂａｓｉｃｓ ｔｏ ｒｅｃｅｎｔ ｄｅｖｅｌｏｐｍｅｎｔｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ｔｈ Ｉｎｔｅｒｎａ⁃ ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｐｌｅ Ｃｌａｓｓｉｆｉｅｒ Ｓｙｓｔｅｍｓ． ： Ｂｅｒｌｉｎ： Ｓｐｒｉｎｇｅｒ⁃Ｖｅｒｌａｇ， ２００７： ５０１⁃５１２． ［２１］ ＭＡＲＩＮＡ Ｓ，ＲＯＢＥＲＴ Ｐ Ｗ．Ｃｏｍｂｉｎｉｎｇ ｆｅａｔｕｒｅ ｓｕｂｓｅｔｓ ｉｎ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｐｌｅ Ｃｌａｓｓｉｆｉｅｒ Ｓｙｓｔｅｍｓ． Ｂｅｒｌｉｎ， ２００５： １６５⁃１７５． ［２２］ＸＡＶＩＥＲ Ｃ， ＢＪöＲＮ Ｗ， ＪＯＮ Ａ Ｂ， ｅｔ ａｌ． Ｅｎｓｅｍｂｌｅ ｓｔｒａｔｅ⁃ ｇｉｅｓ ｆｏｒ ｃｌａｓｓｉｆｙｉｎｇ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｄａｔａ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｐｌｅ Ｃｌａｓｓｉｆｉｅｒ Ｓｙｓｔｅｍｓ， Ｂｅｒｌｉｎ： Ｓｐｒｉｎｇｅｒ⁃Ｖｅｒｌａｇ， ２００９： ６２⁃７１． ［２３］ ＤＵ Ｐｅｉｊｕｎ， ＺＨＡＮＧ Ｗｅｉ， ＳＵＮ Ｈａｏ． Ｍｕｌｔｉｐｌｅ ｃｌａｓｓｉｆｉｅｒ ｃｏｍｂｉｎａｔｉｏｎ ｆｏｒ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｉｍａｇｅ ｃｌａｓｓｉ⁃ ｆｉｃａｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ⁃ ｅｎｃｅ ｏｎ Ｍｕｌｔｉｐｌｅ Ｃｌａｓｓｉｆｉｅｒ Ｓｙｓｔｅｍｓ， Ｂｅｒｌｉｎ， ２００９： ５２⁃６１． 作者简介： 李士进， 男， １９７３ 年生，教授， 博 士，主要研究方向为模式识别与计算机 视觉。 常纯，女，１９８９ 年生，硕士研究生， 主要研究方向为图像处理与模式识别。 ２０１４ 第 ７ 届计算智能与设计国际会议 ２０１４ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｄｅｓｉｇｎ ２０１４ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｄｅｓｉｇｎ （ＩＳＣＩＤ ２０１４） ｗｉｌｌ ｔａｋｅ ｐｌａｃｅ ｉｎ Ｈａｎｇｚｈｏｕ， Ｃｈｉｎａ， ｂｅｔｗｅｅｎ １３ － １４ Ｄｅｃｅｍｂｅｒ， ２０１４． Ｔｈｉｓ ｓｙｍｐｏｓｉｕｍ ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅａ⁃ｅｘｃｈａｎｇｅ ａｎｄ ｄｉｓｃｕｓｓｉｏｎ ｐｌａｔｆｏｒｍ ｆｏｒ ｔｈｅ ｗｏｒｌｄ′ｓｅｎｇｉｎｅｅｒｓ ａｎｄ ａｃａｄｅｍｉａ ｔｏ ｓｈａｒｅ ｃｕｔｔｉｎｇ⁃ｅｄｇｅ ｉｎｆｏｒｍａｔｉｏｎ， ａｄｄｒｅｓｓ ｔｈｅ ｈｏｔｔｅｓｔ ｉｓｓｕｅ ｉｎ ｃｏｍｐｕｔａｔｉｏｎａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ｄｅｓｉｇｎ， ｅｘｐｌｏｒｅ ｎｅｗ ｔｅｃｈｎｏｌｏｇｉｅｓ， ｅｘｃｈａｎｇｅ ａｎｄ ｂｕｉｌｄ ｕｐｏｎ ｉｄｅａｓ． Ｗｅ′ｒｅ ｃｅｒｔａｉｎ ｙｏｕ ｗｉｌｌ ｆｉｎｄ ｔｈｅ ｃｉｔｙ ｏｆ Ｈａｎｇｚｈｏｕ ａｎｄ ｔｈｅ ｓｕｒｒｏｕｎｄｉｎｇ ａｒｅａ ｔｏ ｂｅ ｍｏｓｔ ｐｌｅａｓａｎｔ ａｎｄ ｉｔ ｗｉｌｌ ｂｅ ｏｕｒ ｄｉｓｔｉｎｃｔ ｐｌｅａｓｕｒｅ ｔｏ ｗｅｌｃｏｍｅ ｅａｃｈ ｏｆ ｙｏｕ ｔｏ ｔｈｅ ＩＳＣＩＤ． Ｃｏｎｔａｃｔ Ｕｓ Ｅ⁃ｍａｉｌ： ｉｓｃｉｄ２０１４＠ ｇｍａｉｌ．ｃｏｍ Ｗｅｂｓｉｔｅ： ｈｔｔｐ： ／ ／ ｉｕｋｍ．ｚｊｕ．ｅｄｕ．ｃｎ ／ ｉｓｃｉｄ ／ ·３７８· 智 能 系 统 学 报 第 ９ 卷