·374. 智能系统学报 第9卷 1 多分类器组合方法 得到聚类中心V,V2,…,Vx; 对于该算法，如何选择一个合适的K值是很重 波段选择优劣的评判标准除了选择的波段数 要的问题，本文实验对参数K做了大范围的搜索， 外，往往是通过最终的分类正确率来衡量，针对高光 详见实验分析。 谱数据波段间相关性高的特点，本文将多分类器组 1.4局部精度估计的动态分类器选择(DCS-LA) 合的思想引入高光谱波段选择中。多分类器组合是 DCS-LA方法16的主要特点是对于待分类样本 根据各个分类器的整体性能将每个分类器的输出按 X·,从已有的基分类器C,C2,…,C中动态挑选合 某种方式“组合”到一起，并达到“共识”[]。同时， 适的一个或多个对其进行分类，或者样本所在邻域 多分类器系统的性能很大程度上取决于成员分类器 内最优的分类器来对其进行分类，它是一种特殊的 的差异性，为了选出具有较强错误差异性的分类器 分类器集成方法，其主要步骤为： 组合，本文研究了聚类选择法以及基于局部分类精 1)如果所有的分类器C:返回X·相同的类别ω， 度的动态分类器选择两种组合方法。另外，多分类 则该测试样本被赋予类别ω，算法结束，否则转2)； 器组合方法可以根据单个分类器输出类型分为抽象 2)计算每个基分类器的局部分类精度L4(X), 级、排序级和度量级3类，本文选择基于抽象级的几广=1,2，…，N,k为X·邻域内训练样本数： 种分类器组合方法，如多数投票法、行为知识空间法 3)确定局部分类精度最高的基分类器C:,使 对基于不同特征子空间训练的分类器进行组合。 LA.z(X)=max,(LA.k(X)),并将C的输出作为 L.1多数投票法(majority voting) X·的类别，算法结束。 投票法是最常用的抽象级分类器组合方法，其 从以上步骤可以看出DCS-LA的分类正确率主 遵循的原则是“少数服从多数”。多数投票规则3] 要取决于局部分类精度估计，本文采用基于先验知 将最多数分类器一致分类的类别作为待分类样本的 识的局部精度。该方法将局部分类精度 类别。当出现多个类别获得的投票数目相同时，一 L4.(X·)定义为X·的局部邻域R(X·)内被正 般随机选择其中一个类别作为最终的结果。此外， 确分类的训练样本比例。假设R(X·)内有k个训 考虑到不同分类器的分类正确率，也可以对各个结 练样本，其中有k,个样本被C:正确分类，则分类器 果按照分类器不同表现设置不同的权重，进行加权 C:对X·的局部分类精度为 投票。 l.2行为知识空间法(behavior--knowledge space, 4(X)=E (1) BKS) 由于在选择分类器时没有考虑分类器C:对测试样 很多分类器组合方法都需要假设分类器之间相 本X·的分类结果，所以一般称之为先验局部精度 互独立。在无法满足该假设的情况下，可以考虑从 估计。 知识空间获得信息，它能同步记录所有分类器对每 个训练样本的决策。由于知识空间记录了所有分类 2多分类器组合的高光谱波段选择方法 器的行为，所以也被称为“行为知识空间”，简称 传统的波段选择需要在整个原始波段空间进行 BKS14]。使用该方法时，训练集中的样本被划分成 搜索，本文针对高光谱图像波段多且相关性高等特 不同的模式，这些模式是根据所有分量分类器分类 点，提出将多分类器组合的思想运用于高光谱波段 结果的不同组合来定义的。当一个未知样本需要进 选择中，通过遗传算法搜索得到K组较优波段组 行分类时，所有分量分类器对分类结果的组合都是 合，使用这K组波段组合分别训练K个基分类器， 已知的，由此确定对应的模式。然后根据该模式中 然后从这K个分类器中选出部分差异性较大的分 的样本实际类别，把未知样本归入出现次数最多的 类器进行组合，实现波段选择的目标。最后分类测 类别。 试时采用基于局部分类精度的动态分类器选择方法 l.3聚类-选择法(clustering-selection) (DCS_LA)得到最后的分类结果。 聚类-选择算法训练过程如下： 上述过程中，存在两次多分类器组合过程。在 1)利用训练数据集Z训练L个基分类器C, 第1次分类器选择时，采用基于错误多样性度量的 C2,…,C,初始化聚类数K; 带波段数目约束的多分类器选择方法。在多分类器 2)通过K-均值方法将Z聚成K类（不考虑样 组合研究中，研究人员[.8]已经发现从基分类器中 本集的真实类别)，通过计算每个簇中的样本均值 去除一些作用不大和性能不好的分类器，剩下的少１ 多分类器组合方法 波段选择优劣的评判标准除了选择的波段数 外，往往是通过最终的分类正确率来衡量，针对高光 谱数据波段间相关性高的特点，本文将多分类器组 合的思想引入高光谱波段选择中。 多分类器组合是 根据各个分类器的整体性能将每个分类器的输出按 某种方式“组合”到一起，并达到“共识” ［ １３ ］ 。 同时， 多分类器系统的性能很大程度上取决于成员分类器 的差异性，为了选出具有较强错误差异性的分类器 组合，本文研究了聚类选择法以及基于局部分类精 度的动态分类器选择两种组合方法。 另外，多分类 器组合方法可以根据单个分类器输出类型分为抽象 级、排序级和度量级 ３ 类，本文选择基于抽象级的几 种分类器组合方法，如多数投票法、行为知识空间法 对基于不同特征子空间训练的分类器进行组合。 １．１ 多数投票法（ｍａｊｏｒｉｔｙ ｖｏｔｉｎｇ） 投票法是最常用的抽象级分类器组合方法，其 遵循的原则是“少数服从多数”。 多数投票规则［１３ ］ 将最多数分类器一致分类的类别作为待分类样本的 类别。 当出现多个类别获得的投票数目相同时，一 般随机选择其中一个类别作为最终的结果。 此外， 考虑到不同分类器的分类正确率，也可以对各个结 果按照分类器不同表现设置不同的权重，进行加权 投票。 １．２ 行为知识空间法（ ｂｅｈａｖｉｏｒ⁃ｋｎｏｗｌｅｄｇｅ ｓｐａｃｅ， ＢＫＳ） 很多分类器组合方法都需要假设分类器之间相 互独立。 在无法满足该假设的情况下，可以考虑从 知识空间获得信息，它能同步记录所有分类器对每 个训练样本的决策。 由于知识空间记录了所有分类 器的行为，所以也被称为“ 行为知识空间”，简称 ＢＫＳ ［１ ４ ］ 。 使用该方法时，训练集中的样本被划分成 不同的模式，这些模式是根据所有分量分类器分类 结果的不同组合来定义的。 当一个未知样本需要进 行分类时，所有分量分类器对分类结果的组合都是 已知的，由此确定对应的模式。 然后根据该模式中 的样本实际类别，把未知样本归入出现次数最多的 类别。 １．３ 聚类－选择法（ｃｌｕｓｔｅｒｉｎｇ⁃ｓｅｌｅｃｔｉｏｎ） 聚类－选择算法训练过程如下： １）利用训练数据集 Ｚ 训练 Ｌ 个基分类器 Ｃ１ ， Ｃ２ ，…，ＣＬ ，初始化聚类数 Ｋ ； ２）通过 Ｋ ⁃均值方法将 Ｚ 聚成 Ｋ 类（不考虑样 本集的真实类别），通过计算每个簇中的样本均值 得到聚类中心 Ｖ１ ，Ｖ２ ，…，ＶＫ ； 对于该算法，如何选择一个合适的 Ｋ 值是很重 要的问题，本文实验对参数 Ｋ 做了大范围的搜索， 详见实验分析。 １．４ 局部精度估计的动态分类器选择（ＤＣＳ⁃ＬＡ） ＤＣＳ⁃ＬＡ 方法［１６］的主要特点是对于待分类样本 Ｘ ∗ ，从已有的基分类器 Ｃ１ ，Ｃ２ ，…，ＣＬ 中动态挑选合 适的一个或多个对其进行分类，或者样本所在邻域 内最优的分类器来对其进行分类，它是一种特殊的 分类器集成方法，其主要步骤为： １）如果所有的分类器 Ｃｊ 返回 Ｘ ∗ 相同的类别 ω， 则该测试样本被赋予类别 ω ，算法结束，否则转 ２）； ２）计算每个基分类器的局部分类精度 ＬＡｊ，ｋ Ｘ ∗ ( ) ， ｊ ＝ １，２，…，Ｎ ， ｋ 为 Ｘ ∗ 邻域内训练样本数； ３）确定局部分类精度最高的基分类器 Ｃｊ ，使 ＬＡｊ，ｋ Ｘ ∗ ( ) ＝ ｍａｘｉ (ＬＡｉ，ｋ (Ｘ) ) ，并将 Ｃｊ 的输出作为 Ｘ ∗ 的类别，算法结束。 从以上步骤可以看出 ＤＣＳ⁃ＬＡ 的分类正确率主 要取决于局部分类精度估计，本文采用基于先验知 识 的 局 部 精 度。 该 方 法 将 局 部 分 类 精 度 ＬＡｊ，ｋ Ｘ ∗ ( ) 定义为 Ｘ ∗ 的局部邻域 Ｒｋ Ｘ ∗ ( ) 内被正 确分类的训练样本比例。 假设 Ｒｋ Ｘ ∗ ( ) 内有 ｋ 个训 练样本，其中有 ｋＴ 个样本被 Ｃｊ 正确分类，则分类器 Ｃｊ 对 Ｘ ∗ 的局部分类精度为 ＬＡｊ，ｋ Ｘ ∗ ( ) ＝ ｋＴ ｋ （１） 由于在选择分类器时没有考虑分类器 Ｃｊ 对测试样 本 Ｘ ∗ 的分类结果，所以一般称之为先验局部精度 估计。 ２ 多分类器组合的高光谱波段选择方法 传统的波段选择需要在整个原始波段空间进行 搜索，本文针对高光谱图像波段多且相关性高等特 点，提出将多分类器组合的思想运用于高光谱波段 选择中，通过遗传算法搜索得到 Ｋ 组较优波段组 合，使用这 Ｋ 组波段组合分别训练 Ｋ 个基分类器， 然后从这 Ｋ 个分类器中选出部分差异性较大的分 类器进行组合，实现波段选择的目标。 最后分类测 试时采用基于局部分类精度的动态分类器选择方法 （ＤＣＳ＿ＬＡ）得到最后的分类结果。 上述过程中，存在两次多分类器组合过程。 在 第 １ 次分类器选择时，采用基于错误多样性度量的 带波段数目约束的多分类器选择方法。 在多分类器 组合研究中，研究人员［ １７⁃ １８ ］已经发现从基分类器中 去除一些作用不大和性能不好的分类器，剩下的少 ·３７４· 智 能 系 统 学 报 第 ９ 卷