第16卷第6期 智能系统学报 Vol.16 No.6 2021年11月 CAAI Transactions on Intelligent Systems Now.2021 D0:10.11992/tis.202007037 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210922.1140.002.html 多视图主动学习的多样性样本选择方法研究 陈立伟，房赫，朱海峰 (哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨150001) 摘要：为了去除高光谱图像多视图主动学习分类中的所选样本的冗余，降低人工标记成本，本文提出了两种 用于多视图主动学习分类中的多样性样本选择方法。将高光谱图像进行超像素分割，将所选样本中属于不同 的超像素的样本加入训练集，其余样本加入候选集；比较各视图对样本的预测标签，将所选样本中预测标签不 完全相同的样本加入训练集，其余样本加入候选集。本文分别用这两种方法对传统多视图主动学习的样本选 择方法进行改进，并用两组高光谱图像数据进行实验。实验结果表明：使用这两种方法改进后，所得分类精度 不变，使用的训练样本数量大幅诚少。 关键词：高光谱图像分类：多视图主动学习：多样性；样本选择：超像素：训练样本数量：预测标签：分类精度 中图分类号：TP753文献标志码：A文章编号：1673-4785(2021)06-1007-08 中文引用格式：陈立伟，房赫，朱海峰.多视图主动学习的多样性样本选择方法研究J,智能系统学报，2021,16(6)： 1007-1014. 英文引用格式：CHEN Liwei,.FANG He,ZHU Haifeng.Diversity sample selection method of multiview active learning classifica- tion[J.CAAI transactions on intelligent systems,2021,16(6):1007-1014. Diversity sample selection method of multiview active learning classification CHEN Liwei,FANG He,ZHU Haifeng (College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China) Abstract:To remove the redundancy of selected samples in the multiview active learning classification of hyperspec- tral images and reduce the cost of manual marking,this paper proposes two methods for the selection of diverse samples in the multiview active learning classification.First,hyperspectral images are divided into superpixel segments, then samples belonging to different superpixel segments are added to the training set,and the remaining samples are put back into the candidate set.Second,the prediction labels of the samples from each view are compared,then the samples with different prediction labels are added into the training set,and the remaining samples are put back into the candidate set.In this study,the two methods are used to improve the sample selection method in the traditional multiview active learning classification,and experiments are conducted in two groups of hyperspectral image data.The results show that the accuracy of classification is unchanged,yet the number of training samples is greatly reduced after using the two methods. Keywords:hyperspectral image classification;multiview active learning;diversity;sample selection;superpixel;num- ber of training samples,prediction labels;accuracy of classification 随着遥感技术的迅速发展，高光谱图像(hy-贵又费时。主动学习(active learning,.AL)方法 perspectral image,.HSI)在土地覆盖物分类中得到可以有效解决HSI标记样本少的问题s-刀。在AL 了广泛的应用1。训练一个HSI分类器，通常需 方法中，多视图主动学习(multiview active learning,. 要大量的标记样本，而标记样本的采集过程既昂 MVAL)方法可以从多个视图中提取互补信息，大 大减少训练样本的数量⑧-o。 收稿日期：2020-07-23.网络出版日期：2021-09-23. 基金项目：国家自然科学基金项目(61675051). 学者们对MVAL的样本选择方法展开了广 通信作者：朱海峰.E-mail:zhuhaifeng(@hrbeu..edu.cn. 泛研究：文献[1l]提出了自适应最大不一致(ad-
DOI: 10.11992/tis.202007037 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210922.1140.002.html 多视图主动学习的多样性样本选择方法研究 陈立伟，房赫，朱海峰 （哈尔滨工程大学 信息与通信工程学院, 黑龙江 哈尔滨 150001） 摘 要：为了去除高光谱图像多视图主动学习分类中的所选样本的冗余，降低人工标记成本，本文提出了两种 用于多视图主动学习分类中的多样性样本选择方法。将高光谱图像进行超像素分割，将所选样本中属于不同 的超像素的样本加入训练集，其余样本加入候选集；比较各视图对样本的预测标签，将所选样本中预测标签不 完全相同的样本加入训练集，其余样本加入候选集。本文分别用这两种方法对传统多视图主动学习的样本选 择方法进行改进，并用两组高光谱图像数据进行实验。实验结果表明：使用这两种方法改进后，所得分类精度 不变，使用的训练样本数量大幅减少。 关键词：高光谱图像分类；多视图主动学习；多样性；样本选择；超像素；训练样本数量；预测标签；分类精度 中图分类号：TP753 文献标志码：A 文章编号：1673−4785(2021)06−1007−08 中文引用格式：陈立伟, 房赫, 朱海峰. 多视图主动学习的多样性样本选择方法研究 [J]. 智能系统学报, 2021, 16(6): 1007–1014. 英文引用格式：CHEN Liwei, FANG He, ZHU Haifeng. Diversity sample selection method of multiview active learning classification[J]. CAAI transactions on intelligent systems, 2021, 16(6): 1007–1014. Diversity sample selection method of multiview active learning classification CHEN Liwei，FANG He，ZHU Haifeng (College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China) Abstract: To remove the redundancy of selected samples in the multiview active learning classification of hyperspectral images and reduce the cost of manual marking, this paper proposes two methods for the selection of diverse samples in the multiview active learning classification. First, hyperspectral images are divided into superpixel segments, then samples belonging to different superpixel segments are added to the training set, and the remaining samples are put back into the candidate set. Second, the prediction labels of the samples from each view are compared, then the samples with different prediction labels are added into the training set, and the remaining samples are put back into the candidate set. In this study, the two methods are used to improve the sample selection method in the traditional multiview active learning classification, and experiments are conducted in two groups of hyperspectral image data. The results show that the accuracy of classification is unchanged, yet the number of training samples is greatly reduced after using the two methods. Keywords: hyperspectral image classification; multiview active learning; diversity; sample selection; superpixel; number of training samples; prediction labels; accuracy of classification 随着遥感技术的迅速发展，高光谱图像 (hyperspectral image，HSI) 在土地覆盖物分类中得到 了广泛的应用[1-3]。训练一个 HSI 分类器，通常需 要大量的标记样本，而标记样本的采集过程既昂 贵又费时[4-5]。主动学习 (active learning，AL) 方法 可以有效解决 HSI 标记样本少的问题[6-7]。在 AL 方法中，多视图主动学习 (multiview active learning, MVAL) 方法可以从多个视图中提取互补信息，大 大减少训练样本的数量[8-10]。 学者们对 MVAL 的样本选择方法展开了广 泛研究：文献 [11] 提出了自适应最大不一致 (ad- 收稿日期：2020−07−23. 网络出版日期：2021−09−23. 基金项目：国家自然科学基金项目（61675051）. 通信作者：朱海峰. E-mail：zhuhaifeng@hrbeu.edu.cn. 第 16 卷第 6 期 智 能 系 统 学 报 Vol.16 No.6 2021 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2021
·1008· 智能系统学报 第16卷 aptive maximum disagreement,AMD)的样本选择方 图1所示。 法，该方法利用各分类器对样本预测结果的不一 训练分类器 预测所有样本 输出 致性选择样本；文献[12]提出了加权投票熵 HSI数据输 (weighted voting entropy,WVE)的样本选择方法， 候选集 迭代 样本选择 由于不同视图对于不同类别的区分能力不同，该 训练集 选出部分样本 模型分类精 方法通过各视图的权重体现了不同视图对样本的 样本预测标签 辨别能力的差异；文献[13]提出了一种EUE样 本选择方法，该方法综合考虑了视图内和视图间 图1基于MVAL的HSI分类的基本流程 的不确定性。这些方法均取得了良好的分类结 Fig.1 Basic flow chart of HSI classification based on MVAL 果，但是这些方法只考虑了样本的不确定性，没 1.2视图生成方法 有考虑样本的多样性，导致所选样本中存在冗 本文使用了3D-Gabor滤波视图生成方法，通过 余。并且，随着迭代次数的增加，不同视图训练 使用不同频率和方向的3D-Gabor滤波器将原始HSl 的分类器会趋同，具有相同的分歧程度的样本越 转换成多个具有不同频谱空间特征的数据集。 来越多，样本冗余问题会进一步加剧。 利用这些数据集提供的频谱空间信息，将HSI的 目前，学者们对MVAL中所选样本的多样性 光谱和空间信息结合起来。3D-Gabor内核为 研究较少。文献[I5]提出了一种用于MVAL的 Go.e.o(x,y,A)=g(x,y,A)explj(x@:+ywy+@) 基于聚类的多样性样本选择方法，该方法采用局 式中：ω为波向量的中心频率；9为波向量和光谱 部聚类密度度量方法对H$I样本进行聚类，采用 维度的夹角；w、、w分别是样本的特征向量 光谱角距离作为聚类的距离准则。然而，该方法 在高光谱图像的横纵坐标轴x、y和光谱方向d上 在聚类过程中只使用了光谱信息，没有考虑样本 的投影；O是样本的特征向量在地面x、y上的投影 的空间信息，由此选出的相似样本会产生同谱异 与x轴的夹角：g(x,y,)是在(x,y,)域的三维高斯包 物的问题6-17”。 本文提出了一种基于超像素分割图的MVAL 络线。频率和方向的参数设置为：u∈{日J 14'8121 11 多样性样本选择方法。H$I的超像素分割方法同 G动以=0登}。当。=0时，液向量与 时基于样本的光谱特性和空间特性，可以有效地 不同的矢量方向相同，共13个方向。HSI经3D- 避免样本选择过程中的同谱异物问题。 Gabor滤波后，得到65个不同频率和方向的 在MVAL中，多个视图训练的多个分类器， Gabor立方体，得到的Gabor立方体与原始HSI大 彼此独立并互相补充，共同对样本选择过程和得 小相同。 到最终分类结果起作用。分类器对不同样本的 然后，采用文献[13]中提出的FR准则衡量视 预测结果的一致性直接与样本间的相似性有关， 图的充分性。从得到的全部视图中选出充分性最 因此本文又提出了一种基于多视图预测标签一致 大的5个视图作为MVAL的多视图。FR准则为 性的样本选择方法。 1 2 1算法框架 bi.jl,2.-r小xeD 4-4-4) 1.1MVAL的基本流程 4-x04-x)+4-x)0-x) 基于MVAL的HSI分类的基本流程是：首先 式中：D,为初始标记训练样本；r为地物类别数 将H$I的全部已标记样本分为训练集和候选集， 量；(4，-4)4：-4)T为第i、j类的均值类间散射矩 然后对H$I采用某种视图生成方法得到多个视 阵；(4-x4-x)r+(4,-x)-x)T为第i、j类的方 图。每个视图分别训练一个分类器，并使用每个 差类内分散矩阵。 分类器对全部样本进行预测，得到其预测的结果 1.3传统的AMD查询策略 和精度。根据预测结果，使用MVAL样本选择策 传统样本选择方法通过比较各分类器对样本 略从候选集中选出信息量大的样本。依次迭代， 的不同预测结果个数，衡量样本的不确定性，并 直到满足停止条件。根据各个分类器的预测结果 从候选集中选出不同预测结果个数最多的样本进 得到最终的分类结果和分类精度20-2川。停止条件 行查询。该方法称为自适应最大不一致策略(ad- 一般为达到了最大迭代次数或分类精度达到某个 aptive maximum disagreement,.AMD)。具体表达 值。基于MVAL的HSI分类的基本流程图如 式为
aptive maximum disagreement, AMD) 的样本选择方 法，该方法利用各分类器对样本预测结果的不一 致性选择样本；文 献 [ 1 2 ] 提出了加权投票 熵 (weighted voting entropy, WVE) 的样本选择方法， 由于不同视图对于不同类别的区分能力不同，该 方法通过各视图的权重体现了不同视图对样本的 辨别能力的差异；文献 [13] 提出了一种 IEUE 样 本选择方法，该方法综合考虑了视图内和视图间 的不确定性。这些方法均取得了良好的分类结 果，但是这些方法只考虑了样本的不确定性，没 有考虑样本的多样性，导致所选样本中存在冗 余。并且，随着迭代次数的增加，不同视图训练 的分类器会趋同，具有相同的分歧程度的样本越 来越多，样本冗余问题会进一步加剧[11-14]。 目前，学者们对 MVAL 中所选样本的多样性 研究较少。文献 [15] 提出了一种用于 MVAL 的 基于聚类的多样性样本选择方法，该方法采用局 部聚类密度度量方法对 HSI 样本进行聚类，采用 光谱角距离作为聚类的距离准则。然而，该方法 在聚类过程中只使用了光谱信息，没有考虑样本 的空间信息，由此选出的相似样本会产生同谱异 物的问题[16-17]。 本文提出了一种基于超像素分割[18] 的 MVAL 多样性样本选择方法。HSI 的超像素分割方法同 时基于样本的光谱特性和空间特性，可以有效地 避免样本选择过程中的同谱异物问题。 在 MVAL 中，多个视图训练的多个分类器， 彼此独立并互相补充，共同对样本选择过程和得 到最终分类结果起作用[19]。分类器对不同样本的 预测结果的一致性直接与样本间的相似性有关， 因此本文又提出了一种基于多视图预测标签一致 性的样本选择方法。 1 算法框架 1.1 MVAL 的基本流程 基于 MVAL 的 HSI 分类的基本流程是：首先 将 HSI 的全部已标记样本分为训练集和候选集， 然后对 HSI 采用某种视图生成方法得到多个视 图。每个视图分别训练一个分类器，并使用每个 分类器对全部样本进行预测，得到其预测的结果 和精度。根据预测结果，使用 MVAL 样本选择策 略从候选集中选出信息量大的样本。依次迭代， 直到满足停止条件。根据各个分类器的预测结果 得到最终的分类结果和分类精度[20-21]。停止条件 一般为达到了最大迭代次数或分类精度达到某个 值。基于 MVAL 的 HSI 分类的基本流程图如 图 1 所示。 HSI 数据输入 候选集 训练集 训练分类器 样本选择 选出部分样本 迭代 预测所有样本 输出 样 本 预 测 标 签 模 型 分 类 精 度 图 1 基于 MVAL 的 HSI 分类的基本流程 Fig. 1 Basic flow chart of HSI classification based on MVAL 1.2 视图生成方法 本文使用了 3D-Gabor 滤波视图生成方法，通过 使用不同频率和方向的 3D-Gabor 滤波器将原始 HSI 转换成多个具有不同频谱空间特征的数据集[22]。 利用这些数据集提供的频谱空间信息，将 HSI 的 光谱和空间信息结合起来。3D-Gabor 内核为 Gω,φ,θ(x, y, λ) = g(x, y, λ) exp{j(xωx +yωy +λωλ)} ω φ ωx、ωy、ωλ λ θ g(x, y, λ) (x, y, λ) ω ∈ { 1 4 , 1 8 , 1 12 , 1 16 , 1 20} {φ, θ} = { 0, π 4 , π 2 , 3π 4 } φ = 0 θ 式中： 为波向量的中心频率； 为波向量和光谱 维度的夹角； 分别是样本的特征向量 在高光谱图像的横纵坐标轴 x、y 和光谱方向 上 的投影； 是样本的特征向量在地面 x、y 上的投影 与 x 轴的夹角； 是在 域的三维高斯包 络线。频率和方向的参数设置为： ， 。当 时，波向量与 不同的 矢量方向相同，共 13 个方向。HSI 经 3DGabo r 滤波后，得 到 6 5个不同频率和方向 的 Gabor 立方体，得到的 Gabor立方体与原始 HSI 大 小相同。 然后，采用文献 [13] 中提出的 FR 准则衡量视 图的充分性。从得到的全部视图中选出充分性最 大的 5 个视图作为 MVAL 的多视图。FR 准则为 φFR = 1 B 2 r(r −1) ∑B b ∑ i, j∈{1,2,···,r} ∑ x∈Ds (µi −µj)(µi −µj) T (µi − x)(µi − x) T +(µj − x)(µj − x) T (µi −µj)(µi −µj) T (µi − x)(µi − x) T +(µj − x)(µj − x) T 式中：Ds 为初始标记训练样本；r 为地物类别数 量； 为第 i、j 类的均值类间散射矩 阵 ； 为第 i、j 类的方 差类内分散矩阵。 1.3 传统的 AMD 查询策略 传统样本选择方法通过比较各分类器对样本 的不同预测结果个数，衡量样本的不确定性，并 从候选集中选出不同预测结果个数最多的样本进 行查询。该方法称为自适应最大不一致策略 (adaptive maximum disagreement，AMD)。具体表达 式为 ·1008· 智 能 系 统 学 报 第 16 卷
第6期 陈立伟，等：多视图主动学习的多样性样本选择方法研究 ·1009· QAMD arg max L()lcount,=1,2,..K 提出的基于超像素的多样性样本选择方法的 xEDe 式中：L(:)为第k个分类器对样本x的分类结果， 定义公式为 共有K个分类器；Dc为候选集；lum为其中不同 Xsuc=unique[L(x)L(2)…Lxm)】 元素的个数。 式中Xsuc为XAMD经过提出的基于超像素的多样性 样本选择方法后得到的最终所选样本。unique 2MVAL样本选择方法的多样性选 函数的具体过程如图3。 择策略 Xc=xl,L=L儿j=2 针对MVAL样本选择过程中存在冗余样本的 问题，本文提出了基于超像素分割和基于预测标 签一致性的两种MVAL多样性样本选择策略。 L(x)L 在MVAL的传统AMD样本选择方法后，使用提 出的多样性方法对所选样本进行进一步筛选，减 少训练样本个数，从而降低人工标记成本。 Xsuc-[Xsiic,x 2.1基于超像素分割的多样性选择策略 传统的超像素分割方法有Meanshift、简单线 性迭代聚类(simple linear iterative clustering,SLIC), L=HL,L(g初 归一化分割(normalized cut)、基于嫡率(entropy rate)等。其中，SLIC算法能够根据HSI的同质性 和非均匀性特点进行超像素分割，使不同超像素 的空间相干性大大降低。同时只需设置一个预分 割超像素数量参数即可在运行速度、紧凑整齐度 等方面有一定优势。因此，本文采用SLIC超像素 算法4用于HSI的MVAL多样性样本选择过程。 利用SLIC超像素方法对MVAL样本选择过程 进行多样性改进的步骤为：首先对整个HSI进 图3 unique函数的流程 Fig.3 Flow of unique function 行SLIC超像素分割，分割后的HSI数据如图2。设 共得到k个超像素，每个样本：均对应一个超像素 此方法先对原始H$I进行超像素分割，该过 标签L,同一超像素的样本的超像素标签相同。然 程同时考虑了样本的空间相邻性和光谱相似性。 后使用一种样本选择方法（如AMD策略）选出不 将HS中光谱相似且空间相邻的样本判别为相似 确定性最大的m个样本，记为XAMD=[:x·xm]。 样本，放入一个超像素区域中。通过超像素分割 再从这m个样本找出属于相同超像素的样本。 方法得到相似样本可以有效地避免同谱异物问 接下来对其中属于同一个超像素的样本，随机选 题，从而更好地进行多样性样本选择。 出其中一个作为代表，剩下的样本放回候选集 2.2基于预测标签一致性的多样性选择策略 中。令选出的样本必须来自不同的超像素，从而 在HSI分类的MVAL方法中，每个分类器均 实现样本选择过程的多样性改进。 对样本进行预测。对于两个特别相似的样本，各 分类器对它们的分类结果大概率相同。基于MVAL 原始高光谱图像 超像素分割 方法特有的多视图特点，以及每个视图分别训练 分类器的特点，提出一种基于预测标签一致性的 SLIC 去冗余算法。该算法通过比较分类器对不同样本 预测结果的一致性，找出所选样本中的相似样本， 并去掉其中冗余样本。此方法的定义为 图2高光谱图像的SLIC超像素分割图 Fig.2 SLIC superpixel segmentation schematic of hyper- D=克L4L4c儿 k=1 spectral images ∫1，a=b 得到超像素标签的表达式为 la,e={0,a≠b L=Lx),L∈[1，k 式中：x,x∈Uc,且x:≠x;D为样本x和x的相似程
QAMD = argmax xi∈DC |Lk(xi)|count，k = 1,2,··· ,K Lk(xi) xi DC | · |count 式中： 为第 k 个分类器对样本 的分类结果， 共有 K 个分类器； 为候选集； 为其中不同 元素的个数。 2 MVAL 样本选择方法的多样性选 择策略 针对 MVAL 样本选择过程中存在冗余样本的 问题，本文提出了基于超像素分割和基于预测标 签一致性的两种 MVAL 多样性样本选择策略。 在 MVAL 的传统 AMD 样本选择方法后，使用提 出的多样性方法对所选样本进行进一步筛选，减 少训练样本个数，从而降低人工标记成本。 2.1 基于超像素分割的多样性选择策略 传统的超像素分割方法有 Meanshift、简单线 性迭代聚类 (simple linear iterative clustering，SLIC)、 归一化分割 (normalized cut)、基于熵率 (entropy rate) 等。其中，SLIC 算法能够根据 HSI 的同质性 和非均匀性特点进行超像素分割，使不同超像素 的空间相干性大大降低。同时只需设置一个预分 割超像素数量参数即可在运行速度、紧凑整齐度 等方面有一定优势[23]。因此，本文采用 SLIC 超像素 算法[24] 用于 HSI 的 MVAL 多样性样本选择过程。 xi Li XAMD = [x1 x2 ··· xm] 利用 SLIC 超像素方法对 MVAL 样本选择过程 进行多样性改进的步骤为：首先对整个 HSI 进 行 SLIC 超像素分割，分割后的 HSI 数据如图 2。设 共得到 k 个超像素，每个样本 均对应一个超像素 标签 ，同一超像素的样本的超像素标签相同。然 后使用一种样本选择方法 (如 AMD 策略) 选出不 确定性最大的 m 个样本，记为 。 再从这 m 个样本找出属于相同超像素的样本。 接下来对其中属于同一个超像素的样本，随机选 出其中一个作为代表，剩下的样本放回候选集 中。令选出的样本必须来自不同的超像素，从而 实现样本选择过程的多样性改进。 SLIC 原始高光谱图像 超像素分割 图 2 高光谱图像的 SLIC 超像素分割图 Fig. 2 SLIC superpixel segmentation schematic of hyperspectral images 得到超像素标签的表达式为 Li = L(xi), Li ∈ [1, k] 提出的基于超像素的多样性样本选择方法的 定义公式为 XSLIC = unique[L(x1) L(x2) ··· L(xm)] XSLIC XAMD unique 式中 为 经过提出的基于超像素的多样性 样本选择方法后得到的最终所选样本。 函数的具体过程如图 3。 XSLIC=[x1], L=[L (x1)], j=2 XSLIC=[XSLIC, xj ] XSLIC L=[L, L (xj )] j=j+1 j≤m Y Y N L (x N j ) ϵ L 图 3 unique 函数的流程 Fig. 3 Flow of unique function 此方法先对原始 HSI 进行超像素分割，该过 程同时考虑了样本的空间相邻性和光谱相似性。 将 HIS 中光谱相似且空间相邻的样本判别为相似 样本，放入一个超像素区域中。通过超像素分割 方法得到相似样本可以有效地避免同谱异物问 题，从而更好地进行多样性样本选择。 2.2 基于预测标签一致性的多样性选择策略 在 HSI 分类的 MVAL 方法中，每个分类器均 对样本进行预测。对于两个特别相似的样本，各 分类器对它们的分类结果大概率相同。基于 MVAL 方法特有的多视图特点，以及每个视图分别训练 分类器的特点，提出一种基于预测标签一致性的 去冗余算法。该算法通过比较分类器对不同样本 预测结果的一致性，找出所选样本中的相似样本， 并去掉其中冗余样本。此方法的定义为 D = ∑K k=1 |Lk(xi),Lk(xj)|equal |a,b|equal = { 1, a = b 0, a , b xi 式中： , xj ∈ UC，且xi , xj ；D 为样本xi和xj 的相似程 第 6 期 陈立伟，等：多视图主动学习的多样性样本选择方法研究 ·1009·
·1010· 智能系统学报 第16卷 度，D越大，x和x越相似。 机选择一个作为代表加入训练集，如样本X,其余 基于预测标签一致性的多样性样本选择方法 样本放回候选集；再从样本X和样本X。中随机选 如图4所示。首先使用一种样本选择方法（如AMD 择一个作为代表加入训练集，如样本X,其余样本 策略)选出一批信息量大的样本X,X2,…,Xg,然 放回候选集，最终选择的训练样本为X1,X2,X,X,X, 后对从中找出预测标签完全相同的样本。从图4 X8。从图4中可以看出，训练样本数由8个减少 中可以看出，样本X与样本X的预测标签完全相 为6个，通过基于预测标签一致性的去冗余方法 同，均为[3,4,4,6,7：样本X与样本X的预测标签完 可以实现去除多余的训练样本的目的，减少人工 全相同，均为[6,6,7,12,7]。从样本X和样本X中随 标记成本。 X:34467 X:34467 X:34467 X:45665 X:45665 X:45665 X:34467 X:34467 出：34467 AMD 候选集U。 X:8813137 D=5 X:8813137 去冗余 X:8813137 所选样本 X:667127 ·667127 66712 X6:667127 :667127 66729 X:388316 X7:388316 X:388316 X Xg:488415 Xg:488415 X:488415 图4基于预测标签一致性的多样性样本选择方法示意 Fig.4 Graphical representation of a diversity sampling method based on predictive label consistency 3实验结果与讨论 致性。Kappa系数的具体表达式为 3.1实验数据集 Nxm-Nxm 为了验证本文算法的有效性，采用了2个常 Kappa= 用的高光谱图像进行仿真实验，分别是Indian W2- Pines数据集和Salinas数据集。Indian Pines数据 集包括16个类别，共有21025个样本，其中有真 3.3实验结果对比 实标签的样本为10249个；Salinas数据集也包括 本节主要验证本文提出的两种多样性样本选 16个类别，共有111104个样本，其中有真实标签 择方法的效果，并将提出的基于超像素分割的多 的样本为54129个。 样性选择方法和基于预测标签一致的去冗余算法 3.2分类性能评价指标 分别简称为方法A和方法B。采用选取的2组 本文使用综合精度(OA)、平均精度(AA)、 HSI数据进行3组实验。第1组：使用传统AMD Kappa系数(Kappa)对两组对比实验结果进行定 策略进行样本选择，记为AMD。第2组：先使用 量比较。 AMD策略进行样本选择，再将所选样本使用方 OA方法通过混淆矩阵判别总体分类精度， 法A去除冗余，最后将去冗余后的所选样本加入 具体表达式为 训练集，进行MVAL,记为AMD+A。第3组：将 方法A换成方法B,其他操作与第2组实验相同， 记为AMD+B。将第2、3组实验结果与第1组实 式中：N为全部样本数；n为类别总数；m为将样本 验结果进行对比，验证这2种方法的有效性。 正确分类到第i类的数量。 以上所有实验均使用MLR分类器2，采用 AA表示在每个类别中分类正确的样本所占 3D-Gabor滤波视图生成方法，视图数量为5。 的比重。如果各类别样本数量相同，则平均分类 3组数据使用相同频率和方向的3D-Gabor滤波 精度AA与总体分类精度OA相同。AA的表达 器，滤波后均得到65个Gabor立方体，再通过 式为 FR准则选出充分性前5的立方体作为MVAL的 AA= 5个视图。实验前，分别在Indian Pines数据集和 Salinas数据集中有真实标签的样本中选出一部分 式中：CA= 发表示各类别的分类精度：N为第类 样本作为初始训练样本。具体方法为：从每个类 样本总数。 别中随机选出5个样本作为初始训练样本，共 Kappa系数用来表示分类图与真实图像的一 80个样本。其余的有真实标签的样本为候选样
度，D 越大，xi和xj 越相似。 {X1,X2,··· ,X8} X1 X3 X5 X6 X1 X3 基于预测标签一致性的多样性样本选择方法 如图 4 所示。首先使用一种样本选择方法 (如 AMD 策略) 选出一批信息量大的样本 ，然 后对从中找出预测标签完全相同的样本。从图 4 中可以看出，样本 与样本 的预测标签完全相 同，均为 [3,4,4,6,7]；样本 与样本 的预测标签完 全相同，均为 [6,6,7,12,7]。从样本 和样本 中随 X1 X5 X6 X5 {X1,X2,X4,X5,X7, X8} 机选择一个作为代表加入训练集，如样本 ，其余 样本放回候选集；再从样本 和样本 中随机选 择一个作为代表加入训练集，如样本 ，其余样本 放回候选集，最终选择的训练样本为 。从图 4 中可以看出，训练样本数由 8 个减少 为 6 个，通过基于预测标签一致性的去冗余方法 可以实现去除多余的训练样本的目的，减少人工 标记成本。 候选集 UC X1 : 3 4 4 6 7 X2 : 4 5 6 6 5 X3 : 3 4 4 6 7 X4 : 8 8 13 13 7 X5 : 6 6 7 12 7 X6 : 6 6 7 12 7 X7 : 3 8 8 3 16 X8 : 4 8 8 4 15 X1 X2 X4 X5 X7 X8 去冗余 所选样本 X1 : 3 4 4 6 7 X2 : 4 5 6 6 5 X3 : 3 4 4 6 7 X4 : 8 8 13 13 7 X5 : 6 6 7 12 7 X6 : 6 6 7 12 7 X7 : 3 8 8 3 16 X8 : 4 8 8 4 15 X1 : 3 4 4 6 7 X2 : 4 5 6 6 5 X3 : 3 4 4 6 7 X4 : 8 8 13 13 7 X5 : 6 6 7 12 7 X6 : 6 6 7 12 7 X7 : 3 8 8 3 16 X8 : 4 8 8 4 15 AMD D=5 图 4 基于预测标签一致性的多样性样本选择方法示意 Fig. 4 Graphical representation of a diversity sampling method based on predictive label consistency 3 实验结果与讨论 3.1 实验数据集 为了验证本文算法的有效性，采用了 2 个常 用的高光谱图像进行仿真实验，分别是 Indian Pines 数据集和 Salinas 数据集。Indian Pines 数据 集包括 16 个类别，共有 21 025 个样本，其中有真 实标签的样本为 10 249 个； Salinas 数据集也包括 16 个类别，共有 111 104 个样本，其中有真实标签 的样本为 54129 个。 3.2 分类性能评价指标 本文使用综合精度 (OA)、平均精度 (AA)、 Kappa 系数 (Kappa) 对两组对比实验结果进行定 量比较。 OA 方法通过混淆矩阵判别总体分类精度， 具体表达式为 OA = 1 N ∑n i=1 mi 式中： N 为全部样本数；n 为类别总数；mi为将样本 正确分类到第 i 类的数量。 AA 表示在每个类别中分类正确的样本所占 的比重。如果各类别样本数量相同，则平均分类 精度 AA 与总体分类精度 OA 相同。AA 的表达 式为 AA = 1 N ∑n i=1 CA CA = mi Ni Ni 式中： 表示各类别的分类精度； 为第 i 类 样本总数。 Kappa 系数用来表示分类图与真实图像的一 致性。Kappa 系数的具体表达式为 Kappa = N × ∑n i=1 mi − ∑n i=1 Ni ×mi N2 − ∑n i=1 Ni ×mi 3.3 实验结果对比 本节主要验证本文提出的两种多样性样本选 择方法的效果，并将提出的基于超像素分割的多 样性选择方法和基于预测标签一致的去冗余算法 分别简称为方法 A 和方法 B。采用选取的 2 组 HSI 数据进行 3 组实验。第 1 组：使用传统 AMD 策略进行样本选择，记为 AMD。第 2 组：先使用 AMD 策略进行样本选择，再将所选样本使用方 法 A 去除冗余，最后将去冗余后的所选样本加入 训练集，进行 MVAL，记为 AMD+A。第 3 组：将 方法 A 换成方法 B，其他操作与第 2 组实验相同， 记为 AMD+B。将第 2、3 组实验结果与第 1 组实 验结果进行对比，验证这 2 种方法的有效性。 以上所有实验均使用 MLR 分类器[25] ，采用 3D-Gabor 滤波视图生成方法，视图数量为 5。 3 组数据使用相同频率和方向的 3D-Gabor 滤波 器，滤波后均得到 65 个 Gabor 立方体，再通过 FR 准则选出充分性前 5 的立方体作为 MVAL 的 5 个视图。实验前，分别在 Indian Pines 数据集和 Salinas 数据集中有真实标签的样本中选出一部分 样本作为初始训练样本。具体方法为：从每个类 别中随机选出 5 个样本作为初始训练样本，共 80 个样本。其余的有真实标签的样本为候选样 ·1010· 智 能 系 统 学 报 第 16 卷
第6期 陈立伟，等：多视图主动学习的多样性样本选择方法研究 ·1011· 本，测试样本为有真实标签的全部样本。在AMD nas数据集的AMD和AMD+A实验迭代过程中的 样本选择方法中，每次迭代最多选择15个样本， 分类结果如表2所示。 共迭代20次。在方法A中，超像素的边长为 从表1、2可以看出：无论迭代次数是多少， 4×4,超像素个数大约为总样本数除以16，超像素 通过基于超像素分割的多样性选择方法改进后得 中光谱和空间的权重因子为0.5。 到的实验精度基本不变，而训练样本数量均有不 为了进一步测试方法的效果，本文对比了实 同程度的减少。 验中每5次迭代对应的分类精度以及各组实验的 两个数据集在AMD和AMD+A实验中得到 耗时情况。Indian Pines数据集的AMD和AMD+ 的最终分类结果如表3所示，分类结果对比图如 A实验迭代过程中的分类结果如表1所示。Sali- 图5、6所示。 表1 Indian Pines数据集的AMD+A与AMD的实验结果 Table 1 Experimental results of AMD+A and AMD in the Indian Pines dataset 序号 实验 迭代次数 OA Kappa AA 训练样本数 AMD 0.8371 0.8157 0.8916 142 5 AMD+A 0.8365 0.8149 0.8912 131 AMD 0.8958 0.8817 0.9245 168 2 10 AMD+A 0.8950 0.8809 0.9248 157 AMD 0.9463 0.9388 0.9473 214 15 AMD+A 0.9467 0.9393 0.9498 199 AMD 0.9678 0.9633 0.9654 263 20 AMD+A 0.9686 0.9643 0.9693 236 表2 Salinas数据集的AMD+A与AMD的实验结果 Table 2 Experimental results of AMD+A and AMD in the Salinas dataset 序号 实验 迭代次数 OA Kappa AA 训练样本数 AMD 0.9382 0.9312 0.9651 155 5 AMD+A 0.9382 0.9312 0.9651 154 AMD 0.9619 0.9576 0.9773 230 2 10 AMD+A 0.9544 0.9493 0.9739 215 AMD 0.9744 0.9715 0.9837 305 15 AMD+A 0.9746 0.9717 0.9852 272 AMD 0.9818 0.9798 0.9907 380 20 AMD+A 0.9795 0.9771 0.9896 315 表3AMD+A与AMD实验的最终结果 Table 3 Final results of the AMD+A and AMD experiments 数据集 实验 OA Kappa AA 训练样本数 耗时s AMD 0.9678 0.9633 0.9654 263 42.16 Indian Pines AMD+A 0.9686 0.9643 0.9693 236 45.65 AMD 0.9818 0.9798 0.9907 380 313.76 Salinas AMD+A 0.9795 0.9771 0.9896 315 338.68
本，测试样本为有真实标签的全部样本。在 AMD 样本选择方法中，每次迭代最多选择 15 个样本， 共迭代 20 次。在方法 A 中，超像素的边长为 4×4，超像素个数大约为总样本数除以 16，超像素 中光谱和空间的权重因子为 0.5。 为了进一步测试方法的效果，本文对比了实 验中每 5 次迭代对应的分类精度以及各组实验的 耗时情况。Indian Pines 数据集的 AMD 和 AMD+ A 实验迭代过程中的分类结果如表 1 所示。Salinas 数据集的 AMD 和 AMD+A 实验迭代过程中的 分类结果如表 2 所示。 从表 1、2 可以看出：无论迭代次数是多少， 通过基于超像素分割的多样性选择方法改进后得 到的实验精度基本不变，而训练样本数量均有不 同程度的减少。 两个数据集在 AMD 和 AMD+A 实验中得到 的最终分类结果如表 3 所示，分类结果对比图如 图 5、6 所示。 表 1 Indian Pines 数据集的 AMD+A 与 AMD 的实验结果 Table 1 Experimental results of AMD+A and AMD in the Indian Pines dataset 序号 实验 迭代次数 OA Kappa AA 训练样本数 1 AMD 5 0.8371 0.8157 0.891 6 142 AMD+A 0.8365 0.8149 0.891 2 131 2 AMD 10 0.8958 0.8817 0.924 5 168 AMD+A 0.8950 0.8809 0.924 8 157 3 AMD 15 0.9463 0.9388 0.947 3 214 AMD+A 0.9467 0.9393 0.949 8 199 4 AMD 20 0.9678 0.9633 0.965 4 263 AMD+A 0.9686 0.9643 0.969 3 236 表 2 Salinas 数据集的 AMD+A 与 AMD 的实验结果 Table 2 Experimental results of AMD+A and AMD in the Salinas dataset 序号 实验 迭代次数 OA Kappa AA 训练样本数 1 AMD 5 0.9382 0.9312 0.965 1 155 AMD+A 0.9382 0.9312 0.965 1 154 2 AMD 10 0.9619 0.9576 0.977 3 230 AMD+A 0.9544 0.9493 0.973 9 215 3 AMD 15 0.9744 0.9715 0.983 7 305 AMD+A 0.9746 0.9717 0.985 2 272 4 AMD 20 0.9818 0.9798 0.990 7 380 AMD+A 0.9795 0.9771 0.989 6 315 表 3 AMD+A 与 AMD 实验的最终结果 Table 3 Final results of the AMD+A and AMD experiments 数据集 实验 OA Kappa AA 训练样本数 耗时/s Indian Pines AMD 0.9678 0.963 3 0.965 4 263 42.16 AMD+A 0.9686 0.964 3 0.969 3 236 45.65 Salinas AMD 0.9818 0.979 8 0.990 7 380 313.76 AMD+A 0.9795 0.977 1 0.989 6 315 338.68 第 6 期 陈立伟，等：多视图主动学习的多样性样本选择方法研究 ·1011·
·1012· 智能系统学报 第16卷 Kappa值区别不大，分类结果图也无明显差别，然 而两个数据集在AMD+A实验中用到的训练样本 总数比AMD实验中分别减少了10.2%、17.1%.耗 时仅增加了3.49s、24.92s。Indian Pines数据集的 AMD和AMD+B实验迭代过程中的分类结果如 表4所示。Salinas数据集的AMD和AMD+B实 (a)AMD (b)AMD+A 验迭代过程中的分类结果如表5所示。 图5用方法A改进前后的实验结果分析(Indian Pines) Fig.5 Comparison of experimental results before and 表4 Indian Pines数据集的AMD+B与AMD的实验结果 after improvement with method A(Indian Pines) Table 4 Experimental results of AMD+B and AMD in the Indian Pines dataset 迭代 训练样 序号 实验 OA AA 次数 Kappa 本数 AMD 0.83560.81250.8807 153 AMD+B 0.83380.81040.8737 148 AMD 0.89440.87900.9084179 2 10 (a)AMD (b)AMD+A AMD+B 0.89390.87840.9065172 图6用方法A改进前后的实验结果分析(Salinas) AMD 0.94230.93420.9478217 3 15 Fig.6 Comparison of experimental results before and AMD+B 0.94200.93390.9482 202 after improvement with method A(Salinas) AMD 0.96140.95600.9638 268 由AMD和AMD+A的对比实验结果可以看 20 AMD+B 0.96450.95950.9628 246 出：3个HSI数据集在两组实验中的OA、AA、 表5 Salinas数据集的AMD+B与AMD的实验结果 Table 5 Experimental results of AMD+B and AMD in the Salinas dataset 序号 实验 迭代次数 OA Kappa AA 训练样本数 AMD 0.8857 0.8734 0.9476 113 1 5 AMD+B 0.8945 0.8831 0.9513 100 AMD 0.9304 0.9227 0.9530 162 2 10 AMD+B 0.9224 0.9137 0.9478 125 AMD 0.9497 0.9441 0.9694 182 15 AMD+B 0.9449 0.9387 0.9640 138 AMD 0.9598 0.9553 0.9819 204 20 AMD+B 0.9524 0.9470 0.9780 152 从表4、5中可以看出：无论迭代次数是多 不同程度的减少。两个数据集在AMD和AMD+B 少，通过基于预测标签一致的去冗余算法改进后 实验中得到的最终分类结果如表6所示，分类结 得到的实验精度基本不变，而训练样本数量均有 果对比图如图7、8所示。 表6AMD+B与AMD实验的最终结果 Table 6 Final results of AMD+B and AMD experiments 数据集 实验 OA Kappa AA 训练样本数 耗时s AMD 0.9614 0.9560 0.9638 268 41.96 Indian Pines AMD+B 0.9645 0.9595 0.9628 246 42.84 AMD 0.9598 0.9553 0.9819 204 309.34 Salinas AMD+B 0.9524 0.9470 0.9780 152 323.68
(a) AMD (b) AMD+A 图 5 用方法 A 改进前后的实验结果分析 (Indian Pines) Fig. 5 Comparison of experimental results before and after improvement with method A (Indian Pines) (a) AMD (b) AMD+A 图 6 用方法 A 改进前后的实验结果分析 (Salinas) Fig. 6 Comparison of experimental results before and after improvement with method A (Salinas) 由 AMD 和 AMD+A 的对比实验结果可以看 出 ：3 个 HSI 数据集在两组实验中的 OA、AA、 Kappa 值区别不大，分类结果图也无明显差别，然 而两个数据集在 AMD+A 实验中用到的训练样本 总数比 AMD 实验中分别减少了 10.2%、17.1%，耗 时仅增加了 3.49 s、24.92 s。Indian Pines 数据集的 AMD 和 AMD+B 实验迭代过程中的分类结果如 表 4 所示。Salinas 数据集的 AMD 和 AMD+B 实 验迭代过程中的分类结果如表 5 所示。 表 4 Indian Pines 数据集的 AMD+B 与 AMD 的实验结果 Table 4 Experimental results of AMD+B and AMD in the Indian Pines dataset 序号 实验 迭代 次数 OA Kappa AA 训练样 本数 1 AMD 5 0.8356 0.812 5 0.880 7 153 AMD+B 0.8338 0.810 4 0.873 7 148 2 AMD 10 0.8944 0.879 0 0.908 4 179 AMD+B 0.8939 0.878 4 0.906 5 172 3 AMD 15 0.9423 0.934 2 0.947 8 217 AMD+B 0.9420 0.933 9 0.948 2 202 4 AMD 20 0.9614 0.956 0 0.963 8 268 AMD+B 0.9645 0.959 5 0.962 8 246 表 5 Salinas 数据集的 AMD+B 与 AMD 的实验结果 Table 5 Experimental results of AMD+B and AMD in the Salinas dataset 序号 实验 迭代次数 OA Kappa AA 训练样本数 1 AMD 5 0.8857 0.8734 0.947 6 113 AMD+B 0.8945 0.8831 0.951 3 100 2 AMD 10 0.9304 0.9227 0.953 0 162 AMD+B 0.9224 0.9137 0.947 8 125 3 AMD 15 0.9497 0.9441 0.969 4 182 AMD+B 0.9449 0.9387 0.964 0 138 4 AMD 20 0.9598 0.9553 0.981 9 204 AMD+B 0.9524 0.9470 0.978 0 152 从表 4、5 中可以看出：无论迭代次数是多 少，通过基于预测标签一致的去冗余算法改进后 得到的实验精度基本不变，而训练样本数量均有 不同程度的减少。两个数据集在 AMD 和 AMD+B 实验中得到的最终分类结果如表 6 所示，分类结 果对比图如图 7、8 所示。 表 6 AMD+B 与 AMD 实验的最终结果 Table 6 Final results of AMD+B and AMD experiments 数据集 实验 OA Kappa AA 训练样本数 耗时/s Indian Pines AMD 0.961 4 0.956 0 0.963 8 268 41.96 AMD+B 0.964 5 0.959 5 0.962 8 246 42.84 Salinas AMD 0.959 8 0.955 3 0.981 9 204 309.34 AMD+B 0.952 4 0.947 0 0.978 0 152 323.68 ·1012· 智 能 系 统 学 报 第 16 卷
第6期 陈立伟，等：多视图主动学习的多样性样本选择方法研究 ·1013· ing hyperspectral imaging and multivariate spectral ana lysis[J].Spectroscopy letters,2020,53(2):76-85. [2]张晓玲，张培强，沈兰荪.基于信息量失真测度的 VQ及在高光谱图像无损压缩中的应用[).遥感学报， 2004,8(5):414-418. ZHANG Xiaoling,ZHANG Peiqiang,SHEN Lansun.A (a)AMD (b)AMD+B VO based on information distortion measure and its ap- 图7用方法B改进前后的实验结果分析(Indian Pines) plication to lossless compression of hyperspectral Fig.7 Comparison of experimental results before and image[J].Journal of remote sensing,2004,8(5):414-418. after improvement with method B(Indian Pines) [3] WANG Meng,HUA Xiansheng.Active learning in multi- media annotation and retrieval:a survey[J].ACM transac- tions on intelligent systems and technology,2011,2(2):10. [4]TU Bing.KUANG Wenlan,ZHAO Guangzhe,et al.Hy- perspectral image classification by combining local bin- ary pattern and joint sparse representation[J.Internation- al journal of remote sensing,2019,40(24):9484-9500. [5]YANG Jihai,LI Shijun,XU Wenning.Active learning for (a)AMD (b)AMD+B visual image classification method based on transfer 图8用方法B改进前后的实验结果分析(Salinas) learning[J].IEEE access,2017,6:187-198 Fig.8 Comparison of experimental results before and [6]LIN Jianzhe,ZHAO Liang,LI Shuying,et al.Active- after improvement with method B(Salinas) learning-incorporated deep transfer learning for hyper- 由AMD和AMD+B的对比实验结果可以看 spectral image classification[J].IEEE journal of selected 出：3个HSI数据集在两组实验中的OA、AA、 topics in applied earth observations and remote sensing, Kappa值区别不大，分类结果图也无明显差别，然 2018,11(11)少：4048-4062. 而两个数据集在AMD+B实验中用到的训练样本 [7刀]赵忠明，高连如，陈东，等卫星遥感及图像处理平台发 总数比AMD实验中分别减少了8.2%、25.4%。 展J.中国图象图形学报，2019,2412少：2098-2110. AMD+B比AMD实验的耗时增加0.88s、14.34s。 ZHAO Zhongming,GAO Lianru,CHEN Dong,et al.De- 通过观察以上实验结果可以看出，AMD+A velopment of satellite remote sensing and image pro- 方法和AMD+B方法相对于传统AMD方法具有 cessing platform[J].Journal of image and graphics,2019, 明显优势。从实验结果来看，将本文提出的两种 2412:2098-2110 样本多样性选择方法用在传统AMD样本选择方 [8]程圆娥，周绍光，袁春琦，等.基于主动深度学习的高光 法后，OA、AA、Kappa及分类结果图均无明显变 谱影像分类.计算机工程与应用，2017,53(17)：192 化，训练样本数量均有不同程度的减少。使用这 196,248 两种改进方法虽然会少量地增加耗时，但增加的 CHENG Yuan'e,ZHOU Shaoguang,YUAN Chunqi,et al. 时间成本与节省的人工标记成本相比可以忽略不计。 Hyperspectral image classification based on active deep learning[J].Computer engineering and applications,2017, 4结束语 53(17):192-196,248. [9]吴超.高光谱图像处理若干关键技术研究D1.南京：南 本文基于SLIC超像素分割方法和各视图预 京航空航天大学，2012 测结果的一致性，提了出2种MVAL多样性样本 WU Chao.Research on some key technologies of hyper- 选择方法，有效地解决了传统MVAL样本选择过 spectral image processing[D].Nanjing:Nanjing Uni- 程存在冗余样本的问题。在2组HSI中进行实验， versity of Aeronautics and Astronautics,2012 验证了这两种方法能够有效地去除传统样本选择 [10]JAMSHIDPOUR N.SAFARI A,HOMAYOUNI S 过程中的冗余样本，在分类精度不变的前提下， Multiview active learning optimization based on genetic 减少训练样本总数，进而减少人工标记成本。 algorithm and Gaussian mixture models for hyperspec- 参考文献 tral data[J].IEEE geoscience and remote sensing letters, 2020,171):172-176. [1]LU Xiaohui,XIA Zhengyan,QU Fangfang,et al.Identi- [11]DI Wei,CRAWFORD MM.View generation for mul- fication of authenticity,quality and origin of saffron us- tiview maximum disagreement based active learning for
(a) AMD (b) AMD+B 图 7 用方法 B 改进前后的实验结果分析 (Indian Pines) Fig. 7 Comparison of experimental results before and after improvement with method B (Indian Pines) (a) AMD (b) AMD+B 图 8 用方法 B 改进前后的实验结果分析 (Salinas) Fig. 8 Comparison of experimental results before and after improvement with method B (Salinas) 由 AMD 和 AMD+B 的对比实验结果可以看 出 ：3 个 HSI 数据集在两组实验中的 OA、AA、 Kappa 值区别不大，分类结果图也无明显差别，然 而两个数据集在 AMD+B 实验中用到的训练样本 总数比 AMD 实验中分别减少了 8.2%、25.4%。 AMD+B 比 AMD 实验的耗时增加 0.88 s、14.34 s。 通过观察以上实验结果可以看出，AMD+A 方法和 AMD+B 方法相对于传统 AMD 方法具有 明显优势。从实验结果来看，将本文提出的两种 样本多样性选择方法用在传统 AMD 样本选择方 法后，OA、AA、Kappa 及分类结果图均无明显变 化，训练样本数量均有不同程度的减少。使用这 两种改进方法虽然会少量地增加耗时，但增加的 时间成本与节省的人工标记成本相比可以忽略不计。 4 结束语 本文基于 SLIC 超像素分割方法和各视图预 测结果的一致性，提了出 2 种 MVAL 多样性样本 选择方法，有效地解决了传统 MVAL 样本选择过 程存在冗余样本的问题。在 2 组 HSI 中进行实验， 验证了这两种方法能够有效地去除传统样本选择 过程中的冗余样本，在分类精度不变的前提下， 减少训练样本总数，进而减少人工标记成本。 参考文献： LU Xiaohui, XIA Zhengyan, QU Fangfang, et al. Identification of authenticity, quality and origin of saffron us- [1] ing hyperspectral imaging and multivariate spectral analysis[J]. Spectroscopy letters, 2020, 53(2): 76–85. 张晓玲, 张培强, 沈兰荪. 基于信息量失真测度的 VQ 及在高光谱图像无损压缩中的应用 [J]. 遥感学报, 2004, 8(5): 414–418. ZHANG Xiaoling, ZHANG Peiqiang, SHEN Lansun. A VQ based on information distortion measure and its application to lossless compression of hyperspectral image[J]. Journal of remote sensing, 2004, 8(5): 414–418. [2] WANG Meng, HUA Xiansheng. Active learning in multimedia annotation and retrieval: a survey[J]. ACM transactions on intelligent systems and technology, 2011, 2(2): 10. [3] TU Bing, KUANG Wenlan, ZHAO Guangzhe, et al. Hyperspectral image classification by combining local binary pattern and joint sparse representation[J]. International journal of remote sensing, 2019, 40(24): 9484–9500. [4] YANG Jihai, LI Shijun, XU Wenning. Active learning for visual image classification method based on transfer learning[J]. IEEE access, 2017, 6: 187–198. [5] LIN Jianzhe, ZHAO Liang, LI Shuying, et al. Activelearning-incorporated deep transfer learning for hyperspectral image classification[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2018, 11(11): 4048–4062. [6] 赵忠明, 高连如, 陈东, 等. 卫星遥感及图像处理平台发 展 [J]. 中国图象图形学报, 2019, 24(12): 2098–2110. ZHAO Zhongming, GAO Lianru, CHEN Dong, et al. Development of satellite remote sensing and image processing platform[J]. Journal of image and graphics, 2019, 24(12): 2098–2110. [7] 程圆娥, 周绍光, 袁春琦, 等. 基于主动深度学习的高光 谱影像分类 [J]. 计算机工程与应用, 2017, 53(17): 192– 196, 248. CHENG Yuan’e, ZHOU Shaoguang, YUAN Chunqi, et al. Hyperspectral image classification based on active deep learning[J]. Computer engineering and applications, 2017, 53(17): 192–196, 248. [8] 吴超. 高光谱图像处理若干关键技术研究 [D]. 南京: 南 京航空航天大学, 2012. WU Chao. Research on some key technologies of hyperspectral image processing[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2012. [9] JAMSHIDPOUR N, SAFARI A, HOMAYOUNI S. Multiview active learning optimization based on genetic algorithm and Gaussian mixture models for hyperspectral data[J]. IEEE geoscience and remote sensing letters, 2020, 17(1): 172–176. [10] DI Wei, CRAWFORD M M. View generation for multiview maximum disagreement based active learning for [11] 第 6 期 陈立伟，等：多视图主动学习的多样性样本选择方法研究 ·1013·
·1014· 智能系统学报 第16卷 hyperspectral image classification[].IEEE transactions [20]SUN Shiliang.A survey of multi-view machine learn- on geoscience and remote sensing,2012,50(5):1942- ing[J].Neural computing and applications,2013, 1954 23(7/8):2031-2038. [12]DI Wei.CRAWFORD MM.Multi-view adaptive dis- [21]ZHAO Jing,XIE Xijiong,XU Xin,et al.Multi-view agreement based active learning for hyperspectral image learning overview:recent progress and new challenges classification[Cl//2010 IEEE International Geoscience [J].Information fusion,2017,38:43-54. and Remote Sensing Symposium.Honolulu,USA,2010: [22]HE Lin,LI Jun,PLAZA A,et al.Discriminative low- 1374-1377 rank Gabor filtering for spectral-spatial hyperspectral [13]甘继生.基于广义组合核的高光谱图像GPU并行分 image classification[J].IEEE transactions on geoscience 类D1.南京：南京理工大学，2018 and remote sensing,2017,55(3):1381-1395. GAN Jisheng.Hyperspectral Image GPU parallel classi- [23]段无悔.基于超像素的高光谱图像分类算法研究D]. fication based on generalized composite cores[D]. 长沙：湖南大学，2015：1-64 Nanjing:Nanjing University of Science and Technology, DUAN Wuhui.Researches on hyperspectral image clas- 2012. sification algorithms based on superpixel[D].Changsha: [14]HU Jie,HE Zhi,LI Jun,et al.3D-gabor inspired mul- Hunan University,2015:1-64. tiview active learning for spectral-spatial hyperspectral [24]PATRA S.BHARDWAJ K.BRUZZONE L.A spectral- image classification[J].Remote sensing,2018,10(7): spatial multicriteria active learning technique for hyper- 1-24 spectral image classification[J].IEEE journal of selec- [15]XU Xiang,LI Jun,LI Shutao.Multiview intensity-based ted topics in applied earth observations and remote sens- active learning for hyperspectral image classification ing.2017,10(12):5213-5227. []IEEE transactions on geoscience and remote sensing, [25]BIOUCASDIAS B J,FIGUEIREDO M.Logistic regres- 2018.56(2):669-680 sion via variable splitting and augmented lagrangian [16]魏飞鸣，李小文，顾行发，等.基于形状参数的遥感图 tools[R].Instituto Superior Tecnico,TULisbon,2009. 像“同谱异物”目标区分[CW第十四届全国图象图形 作者简介： 学学术会议论文集.福州，中国.2008：477-481 陈立伟，副教授，博土，中国图像 WEI Feiming,LI Xiaowen,GU Xingfa,et al.Shape- 图形学会会员，黑龙江省生物医学工 based classification of"Spectral Similar"objects in re- 程学会会员，主要研究方向为人工智 mote sensing image processing[C]//Proceedings of the 能、深度学习、图像的分割、特征提取 14th National Conference on Image Graphics.Fuzhou, 分类识别以及理解。主持省市级科研 China,2008:477-481. 项目3项，参与国家级项目5项。获 授权发明专利5项，发表学术论文 [17刀王立国，魏芳洁.结合APO算法的高光谱图像波段选 40余篇。 择U.哈尔滨工业大学学报，2013,45(9)：100-106. WANG Liguo,WEI Fangjie.Artificial physics optimiza- 房赫，硕士研究生，主要研究方向 tion algorithm combined band selection for hyperspec- 为高光谱图像分类技术。 tral imagery[J].Journal of Harbin Institute of Techno- 1ogy,2013,45(9):100-106. [18]王阳.基于超像素的图像分割算法研究D1.兰州：兰 州理工大学，2018：1-57. WANG Yang.Research on image segmentation al- gorithm based on superpixel[D].Lanzhou:Lanzhou Uni- 朱海峰，讲师，主要研究方向为人 工智能、高光谱图像处理。 versity of Technology,2018:1-57. [19]LIU Peng,HUANG Jiwei,ZHANG Shiwu,et al.Mul- tiview hyperspectral topography of tissue structural and functional characteristics[J].Journal of biomedical op- tics,2016,21(1):1-12
hyperspectral image classification[J]. IEEE transactions on geoscience and remote sensing, 2012, 50(5): 1942– 1954. DI Wei, CRAWFORD M M. Multi-view adaptive disagreement based active learning for hyperspectral image classification[C]//2010 IEEE International Geoscience and Remote Sensing Symposium. Honolulu, USA, 2010: 1374−1377. [12] 甘继生. 基于广义组合核的高光谱图像 GPU 并行分 类 [D]. 南京: 南京理工大学, 2018. GAN Jisheng. Hyperspectral Image GPU parallel classification based on generalized composite cores[D]. Nanjing: Nanjing University of Science and Technology, 2012. [13] HU Jie, HE Zhi, LI Jun, et al. 3D-gabor inspired multiview active learning for spectral-spatial hyperspectral image classification[J]. Remote sensing, 2018, 10(7): 1–24. [14] XU Xiang, LI Jun, LI Shutao. Multiview intensity-based active learning for hyperspectral image classification [J]. IEEE transactions on geoscience and remote sensing, 2018, 56(2): 669–680. [15] 魏飞鸣, 李小文, 顾行发, 等. 基于形状参数的遥感图 像“同谱异物”目标区分 [C]//第十四届全国图象图形 学学术会议论文集. 福州, 中国, 2008: 477−481. WEI Feiming, LI Xiaowen, GU Xingfa, et al. Shapebased classification of “Spectral Similar” objects in remote sensing image processing[C]//Proceedings of the 14th National Conference on Image Graphics. Fuzhou, China, 2008: 477−481. [16] 王立国, 魏芳洁. 结合 APO 算法的高光谱图像波段选 择 [J]. 哈尔滨工业大学学报, 2013, 45(9): 100–106. WANG Liguo, WEI Fangjie. Artificial physics optimization algorithm combined band selection for hyperspectral imagery[J]. Journal of Harbin Institute of Technology, 2013, 45(9): 100–106. [17] 王阳. 基于超像素的图像分割算法研究 [D]. 兰州: 兰 州理工大学, 2018: 1−57. WANG Yang. Research on image segmentation algorithm based on superpixel[D]. Lanzhou: Lanzhou University of Technology, 2018: 1−57. [18] LIU Peng, HUANG Jiwei, ZHANG Shiwu, et al. Multiview hyperspectral topography of tissue structural and functional characteristics[J]. Journal of biomedical optics, 2016, 21(1): 1–12. [19] SUN Shiliang. A survey of multi-view machine learning[J]. Neural computing and applications, 2013, 23(7/8): 2031–2038. [20] ZHAO Jing, XIE Xijiong, XU Xin, et al. Multi-view learning overview: recent progress and new challenges [J]. Information fusion, 2017, 38: 43–54. [21] HE Lin, LI Jun, PLAZA A, et al. Discriminative lowrank Gabor filtering for spectral–spatial hyperspectral image classification[J]. IEEE transactions on geoscience and remote sensing, 2017, 55(3): 1381–1395. [22] 段无悔. 基于超像素的高光谱图像分类算法研究 [D]. 长沙: 湖南大学, 2015: 1−64. DUAN Wuhui. Researches on hyperspectral image classification algorithms based on superpixel[D]. Changsha: Hunan University, 2015: 1−64. [23] PATRA S, BHARDWAJ K, BRUZZONE L. A spectralspatial multicriteria active learning technique for hyperspectral image classification[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2017, 10(12): 5213–5227. [24] BIOUCASDIAS B J, FIGUEIREDO M. Logistic regression via variable splitting and augmented lagrangian tools[R]. Instituto Superior Técnico, TULisbon, 2009. [25] 作者简介： 陈立伟，副教授，博士，中国图像 图形学会会员，黑龙江省生物医学工 程学会会员，主要研究方向为人工智 能、深度学习、图像的分割、特征提取、 分类识别以及理解。主持省市级科研 项目 3 项，参与国家级项目 5 项。获 授权发明专利 5 项，发表学术论文 40 余篇。 房赫，硕士研究生，主要研究方向 为高光谱图像分类技术。 朱海峰，讲师，主要研究方向为人 工智能、高光谱图像处理。 ·1014· 智 能 系 统 学 报 第 16 卷