【机器感知与模式识别】一种卷积神经网络集成的多样性度量方法

第16卷第6期 智能系统学报 Vol.16 No.6 2021年11月 CAAI Transactions on Intelligent Systems Now.2021 D0:10.11992/tis.202011023 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210923.1720.006.html 一种卷积神经网络集成的多样性度量方法 汤礼颖，贺利乐'，何林2，屈东东 (1.西安建筑科技大学机电工程学院，陕西西安710055,2.西安建筑科技大学理学院，陕西西安710055) 摘要：分类器模型之间的多样性是分类器集成的一个重要性能指标。目前大多数多样性度量方法都是基于 基分类器模型的0/1输出结果（即Oracle输出）进行计算.针对卷积神经网络的概率向量输出结果.仍需要将其 转化为Oracle输出方式进行度量，这种方式未能充分利用卷积神经网络输出的概率向量所包含的丰富信息。 针对此问题，利用多分类卷积神经网络模型的输出特性，提出了一种基于卷积神经网络的概率向量输出方式的 集成多样性度量方法，建立多个不同结构的卷积神经网络基模型并在CIFAR-10和CIFAR-IO0数据集上进行实 验。实验结果表明，与双错度量、不一致性度量和Q统计多样性度量方法相比，所提出的方法能够更好地体现 模型之间的多样性，为模型选择集成提供更好的指导。 关键词：卷积神经网络；集成学习；多样性度量；机器学习；分类器集成；概率向量输出；Oracle输出；基模型 中图分类号：TP181:TP391文献标志码：A文章编号：1673-4785(2021)06-1030-09 中文引用格式：汤礼颖，贺利乐，何林，等.一种卷积神经网络集成的多样性度量方法J.智能系统学报，2021,16(6)： 1030-1038. 英文引用格式：TANG Liying,HE Lile,HE Lin,etal.Diversity measuring method of a convolutional neural network ensemble[J. CAAI transactions on intelligent systems,2021,16(6):1030-1038. Diversity measuring method of a convolutional neural network ensemble TANG Liying',HE Lile',HE Lin',QU Dongdong (1.School of Mechanical and Electrical Engineering.Xi'an University of Architecture and Technology,Xi'an 710055,China; 2.School of Science,Xi 'an University of Architecture and Technology,Xi'an 710055,China) Abstract:Diversity among classifier models has been recognized as a significant performance index of a classifier en- semble.Currently,most diversity measuring methods are defined based on the 0/1 outputs(namely Oracle outputs)of the base model.The probability vector outputs of a convolutional neural network(CNN)still need to be converted into Oracle outputs for measurement,which fails to fully use the rich information contained in the CNN probability vector outputs.To solve this problem,a new diversity measuring method for probabilistic vector outputs based on CNNs is pro- posed.Several base models of CNN models with various structures are established and tested on the CIFAR-10 and CI- FAR-100 datasets.Compared with double-fault measure,disagreement measure,and Q-Statistic,the proposed method can better reflect the differences between the models and provide better guidance for a selective ensemble of CNN models. Keywords:CNN;ensemble learning;diversity measures;machine learning;multiple classifier ensembles;probability vector outputs;Oracle outputs;basic model 集成学习是一种重要的机器学习方法，主要 性能的重要因素)，产生泛化能力强、差异性大的 思路是多个分类器基于某种组合方式组合在一 基学习器是集成算法的关键。但如何有效的度量 起，来取得比单个分类器更好的性能，从而可显 并利用这些多样性还是一个悬而未决的问题。目 著提高学习系统的预测精度和泛化能力山。 前大多数多样性度量方法都是基于基分类器的 基分类器之间的多样性是影响集成系统泛化 01输出方式(Oracle输出)，主要分为两大类：成对 度量和非成对度量。成对度量方法主要有Q统 收稿日期：2020-11-20.网络出版日期：2021-09-24. 基金项目：国家自然科学基金项目(61903291). 计方法)、不一致度量方法、双错度量方法1和 通信作者：贺利乐.E-mail:hllnh2013@163.com 相关系数法向等：非成对度量方法主要有KW差

DOI: 10.11992/tis.202011023 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210923.1720.006.html 一种卷积神经网络集成的多样性度量方法 汤礼颖1 ，贺利乐1 ，何林2 ，屈东东1 （1. 西安建筑科技大学 机电工程学院, 陕西 西安 710055; 2. 西安建筑科技大学 理学院, 陕西 西安 710055） 摘 要：分类器模型之间的多样性是分类器集成的一个重要性能指标。目前大多数多样性度量方法都是基于 基分类器模型的 0/1 输出结果（即 Oracle 输出）进行计算，针对卷积神经网络的概率向量输出结果，仍需要将其 转化为 Oracle 输出方式进行度量，这种方式未能充分利用卷积神经网络输出的概率向量所包含的丰富信息。 针对此问题，利用多分类卷积神经网络模型的输出特性，提出了一种基于卷积神经网络的概率向量输出方式的 集成多样性度量方法，建立多个不同结构的卷积神经网络基模型并在 CIFAR-10 和 CIFAR-100 数据集上进行实 验。实验结果表明，与双错度量、不一致性度量和 Q 统计多样性度量方法相比，所提出的方法能够更好地体现 模型之间的多样性，为模型选择集成提供更好的指导。 关键词：卷积神经网络；集成学习；多样性度量；机器学习；分类器集成；概率向量输出；Oracle 输出；基模型 中图分类号：TP181;TP391 文献标志码：A 文章编号：1673−4785(2021)06−1030−09 中文引用格式：汤礼颖, 贺利乐, 何林, 等. 一种卷积神经网络集成的多样性度量方法 [J]. 智能系统学报, 2021, 16(6): 1030–1038. 英文引用格式：TANG Liying, HE Lile, HE Lin, et al. Diversity measuring method of a convolutional neural network ensemble[J]. CAAI transactions on intelligent systems, 2021, 16(6): 1030–1038. Diversity measuring method of a convolutional neural network ensemble TANG Liying1 ，HE Lile1 ，HE Lin2 ，QU Dongdong1 (1. School of Mechanical and Electrical Engineering, Xi ’an University of Architecture and Technology, Xi ’an 710055, China; 2. School of Science, Xi ’an University of Architecture and Technology, Xi’an 710055, China) Abstract: Diversity among classifier models has been recognized as a significant performance index of a classifier en￾semble. Currently, most diversity measuring methods are defined based on the 0/1 outputs (namely Oracle outputs) of the base model. The probability vector outputs of a convolutional neural network (CNN) still need to be converted into Oracle outputs for measurement, which fails to fully use the rich information contained in the CNN probability vector outputs. To solve this problem, a new diversity measuring method for probabilistic vector outputs based on CNNs is pro￾posed. Several base models of CNN models with various structures are established and tested on the CIFAR-10 and CI￾FAR-100 datasets. Compared with double-fault measure, disagreement measure, and Q-Statistic, the proposed method can better reflect the differences between the models and provide better guidance for a selective ensemble of CNN models. Keywords: CNN; ensemble learning; diversity measures; machine learning; multiple classifier ensembles; probability vector outputs; Oracle outputs; basic model 集成学习是一种重要的机器学习方法，主要 思路是多个分类器基于某种组合方式组合在一 起，来取得比单个分类器更好的性能，从而可显 著提高学习系统的预测精度和泛化能力[1]。 基分类器之间的多样性是影响集成系统泛化 性能的重要因素[2] ，产生泛化能力强、差异性大的 基学习器是集成算法的关键。但如何有效的度量 并利用这些多样性还是一个悬而未决的问题。目 前大多数多样性度量方法都是基于基分类器的 0/1 输出方式 (Oracle 输出)，主要分为两大类：成对 度量和非成对度量。成对度量方法主要有 Q 统 计方法[3] 、不一致度量方法[4] 、双错度量方法[5] 和 相关系数法[6] 等;非成对度量方法主要有 KW 差 收稿日期：2020−11−20. 网络出版日期：2021−09−24. 基金项目：国家自然科学基金项目（61903291）. 通信作者：贺利乐. E-mail: hllnh2013@163.com. 第 16 卷第 6 期 智 能 系 统 学 报 Vol.16 No.6 2021 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2021

第6期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1031· 异度量方法可、k评判间一致性度量方法、熵度量 性，针对每一个训练样本计算模型输出结果之间 方法、难度度量、广义差异性度量等。 的差异性来评估多样性。 近年来国内学者们也提出了一些新的研究多 样性度量方法。例如：邢红杰等1提出了一种关 13种传统多样性方法 系熵多样性度量方法，结合相关熵和距离方差描 假设存在分类器h和h(ij=1,2,…,T,i≠)， 述支持向量数据来实现选择性集成；李莉提出 1表示分类器正确，0表示分类器分类错误，两个 了一种距离信息熵的多样性描述方法实现基分类 分类器的联合输出结果用表1中a、b、c、d表 器集成，该方法在UCI数据集上具有与成对差异 示。a表示在训练过程中分类器h:和h,都对样本 性度量方法一致的效果；赵军阳等针对多分类 分类正确的样本个数，b表示在训练过程中分类器 器系统差异性评价中无法处理模糊数据的问题， h:对样本分类错误而分类器h,分类正确的样例 提出了一种采用互补性信息熵的分类器差异性度 个数，c表示分类器：对样本分类正确而分类器 量方法，该方法省略了对分类器输出结果的正确 h错分的样例个数，d表示分类器h和h都对样 性判别过程，直接处理分类器的输出结果，但是 本错分的样例个数。由此，总的样本个数可以表 未考虑集成规模与精度之间的平衡问题，对系统 示为m=a+b+c+d,两个分类器之间的关系如表1 的泛化性能有一定的影响：周刚等提出了一种 所示。 联合信息增益的过程多样性度量方法，该方法在 表1两个分类器之间的关系 西瓜数据集上拥有与传统方法相近的准确性。上 Table 1 Relationship between a pair of classifiers 述几种方法都是基于信息论角度来定义多样性的， 联合输出结果 h:=1 h;=0 基模型的训练和集成都采用机器学习方法得到，在 h,=1 应用卷积神经网络集成的多样性研究方面较少。 h:=0 b d 随着深度学习的快速发展，卷积神经网络 (convolutional neural network,CNN)I因其独特 1)9统计方法(Q) 的结构已成为当前图像识别领域的研究热点。卷 ad-bc Qi= 积神经网络分类器的输出方式与Oracle输出方式 ad+bc (1) 不同，采用的是c维向量输出方式。在处理多分 Q的取值为[-1,1]，当两个分类器总是对其正 类(c>2)问题中，分类器输出单元都需用Soft- 确分类或者错误分类，说明其行为是一致的，则 max激活函数进行数值处理，将多分类的输出数 有b=c=0,即Q=1,此时它们的多样性最低；反 值向量形式转化为类标签的相对概率向量方式， 之，如果两个分类器的分类刚好一个正确一个错 即c维向量形式D(a)=[d(a)d(a)…de-(al,d-1() 误，即Q=-1,这种情况下多样性最好。 为分类器D给出的样例属于第c-1类的置信度， 2)不一致性度量(D) 不一致性度量表示两个分类器之中一个判断 i=1,2,…,c-1,c为不同类标签的数目。针对卷积 正确一个判断错误的测试个数与总测试个数的 神经网络的概率向量输出结果，使用0/1输出准 比值。 则来统计分类器对样本分类结果的正确/错误个 数来计算多样性，是一种硬性的评判标准。如 Da=b+c (2) m 两个5分类器的输出概率向量是D(a)=(0.17,0.03, 3)双错度量方法(D) 0.60.05,0.15)和D()=(0.1,0.2,0.5,0.17,0.13),将它 De=d/m (3) 们转化为Oracle输出方式，两个分类器的结果都 D取值范围为[0,1]，值越大，说明两个分类 为第三类，二者输出结果一致，采用基于模型的 器都对其分类出错，多样性越差。 Oracle输出结果多样性度量方法将会判定二者没 2 基于概率向量输出方式的多样性 有任何不同。但事实上，两个分类器输出结果存 度量方法 在明显的不同，Oracle输出方式未能充分利用卷 积神经网络输出的概率向量所包含的丰富信息。 首先定义两个多类分类的分类器A和B, 针对此问题，本文充分利用多分类卷积神经 z(=1,2,…,m)为m个样本中的第j个样本，则对 网络的输出特性信息，提出了一种基于卷积神经 样本z的模型输出概率向量为 网络集成的多样性度量方法。采用概率向量输出 Da()=[dAda d…dA] 方式来表示模型分类结果，引入两个向量的差异 Ds(2)=[d。ds,da:…ds]

异度量方法 κ [7] 、 评判间一致性度量方法[8] 、熵度量 方法[9-10] 、难度度量 [11] 、广义差异性度量[12] 等。 近年来国内学者们也提出了一些新的研究多 样性度量方法。例如：邢红杰等[13] 提出了一种关 系熵多样性度量方法，结合相关熵和距离方差描 述支持向量数据来实现选择性集成；李莉[14] 提出 了一种距离信息熵的多样性描述方法实现基分类 器集成，该方法在 UCI 数据集上具有与成对差异 性度量方法一致的效果；赵军阳等[15] 针对多分类 器系统差异性评价中无法处理模糊数据的问题， 提出了一种采用互补性信息熵的分类器差异性度 量方法，该方法省略了对分类器输出结果的正确 性判别过程，直接处理分类器的输出结果，但是 未考虑集成规模与精度之间的平衡问题，对系统 的泛化性能有一定的影响；周刚等[16] 提出了一种 联合信息增益的过程多样性度量方法，该方法在 西瓜数据集上拥有与传统方法相近的准确性。上 述几种方法都是基于信息论角度来定义多样性的， 基模型的训练和集成都采用机器学习方法得到，在 应用卷积神经网络集成的多样性研究方面较少。 D(z) = [d0 (z) d1 (z) ··· dc−1 (z)] dc− 1 (z) c−1 i = 1,2,··· , c−1 Di(z) = (0.17,0.03, 0.6,0.05,0.15) Dj(z) = (0.1,0.2,0.5,0.17,0.13) 随着深度学习的快速发展，卷积神经网络 （convolutional neural network，CNN） [17] 因其独特 的结构已成为当前图像识别领域的研究热点。卷 积神经网络分类器的输出方式与 Oracle 输出方式 不同，采用的是 c 维向量输出方式。在处理多分 类 （c>2）问题中，分类器输出单元都需用 Soft￾max 激活函数进行数值处理，将多分类的输出数 值向量形式转化为类标签的相对概率向量方式， 即 c 维向量形式 ， 为分类器 D 给出的样例属于第 类的置信度， ，c 为不同类标签的数目。针对卷积 神经网络的概率向量输出结果，使用 0/1 输出准 则来统计分类器对样本分类结果的正确/错误个 数来计算多样性，是一种硬性的评判标准[18]。如 两个 5 分类器的输出概率向量是 和 ，将它 们转化为 Oracle 输出方式，两个分类器的结果都 为第三类，二者输出结果一致，采用基于模型的 Oracle 输出结果多样性度量方法将会判定二者没 有任何不同。但事实上，两个分类器输出结果存 在明显的不同，Oracle 输出方式未能充分利用卷 积神经网络输出的概率向量所包含的丰富信息。 针对此问题，本文充分利用多分类卷积神经 网络的输出特性信息，提出了一种基于卷积神经 网络集成的多样性度量方法。采用概率向量输出 方式来表示模型分类结果，引入两个向量的差异 性，针对每一个训练样本计算模型输出结果之间 的差异性来评估多样性。 1 3 种传统多样性方法 hi hj(i, j = 1,2,··· , T,i , j) a hi hj b hi hj c hi hj d hi hj m = a+b+c+d 假设存在分类器 和 ， 1 表示分类器正确，0 表示分类器分类错误，两个 分类器的联合输出结果用表 1 中 a、b、c、d 表 示。 表示在训练过程中分类器 和 都对样本 分类正确的样本个数， 表示在训练过程中分类器 对样本分类错误而分类器 分类正确的样例 个数， 表示分类器 对样本分类正确而分类器 错分的样例个数， 表示分类器 和 都对样 本错分的样例个数。由此，总的样本个数可以表 示为 ，两个分类器之间的关系如表 1 所示。 表 1 两个分类器之间的关系 Table 1 Relationship between a pair of classifiers 联合输出结果 hj = 1 hj = 0 hi = 1 a c hi = 0 b d 1)Q 统计方法（Q） Qi j = ad −bc ad +bc (1) Q b = c = 0 Qi j Qi j = −1 的取值为 [−1,1]，当两个分类器总是对其正 确分类或者错误分类，说明其行为是一致的，则 有 ，即 =1，此时它们的多样性最低；反 之，如果两个分类器的分类刚好一个正确一个错 误，即 ，这种情况下多样性最好。 2) 不一致性度量 (Dis) 不一致性度量表示两个分类器之中一个判断 正确一个判断错误的测试个数与总测试个数的 比值。 Dis = b+c m (2) 3) 双错度量方法 (DF ) DF = d/m (3) DF取值范围为 [0,1]，值越大，说明两个分类 器都对其分类出错，多样性越差。 2 基于概率向量输出方式的多样性 度量方法 A B zj(j = 1,2,··· ,m) j zj 首先定义两个多类分类的分类器 和 ， 为 m 个样本中的第 个样本，则对 样本 的模型输出概率向量为 DA (z) = [dA0 dA1 dA2 ··· dAc−1 ] DB (z) = [ dB0 dB1 dB2 ··· dBc−1 ] 第 6 期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1031·

·1032· 智能系统学报 第16卷 其中，向量中的各元素是模型预测概率值，索引 (A0,A1,A2,·,Ac-)和(Bo,B1,B2,·,B。-)分别为向量 DAB(）= 4和D各概率对应的类标签值，有∑4= 5（8×0+4×+(2×1+(1x1)2+(0×0)=42 - 24 而如果采用基于Oracle输出的多样性度量方 式，对于该样本两分类器输出结果相同，得到的 模型经过训练之后，输出层经过Softmax激 多样性为0。 活函数得到模型概率向量结果，定义卷积神经网 3)对于已标记样本集Z={31,2,…,乙…，2， 络的多样性度量方法，基本思路如下： 两个基模型之间的多样性为所有样本的集合多样 1)将2个分类器概率向量中的元素从大到小 性后的平均值，如式（⑦所示： 进行排列，并返回其对应的index(类标签)值，得 到分类器最大置信度概率由大到小排列对应的类 DAB(Z)= 1D) (7) 标签向量La[问和Ls[,i=0,1,2,…,c-1,c为不同 m 类标签的数目。 4)对于多分类器系统{D,D2,…,D,其多样性 LA [i]np.argsort (DA())[::-1] (4) 为计算每对基模型之间的多样性的平均值： Ls [i]=np.argsort (Ds ())[:-1] 2 T-1 T 2)对于已标记单一样本z,两个分类器的多 >D(四 D②=TT-d台 (8) 样性DAB(z)定义如式(5)、(6)： a0-6上：上品 i=0,1,2,…,c-1 (5) 3实验验证与分析 D.s()(hfu(DY 1 为了验证新的多样性度量方法的有效性和先 (6) 进性，采用4种方法计算基模型的多样性：Q统 式中：k为不同排序位置差异的权重（越靠前的输 计、不一致性度量、双错度量和本文提出的基于 出结果不一样说明差异性越大)，本文通过多次实 概率向量方法Dv。在CIFAR-10与CIFAR- 验对比，最终取值为{32,8.4,2,1,0，…，0，采用指数 100数据集上分别进行了实证对比分析。 递减值。 实验分析主要分为3部分内容：1)训练19个 式(4)返回两个分类器元素之间的差异性结 基学习器模型，并得到单个基模型以及预测结 果序列。分类器之间的多样性只是反映两个模型 果；2)基于CIFAR-10、CIFAR-100数据集采用 对于已标记样本差异性，与模型类标签值无关， 4种方法计算各基模型之间的多样性；3)在数据 与输出结果的位置无关。因此，为了保证度量的 集上进行基模型的集成预测，采用简单平均集成 准确性和有效性，定义式（⑤）在分类器相同的索 策略集成基模型，并对比分析单个模型与集成模 引值情况下，当两个分类器输出类标签是一致 型之间的预测结果。 时，返回为0；当输出类标签不同时返回为1。将 3.1模型结构 式(5)代入式(6)，得到两个分类器对于单一样本 卷积神经网络是一种具有深度结构的前馈神 多样性的定义。DAs(z)值越大，两个概率向量差 经网络，对于大型图像处理具有十分出色的表现四。 异性越大，分类器之间的多样性也就越大。 CNN的基本结构由输入层、卷积层、池化层、全 假设对于样本z两个5分类的输出概率向量是 连接层和输出层构成。本文构造了19种不同结 D1()=(0.03,0.07,0.6,0.05,0.25)和D2(3)=(0.1,0.17, 构的CNN网络模型，网络结构都包括输入层、卷 0.4,0.2,0.13),得到分类器最大置信度概率由大到 积层、池化层、Dropout层、Flatten层和全连接层， 小排列对应的类标签向量L[3=(2,4,3,1,0)和 各模型结构不同之处在于卷积层、池化层和Do- L2[z=(2,3,1,4,0),得到向量fAs(0=(0,1,110)。对 pout层的不同。表2、3为其中9个模型的具体 于单一样本：得到 结构。 表24个候选基模型结构 Table 2 Structures of four-candidate basic models 结构 Model 2 Model 3 Model 5 Model 6 输入层 32×32×3 32×32×3 32×32×3 32×32×3 卷积层1 Conw3-643×3 Conv3-5123×3 Conv3-643×3 Conv3-5123×3

(A0,A1,A2,··· ,Ac−1) (B0,B1,B2,··· ,Bc−1) DA DB ∑c−1 k=0 dAk = 1 ∑c−1 k=0 dBk = 1 其中，向量中的各元素是模型预测概率值，索引 和 分别为向量 和 各概率对应的类标签值，有 ， 。 模型经过训练之后，输出层经过 Softmax 激 活函数得到模型概率向量结果，定义卷积神经网 络的多样性度量方法，基本思路如下: LA [i] LB [i] i = 0,1,2,··· , c−1 1) 将 2 个分类器概率向量中的元素从大到小 进行排列，并返回其对应的 index(类标签) 值，得 到分类器最大置信度概率由大到小排列对应的类 标签向量 和 ， ，c 为不同 类标签的数目。 LA [i] = np.argsort(DA (z))[:: −1] (4) LB [i] = np.argsort(DB (z))[:: −1] zj DAB ( zj ) 2) 对于已标记单一样本 ，两个分类器的多 样性 定义如式 (5)、(6)： fAB(i) = { 1,LA [i] , LB [i] 0,LA [i] = LB [i] , i = 0,1,2,··· , c−1 (5) DAB ( zj ) = 1 c ∑c−1 i=0 (ki fAB(i)) 2 (6) ki {32,8,4,2,1,0,··· ,0} 式中： 为不同排序位置差异的权重 (越靠前的输 出结果不一样说明差异性越大)，本文通过多次实 验对比，最终取值为 ，采用指数 递减值。 DAB ( zj ) 式 (4) 返回两个分类器元素之间的差异性结 果序列。分类器之间的多样性只是反映两个模型 对于已标记样本差异性，与模型类标签值无关， 与输出结果的位置无关。因此，为了保证度量的 准确性和有效性，定义式 (5) 在分类器相同的索 引值情况下，当两个分类器输出类标签是一致 时，返回为 0；当输出类标签不同时返回为 1。将 式 (5) 代入式 (6)，得到两个分类器对于单一样本 多样性的定义。 值越大，两个概率向量差 异性越大，分类器之间的多样性也就越大。 zj D1(zj) = (0.03,0.07,0.6,0.05,0.25) D2(zj) = (0.1,0.17, 0.4,0.2,0.13) L1 [ zj ] = (2,4,3,1,0) L2 [ zj ] = (2,3,1,4,0) fAB(i) = (0,1 ,1 1 0) 假设对于样本 两个 5 分类的输出概率向量是 和 ，得到分类器最大置信度概率由大到 小排列对应的类标签向量 和 ，得到向量 。对 于单一样本 z 得到 DAB ( zj ) = 1 5 ∑4 i=0 ( ki fAB (i) )2 = 1 5 ( (8×0)2 +(4×1)2 +(2×1)2 +(1×1)2 +(0×0)2 ) = 4.2 而如果采用基于 Oracle 输出的多样性度量方 式，对于该样本两分类器输出结果相同，得到的 多样性为 0。 Z = { z1,z2,··· ,zj ,··· ,zm } 3) 对于已标记样本集 ， 两个基模型之间的多样性为所有样本的集合多样 性后的平均值，如式 (7) 所示： DAB (Z) = 1 m ∑m−1 j=0 DAB ( zj ) (7) 4) 对于多分类器系统 {D1,D2,··· ,DT } ，其多样性 为计算每对基模型之间的多样性的平均值： DPV (Z) = 2 T (T −1) ∑T−1 i=1 ∑T j=i+1 Di j(Z) (8) 3 实验验证与分析 为了验证新的多样性度量方法的有效性和先 进性，采用 4 种方法计算基模型的多样性：Q 统 计、不一致性度量、双错度量和本文提出的基于 概率向量方法 DP V。在 CIFAR-10 与 CIFAR- 100 数据集上分别进行了实证对比分析。 实验分析主要分为 3 部分内容：1) 训练 19 个 基学习器模型，并得到单个基模型以及预测结 果 ；2) 基于 CIFAR-10、CIFAR-100 数据集采用 4 种方法计算各基模型之间的多样性；3) 在数据 集上进行基模型的集成预测，采用简单平均集成 策略集成基模型，并对比分析单个模型与集成模 型之间的预测结果。 3.1 模型结构 卷积神经网络是一种具有深度结构的前馈神 经网络，对于大型图像处理具有十分出色的表现[19]。 CNN 的基本结构由输入层、卷积层、池化层、全 连接层和输出层构成。本文构造了 19 种不同结 构的 CNN 网络模型，网络结构都包括输入层、卷 积层、池化层、Dropout 层、Flatten 层和全连接层， 各模型结构不同之处在于卷积层、池化层和 Dro￾pout 层的不同。表 2、3 为其中 9 个模型的具体 结构。 表 2 4 个候选基模型结构 Table 2 Structures of four-candidate basic models 结构 Model_2 Model_3 Model_5 Model_6 输入层 32×32 ×3 32×32 ×3 32×32 ×3 32×32 ×3 卷积层1 Conv3-64 3×3 Conv3-512 3×3 Conv3-64 3×3 Conv3-512 3×3 ·1032· 智 能 系 统 学 报 第 16 卷

第6期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1033· 续表2 结构 Model 2 Model 3 Model 5 Model 6 卷积层2 Conv3-1283×3 Conv3-2563×3 Conw3-1283×3 Conv3-2563×3 卷积层3 池化层1 Maxpool Maxpool Maxpool Maxpool 卷积层4 Conv3-2563×3 Conv3-128 3x3 Conv3-2563×3 Conv3-1283×3 卷积层5 Conv3-5123×3 Conv3-643×3 Conv3-5123×3 Conv3-643×3 卷积层6 Conv3-643×3 Conv3-5123×3 池化层2 Maxpool Maxpool Maxpool Maxpool 过拟合层1 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 卷积层7 Conv3-1283×3 Conw3-5123×3 Conv3-2563×3 Conv3-643×3 卷积层8 Conv3-2563×3 Conw3-2563×3 Conv3-1283×3 Conv3-1283×3 卷积层9 Conv3-5123×3 Conv3-643×3 Conv3-2563×3 池化层3 Maxpool 卷积层10 Conv3-1283×3 Conv3-5123×3 卷积层11 Conv3-64 3x3 卷积层12 池化层4 Global Maxpool Global Maxpool Global Maxpool Global Maxpool 拉平 fatten fatten fatten fatten 过拟合层2 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 全连接层 Dense(64) Dense(65) Dense(66) Dense(67) 输出层 Softmax Softmax Softmax Softmax 表35个候选基模型结构 Table 3 Structures of five-candidate basic models 结构 Model 8 Model 10 Model 12 Model_13 Model 14 输入层 32×32×3 32×32×3 32×32×3 32×32×3 32×32×3 卷积层1 Conv3-2563×3 Conv3-5123×3 Conv3-643×3 Conv3-641×1 Conv3-643×3 卷积层2 Conw3-1283×3 Conv3-64 3x3 Conw3-641×1 Conv.3-643×3 Conv3-641×3 卷积层3 Conv3-641×1 Conv3-643×1 池化层1 Maxpool Maxpool Maxpool Maxpool Maxpool 卷积层4 Conv3-2563×3 Conv3-1283×3 Conv3-2563×3 Conw3-2561×1 Conv3-128 3x3 卷积层5 Conv3-1283×3 Conv3-643×3 Conv3-2561×1 Conv3-2563×3 Conv3-1281×3 卷积层6 Conw3-2563×3 Conw3-2561×1 Conv3-l283×1 池化层2 Maxpool Maxpool Maxpool Maxpool Maxpool 过拟合层1 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 卷积层7 Conv3-1283×3 Conv3-5123×3 Conv3-5123×3 Conw3-5121×1 Conv3-2563×3 卷积层8 Conv3-2563×3 Conv3-643×3 Conv3-5121×1 Conv3-5123×3 Conv3-2561×3 卷积层9 Conv3-643×3 Conv3-5121×1 Conv3-2563×1 池化层3 Maxpool Maxpool Maxpool Maxpool 卷积层10 Conv3-1283×3 Conv3-1283×3 Conw3-1281×1 Conv3-5123×3 卷积层11 Conv3-64 3x3 Conv3-1281×1 Conw3-1283×3 Conv3-5121×3 卷积层12 Conw3-1281×1 Conv3-5123×1 池化层4 Global Maxpool Global Maxpool Global Maxpool Global Maxpool GlobalMaxpool

续表 2 结构 Model_2 Model_3 Model_5 Model_6 卷积层2 Conv3-128 3×3 Conv3-256 3×3 Conv3-128 3×3 Conv3-256 3×3 卷积层3 — — — — 池化层1 Maxpool Maxpool Maxpool Maxpool 卷积层4 Conv3-256 3×3 Conv3-128 3×3 Conv3-256 3×3 Conv3-128 3×3 卷积层5 Conv3-512 3×3 Conv3-64 3×3 Conv3-512 3×3 Conv3-64 3×3 卷积层6 Conv3-64 3×3 — Conv3-512 3×3 — 池化层2 Maxpool Maxpool Maxpool Maxpool 过拟合层1 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 卷积层7 Conv3-128 3×3 Conv3-512 3×3 Conv3-256 3×3 Conv3-64 3×3 卷积层8 Conv3-256 3×3 Conv3-256 3×3 Conv3-128 3×3 Conv3-128 3×3 卷积层9 Conv3-512 3×3 — Conv3-64 3×3 Conv3-256 3×3 池化层3 — Maxpool — — 卷积层10 — Conv3-128 3×3 — Conv3-512 3×3 卷积层11 — Conv3-64 3×3 — 卷积层12 — — — — 池化层4 Global Maxpool Global Maxpool Global Maxpool Global Maxpool 拉平 fatten fatten fatten fatten 过拟合层2 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 全连接层 Dense(64) Dense(65) Dense(66) Dense(67) 输出层 Softmax Softmax Softmax Softmax 表 3 5 个候选基模型结构 Table 3 Structures of five-candidate basic models 结构 Model_8 Model_10 Model_12 Model_13 Model_14 输入层 32×32 ×3 32×32 ×3 32×32 ×3 32×32 ×3 32×32 ×3 卷积层1 Conv3-256 3×3 Conv3-512 3×3 Conv3-64 3×3 Conv3-64 1×1 Conv3-64 3×3 卷积层2 Conv3-128 3×3 Conv3-64 3×3 Conv3-64 1×1 Conv3-64 3×3 Conv3-64 1×3 卷积层3 — — — Conv3-64 1×1 Conv3-64 3×1 池化层1 Maxpool Maxpool Maxpool Maxpool Maxpool 卷积层4 Conv3-256 3×3 Conv3-128 3×3 Conv3-256 3×3 Conv3-256 1×1 Conv3-128 3×3 卷积层5 Conv3-128 3×3 Conv3-64 3×3 Conv3-256 1×1 Conv3-2563×3 Conv3-128 1×3 卷积层6 Conv3-256 3×3 — — Conv3-256 1×1 Conv3-128 3×1 池化层2 Maxpool Maxpool Maxpool Maxpool Maxpool 过拟合层1 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 卷积层7 Conv3-128 3×3 Conv3-512 3×3 Conv3-512 3×3 Conv3-512 1×1 Conv3-256 3×3 卷积层8 Conv3-256 3×3 Conv3-64 3×3 Conv3-512 1×1 Conv3-512 3×3 Conv3-256 1×3 卷积层9 Conv3-64 3×3 — — Conv3-512 1×1 Conv3-256 3×1 池化层3 — Maxpool Maxpool Maxpool Maxpool 卷积层10 — Conv3-128 3×3 Conv3-128 3×3 Conv3-128 1×1 Conv3-512 3×3 卷积层11 — Conv3-64 3×3 Conv3-128 1×1 Conv3-128 3×3 Conv3-512 1×3 卷积层12 — — — Conv3-128 1×1 Conv3-512 3×1 池化层4 Global Maxpool Global Maxpool Global Maxpool Global Maxpool GlobalMaxpool 第 6 期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1033·

·1034- 智能系统学报 第16卷 续表3 结构 Model 8 Model 10 Model 12 Model 13 Model 14 拉平 fatten fatten fatten fatten fatten 过拟合层2 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 全连接层 Dense(68) Dense(69) Dense(70) Dense(71) Dense(72) 输出层 Softmax Softmax Softmax Softmax Softmax 3.2实验环境及评价指标 学习器，并计算模型间多样性值：测试集则用于 本实验采用的是Windows10系统的GTX1 对各种基模型和集成模型的预测效果进行验证和 660Ti6GB独立显卡实验平台。在Window10系 对比。CIFAR-10数据集分为10个类，每个类有 统下，所有网络均基于深度学习框架Tensorflow2.0 6000张图片；CIFAR-100数据集有20个超类，每 实现。 个超类分为5个小类，总计100分类，每个分类包 模型的性能评价指标包括训练集、验证集、 含600张图片。 测试集的准确性(Accuracy,简称Aec),是衡量模 3.4实验结果分析 型正确分类的标准。其中测试集的准确率直接反 3.4.1基模型预测结果 映了模型的预测能力，见式(9)所示： 基学习器模型分别在CIFAR-10和CIFAR- 16，=fc》 100数据集上进行训练，使用SGD优化器22更新 (9) m 权重，对训练数据集首先进行图像预处理，包括 j 图像归一化和数据集打乱，批量规范化之后训练 式中：m是已标记样本集Z={亿1,2，…，m中样本个 单批次大小为128。经过反复实验，卷积神经网 数；y是类标签；f(x)为模型预测结果；1是条件判 络模型大概在200次迭代之后已经完全收敛，识 断函数。 别率达到了最高，故Epochs值设置为200：在卷积 3.3实验数据集 操作中使用ReLUP1激活函数，添加L2正则化处 CIFAR-10和CIFAR-100数据集是用于普适 理，参数设置1为0.001；利用Dropout防止过拟 物体识别的图像分类数据集，由A1ex等20-2川收 合，设置为0.25；采用分段学习率训练方式，初始 集。CIFAR-10和CIFAR-100数据集都包含60000 学习率设为0.01，动量系数均为0.9：权重初始化 张32像素×32像素的彩色图片，分别为训练集 采用He正态分布初始化器，偏差初始化为零。 50000张和测试集10000张，训练集用于训练基 单个基模型经过训练后的预测结果如表4所示。 表419个候选基模型预测结果A Table 4 Prediction results A of 19 candidate basic models % 基模型 CIFAR-10 CIFAR-100 基模型 CIFAR-10 CIFAR-100 model_1 90.81 67.41 model 11 88.85 62.55 model_2 91.23 65.43 model 12 88.33 61.30 model_3 89.44 63.12 model 13 88.97 62.04 model 4 90.25 65.07 model 14 88.73 62.98 model 5 90.82 66.46 model 15 51.47 63.29 model_6 87.99 62.12 model 16 80.92 53.89 model_7 90.72 65.13 model_17 79.17 50.65 model 8 91.00 66.50 model 18 81.00 49.80 model 9 88.87 61.75 model 19 60.76 36.75 model 10 89.11 62.86 由表4可知，基模型15~19的预测准确性较 在CIFAR-10数据集上得到的多样性统计值最大 低，考虑到模型集成之后的效果，初步筛选出基 的两分类器集成模型，表6是表5得到的两分类 模型1~14作为初筛选基模型。 器集成模型在测试集上的预测结果。同理，表7 3.4.2基于CIFAR-10数据集的多样性分析 是得到的多样性统计值最大的三分类器集成模 表5是3种传统多样性方法和本文方法分别 型，表8是其预测结果；表9是得到的多样性统计

3.2 实验环境及评价指标 本实验采用的是 Windows10 系统的 GTX1 660Ti 6 GB 独立显卡实验平台。在 Window10 系 统下，所有网络均基于深度学习框架 Tensorflow2.0 实现。 模型的性能评价指标包括训练集、验证集、 测试集的准确性（Accuracy, 简称 Acc），是衡量模 型正确分类的标准。其中测试集的准确率直接反 映了模型的预测能力，见式 (9) 所示： Acc = 1 m ∑m j=1 I ( yj = f ( xj )) (9) Z = {z1,z2,··· ,zm} yj f ( xj ) I 式中：m 是已标记样本集 中样本个 数； 是类标签； 为模型预测结果； 是条件判 断函数。 3.3 实验数据集 CIFAR-10 和 CIFAR-100 数据集是用于普适 物体识别的图像分类数据集，由 Alex 等 [20-21] 收 集。CIFAR-10 和 CIFAR-100 数据集都包含 60 000 张 32 像素×32 像素的彩色图片，分别为训练集 50 000 张和测试集 10 000 张，训练集用于训练基 学习器，并计算模型间多样性值；测试集则用于 对各种基模型和集成模型的预测效果进行验证和 对比。CIFAR-10 数据集分为 10 个类，每个类有 6 000 张图片；CIFAR-100 数据集有 20 个超类，每 个超类分为 5 个小类，总计 100 分类，每个分类包 含 600 张图片。 3.4 实验结果分析 3.4.1 基模型预测结果 基学习器模型分别在 CIFAR-10 和 CIFAR- 100 数据集上进行训练，使用 SGD 优化器[22] 更新 权重，对训练数据集首先进行图像预处理，包括 图像归一化和数据集打乱，批量规范化之后训练 单批次大小为 128。经过反复实验，卷积神经网 络模型大概在 200 次迭代之后已经完全收敛，识 别率达到了最高，故 Epochs 值设置为 200；在卷积 操作中使用 ReLU[23] 激活函数，添加 L2 正则化处 理，参数设置 λ 为 0.001；利用 Dropout 防止过拟 合，设置为 0.25；采用分段学习率训练方式，初始 学习率设为 0.01，动量系数均为 0.9；权重初始化 采用 He 正态分布初始化器，偏差初始化为零。 单个基模型经过训练后的预测结果如表 4 所示。 表 4 19 个候选基模型预测结果 Acc Table 4 Prediction results Acc of 19 candidate basic models % 基模型 CIFAR-10 CIFAR-100 基模型 CIFAR-10 CIFAR-100 model_1 90.81 67.41 model_11 88.85 62.55 model_2 91.23 65.43 model_12 88.33 61.30 model_3 89.44 63.12 model_13 88.97 62.04 model_4 90.25 65.07 model_14 88.73 62.98 model_5 90.82 66.46 model_15 51.47 63.29 model_6 87.99 62.12 model_16 80.92 53.89 model_7 90.72 65.13 model_17 79.17 50.65 model_8 91.00 66.50 model_18 81.00 49.80 model_9 88.87 61.75 model_19 60.76 36.75 model_10 89.11 62.86 由表 4 可知，基模型 15~19 的预测准确性较 低，考虑到模型集成之后的效果，初步筛选出基 模型 1~14 作为初筛选基模型。 3.4.2 基于 CIFAR-10 数据集的多样性分析 表 5 是 3 种传统多样性方法和本文方法分别 在 CIFAR-10 数据集上得到的多样性统计值最大 的两分类器集成模型，表 6 是表 5 得到的两分类 器集成模型在测试集上的预测结果。同理，表 7 是得到的多样性统计值最大的三分类器集成模 型，表 8 是其预测结果；表 9 是得到的多样性统计 续表 3 结构 Model_8 Model_10 Model_12 Model_13 Model_14 拉平 fatten fatten fatten fatten fatten 过拟合层2 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 全连接层 Dense(68) Dense(69) Dense(70) Dense(71) Dense(72) 输出层 Softmax Softmax Softmax Softmax Softmax ·1034· 智 能 系 统 学 报 第 16 卷

第6期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1035· 值最大的四分类器集成模型结果，表10是其预测 由表7和表8可知，本文方法筛选出的三分类器 结果。其中，平均集成精度是指通过多样性方法 集成模型为2-3-6、2-5-6和2-6-8，集成精度相比于 筛选得到的三组集成模型组合采用简单平均集成 基模型平均精度提升效果最优，提升了2.575%； 策略得到的在测试集上的集成精度，并求取平均 由表9、10可知，本文方法筛选出的四分类器模 值的结果；基模型平均精度是指表6中筛选出的 型是2-3-5-6、2-3-6-8和2-3-6-10，集成精度相比于 单个基模型在测试集上的分类精度的平均值。如 基模型精度提高了2.580%，比Q统计方法效果 表6中DF方法的平均集成精度就等于表5中对 好，比不一致性方法相差0.397%，比双错度量方 应的3个两分类器集成模型2-14、2-5和5-14分 法相差0.074%。同时，本文方法筛选出的二分 别在测试集上的集成精度的平均值，而相应的基 类器的平均集成精度是最高的，达到了92.067%， 模型平均精度是指单一基模型2、5和14测试精 性能相比于其他3种方法是最优的，三分类器和 度的均值结果。 四分类器的平均集成精度与双错度量得到的结果 表5CFAR-10上多样性最大的两分类器集成模型 相近，且高于不一致性方法和Q统计方法，说明 Table 5 Results of an optimal two-classifiers model on CI- 本文提出的基于概率向量的多样性度量方法是有 FAR-10 效的。 降序排列 D Dis ⊙ 表9 CIFAR-10上多样性最大的四分类器集成模型 2-14 6-12 6-13 2-6 Table 9 Results of optimal four-classifier models on CI- FAR-10 2 2-5 6-13 6-8 2-3 5-14 12-14 5-6 2-5 降序排列 DE Dis Q DPV 1 2-5-8-146-12-13-146-12-13-142-3-5-6 表6两分类器集成模型在CIFAR-10上预测结果 2 2-5-6-8 6-9-12-13 5-12-13-14 2-3-6-8 Table 6 Prediction results of two-classifier models on 3 2-5-13-1411-12-13-142-12-13-142-3-6-10 CIFAR-10 % 类别 平均集成精度 基模型平均精度 提高百分比 表10四分类器集成模型在CIFAR-10的预测结果 DE 91.987 90.260 1.727 Table 10 Prediction results of four-classifier models on CIFAR-10 % Dis 90.093 88.510 1.583 Q 90.920 89.700 1.220 类别 平均集成精度 基模型平均精度 提高百分比 DwN 92.067 89.870 2.197 DE 92.767 89.790 2.977 Dis 91.277 88.623 2.654 表7 CIFAR-10上多样性最大的三分类器集成模型 Q 91.810 89.495 2.315 Table 7 Results of optimal three-classifier models on CI- DPV 92.511 89.931 2.580 FAR-10 降序排列 De 09 Q DwN 3.4.3基于CIFAR-100数据集的多样性分析 2-5-14 6-12-13 12-13-14 2-3-6 为进一步验证本文所提方法的有效性，在 2 2-5-6 6-12-14 6-12-13 2-5-6 CIFAR-100数据集上进行验证实验。表11是3 2-3-5 6-13-14 5-6-13 2-6-8 种传统多样性方法和本文方法分别在CIFAR-1O0 表8 三分类器集成模型在CIFAR-10上预测结果 数据集上得到的多样性统计值最大的两分类器集 Table 8 Prediction results of three-classifier models 成模型，表12是表11得到的两分类器集成模型 on CIFAR-10 % 的预测结果：表13是得到的多样性统计值最大的 类别平均集成精度 基模型平均精度 提高百分比 三分类器集成模型，表14是其预测结果；表15是 DE 92.490 89.964 2.526 得到的多样性统计值最大的四分类器集成模型， Dis 91.003 88.505 2.498 表16是其预测结果。 0 91.010 88.968 2.042 由表11、12可知，本文方法在CIFAR-100数 Dev 92.293 89.718 2.575 据集上筛选出的二分类器集成模型是5-14、12- 14和3-14，平均集成精度相比于基模型平均精度 由表5、6可知，本文方法筛选出的二分类器 提升效果最优，提升了5.812%；由表13、14可知， 集成模型是2-6、2-3和2-5，平均集成精度相比于 本文方法筛选出的三分类器集成模型为5-12-14、 基模型平均精度提升效果最优，提升了2.197%： 5-8-14和3-8-14，平均集成精度相比于基模型平

值最大的四分类器集成模型结果，表 10 是其预测 结果。其中，平均集成精度是指通过多样性方法 筛选得到的三组集成模型组合采用简单平均集成 策略得到的在测试集上的集成精度，并求取平均 值的结果；基模型平均精度是指表 6 中筛选出的 单个基模型在测试集上的分类精度的平均值。如 表 6 中 DF 方法的平均集成精度就等于表 5 中对 应的 3 个两分类器集成模型 2-14、2-5 和 5-14 分 别在测试集上的集成精度的平均值，而相应的基 模型平均精度是指单一基模型 2、5 和 14 测试精 度的均值结果。 表 5 CIFAR-10 上多样性最大的两分类器集成模型 Table 5 Results of an optimal two-classifiers model on CI￾FAR-10 降序排列 DF Dis Q DPV 1 2-14 6-12 6-13 2-6 2 2-5 6-13 6-8 2-3 3 5-14 12-14 5-6 2-5 表 6 两分类器集成模型在 CIFAR-10 上预测结果 Table 6 Prediction results of two-classifier models on CIFAR-10 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 91.987 90.260 1.727 Dis 90.093 88.510 1.583 Q 90.920 89.700 1.220 DPV 92.067 89.870 2.197 表 7 CIFAR-10 上多样性最大的三分类器集成模型 Table 7 Results of optimal three-classifier models on CI￾FAR-10 降序排列 DF Dis Q DPV 1 2-5-14 6-12-13 12-13-14 2-3-6 2 2-5-6 6-12-14 6-12-13 2-5-6 3 2-3-5 6-13-14 5-6-13 2-6-8 表 8 三分类器集成模型在 CIFAR-10 上预测结果 Table 8 Prediction results of three-classifier models on CIFAR-10 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 92.490 89.964 2.526 Dis 91.003 88.505 2.498 Q 91.010 88.968 2.042 DPV 92.293 89.718 2.575 由表 5、6 可知，本文方法筛选出的二分类器 集成模型是 2-6、2-3 和 2-5，平均集成精度相比于 基模型平均精度提升效果最优，提升了 2.197%； 由表 7 和表 8 可知，本文方法筛选出的三分类器 集成模型为 2-3-6、2-5-6 和 2-6-8，集成精度相比于 基模型平均精度提升效果最优，提升了 2.575%； 由表 9、10 可知，本文方法筛选出的四分类器模 型是 2-3-5-6、2-3-6-8 和 2-3-6-10，集成精度相比于 基模型精度提高了 2.580%，比 Q 统计方法效果 好，比不一致性方法相差 0.397%，比双错度量方 法相差 0.074%。同时，本文方法筛选出的二分 类器的平均集成精度是最高的，达到了 92.067%， 性能相比于其他 3 种方法是最优的，三分类器和 四分类器的平均集成精度与双错度量得到的结果 相近，且高于不一致性方法和 Q 统计方法，说明 本文提出的基于概率向量的多样性度量方法是有 效的。 表 9 CIFAR-10 上多样性最大的四分类器集成模型 Table 9 Results of optimal four-classifier models on CI￾FAR-10 降序排列 DF Dis Q DPV 1 2-5-8-14 6-12-13-14 6-12-13-14 2-3-5-6 2 2-5-6-8 6-9-12-13 5-12-13-14 2-3-6-8 3 2-5-13-14 11-12-13-14 2-12-13-14 2-3-6-10 表 10 四分类器集成模型在 CIFAR-10 的预测结果 Table 10 Prediction results of four-classifier models on CIFAR-10 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 92.767 89.790 2.977 Dis 91.277 88.623 2.654 Q 91.810 89.495 2.315 DPV 92.511 89.931 2.580 3.4.3 基于 CIFAR-100 数据集的多样性分析 为进一步验证本文所提方法的有效性，在 CIFAR-100 数据集上进行验证实验。表 11 是 3 种传统多样性方法和本文方法分别在 CIFAR-100 数据集上得到的多样性统计值最大的两分类器集 成模型，表 12 是表 11 得到的两分类器集成模型 的预测结果；表 13 是得到的多样性统计值最大的 三分类器集成模型，表 14 是其预测结果；表 15 是 得到的多样性统计值最大的四分类器集成模型， 表 16 是其预测结果。 由表 11、12 可知，本文方法在 CIFAR-100 数 据集上筛选出的二分类器集成模型是 5-14、12- 14 和 3-14，平均集成精度相比于基模型平均精度 提升效果最优，提升了 5.812%；由表 13、14 可知， 本文方法筛选出的三分类器集成模型为 5-12-14、 5-8-14 和 3-8-14，平均集成精度相比于基模型平 第 6 期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1035·

·1036· 智能系统学报 第16卷 均精度提升效果最优，提升了7.421%；由表15、 表15 CIFAR-100上多样性大的四分类器集成模型 16可知，本文方法筛选出的四分类器模型是3-5 Table 15 Results of optimal four-classifier models on CI- FAR-100 12-14、3-5-8-14和5-8-12-14，平均集成精度相比于 基模型平均精度提高了7.846%，集成精度相比于 降序排列 De Dis Q DPV 基模型精度提升效果最优。同时，在CIFAR 2-5-13-149-12-13-149-11-13-143-5-12-14 100数据集上，本文方法相比于其他3种方法，筛 2 5-8-13-14 6-9-12-139-12-13-143-5-8-14 选出的集成模型的平均集成精度无论是二分类 3 5-12-13-1411-12-13-146-12-13-145-8-12-14 器、三分类器还是四分类器都是最高的，集成性 能优于双错度量方法、不一致性方法和Q统计方 表16 四分类集成模型在CIFAR-100的预测结果 Table 16 Prediction results of four-classifier models 法，再次验证了本文方法的有效性。 on CIFAR-100 % 表11 CIFAR-100上多样性最大的两分类器集成模型 类别 平均集成精度 基模型平均精度 提高百分比 Table 11 Results of optimal two-classifier models on CI- 64.120 FAR-100 DE 71.697 7.577 Dis 69.590 62.123 7.467 降序排列 s Dis Q DPV 9 69.503 62.123 7.380 5-6 6-12 12-14 5-14 Dev 71.918 64.072 7.846 2 5-14 12-14 6-8 12-14 2 5-13 11-12 13-14 3-14 在基模型准确性比较接近的情况下，在CI- FAR-10数据集上Dv方法和双错度量方法筛选 表12两分类器集成模型在CIFAR-100的预测结果 出的集成模型的集成性能较接近，都优于不一致 Table 12 Prediction results of two-classifier models 性和Q统计方法；在CIFAR-100数据集上，Dpv方 on CIFAR-100 % 法筛选出的集成模型无论是平均集成性能还是相 类别 平均集成精度 基模型平均精度 提高百分比 对于基模型提升的效果都是最佳的。由此说明， DE 67.740 63.400 4.340 在基模型相对较弱，模型之间有更大的互补空间 Dis 65.880 62.240 3.640 可以利用时，Dv方法更能够体现模型之间的互 补性，可选择更好的模型组合进行集成。通过在 Q 67.273 62.988 4.285 CFAR-l0和CIFAR-100数据集上验证，本文提出 Dev 69.278 63.466 5.812 的Dv方法可以充分利用卷积神经网络的概率向 量的输出特性，深度挖掘模型内部互补信息，相 表13 CIFAR-I00上多样性最大的三分类器集成模型 较传统多样性度量方法更能够体现出模型之间的 Table 13 Results of optimal three-classifier models on CI- FAR-100 互补性和多样性。 降序排列 De Dis Q DPV 4结束语 5-13-14 6-12-13 12-13-14 5-12-14 针对目前模型集成中多样性度量方法在基模 2 5-12-14 12-13-14 9-13-14 5-8-14 型为卷积神经网络时未充分利用基模型输出的概 3 5-6-13 11-12-13 6-12-13 3-8-14 率向量信息的问题，本文提出一种基于卷积神经 网络概率向量的多样性度量方法。通过在CI 表14三分类器集成模型在CIFAR-100的预测结果 FAR-10和CIFAR-100数据集上训练多个不同结 Table 14 Prediction results of three-classifier models on CIFAR-100 % 构的卷积神经网络进行基于多样性方法的选择对 比实验，结果表明，在CIFAR-I0数据集上本文方 类别 平均集成精度 基模型平均精度 提高百分比 法和双错度量方法相近，且优于不一致性和Q统 DE 70.230 62.980 7.250 计方法；在CIFAR-100数据集上，相比于双错度 Dis 68.427 62.198 6.229 量、Q统计和不一致性方法，本文提出的方法是 Q 68.413 62.038 6.375 最优的。本文提出的方法能够充分利用卷积神经 Dw 网络的概率向量输出特性，更好地体现模型之间 71.493 64.072 7.421 的多样性，特别是在基模型整体较弱时，能够选

均精度提升效果最优，提升了 7.421%；由表 15、 16 可知，本文方法筛选出的四分类器模型是 3-5- 12-14、3-5-8-14 和 5-8-12-14，平均集成精度相比于 基模型平均精度提高了 7.846%，集成精度相比于 基模型精度提升效果最优。同时，在 CIFAR- 100 数据集上, 本文方法相比于其他 3 种方法, 筛 选出的集成模型的平均集成精度无论是二分类 器、三分类器还是四分类器都是最高的，集成性 能优于双错度量方法、不一致性方法和 Q 统计方 法，再次验证了本文方法的有效性。 表 11 CIFAR-100 上多样性最大的两分类器集成模型 Table 11 Results of optimal two-classifier models on CI￾FAR-100 降序排列 DF Dis Q DPV 1 5-6 6-12 12-14 5-14 2 5-14 12-14 6-8 12-14 3 5-13 11-12 13-14 3-14 表 12 两分类器集成模型在 CIFAR-100 的预测结果 Table 12 Prediction results of two-classifier models on CIFAR-100 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 67.740 63.400 4.340 Dis 65.880 62.240 3.640 Q 67.273 62.988 4.285 DPV 69.278 63.466 5.812 表 13 CIFAR-100 上多样性最大的三分类器集成模型 Table 13 Results of optimal three-classifier models on CI￾FAR-100 降序排列 DF Dis Q DPV 1 5-13-14 6-12-13 12-13-14 5-12-14 2 5-12-14 12-13-14 9-13-14 5-8-14 3 5-6-13 11-12-13 6-12-13 3-8-14 表 14 三分类器集成模型在 CIFAR-100 的预测结果 Table 14 Prediction results of three-classifier models on CIFAR-100 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 70.230 62.980 7.250 Dis 68.427 62.198 6.229 Q 68.413 62.038 6.375 DPV 71.493 64.072 7.421 表 15 CIFAR-100 上多样性大的四分类器集成模型 Table 15 Results of optimal four-classifier models on CI￾FAR-100 降序排列 DF Dis Q DPV 1 2-5-13-14 9-12-13-14 9-11-13-14 3-5-12-14 2 5-8-13-14 6-9-12-13 9-12-13-14 3-5-8-14 3 5-12-13-14 11-12-13-14 6-12-13-14 5-8-12-14 表 16 四分类集成模型在 CIFAR-100 的预测结果 Table 16 Prediction results of four-classifier models on CIFAR-100 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 71.697 64.120 7.577 Dis 69.590 62.123 7.467 Q 69.503 62.123 7.380 DPV 71.918 64.072 7.846 在基模型准确性比较接近的情况下, 在 CI￾FAR-10 数据集上 DPV 方法和双错度量方法筛选 出的集成模型的集成性能较接近，都优于不一致 性和 Q 统计方法；在 CIFAR-100 数据集上，DPV 方 法筛选出的集成模型无论是平均集成性能还是相 对于基模型提升的效果都是最佳的。由此说明， 在基模型相对较弱，模型之间有更大的互补空间 可以利用时，DPV 方法更能够体现模型之间的互 补性，可选择更好的模型组合进行集成。通过在 CIFAR-10 和 CIFAR-100 数据集上验证，本文提出 的 DPV 方法可以充分利用卷积神经网络的概率向 量的输出特性，深度挖掘模型内部互补信息，相 较传统多样性度量方法更能够体现出模型之间的 互补性和多样性。 4 结束语 针对目前模型集成中多样性度量方法在基模 型为卷积神经网络时未充分利用基模型输出的概 率向量信息的问题，本文提出一种基于卷积神经 网络概率向量的多样性度量方法。通过在 CI￾FAR-10 和 CIFAR-100 数据集上训练多个不同结 构的卷积神经网络进行基于多样性方法的选择对 比实验，结果表明，在 CIFAR-10 数据集上本文方 法和双错度量方法相近，且优于不一致性和 Q 统 计方法；在 CIFAR-100 数据集上，相比于双错度 量、Q 统计和不一致性方法，本文提出的方法是 最优的。本文提出的方法能够充分利用卷积神经 网络的概率向量输出特性，更好地体现模型之间 的多样性，特别是在基模型整体较弱时，能够选 ·1036· 智 能 系 统 学 报 第 16 卷

第6期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1037· 出集成效果相对更好的模型组合，且集成模型的 [13]邢红杰，魏勇乐.基于相关嫡和距离方差的支持向量 性能对比基模型平均性能的提升效果也更优。此 数据描述选择性集成.计算机科学，2016,43(5)： 方法为基于概率向量输出的卷积神经网络模型集 252-256,264. 成选择提供了一种新的多样性度量思路。 XING Hongjie,WEI Yongle.Selective ensemble of SVDDs based on correntropy and distance variance[J]. 参考文献 Computer science,2016,43(5):252-256,264 [14]李莉.基于差异性度量的分类器集成优化方法研究与 [1]OPITZ D.MACLIN R.Popular ensemble methods:an 应用[D1.大连：大连海事大学，2017. empirical study[J].Journal of artificial intelligence re- LILi.Optimization method research and application of search,1999,11:169-198 multiple classifiers ensemble based on diversity meas- [2]ZHOU Zhuhui.Ensemble methods:foundations and al- ure[D].Dalian:Dalian Maritime University,2017 gorithms[M].New York:CRC Press,2012:236 [15]赵军阳，韩崇昭，韩德强，等.采用互补信息嫡的分类 [3]YULE G U.On the association of attributes in statistics: 器集成差异性度量方法).西安交通大学学报，2016， with illustrations from the material of the childhood soci- 50(2:13-19. ety,&c[J].Philosophical transactions of the royal society ZHAO Junyang,Han Chongzhao,Han Deqiang,et al.A of London..Series A,1900,1900,194:257-319 novel measure method for diversity of classifier integra- [4]SKALAK D B.The sources of increased accuracy for two tions using complement informationentropy[J].Journal proposed boosting algorithms[C]//Proceedings of Americ- of Xi'an Jiaotong University,2016,50(2):13-19 an Association for Artificial Intelligence,AAAI-96,In- [16]周钢，郭福亮.基于信息嫡的集成学习过程多样性度 tegrating Multiple Learned Models Workshop.Portland, 量研究).计算机工程与科学，2019,41(9)：1700 USA,1996:1133 1707. [5]GIACINTO G,ROLI F.Design of effective neural net- ZHOU Gang,GUO Fuliang.Process diversity measure- work ensembles for image classification purposes[J].Im- ment of ensemble learning based on information en age and vision computing,2001,19(9/10):699-707. tropy[J].Computer engineering and science,2019, [6]KUNCHEVA L I,WHITAKER C J.Measures of di- 41(9):1700-1707. versity in classifier ensembles and their relationship with [1刀周飞燕，金林鹏，董军.卷积神经网络研究综述.计 the ensemble accuracy[J].Machine learning,2003,51(2): 算机学报，2017,40(6)：1229-1251. 181-207 ZHOU Feiyan,JIN Linpeng,DONG Jun.DONG Jun [7]KOHAVI R.WOLPERT D H.Bias plus variance decom- Review of convolutional neural network[J].Chinese position for zero-one loss functions[C]//Proceedings of journal of computers,2017,40(6):1229-1251. the 13th International Conference on Machine Learning. [18]FAN Tiegang.ZHU Ying,CHEN Junmin.A new meas- San Francisco,USA,1996:275-283. ure of classifier diversity in multiple classifier system [8]CONOVER W J.Statistical methods for rates and propor- [C]//Proceedings of 2008 International Conference on tions[J].Technometrics,1974,16(2):326-327 Machine Learning and Cybernetics.Kunming,China, [9]SHIPP C A.KUNCHEVA L I.Relationships between 2008. combination methods and measures of diversity in com- [19]常亮，邓小明，周明全，等.图像理解中的卷积神经网 bining classifiers[J].Information fusion,2002,3(2): 络[J.自动化学报，2016,42(9)：1300-1312 135-148 CHANG Liang,DENG Xiaoming,ZHOU Mingquan,et [10]HANSEN L K,SALAMON P.Neural network en- al.Convolutional neural networks in image understand- sembles[J].IEEE transactions on pattern analysis and ing[J].Acta Automatica Sinica,2016,42(9):1300-1312 machine intelligence,2002,12(10):993-1001 [20]KRIZHEVSKY A,HINTON G.Learning multiple lay- [11]CUNNINGHAM P,CARNEY J.Diversity versus qual- ers of features from tiny images[J].Handbook of system- ity in classification ensembles based on feature selec- ic autoimmune diseases,2009.1(4):7. tion[Cl//Proceedings of the 11th European Conference [21]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Im- on Machine Learning.Catalonia,Spain,2000:109-116. ageNet classification with deep convolutional neural net- [12]PARTRIDGE D,KRZANOWSKI W.Software di- works[C]//Proceedings of the 25th International Confer- versity:practical statistics for its measurement and ex- ence on Neural Information Processing Systems.Lake ploitation[J].Information and software technology, Tahoe.USA.2012. 1997,3910):707-717. [22]SINHA N K.GRISCIK M P.A stochastic approxima-

出集成效果相对更好的模型组合,且集成模型的 性能对比基模型平均性能的提升效果也更优。此 方法为基于概率向量输出的卷积神经网络模型集 成选择提供了一种新的多样性度量思路。 参考文献： OPITZ D, MACLIN R. Popular ensemble methods: an empirical study[J]. Journal of artificial intelligence re￾search, 1999, 11: 169–198. [1] ZHOU Zhuhui. Ensemble methods: foundations and al￾gorithms[M]. New York: CRC Press, 2012: 236. [2] YULE G U. On the association of attributes in statistics: with illustrations from the material of the childhood soci￾ety, &c[J]. Philosophical transactions of the royal society of London. Series A, 1900, 1900, 194: 257–319. [3] SKALAK D B. The sources of increased accuracy for two proposed boosting algorithms[C]//Proceedings of Americ￾an Association for Artificial Intelligence, AAAI-96, In￾tegrating Multiple Learned Models Workshop. Portland, USA, 1996: 1133. [4] GIACINTO G, ROLI F. Design of effective neural net￾work ensembles for image classification purposes[J]. Im￾age and vision computing, 2001, 19(9/10): 699–707. [5] KUNCHEVA L I, WHITAKER C J. Measures of di￾versity in classifier ensembles and their relationship with the ensemble accuracy[J]. Machine learning, 2003, 51(2): 181–207. [6] KOHAVI R, WOLPERT D H. Bias plus variance decom￾position for zero-one loss functions[C]//Proceedings of the 13th International Conference on Machine Learning. San Francisco, USA, 1996: 275−283. [7] CONOVER W J. Statistical methods for rates and propor￾tions[J]. Technometrics, 1974, 16(2): 326–327. [8] SHIPP C A, KUNCHEVA L I. Relationships between combination methods and measures of diversity in com￾bining classifiers[J]. Information fusion, 2002, 3(2): 135–148. [9] HANSEN L K, SALAMON P. Neural network en￾sembles[J]. IEEE transactions on pattern analysis and machine intelligence, 2002, 12(10): 993–1001. [10] CUNNINGHAM P, CARNEY J. Diversity versus qual￾ity in classification ensembles based on feature selec￾tion[C]//Proceedings of the 11th European Conference on Machine Learning. Catalonia, Spain, 2000: 109−116. [11] PARTRIDGE D, KRZANOWSKI W. Software di￾versity: practical statistics for its measurement and ex￾ploitation[J]. Information and software technology, 1997, 39(10): 707–717. [12] 邢红杰, 魏勇乐. 基于相关熵和距离方差的支持向量 数据描述选择性集成 [J]. 计算机科学, 2016, 43(5): 252–256, 264. XING Hongjie, WEI Yongle. Selective ensemble of SVDDs based on correntropy and distance variance[J]. Computer science, 2016, 43(5): 252–256, 264. [13] 李莉. 基于差异性度量的分类器集成优化方法研究与 应用 [D]. 大连: 大连海事大学, 2017. LI Li. Optimization method research and application of multiple classifiers ensemble based on diversity meas￾ure[D]. Dalian: Dalian Maritime University, 2017. [14] 赵军阳, 韩崇昭, 韩德强, 等. 采用互补信息熵的分类 器集成差异性度量方法 [J]. 西安交通大学学报, 2016, 50(2): 13–19. ZHAO Junyang, Han Chongzhao, Han Deqiang, et al. A novel measure method for diversity of classifier integra￾tions using complement informationentropy[J]. Journal of Xi’an Jiaotong University, 2016, 50(2): 13–19. [15] 周钢, 郭福亮. 基于信息熵的集成学习过程多样性度 量研究 [J]. 计算机工程与科学, 2019, 41(9): 1700– 1707. ZHOU Gang, GUO Fuliang. Process diversity measure￾ment of ensemble learning based on information en￾tropy[J]. Computer engineering and science, 2019, 41(9): 1700–1707. [16] 周飞燕, 金林鹏, 董军. 卷积神经网络研究综述 [J]. 计 算机学报, 2017, 40(6): 1229–1251. ZHOU Feiyan, JIN Linpeng, DONG Jun. DONG Jun. Review of convolutional neural network[J]. Chinese journal of computers, 2017, 40(6): 1229–1251. [17] FAN Tiegang, ZHU Ying, CHEN Junmin. A new meas￾ure of classifier diversity in multiple classifier system [C]//Proceedings of 2008 International Conference on Machine Learning and Cybernetics. Kunming, China, 2008. [18] 常亮, 邓小明, 周明全, 等. 图像理解中的卷积神经网 络 [J]. 自动化学报, 2016, 42(9): 1300–1312. CHANG Liang, DENG Xiaoming, ZHOU Mingquan, et al. Convolutional neural networks in image understand￾ing[J]. Acta Automatica Sinica, 2016, 42(9): 1300–1312. [19] KRIZHEVSKY A, HINTON G. Learning multiple lay￾ers of features from tiny images[J]. Handbook of system￾ic autoimmune diseases, 2009, 1(4): 7. [20] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Im￾ageNet classification with deep convolutional neural net￾works[C]//Proceedings of the 25th International Confer￾ence on Neural Information Processing Systems. Lake Tahoe, USA, 2012. [21] [22] SINHA N K, GRISCIK M P. A stochastic approxima- 第 6 期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1037·

·1038· 智能系统学报 第16卷 tion method[J].IEEE transactions on systems,man,and 贺利乐，教授，博士生导师，主要 cybernetics,2007,SMC-1(4):338-344. 研究方向为机器人智能化技术、机器 学习。2015年获陕西省高等学校科学 [23]GLOROT X.BORDES A,BENGIO Y.Deep sparse rec- 技术奖二等奖，2016年获陕西省科学 tifier neural networks[J].Journal of machine learning re- 技术奖三等奖。获发明专利授权5 search,2011,15:315-323 件，出版专著1部，教材4部，发表学 作者简介： 术论文86篇。 汤礼颖，硕士研究生，主要研究方 何林，讲师.主要研究方向为深度 向为图像识别与目标检测。 学习。 A1好书推荐—一《智能算法导论》 智能算法是在进化计算、模糊逻辑、神经网三个分支发展相对成熟的基础上，通过相互之间的有机融 合而形成的新的科学方法，也是智能理论和技术发展的崭新阶段。本书对智能算法的前沿领域进行了详细 的论述，主要内容包括：遗传算法、免疫算法、Memetic算法、粒子群算法、蚁群算法、狼群算法、蜂群算法、 细菌觅食算法、分布估计算法、差分进化算法、模拟退火、贪心算法、雨滴算法、禁忌搜索算法、量子算法、 最小二乘法、A*算法、神经网络算法、深度学习算法、混合智能算法。 作者简介： 尚荣华，女，西安电子科技大学华山学者特聘教授，博导，主要研究方向为智能感知与自然计算、类脑 计算与大数据的学习、优化与应用。 焦李成，男，西安电子科技大学华山学者领军教授，博导，入选欧洲科学院外籍院士，俄罗斯自然科学 院外籍院士，主要研究方向为智能感知与计算、图像理解与目标识别、深度学习与类脑计算。 刘芳，女，西安电子科技大学华山学者特聘教授，博导，享受国务院特殊津贴的专家，国家自然科学奖 获得者，建国七十周年奖章获得者，主要研究方向为大数据感知与模式识别、机器学习与智能图像处理。 李阳阳，女，教授，华山学者特聘教授，博导，2012年入选教育部“新世纪优秀人才支持计划”，2014年入 选“陕西省科技新星”，主要研究方向为计算智能、量子计算和图像处理

tion method[J]. IEEE transactions on systems, man, and cybernetics, 2007, SMC-1(4): 338–344. GLOROT X, BORDES A, BENGIO Y. Deep sparse rec￾tifier neural networks[J]. Journal of machine learning re￾search, 2011, 15: 315–323. [23] 作者简介： 汤礼颖，硕士研究生，主要研究方 向为图像识别与目标检测。 贺利乐，教授，博士生导师，主要 研究方向为机器人智能化技术、机器 学习。2015 年获陕西省高等学校科学 技术奖二等奖，2016 年获陕西省科学 技术奖三等奖。获发明专利授权 5 件，出版专著 1 部，教材 4 部，发表学 术论文 86 篇。 何林，讲师，主要研究方向为深度 学习。 AI 好书推荐——《智能算法导论》 智能算法是在进化计算、模糊逻辑、神经网络三个分支发展相对成熟的基础上，通过相互之间的有机融 合而形成的新的科学方法，也是智能理论和技术发展的崭新阶段。本书对智能算法的前沿领域进行了详细 的论述，主要内容包括：遗传算法、免疫算法、Memetic 算法、粒子群算法、蚁群算法、狼群算法、蜂群算法、 细菌觅食算法、分布估计算法、差分进化算法、模拟退火、贪心算法、雨滴算法、禁忌搜索算法、量子算法、 最小二乘法、A*算法、神经网络算法、深度学习算法、混合智能算法。 作者简介： 尚荣华，女，西安电子科技大学华山学者特聘教授，博导，主要研究方向为智能感知与自然计算、类脑 计算与大数据的学习、优化与应用。 焦李成，男，西安电子科技大学华山学者领军教授，博导，入选欧洲科学院外籍院士，俄罗斯自然科学 院外籍院士，主要研究方向为智能感知与计算、图像理解与目标识别、深度学习与类脑计算。 刘芳，女，西安电子科技大学华山学者特聘教授，博导，享受国务院特殊津贴的专家，国家自然科学奖 获得者，建国七十周年奖章获得者，主要研究方向为大数据感知与模式识别、机器学习与智能图像处理。 李阳阳，女，教授，华山学者特聘教授，博导，2012 年入选教育部“新世纪优秀人才支持计划”，2014 年入 选“陕西省科技新星”，主要研究方向为计算智能、量子计算和图像处理。 ·1038· 智 能 系 统 学 报 第 16 卷