·1036· 智能系统学报 第16卷 均精度提升效果最优，提升了7.421%；由表15、 表15 CIFAR-100上多样性大的四分类器集成模型 16可知，本文方法筛选出的四分类器模型是3-5 Table 15 Results of optimal four-classifier models on CI- FAR-100 12-14、3-5-8-14和5-8-12-14，平均集成精度相比于 基模型平均精度提高了7.846%，集成精度相比于 降序排列 De Dis Q DPV 基模型精度提升效果最优。同时，在CIFAR 2-5-13-149-12-13-149-11-13-143-5-12-14 100数据集上，本文方法相比于其他3种方法，筛 2 5-8-13-14 6-9-12-139-12-13-143-5-8-14 选出的集成模型的平均集成精度无论是二分类 3 5-12-13-1411-12-13-146-12-13-145-8-12-14 器、三分类器还是四分类器都是最高的，集成性 能优于双错度量方法、不一致性方法和Q统计方 表16 四分类集成模型在CIFAR-100的预测结果 Table 16 Prediction results of four-classifier models 法，再次验证了本文方法的有效性。 on CIFAR-100 % 表11 CIFAR-100上多样性最大的两分类器集成模型 类别 平均集成精度 基模型平均精度 提高百分比 Table 11 Results of optimal two-classifier models on CI- 64.120 FAR-100 DE 71.697 7.577 Dis 69.590 62.123 7.467 降序排列 s Dis Q DPV 9 69.503 62.123 7.380 5-6 6-12 12-14 5-14 Dev 71.918 64.072 7.846 2 5-14 12-14 6-8 12-14 2 5-13 11-12 13-14 3-14 在基模型准确性比较接近的情况下，在CI- FAR-10数据集上Dv方法和双错度量方法筛选 表12两分类器集成模型在CIFAR-100的预测结果 出的集成模型的集成性能较接近，都优于不一致 Table 12 Prediction results of two-classifier models 性和Q统计方法；在CIFAR-100数据集上，Dpv方 on CIFAR-100 % 法筛选出的集成模型无论是平均集成性能还是相 类别 平均集成精度 基模型平均精度 提高百分比 对于基模型提升的效果都是最佳的。由此说明， DE 67.740 63.400 4.340 在基模型相对较弱，模型之间有更大的互补空间 Dis 65.880 62.240 3.640 可以利用时，Dv方法更能够体现模型之间的互 补性，可选择更好的模型组合进行集成。通过在 Q 67.273 62.988 4.285 CFAR-l0和CIFAR-100数据集上验证，本文提出 Dev 69.278 63.466 5.812 的Dv方法可以充分利用卷积神经网络的概率向 量的输出特性，深度挖掘模型内部互补信息，相 表13 CIFAR-I00上多样性最大的三分类器集成模型 较传统多样性度量方法更能够体现出模型之间的 Table 13 Results of optimal three-classifier models on CI- FAR-100 互补性和多样性。 降序排列 De Dis Q DPV 4结束语 5-13-14 6-12-13 12-13-14 5-12-14 针对目前模型集成中多样性度量方法在基模 2 5-12-14 12-13-14 9-13-14 5-8-14 型为卷积神经网络时未充分利用基模型输出的概 3 5-6-13 11-12-13 6-12-13 3-8-14 率向量信息的问题，本文提出一种基于卷积神经 网络概率向量的多样性度量方法。通过在CI 表14三分类器集成模型在CIFAR-100的预测结果 FAR-10和CIFAR-100数据集上训练多个不同结 Table 14 Prediction results of three-classifier models on CIFAR-100 % 构的卷积神经网络进行基于多样性方法的选择对 比实验，结果表明，在CIFAR-I0数据集上本文方 类别 平均集成精度 基模型平均精度 提高百分比 法和双错度量方法相近，且优于不一致性和Q统 DE 70.230 62.980 7.250 计方法；在CIFAR-100数据集上，相比于双错度 Dis 68.427 62.198 6.229 量、Q统计和不一致性方法，本文提出的方法是 Q 68.413 62.038 6.375 最优的。本文提出的方法能够充分利用卷积神经 Dw 网络的概率向量输出特性，更好地体现模型之间 71.493 64.072 7.421 的多样性，特别是在基模型整体较弱时，能够选均精度提升效果最优，提升了 7.421%；由表 15、 16 可知，本文方法筛选出的四分类器模型是 3-5- 12-14、3-5-8-14 和 5-8-12-14，平均集成精度相比于 基模型平均精度提高了 7.846%，集成精度相比于 基模型精度提升效果最优。同时，在 CIFAR- 100 数据集上, 本文方法相比于其他 3 种方法, 筛 选出的集成模型的平均集成精度无论是二分类 器、三分类器还是四分类器都是最高的，集成性 能优于双错度量方法、不一致性方法和 Q 统计方 法，再次验证了本文方法的有效性。 表 11 CIFAR-100 上多样性最大的两分类器集成模型 Table 11 Results of optimal two-classifier models on CI￾FAR-100 降序排列 DF Dis Q DPV 1 5-6 6-12 12-14 5-14 2 5-14 12-14 6-8 12-14 3 5-13 11-12 13-14 3-14 表 12 两分类器集成模型在 CIFAR-100 的预测结果 Table 12 Prediction results of two-classifier models on CIFAR-100 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 67.740 63.400 4.340 Dis 65.880 62.240 3.640 Q 67.273 62.988 4.285 DPV 69.278 63.466 5.812 表 13 CIFAR-100 上多样性最大的三分类器集成模型 Table 13 Results of optimal three-classifier models on CI￾FAR-100 降序排列 DF Dis Q DPV 1 5-13-14 6-12-13 12-13-14 5-12-14 2 5-12-14 12-13-14 9-13-14 5-8-14 3 5-6-13 11-12-13 6-12-13 3-8-14 表 14 三分类器集成模型在 CIFAR-100 的预测结果 Table 14 Prediction results of three-classifier models on CIFAR-100 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 70.230 62.980 7.250 Dis 68.427 62.198 6.229 Q 68.413 62.038 6.375 DPV 71.493 64.072 7.421 表 15 CIFAR-100 上多样性大的四分类器集成模型 Table 15 Results of optimal four-classifier models on CI￾FAR-100 降序排列 DF Dis Q DPV 1 2-5-13-14 9-12-13-14 9-11-13-14 3-5-12-14 2 5-8-13-14 6-9-12-13 9-12-13-14 3-5-8-14 3 5-12-13-14 11-12-13-14 6-12-13-14 5-8-12-14 表 16 四分类集成模型在 CIFAR-100 的预测结果 Table 16 Prediction results of four-classifier models on CIFAR-100 % 类别 平均集成精度 基模型平均精度 提高百分比 DF 71.697 64.120 7.577 Dis 69.590 62.123 7.467 Q 69.503 62.123 7.380 DPV 71.918 64.072 7.846 在基模型准确性比较接近的情况下, 在 CI￾FAR-10 数据集上 DPV 方法和双错度量方法筛选 出的集成模型的集成性能较接近，都优于不一致 性和 Q 统计方法；在 CIFAR-100 数据集上，DPV 方 法筛选出的集成模型无论是平均集成性能还是相 对于基模型提升的效果都是最佳的。由此说明， 在基模型相对较弱，模型之间有更大的互补空间 可以利用时，DPV 方法更能够体现模型之间的互 补性，可选择更好的模型组合进行集成。通过在 CIFAR-10 和 CIFAR-100 数据集上验证，本文提出 的 DPV 方法可以充分利用卷积神经网络的概率向 量的输出特性，深度挖掘模型内部互补信息，相 较传统多样性度量方法更能够体现出模型之间的 互补性和多样性。 4 结束语 针对目前模型集成中多样性度量方法在基模 型为卷积神经网络时未充分利用基模型输出的概 率向量信息的问题，本文提出一种基于卷积神经 网络概率向量的多样性度量方法。通过在 CI￾FAR-10 和 CIFAR-100 数据集上训练多个不同结 构的卷积神经网络进行基于多样性方法的选择对 比实验，结果表明，在 CIFAR-10 数据集上本文方 法和双错度量方法相近，且优于不一致性和 Q 统 计方法；在 CIFAR-100 数据集上，相比于双错度 量、Q 统计和不一致性方法，本文提出的方法是 最优的。本文提出的方法能够充分利用卷积神经 网络的概率向量输出特性，更好地体现模型之间 的多样性，特别是在基模型整体较弱时，能够选 ·1036· 智 能 系 统 学 报 第 16 卷