杜海鹏等：基于多目标支持向量机的ADHD分类 445. 31.0 111.0 b (a) 30.5 0-5 10.5 10 1 30.0 *6 ·2 10.0 0 -11 .7 ·3 29.5 9.5 ·8 ·4 为29.0 .9 5 9.0 .10 28.5 7 28.0 8.5 27.5 8.0 32 28 260.250.300.350.400.450.50 the 278320340.360.38040042040460480375 hell 图4 Peking-1数据集上非支配点集.(a)非支配点集：(b)非支配点1-5的权衡关系 Fig.4 Non-dominated points on Peking-1 data set:(a)non-dominated points;(b)trade-off information of non-dominated points 1-5 表2训练集/交叉验证集上的性能评价 Table 2 Evaluation of the training/cross-validation data set Classifier 1 2 3 4 6 Accuracy 0.6600/0.6842 0.6400/0.6842 0.6600/0.7368 0.6800/0.3842 0.6600/0.7368 0.6000/0.6316 G-means 0.6547/0.5311 0.66070.6202 0.6929/0.7161 0.7237/0.6794 0.7182/0.7596 0.6299/0.5883 Classefier 7 8 9 10 11 Accuracy 0.6000/0.6842 0.6200/0.6842 0.6000/0.6842 0.6200/0.6842 0.5800/0.5789 G-means 0.6299/0.6794 0.6726/0.6794 0.6547/0.7161 0.6841/0.7161 0.6268/0.5991 为了清楚地展示非支配点三个目标之间的权 数类样本的准确性为代价的. 衡关系，选取了前五个非支配点，在图4(b)和图5 根据所有非支配点对应的Pareto最优分类器 中展示其所对应的分类器的性能.图4(b)展示了 在交叉验证集的表现，对于Peking-l数据集，选择 三个目标（川l,∑+，∑5-）之间的权衡关系，可以 了具有最高g-means(值为0.7596)的分类器5作为 看出随着‖w1的增加，正样本经验误差之和∑5，随 该数据集的最终分类器.其他几个数据集的处理 之上升，而负样本经验误差之和∑-随之下降.图5 过程与Peking-】数据集一样，由于篇幅限制这里 进一步展示了这五个分类的性能，其中5(a)展示 不再给出. 了分类误差，5(b)展示了g-means值.两个子图中 为了进一步地展示本文提出的三个目标分类 以菱形点绘成的曲线代表正样本的分类误差之 方案的性能，将本文提出的方法与1范数SVM 和，图中具有相同横坐标值的其他点代表分类器 (L,SVM)、2范数SVM(L2SVM)、随机森林(random 在训练集与交叉验证集上的性能.从图中可以看 forest,.RF)2四、极限学习机(extreme learning machine, 出，正样本（少数类）经验误差的减小是以牺牲多 ELM)2以及两个目标分类方案(B-SVM)进行了 0.36 Validation 11.0 0.80 (a) (b)a Validation 111.0 0.36 -"-Training 10.5 0.75 -s-Training 0.36 10.5 0.36 10.0 10.0 0.70 0.36 9.5 9.5 0.65 0.30 9.0 9.0 0.29 0.60 8.5 8.5 0.28 8.0 0.55 8.0 0.27 0.282034036038040042040.460480535 058320340.360.380400.42040.460480575 hell hell: 图5 Peking-1数据集上1-5 Pareto最优分类器的性能.(a)范数与经验误差的关系：(b)范数与g-means的关系 Fig.5 Performance of Pareto optimal classifiers 1-5 for Peking-1:(a)norm versus empirical error;(b)norm versus g-means∥ w∥1, ∑ ξ+, ∑ ξ− ∥ w∥1 ∑ ξ+ ∑ ξ− 为了清楚地展示非支配点三个目标之间的权 衡关系，选取了前五个非支配点，在图 4（b）和图 5 中展示其所对应的分类器的性能. 图 4（b）展示了 三个目标（ ）之间的权衡关系，可以 看出随着 的增加，正样本经验误差之和 随 之上升，而负样本经验误差之和 随之下降. 图 5 进一步展示了这五个分类的性能，其中 5（a）展示 了分类误差，5（b）展示了 g-means 值. 两个子图中 以菱形点绘成的曲线代表正样本的分类误差之 和，图中具有相同横坐标值的其他点代表分类器 在训练集与交叉验证集上的性能. 从图中可以看 出，正样本（少数类）经验误差的减小是以牺牲多 数类样本的准确性为代价的. 根据所有非支配点对应的 Pareto 最优分类器 在交叉验证集的表现，对于 Peking-1 数据集，选择 了具有最高 g-means（值为 0.7596）的分类器 5 作为 该数据集的最终分类器. 其他几个数据集的处理 过程与 Peking-1 数据集一样，由于篇幅限制这里 不再给出. 为了进一步地展示本文提出的三个目标分类 方案的性能 ，将本文提出的方法与 1 范数 SVM （L1SVM）、2 范数 SVM（L2SVM）、随机森林（random forest, RF） [22]、极限学习机（extreme learning machine, ELM） [23] 以及两个目标分类方案（B-SVM）进行了 表 2 训练集/交叉验证集上的性能评价 Table 2 Evaluation of the training/cross-validation data set Classifier 1 2 3 4 5 6 Accuracy 0.6600/0.6842 0.6400/0.6842 0.6600/0.7368 0.6800/0.3842 0.6600/0.7368 0.6000/0.6316 G-means 0.6547/0.5311 0.6607/0.6202 0.6929/0.7161 0.7237/0.6794 0.7182/0.7596 0.6299/0.5883 Classefier 7 8 9 10 11 Accuracy 0.6000/0.6842 0.6200/0.6842 0.6000/0.6842 0.6200/0.6842 0.5800/0.5789 G-means 0.6299/0.6794 0.6726/0.6794 0.6547/0.7161 0.6841/0.7161 0.6268/0.5991 Σξ+ Σξ− Σξ+ Σξ− 31.0 (b) 30.5 30.0 29.5 29.0 28.5 28.0 27.5 27.0 0.32 0.34 0.36 0.38 0.40 0.42 ||w||1 0.44 0.46 0.48 0.50 11.0 10.5 10.0 9.5 9.0 8.5 8.0 7.5 Σξ+ Σξ− (a) 26 0.25 28 30 32 34 0.30 0.35 0.40 ||w||1 0.45 0.50 11 10 9 8 7 6 1 2 3 4 5 6 7 8 9 10 11 图 4 Peking-1 数据集上非支配点集. （a）非支配点集；（b）非支配点 1–5 的权衡关系 Fig.4 Non-dominated points on Peking-1 data set: (a) non-dominated points; (b) trade-off information of non-dominated points 1–5 Σξ+ G-means 0.80 (b) 0.75 0.70 0.65 0.60 0.55 0.50 0.32 0.34 0.36 0.38 0.40 0.42 ||w||1 0.44 0.46 0.48 0.50 11.0 10.5 10.0 9.5 9.0 8.5 8.0 7.5 Σξ+ Error Σξ+ Validation Training Σξ+ Validation Training 0.36 0.36 0.36 0.36 0.36 0.36 0.30 0.29 0.28 0.27 (a) 0.26 0.32 0.34 0.36 0.38 0.40 0.42 ||w||1 0.44 0.46 0.48 0.50 11.0 10.5 10.0 9.5 9.0 8.5 8.0 7.5 图 5 Peking-1 数据集上 1–5 Pareto 最优分类器的性能.（a）范数与经验误差的关系；（b）范数与 g-means 的关系 Fig.5 Performance of Pareto optimal classifiers 1–5 for Peking-1: (a) norm versus empirical error; (b) norm versus g-means 杜海鹏等： 基于多目标支持向量机的 ADHD 分类 · 445 ·