·1016· 智能系统学报 第15卷 数可表示为f4(x)=(w,(x)+b+和f(x)=(w.中 孪生支持向量机(I-v-r LSTWSVM)、改进的最小 (x))+b-o 二乘孪生多分类支持向量(improvements on 由希尔伯特空间理论21知： least squares twin multi-class classification support m ",=∑)=ML vector machine,.LST-KSVC),多生最小二乘支持 1 向量机2sl(multiple birth least squares support vector w.=∑)，)=ML machine,.MBLSSVM)与本文算法进行比较。实验 结果为10折交叉验证的平均值。在非线性情形 ES-LSTWSVM构造如下2个基于核函数的 下，使用高斯核函数K(x,x)=exp(-:-x/2σ2)。 超平面： 3.1实验结果 K(x,M)A,+b,=0,K(x",MT)+b=0 在本节中，使用UCI数据集中的Iris、Wine 式中：M=ATBT:K(xx)=((x)(x》。 Vowel、Balance、Vehicle、Zoo和Segment。.这些数 在非线性情形下，ES-LSTWSVM可表示为 据集的特征如表1所示。 2Ka,MrL+e.b.f+号55+ 表1数据集的具体特征 Table 1 The detail features of the datasets 号L6+)+号(a0r∑L (6) 数据集 样本个数 特征维数 类别数 S.t. -(K(B,M)L+e_b+)+5=E. Iris 150 4 3 吗5lKB.ML+e.b+气rn+ Wine 178 3 Vowel 528 10 11 号L后+的)+号M∑ML (7 Balance 625 ? 3 s.t.(K(A,M)+e,b_)+n=E. Vehicle 846 18 式∑∑++∑∑-∑++∑ Z00 101 16 7 Segment 2310 18 7 ∑和∑分别是由核Ward's linkage聚类算 法得到的2个类中第i个簇和第广个簇对应的协 表2列出了上述算法在使用线性核的情况下 方差矩阵，i=1,2,…,Cpj=1,2…,Cn0 的分类结果。表3给出了上述算法在使用高斯核 类似于线性情形，式(6)、(7的解可表示为 的情况下的分类结果。从表2可以看出，提出的 W+ 算法在Wine、Balance、Vehicle、Zoo这4个数据集 21=b. 上有最高的分类精度，并且在其他数据集上也有 (8) -c(prP+c2。'o+cl+e∑ 不错的表现。从表3可以看出，所提出的算法在 Iris、Vowel、Balance、Vehicle、Zoo、Segment这 6个数据集上的分类准确率最高，并且在Wine数 cdQQ.+cPP.+e+cPE. 据集上也有较高的准确率。图1是对实验结果更 直观的表示。 式中：P=[K(A,Me+}O=[K(B,Me.月 表2线性核函数下精确度的比较 M∑M Table 2 Comparison of accuracies using linear kernel 0 1-v-1 1-v-r ILST- 本文 数据集 MBLSSVM M0r∑M00 LSTWSVMLSTWSVM KSVC 算法 0 0 Iris 95.35 91.63 76.67 85.73 90.45 Wine 97.26 97.67 97.90 98.80 98.99 3实验结果与分析 Vowel 80.66 44.12 50.00 47.38 49.60 使用“多对一”的策略将ES-LSTWSVM模型 Balance 86.39 85.87 88.47 86.63 88.65 扩展到多类分类中。为了证明该算法的有效性， Vehicle 80.04 77.18 45.80 78.70 81.14 给出了该算法在多个UCI数据集上的实验结 Z00 94.87 92.02 92.85 96.51 98.23 果。在实验中，选择了“一对一”最小二乘孪生支 Segment 94.32 90.51 60.60 89.72 90.45 持向量机(I-v-1 LSTWSVM)、“一对多”最小二乘f+(x) = (w+Φ(x))+b+ f−(x) = (w−Φ (x))+b− 数可表示为 和 。 由希尔伯特空间理论[23] 知： w+ = m∑1+m2 i=1 (λ+)iΦ(xi) = Φ(M)λ+ w− = m∑1+m2 i=1 (λ−)iΦ(xi) = Φ(M)λ− ES-LSTWSVM 构造如下 2 个基于核函数的 超平面： K(x T , MT )λ+ +b+ = 0 K(x T , MT ， )λ− +b− = 0 M = [ A T B T ] 式中： ； K(xixj) = (Φ(xi)Φ(xj))。 在非线性情形下，ES-LSTWSVM 可表示为 min w+,b+,ξ 1 2 K(A, MT )λ+ +e+b+ 2 + c1 2 ξ T ξ+ c2 2 (∥λ+∥ 2 2 +b 2 + )+ c3 2 λ T +Φ(M) T∑Φ + Φ(M)λ+ s.t. −(K(B, MT )λ+ +e−b+)+ξ = E− (6) min w−,b−,η 1 2 K(B, MT )λ− +e−b− 2 + c4 2 η Tη+ c5 2 (∥λ−∥ 2 2 +b 2 − )+ c6 2 λ T −Φ(M) T∑Φ − Φ(M)λ− s.t. (K(A, MT )λ− +e+b−) +η = E+ (7) ∑Φ + = ∑Φ P1 +···+ ∑Φ PCp ∑Φ − = ∑Φ N1 +···+ ∑Φ ∑ NCn Φ Pi ∑Φ Nj i = 1,2,··· ,Cp, j = 1,2,··· ,Cn 式中： ； 。 和 分别是由核 Ward’s linkage 聚类算 法得到的 2 个类中第 i 个簇和第 j 个簇对应的协 方差矩阵[13-14] ， 。 类似于线性情形，式 (6)、(7) 的解可表示为 z1 = [ w+ b+ ] = −c1 ( P T Φ PΦ +c1QΦ TQΦ +c2 I+c3 ∑Φ 1 )−1 QΦ TE− (8) z2 = [ w− b− ] = c4 ( QΦ TQΦ +c4PΦ T PΦ +c5 I+c6 ∑Φ 2 )−1 PΦ TE+ PΦ = [ K(A, MT ) e+ ] QΦ = [ K(B, MT ) e− ] 式中： ； ， ∑Φ 1 =   Φ(M) T∑Φ + Φ(M) 0 0 0   ∑Φ 2 =   Φ(M) T∑Φ − Φ(M) 0 0 0   3 实验结果与分析 使用“多对一”的策略将 ES-LSTWSVM 模型 扩展到多类分类中。为了证明该算法的有效性， 给出了该算法在多个 UCI 数据集上的实验结 果。在实验中，选择了“一对一” 最小二乘孪生支 持向量机 (1-v-1 LSTWSVM)、 “一对多”最小二乘 K(xi , xj) =exp(− xi − xj 2 /2σ 2 ) 孪生支持向量机 (1-v-r LSTWSVM)、改进的最小 二乘孪生多分类支持向量[24] ( improvements on least squares twin multi-class classification support vector machine， ILST-KSVC)，多生最小二乘支持 向量机[25] (multiple birth least squares support vector machine，MBLSSVM) 与本文算法进行比较。实验 结果为 10 折交叉验证的平均值。在非线性情形 下，使用高斯核函数 。 3.1 实验结果 在本节中，使用 UCI 数据集中的 Iris、Wine、 Vowel、Balance、Vehicle、Zoo 和 Segment。这些数 据集的特征如表 1 所示。 表 1 数据集的具体特征 Table 1 The detail features of the datasets 数据集 样本个数 特征维数 类别数 Iris 150 4 3 Wine 178 13 3 Vowel 528 10 11 Balance 625 4 3 Vehicle 846 18 4 Zoo 101 16 7 Segment 2310 18 7 表 2 列出了上述算法在使用线性核的情况下 的分类结果。表 3 给出了上述算法在使用高斯核 的情况下的分类结果。从表 2 可以看出，提出的 算法在 Wine、Balance、Vehicle、Zoo 这 4 个数据集 上有最高的分类精度，并且在其他数据集上也有 不错的表现。从表 3 可以看出，所提出的算法在 Iris、Vowel、Balance、Vehicle、Zoo、Segment 这 6 个数据集上的分类准确率最高，并且在 Wine 数 据集上也有较高的准确率。图 1 是对实验结果更 直观的表示。 表 2 线性核函数下精确度的比较 Table 2 Comparison of accuracies using linear kernel 数据集 1-v-1 LSTWSVM 1-v-r LSTWSVM ILST￾KSVC MBLSSVM 本文 算法 Iris 95.35 91.63 76.67 85.73 90.45 Wine 97.26 97.67 97.90 98.80 98.99 Vowel 80.66 44.12 50.00 47.38 49.60 Balance 86.39 85.87 88.47 86.63 88.65 Vehicle 80.04 77.18 45.80 78.70 81.14 Zoo 94.87 92.02 92.85 96.51 98.23 Segment 94.32 90.51 60.60 89.72 90.45 ·1016· 智 能 系 统 学 报 第 15 卷