·1164· 智能系统学报 第14卷 和改进。例如，SVM易受到噪声和孤立点影响， 为解决此问题，Lin等)提出了模糊支持向量机 max (fuzzy support vector machine,FSVM)的概念，即将 (2) S.t. 模糊隶属度引人到支持向量机中。FSVM降低了 2=00≤≤C,i=1.2… 噪声和孤立点对最终决策函数的影响，提高了分 式中：a:是样本点x的Lagrange乘子；←，〉表示内 类精度，现在也应用到了风险预测、故障诊断、手 积。最终得到的分类决策函数有如下形式： 写字符串识别等领域。 此外，SVM中核函数和核参数的选择对最终 f()=sign(a+b) (3) 的学习结果有着重要影响，然而目前还没有关于 =1 核函数以及核参数选取的有效手段。作为核方法 对于线性不可分数据，虽然通过引入误差项 的重要成果，多核学习(multiple kernel learning, 专：可以得到分割超平面，然而其并无法实现对所 MKL)近年来已成为机器学习领域广大学者的 有样例的正确划分。引入非线性映射P:Ra→H, 研究热点。单一核函数往往无法充分刻画数据间 将数据从原空间映射到高维特征空间中，并在该 的相似性，尤其是复杂数据间的相似性，不同的 空间中构造最优分割超平面。由SVM模型可 核函数对应于不同的相似性表示，多核相结合可 知，只需要计算出p(x)和p(x)的内积。通过核 以较准确的表达数据间的相似性，同时也克服了 函数k(x,x)回可以获得两点在特征空间中的内积： 核函数选择这一难题。受模糊支持向量机和多核 k(x,x)=(p(x),p(x)》 (4) 学习的启发，为了同时解决这两大问题，本文提 则(2)式可转化为 出模糊多核支持向量机模型。 本文的主要工作有：1)将基于核对齐] max 的多核学习方法引入到模糊支持向量机中，提出 (5) 了基于核对齐的模糊多核支持向量机，同时解决 y=0,0≤4≤C,ij=1,2,… S.t. 了核函数选择难题和对噪声数据敏感问题；2)利 所以在实际应用中并不需要知道，只通过 用基于Gaussian核的模糊粗糙集下近似算子来确 核函数k(x,)就可以得到相应的决策函数： 定每个样本点的隶属度，更有效地减小噪声点 和孤立点对分类超平面的影响；3)根据最大化组 f(x)=sgn ya.k(x.x)+b (6) 合核与理想核之间的相似性，计算核权重，使组 i=l 合核更精确地刻画数据间的相似性；4)实验结果 常用的核函数主要有线性核、多项式核和 验证了本文所提方法比经典支持向量机(SVM)、 Gaussian核-a。 模糊支持向量机(FSVM)和多核支持向量机(MS- 1.2模糊支持向量机 VM)表现更为优异。 在实际问题中，数据易受到噪声等各种因素 的干扰，SVM往往难以获得令人满意的学习效 1相关工作 果。为了有效地排除不确定环境中野点（标签错 误的训练样本)的干扰，2002年Lin将样本隶属度 1.1经典支持向量机 对于给定数据T={(c1y),(x2y2),…,(x, 引入SVM,使样本由于隶属度的不同而对超平面 其中xeR",ye{-1,1,i=1,2,…,l。SVM的目标 有不同的影响，得到模糊支持向量机(FSVM)B,。 是得到最优超平面f(x)=wx+b,其不仅能将这 野点和噪声数据往往被赋予较小的隶属度，从而 组数据正确分为两类，同时能够保证两类样本到 削弱其对于分类超平面的影响。FSVM对应如下 分类超平面的距离之和最大。根据结构风险最小 优化问题： 化原则，可将寻找最优超平面的过程归结为如下 min)lofr+c∑s话 的优化问题② =1 (7) min+c∑5 s.tyw.+b)≥1-点 5≥0，i=1,2,…,l i=I (1) s.tywx+b≥1- 这里5是样例x属于类别：的隶属度。显 ≥0i=1,2,…,1 然s,对目标函数中的：起加权作用，使得噪声点 式中：：为误差项；C为惩罚系数。 对最终得到的超平面有较小的影响。该算法增强 利用Lagrange乘子法，上述优化问题可转化 了SVM的鲁棒性。 为如下对偶问题： 由Lagrange乘子法可将式(T)转化为对偶形式：和改进。例如，SVM 易受到噪声和孤立点影响， 为解决此问题，Lin 等 [3] 提出了模糊支持向量机 (fuzzy support vector machine，FSVM) 的概念，即将 模糊隶属度引入到支持向量机中。FSVM 降低了 噪声和孤立点对最终决策函数的影响，提高了分 类精度，现在也应用到了风险预测、故障诊断、手 写字符串识别等领域。 此外，SVM 中核函数和核参数的选择对最终 的学习结果有着重要影响，然而目前还没有关于 核函数以及核参数选取的有效手段。作为核方法 的重要成果，多核学习 (multiple kernel learning， MKL)[4-5] 近年来已成为机器学习领域广大学者的 研究热点。单一核函数往往无法充分刻画数据间 的相似性，尤其是复杂数据间的相似性，不同的 核函数对应于不同的相似性表示，多核相结合可 以较准确的表达数据间的相似性，同时也克服了 核函数选择这一难题。受模糊支持向量机和多核 学习的启发，为了同时解决这两大问题，本文提 出模糊多核支持向量机模型。 本文的主要工作有： 1 ) 将基于核对齐 [ 6 ] 的多核学习方法引入到模糊支持向量机中，提出 了基于核对齐的模糊多核支持向量机，同时解决 了核函数选择难题和对噪声数据敏感问题；2) 利 用基于 Gaussian 核的模糊粗糙集下近似算子来确 定每个样本点的隶属度[7] ，更有效地减小噪声点 和孤立点对分类超平面的影响；3) 根据最大化组 合核与理想核之间的相似性，计算核权重，使组 合核更精确地刻画数据间的相似性；4) 实验结果 验证了本文所提方法比经典支持向量机 (SVM)、 模糊支持向量机 (FSVM) 和多核支持向量机 (MS￾VM) 表现更为优异。 1 相关工作 1.1 经典支持向量机 T = {(x1, y1),(x2, y2),··· ,(xl , yl)} xi ∈ R n yi ∈ {−1,1} i = 1,2,··· ,l f (x) = ωT x+ b 对于给定数据 ， 其中 ， ， 。SVM 的目标 是得到最优超平面 ，其不仅能将这 组数据正确分为两类，同时能够保证两类样本到 分类超平面的距离之和最大。根据结构风险最小 化原则，可将寻找最优超平面的过程归结为如下 的优化问题[1-2] ： min 1 2 ∥ω∥ 2 +C ∑l i=1 ξi s.t.yi ( ω T · xi +b ) ⩾ 1−ξi ξi ⩾ 0,i = 1,2,··· ,l (1) 式中： ξi 为误差项； C 为惩罚系数。 利用 Lagrange 乘子法，上述优化问题可转化 为如下对偶问题： max ∑l i=1 αi − 1 2 ∑l i=1 ∑l j=1 αiαjyiyj ⟨ xi , xj ⟩ s.t. ∑l i=1 αiyi = 0, 0 ⩽ αi ⩽ C, i, j = 1,2,··· ,l (2) 式中：αi 是样本点 xi 的 Lagrange 乘子； ⟨·,·⟩ 表示内 积。最终得到的分类决策函数有如下形式： f(x) = sign(∑l i=1 αiyi < xi , x > +b) (3) ξi φ : R n → H φ(x) φ(x ′ ) k(x, x ′ ) 对于线性不可分数据，虽然通过引入误差项 可以得到分割超平面，然而其并无法实现对所 有样例的正确划分。引入非线性映射 ， 将数据从原空间映射到高维特征空间中，并在该 空间中构造最优分割超平面。由 SVM 模型可 知，只需要计算出 和 的内积。通过核 函数 [2] 可以获得两点在特征空间中的内积： k(x, x ′ ) = ⟨φ(x),φ(x ′ )⟩ (4) 则 (2) 式可转化为 max ∑l i=1 αi − 1 2 ∑l i=1 ∑l j=1 αiαjyiyjk ( xi , xj ) s.t. ∑l i=1 αiyi = 0, 0 ⩽ αi ⩽ C, i, j = 1,2,··· ,l (5) φ k (x, x ′ ) 所以在实际应用中并不需要知道 ，只通过 核函数 就可以得到相应的决策函数： f (x) = sgn   ∑l i=1 yiαik (xi , x)+b   (6) 常用的核函数主要有线性核、多项式核和 Gaussian 核 [1-2]。 1.2 模糊支持向量机 在实际问题中，数据易受到噪声等各种因素 的干扰，SVM 往往难以获得令人满意的学习效 果。为了有效地排除不确定环境中野点（标签错 误的训练样本）的干扰，2002 年 Lin 将样本隶属度 引入 SVM，使样本由于隶属度的不同而对超平面 有不同的影响，得到模糊支持向量机 (FSVM)[3,8]。 野点和噪声数据往往被赋予较小的隶属度，从而 削弱其对于分类超平面的影响。FSVM 对应如下 优化问题： min 1 2 ∥ω∥ 2 +C ∑l i=1 siξi s.t.yi ( ω T · xi +b ) ⩾ 1−ξi ξi ⩾ 0,i = 1,2,··· ,l (7) si xi yi si ξi 这里 是样例 属于类别 的隶属度。显 然 对目标函数中的 起加权作用，使得噪声点 对最终得到的超平面有较小的影响。该算法增强 了 SVM 的鲁棒性。 由 Lagrange 乘子法可将式 (7) 转化为对偶形式： ·1164· 智 能 系 统 学 报 第 14 卷