第14卷第6期 智能系统学报 Vol.14 No.6 2019年11月 CAAI Transactions on Intelligent Systems Nov.2019 D0:10.11992/tis.201904050 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.tp.20190722.1039.002.html 核对齐多核模糊支持向量机 何强，张娇阳 (北京建筑大学理学院，北京100044) 摘要：支持向量机(SVMs)是当前被广泛使用的机器学习技术，其通过最优分割超平面来提高分类器的泛化 能力，在实际应用中表现优异。然而SVM也存在易受噪声影响，以及核函数选择等难题。针对以上问题，本文 将基于核对齐的多核学习方法引入到模糊支持向量机(fuzzy support vector machine,FSVM)中，提出了模糊多核 支持向量机模型(multiple kernel fuzzy support vector machine,MFSVM)。MFSVM通过模糊粗糙集方法计算每一 样例隶属度：其次，利用核对齐的多核方法计算每一单核权重，并将组合核引入到模糊支持向量机中。该方法 不仅提高了支持向量机的抗噪声能力.也有效避免了核选择难题。在UCI数据库上进行实验，结果表明本文所 提方法具有较高的分类精度，验证了该方法的可行性与有效性。 关键词：核函数；支持向量机；粗糙集理论；监督学习；模糊分类；模糊隶属函数；鲁棒性：噪声 中图分类号：TP181文献标志码：A文章编号：1673-4785(2019)06-1163-07 中文引用格式：何强，张娇阳.核对齐多核模糊支持向量机.智能系统学报，2019,14(6)：1163-1169 英文引用格式：HE Qiang,.ZHANG Jiaoyang.Kernel-target alignment multi-kernel fuzzy support vector machine.CAAI trans- actions on intelligent systems,2019,14(6):1163-1169. Kernel-target alignment multi-kernel fuzzy support vector machine HE Qiang,ZHANG Jiaoyang (School of Science,Beijing University of Civil Engineering and Architecture,Beijing 100044,China) Abstract:Support vector machines(SVMs)are widely used machine learning techniques.They are used to construct an optimal hyper-plane and have an extraordinary generalization capability and good performance.However,SVMs are sensitive to noise,and it is difficult to select an appropriate kernel for SVMs.In this paper,we introduce kernel-target alignment-based multi-kernel learning method into fuzzy support vector machine(FSVM)and propose the kernel-target alignment-based multi-kernel fuzzy support vector machine(MFSVM).First,we assign the corresponding membership degree to each sample point by the fuzzy rough set method,and then calculate the kernel weight by the multi-kernel learning based on the kernel alignment.Then,the combined kernel is introduced into the fuzzy SVM.The proposed method not only improves the anti-noise ability of the SVM but also effectively avoids the problem of kernel selection. Experiments on nine datasets of the UCI database show that the proposed method has a high classification accuracy, which verifies its feasibility and effectiveness. Keywords:kernels;support vector machines;rough set theory;supervised learning;fuzzy classification;fuzzy set mem- bership functions;robustness;noise 支持向量机(SVM)是Vapnik等人于I995年化，从而达到在统计样本量较少的情况下，亦能 提出，以统计学习理论为基础建立起来的一类新获得良好统计规律的目的。SVM能够很好地解 的机器学习算法。它以最小化结构风险为原 决小样本、非线性、高维度、局部极小等问题，现 则来提高学习机泛化能力，实现期望风险的最小 已被应用到很多领域，如文本分类、语音识别、情 收稿日期：2019-04-20.网络出版日期：2019-07-23， 感分析、回归分析等。 基金项目：国家自然科学基金项目(61473111)：北京建筑大学 科学研究基金项目(KYJJ2017017). 随着SVM的不断发展和应用，其部分局限性 通信作者：何强.E-mail:heqiang@bucea.edu.cn 也逐渐显露出来，在很多方面的研究还有待探索
DOI: 10.11992/tis.201904050 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.tp.20190722.1039.002.html 核对齐多核模糊支持向量机 何强，张娇阳 （北京建筑大学 理学院，北京 100044） 摘 要：支持向量机 (SVMs) 是当前被广泛使用的机器学习技术，其通过最优分割超平面来提高分类器的泛化 能力，在实际应用中表现优异。然而 SVM 也存在易受噪声影响，以及核函数选择等难题。针对以上问题，本文 将基于核对齐的多核学习方法引入到模糊支持向量机 (fuzzy support vector machine, FSVM) 中，提出了模糊多核 支持向量机模型 (multiple kernel fuzzy support vector machine，MFSVM)。MFSVM 通过模糊粗糙集方法计算每一 样例隶属度；其次，利用核对齐的多核方法计算每一单核权重，并将组合核引入到模糊支持向量机中。该方法 不仅提高了支持向量机的抗噪声能力，也有效避免了核选择难题。在 UCI 数据库上进行实验，结果表明本文所 提方法具有较高的分类精度，验证了该方法的可行性与有效性。 关键词：核函数；支持向量机；粗糙集理论；监督学习；模糊分类；模糊隶属函数；鲁棒性；噪声 中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2019)06−1163−07 中文引用格式：何强, 张娇阳. 核对齐多核模糊支持向量机 [J]. 智能系统学报, 2019, 14(6): 1163–1169. 英文引用格式：HE Qiang, ZHANG Jiaoyang. Kernel-target alignment multi-kernel fuzzy support vector machine[J]. CAAI transactions on intelligent systems, 2019, 14(6): 1163–1169. Kernel-target alignment multi-kernel fuzzy support vector machine HE Qiang，ZHANG Jiaoyang (School of Science, Beijing University of Civil Engineering and Architecture, Beijing 100044, China) Abstract: Support vector machines (SVMs) are widely used machine learning techniques. They are used to construct an optimal hyper-plane and have an extraordinary generalization capability and good performance. However, SVMs are sensitive to noise, and it is difficult to select an appropriate kernel for SVMs. In this paper, we introduce kernel-target alignment-based multi-kernel learning method into fuzzy support vector machine (FSVM) and propose the kernel-target alignment-based multi-kernel fuzzy support vector machine (MFSVM). First, we assign the corresponding membership degree to each sample point by the fuzzy rough set method, and then calculate the kernel weight by the multi-kernel learning based on the kernel alignment. Then, the combined kernel is introduced into the fuzzy SVM. The proposed method not only improves the anti-noise ability of the SVM but also effectively avoids the problem of kernel selection. Experiments on nine datasets of the UCI database show that the proposed method has a high classification accuracy, which verifies its feasibility and effectiveness. Keywords: kernels; support vector machines; rough set theory; supervised learning; fuzzy classification; fuzzy set membership functions; robustness; noise 支持向量机 (SVM) 是 Vapnik 等人于 1995 年 提出，以统计学习理论为基础建立起来的一类新 的机器学习算法[1]。它以最小化结构风险[2] 为原 则来提高学习机泛化能力，实现期望风险的最小 化，从而达到在统计样本量较少的情况下，亦能 获得良好统计规律的目的。SVM 能够很好地解 决小样本、非线性、高维度、局部极小等问题，现 已被应用到很多领域，如文本分类、语音识别、情 感分析、回归分析等。 随着 SVM 的不断发展和应用，其部分局限性 也逐渐显露出来，在很多方面的研究还有待探索 收稿日期：2019−04−20. 网络出版日期：2019−07−23. 基金项目：国家自然科学基金项目 (61473111)；北京建筑大学 科学研究基金项目 (KYJJ2017017). 通信作者：何强. E-mail：heqiang@bucea.edu.cn. 第 14 卷第 6 期 智 能 系 统 学 报 Vol.14 No.6 2019 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2019
·1164· 智能系统学报 第14卷 和改进。例如，SVM易受到噪声和孤立点影响， 为解决此问题，Lin等)提出了模糊支持向量机 max (fuzzy support vector machine,FSVM)的概念，即将 (2) S.t. 模糊隶属度引人到支持向量机中。FSVM降低了 2=00≤≤C,i=1.2… 噪声和孤立点对最终决策函数的影响，提高了分 式中：a:是样本点x的Lagrange乘子；←，〉表示内 类精度，现在也应用到了风险预测、故障诊断、手 积。最终得到的分类决策函数有如下形式： 写字符串识别等领域。 此外，SVM中核函数和核参数的选择对最终 f()=sign(a+b) (3) 的学习结果有着重要影响，然而目前还没有关于 =1 核函数以及核参数选取的有效手段。作为核方法 对于线性不可分数据，虽然通过引入误差项 的重要成果，多核学习(multiple kernel learning, 专：可以得到分割超平面，然而其并无法实现对所 MKL)近年来已成为机器学习领域广大学者的 有样例的正确划分。引入非线性映射P:Ra→H, 研究热点。单一核函数往往无法充分刻画数据间 将数据从原空间映射到高维特征空间中，并在该 的相似性，尤其是复杂数据间的相似性，不同的 空间中构造最优分割超平面。由SVM模型可 核函数对应于不同的相似性表示，多核相结合可 知，只需要计算出p(x)和p(x)的内积。通过核 以较准确的表达数据间的相似性，同时也克服了 函数k(x,x)回可以获得两点在特征空间中的内积： 核函数选择这一难题。受模糊支持向量机和多核 k(x,x)=(p(x),p(x)》 (4) 学习的启发，为了同时解决这两大问题，本文提 则(2)式可转化为 出模糊多核支持向量机模型。 本文的主要工作有：1)将基于核对齐] max 的多核学习方法引入到模糊支持向量机中，提出 (5) 了基于核对齐的模糊多核支持向量机，同时解决 y=0,0≤4≤C,ij=1,2,… S.t. 了核函数选择难题和对噪声数据敏感问题；2)利 所以在实际应用中并不需要知道，只通过 用基于Gaussian核的模糊粗糙集下近似算子来确 核函数k(x,)就可以得到相应的决策函数： 定每个样本点的隶属度，更有效地减小噪声点 和孤立点对分类超平面的影响；3)根据最大化组 f(x)=sgn ya.k(x.x)+b (6) 合核与理想核之间的相似性，计算核权重，使组 i=l 合核更精确地刻画数据间的相似性；4)实验结果 常用的核函数主要有线性核、多项式核和 验证了本文所提方法比经典支持向量机(SVM)、 Gaussian核-a。 模糊支持向量机(FSVM)和多核支持向量机(MS- 1.2模糊支持向量机 VM)表现更为优异。 在实际问题中，数据易受到噪声等各种因素 的干扰，SVM往往难以获得令人满意的学习效 1相关工作 果。为了有效地排除不确定环境中野点（标签错 误的训练样本)的干扰，2002年Lin将样本隶属度 1.1经典支持向量机 对于给定数据T={(c1y),(x2y2),…,(x, 引入SVM,使样本由于隶属度的不同而对超平面 其中xeR",ye{-1,1,i=1,2,…,l。SVM的目标 有不同的影响，得到模糊支持向量机(FSVM)B,。 是得到最优超平面f(x)=wx+b,其不仅能将这 野点和噪声数据往往被赋予较小的隶属度，从而 组数据正确分为两类，同时能够保证两类样本到 削弱其对于分类超平面的影响。FSVM对应如下 分类超平面的距离之和最大。根据结构风险最小 优化问题： 化原则，可将寻找最优超平面的过程归结为如下 min)lofr+c∑s话 的优化问题② =1 (7) min+c∑5 s.tyw.+b)≥1-点 5≥0，i=1,2,…,l i=I (1) s.tywx+b≥1- 这里5是样例x属于类别：的隶属度。显 ≥0i=1,2,…,1 然s,对目标函数中的：起加权作用，使得噪声点 式中：：为误差项；C为惩罚系数。 对最终得到的超平面有较小的影响。该算法增强 利用Lagrange乘子法，上述优化问题可转化 了SVM的鲁棒性。 为如下对偶问题： 由Lagrange乘子法可将式(T)转化为对偶形式：
和改进。例如，SVM 易受到噪声和孤立点影响， 为解决此问题，Lin 等 [3] 提出了模糊支持向量机 (fuzzy support vector machine，FSVM) 的概念，即将 模糊隶属度引入到支持向量机中。FSVM 降低了 噪声和孤立点对最终决策函数的影响，提高了分 类精度，现在也应用到了风险预测、故障诊断、手 写字符串识别等领域。 此外，SVM 中核函数和核参数的选择对最终 的学习结果有着重要影响，然而目前还没有关于 核函数以及核参数选取的有效手段。作为核方法 的重要成果，多核学习 (multiple kernel learning， MKL)[4-5] 近年来已成为机器学习领域广大学者的 研究热点。单一核函数往往无法充分刻画数据间 的相似性，尤其是复杂数据间的相似性，不同的 核函数对应于不同的相似性表示，多核相结合可 以较准确的表达数据间的相似性，同时也克服了 核函数选择这一难题。受模糊支持向量机和多核 学习的启发，为了同时解决这两大问题，本文提 出模糊多核支持向量机模型。 本文的主要工作有： 1 ) 将基于核对齐 [ 6 ] 的多核学习方法引入到模糊支持向量机中，提出 了基于核对齐的模糊多核支持向量机，同时解决 了核函数选择难题和对噪声数据敏感问题；2) 利 用基于 Gaussian 核的模糊粗糙集下近似算子来确 定每个样本点的隶属度[7] ，更有效地减小噪声点 和孤立点对分类超平面的影响；3) 根据最大化组 合核与理想核之间的相似性，计算核权重，使组 合核更精确地刻画数据间的相似性；4) 实验结果 验证了本文所提方法比经典支持向量机 (SVM)、 模糊支持向量机 (FSVM) 和多核支持向量机 (MSVM) 表现更为优异。 1 相关工作 1.1 经典支持向量机 T = {(x1, y1),(x2, y2),··· ,(xl , yl)} xi ∈ R n yi ∈ {−1,1} i = 1,2,··· ,l f (x) = ωT x+ b 对于给定数据 ， 其中 ， ， 。SVM 的目标 是得到最优超平面 ，其不仅能将这 组数据正确分为两类，同时能够保证两类样本到 分类超平面的距离之和最大。根据结构风险最小 化原则，可将寻找最优超平面的过程归结为如下 的优化问题[1-2] ： min 1 2 ∥ω∥ 2 +C ∑l i=1 ξi s.t.yi ( ω T · xi +b ) ⩾ 1−ξi ξi ⩾ 0,i = 1,2,··· ,l (1) 式中： ξi 为误差项； C 为惩罚系数。 利用 Lagrange 乘子法，上述优化问题可转化 为如下对偶问题： max ∑l i=1 αi − 1 2 ∑l i=1 ∑l j=1 αiαjyiyj ⟨ xi , xj ⟩ s.t. ∑l i=1 αiyi = 0, 0 ⩽ αi ⩽ C, i, j = 1,2,··· ,l (2) 式中：αi 是样本点 xi 的 Lagrange 乘子； ⟨·,·⟩ 表示内 积。最终得到的分类决策函数有如下形式： f(x) = sign(∑l i=1 αiyi +b) (3) ξi φ : R n → H φ(x) φ(x ′ ) k(x, x ′ ) 对于线性不可分数据，虽然通过引入误差项 可以得到分割超平面，然而其并无法实现对所 有样例的正确划分。引入非线性映射 ， 将数据从原空间映射到高维特征空间中，并在该 空间中构造最优分割超平面。由 SVM 模型可 知，只需要计算出 和 的内积。通过核 函数 [2] 可以获得两点在特征空间中的内积： k(x, x ′ ) = ⟨φ(x),φ(x ′ )⟩ (4) 则 (2) 式可转化为 max ∑l i=1 αi − 1 2 ∑l i=1 ∑l j=1 αiαjyiyjk ( xi , xj ) s.t. ∑l i=1 αiyi = 0, 0 ⩽ αi ⩽ C, i, j = 1,2,··· ,l (5) φ k (x, x ′ ) 所以在实际应用中并不需要知道 ，只通过 核函数 就可以得到相应的决策函数： f (x) = sgn ∑l i=1 yiαik (xi , x)+b (6) 常用的核函数主要有线性核、多项式核和 Gaussian 核 [1-2]。 1.2 模糊支持向量机 在实际问题中，数据易受到噪声等各种因素 的干扰，SVM 往往难以获得令人满意的学习效 果。为了有效地排除不确定环境中野点（标签错 误的训练样本）的干扰，2002 年 Lin 将样本隶属度 引入 SVM，使样本由于隶属度的不同而对超平面 有不同的影响，得到模糊支持向量机 (FSVM)[3,8]。 野点和噪声数据往往被赋予较小的隶属度，从而 削弱其对于分类超平面的影响。FSVM 对应如下 优化问题： min 1 2 ∥ω∥ 2 +C ∑l i=1 siξi s.t.yi ( ω T · xi +b ) ⩾ 1−ξi ξi ⩾ 0,i = 1,2,··· ,l (7) si xi yi si ξi 这里 是样例 属于类别 的隶属度。显 然 对目标函数中的 起加权作用，使得噪声点 对最终得到的超平面有较小的影响。该算法增强 了 SVM 的鲁棒性。 由 Lagrange 乘子法可将式 (7) 转化为对偶形式： ·1164· 智 能 系 统 学 报 第 14 卷
第6期 何强，等：核对齐多核模糊支持向量机 ·1165· max 2 其中(K,K2)E ∑∑K(x)Kkx。 ayy(c,x》 i=l il (8) 多核SVM的优化问题由(1)转化为 S.t. 2%=0,0≤m≤C5ij=1,2 min o,f+c∑ 分类决策函数为 (13) s.ty:(0,T.中，(x）+b)≥1- f(x)=sgn (9) 5≥0，i=1,2,…,1 式中：0，为高维特征空间中分类超平面的法向 经过不断发展，基于上述FSVM算法，其他 量，映射中，将数据由原空间映射到高维特征空 学者也提出了各种模糊SVM来处理不同的具体 间。分类决策函数变为 问题。这些方法都是针对实际问题中的某种不确 f (x)=sgn aiyikn (xi,x)+b (14) 定性而提出的，是对传统SVM的改进与完善。 2多核学习 3模糊多核支持向量机 在支持向量机处理分类问题时，核函数的选 针对核函数选择难题和对噪声数据敏感问 择对分类效果有非常重要的影响。在核函数选择 题，本文将基于核对齐加权求和多核学习方法引 的过程中，普遍采用试算方法，核函数与核参数 入到模糊支持向量机模型中，并利用模糊粗糙集 选择的计算代价较大。多核学习将多个核函数组 方法得到样例隶属度，提出了基于核对齐的模糊 合在一起，取代了经典支持向量机的单个核函 多核支持向量机(multiple kernel fuzzy support vec- 数。多核组合往往能够更加准确地刻画样本间的 tor machine,MFSVM). 相似性，从而使得SVM在相对较小的计算开销 粗糙集(RS)是20世纪80年代波兰学者 前提下，获得了较好的分类性能。 Pawlak提出的一种不确定性数学理论y,可以对 多核支持向量机(MSVM)主要研究问题为核 数据进行分析和推理，从中发现隐含的知识。经 函数的组合方式和相关权系数的计算。目前来 典的RS理论建立在等价关系基础上，其只能处 说，核函数的组合方式可以分为以下3种： 理符号数据。作为RS的推广，模糊粗糙集(FRS) 1)线性组合方式，也是现在使用最广泛的 技术可以处理实值数据。FRS理论最早是由 方式，如简单单核相加和加权线性组合： Dubois和Prade提出2o2,之后得到了快速发展。 c列 (10) 现有的FRS方法已经被成功应用于很多实际问 题。本文中，使用基于Gaussian核的FRS的下近 式中：)为核权重，n都为1时即为简单单核相 似算子来作为事例的隶属度，2。取k(x,x)为 加；p为核函数个数。 Gaussian核函数。对样例x∈A,令s为x,属于A 2)非线性组合方式0.例如乘积、点积和幂： 的隶属度，则s=infav1-(k(x,x')。 k(,x）= 门k(y） (11) 本文采用基于核对齐加权求和的多核组合方 3)数据相关组合方式，这种方式会对每个 式，多核组合公式为 数据样本分配一个特定的权重，这样可以得到数 (15) 据的局部分布状况，进而根据分布情况对每个区 式中：m是核权重，m=1,2,…,p;Km是一组基础 域学习到合适的组合规则。 核矩阵，m=1,2,…,p,优化目标为最大化组合核 多核权系数的计算在多核学习研究中是关键 与理想核的相似性，即可得到如下公式2，： 问题，目前，相关权系数的计算方式具体来说有 以下5类：固定规则学习方式、启发式学习方 maxA(T,Kyy）= 式，切、最优化求解方式、贝叶斯学习方式山和 k Boosting学习方式。 m 本文中采用启发式学习方式来获得核权重， 通过核对齐的方式计算多核权系数，即计算 nK∑nKw,y (16) 核函数相应核矩阵之间的相似性来确定权系数。 w）. 基于训练集T,两个核函数k和对应的核矩阵 =1 K与K2之间的核对齐定义为 A(T,K1,K2)= K1,K2)E (12) 2 K1KEKK2 st.n∈R
max ∑l i=1 αi − 1 2 ∑l i=1 ∑l j=1 αiαjyiyj ⟨ xi , xj ⟩ s.t. ∑l i=1 αiyi = 0, 0 ⩽ αi ⩽ Csi , i, j = 1,2,··· ,l (8) 分类决策函数为 f (x) = sgn ∑l i=1 αiyi⟨xi , x⟩+b (9) 经过不断发展，基于上述 FSVM 算法，其他 学者也提出了各种模糊 SVM 来处理不同的具体 问题。这些方法都是针对实际问题中的某种不确 定性而提出的，是对传统 SVM 的改进与完善。 2 多核学习 在支持向量机处理分类问题时，核函数的选 择对分类效果有非常重要的影响。在核函数选择 的过程中，普遍采用试算方法，核函数与核参数 选择的计算代价较大。多核学习将多个核函数组 合在一起，取代了经典支持向量机的单个核函 数。多核组合往往能够更加准确地刻画样本间的 相似性，从而使得 SVM 在相对较小的计算开销 前提下，获得了较好的分类性能。 多核支持向量机 (MSVM) 主要研究问题为核 函数的组合方式和相关权系数的计算。目前来 说，核函数的组合方式可以分为以下 3 种： 1）线性组合方式[9] ，也是现在使用最广泛的 方式，如简单单核相加和加权线性组合： kη ( xi , xj ) = ∑p m=1 ηmkm ( x m i , x m j ) (10) ηm ηm p 式中： 为核权重， 都为 1 时即为简单单核相 加； 为核函数个数。 2）非线性组合方式[10] ，例如乘积、点积和幂： kη ( xi , xj ) = ∏p m=1 km ( x m i , x m j ) (11) 3）数据相关组合方式[11] ，这种方式会对每个 数据样本分配一个特定的权重，这样可以得到数 据的局部分布状况，进而根据分布情况对每个区 域学习到合适的组合规则。 多核权系数的计算在多核学习研究中是关键 问题，目前，相关权系数的计算方式具体来说有 以下 5 类：固定规则学习方式[12] 、启发式学习方 式 [6,13] 、最优化求解方式[14] 、贝叶斯学习方式[11] 和 Boosting 学习方式[15]。 T k1 k2 K1 K2 本文中采用启发式学习方式来获得核权重， 通过核对齐[6,16-18] 的方式计算多核权系数，即计算 核函数相应核矩阵之间的相似性来确定权系数。 基于训练集 ，两个核函数 和 对应的核矩阵 与 之间的核对齐定义为 A(T,K1 ,K2) = ⟨K1,K2⟩F √ ⟨K1,K1⟩F ⟨K2,K2⟩F (12) ⟨K1,K2⟩F = ∑l i=1 ∑l j=1 K1 ( xi , xj ) K2 ( xi , xj ) 其中 。 多核 SVM 的优化问题由 (1) 转化为 min 1 2 ωη 2 2 +C ∑l i=1 ξi s.t.yi ( ωη T ·Φη (xi)+b ) ⩾ 1−ξi ξi ⩾ 0,i = 1,2,··· ,l (13) ωη Φη 式中： 为高维特征空间中分类超平面的法向 量，映射 将数据由原空间映射到高维特征空 间。分类决策函数变为 f (x) = sgn ∑l i=1 αiyikη (xi , x)+b (14) 3 模糊多核支持向量机 针对核函数选择难题和对噪声数据敏感问 题，本文将基于核对齐加权求和多核学习方法引 入到模糊支持向量机模型中，并利用模糊粗糙集 方法得到样例隶属度，提出了基于核对齐的模糊 多核支持向量机 (multiple kernel fuzzy support vector machine, MFSVM)。 k (x, x ′ ) xi ∈ A si xi A si = inf x ′<A √ 1−(k (x, x ′ ))2 粗糙集 (RS) 是 20 世纪 80 年代波兰学者 Pawlak 提出的一种不确定性数学理论[19] ，可以对 数据进行分析和推理，从中发现隐含的知识。经 典的 RS 理论建立在等价关系基础上，其只能处 理符号数据。作为 RS 的推广，模糊粗糙集 (FRS) 技术可以处理实值数据。FRS 理论最早是由 Dubois 和 Prade 提出[20-21] ，之后得到了快速发展。 现有的 FRS 方法已经被成功应用于很多实际问 题。本文中，使用基于 Gaussian 核的 FRS 的下近 似算子来作为事例的隶属度[ 7 , 2 2 ]。取 为 Gaussian 核函数。对样例 ，令 为 属于 的隶属度，则 。 本文采用基于核对齐加权求和的多核组合方 式，多核组合公式为 Kη ( xi , xj ) = ∑p m=1 ηm Km ( xi , xj ) (15) ηm m = 1,2,··· , p Km m = 1,2,··· , p 式中： 是核权重， ； 是一组基础 核矩阵， ，优化目标为最大化组合核 与理想核的相似性，即可得到如下公式[6,23] ： max A ( T,Kη, yy T ) = ⟨∑p m=1 ηm Km, yyT ⟩ F √⟨∑p m=1 ηm Km, ∑p m=1 ηm Km ⟩ F ⟨yy T , yyT ⟩F = ∑p m=1 ηm ⟨ Km, yyT ⟩ F l vt∑p m=1 ∑p j=1 ηmηj ⟨ Km,Kj ⟩ F s.t. η ∈ R p + (16) 第 6 期 何强，等：核对齐多核模糊支持向量机 ·1165·
·1166· 智能系统学报 第14卷 其中y=y2…,yy是基于训练集T的二分 类任务的理想核。为了解决此优化问题，可以令 f (x)=sgn (24) A(T,K,yy)中的分母为常数，即式(16)等价于： max .kw）。 m=1 基于核对齐的模糊多核支持向量机的算法实 s.-)C (17) 现流程图如图1所示。 m=1户1 输入数据) 7m≥0，m=1,2,…,p 通过Lagrange乘子法，转化为其对偶问题： 数据归一化 ( 把数据按比例分成训练集和测试集 它2-d (18) 基础核函数选择，计算核对齐优化问题，δ=100，得到核权重， s.t.7m≥0，m=1,2,…,p 观察式(18)，A随着C的变化而变化，根据核 根据多核线性组合规则K,)=三K.)组合多核 对齐的定义，当核权重m做线性变化时，核对齐 的值保持不变，所以可考虑1=1，那么式(18)优 计算模糊粗糙集方法的样例隶属度s 化问题变为 2.kw%-22k 模糊多核SVM训练，解得Lagrange乘子a,和偏置量b m=11 (19) s.t.7m≥0，m=1,2,…,p 模糊多核SVM预测，以测试精度，实验时间为评价指标 为了避免核函数在训练集中过拟合，在优化 问题中添加对nm的约束，即变为 (输出○ max.Kp'） 图1算法流程图 2kK,-2元 (20) Fig.1 Flow chart of algorithm m=1扫1 s.t7m≥0，m=1,2,…,p 4实验仿真 其中6>0，定义一个矩阵0={m= 10m*式(20) UCI数据库是加州大学欧文分校提出的用于 即可变为到 机器学习的数据库，是常用的标准测试数据库 max) 集，为了验证本文所提出方法的可行性与有效 性，本文在UCI中选取了9个数据集，有关信息 22kkk.+o.) (21)） 如表1所示。由于本文只考虑两类分类问题，所 以对于wine数据集，将类别2与3视为一类处理。 s.L7m≥0m=1,2,…,p 由于式(21)是凸二次规划问题，所以可求得1的 表1实验数据信息 Table 1 Data information 唯一解，代入式(15)后得到合成核，再将其引入 到上述基于模糊粗糙集隶属度的模糊支持向量机 编号 数据集名称 样本个数属性个数类别个数 中，优化问题即变为 horse 368 23 2 f+c∑ 2 hepatitis 155 20 2 min (22) 3 heart 270 14 2 st.(o「.Φ(x)+b)≥1-5 5≥0，i=1,2,…,l 4 CT 221 37 2 引入Langrange乘子，其对偶问题由式(8)可转化为 breastcancer 683 10 2 max -∑aayk,《xx》 6 ionosphere 351 34 2 2%-222 =1=1 (23) lymphagraphy 148 19 2 L》=0,0≤0≤Csi=1,2… 8 wine 178 14 3 9 wpbc 198 34 2 决策函数为
y = [ y1 y2 ··· yl ]T yy T T A ( T,Kη, yy T ) 其中 ， 是基于训练集 的二分 类任务的理想核。为了解决此优化问题，可以令 中的分母为常数，即式 (16) 等价于： max η ∑p m=1 ηm ⟨ Km, yy T ⟩ F s.t. ∑p m=1 ∑p j=1 ηmηj ⟨ Km,Kj ⟩ F = C, ηm ⩾ 0,m = 1,2,··· , p (17) 通过 Lagrange 乘子法，转化为其对偶问题： max η ∑p m=1 ηm ⟨ Km, yy T ⟩ F − λ ∑p m=1 ∑p j=1 ηmηj ⟨ Km,Kj ⟩ F −C s.t. ηm ⩾ 0,m = 1,2,··· , p (18) λ C ηm λ = 1 观察式 (18)， 随着 的变化而变化，根据核 对齐的定义，当核权重 做线性变化时，核对齐 的值保持不变，所以可考虑 ，那么式 (18) 优 化问题变为 max η ∑p m=1 ηm ⟨ Km, yy T ⟩ F − ∑p m=1 ∑p j=1 ηmηj ⟨ Km,Kj ⟩ F s.t. ηm ⩾ 0,m = 1,2,··· , p (19) ηm 为了避免核函数在训练集中过拟合，在优化 问题中添加对 的约束，即变为 max η ∑p m=1 ηm ⟨ Km, yy T ⟩ F − ∑p m=1 ∑p j=1 ηmηj ⟨ Km,Kj ⟩ F −δ ∑p m=1 η 2 m s.t. ηm ⩾ 0,m = 1,2,··· , p (20) δ > 0 Om j = 1 m = j 0 m , j 其中 ，定义一个矩阵 ，式 (20) 即可变为[23] max η ∑p m=1 ηm ⟨ Km, yy T ⟩ F − ∑p m=1 ∑p j=1 ηmηj (⟨ Km,Kj ⟩ F +δOm j) s.t. ηm ⩾ 0,m = 1,2,··· , p (21) 由于式 (21) 是凸二次规划问题，所以可求得 η 的 唯一解，代入式 (15) 后得到合成核，再将其引入 到上述基于模糊粗糙集隶属度的模糊支持向量机 中，优化问题即变为 min 1 2 ωη 2 +C ∑l i=1 siξi s.t. yi ( ωη T ·Φη (xi)+b ) ⩾ 1−ξi ξi ⩾ 0,i = 1,2,··· ,l (22) 引入 Langrange 乘子，其对偶问题由式 (8) 可转化为 max ∑l i=1 αi − 1 2 ∑l i=1 ∑l j=1 αiαjyiyjkη ⟨ xi , xj ⟩ s.t. ∑l i=1 αiyi = 0,0 ⩽ αi ⩽ Csi , i, j = 1,2,··· ,l (23) 决策函数为 f (x) = sgn ∑l i=1 αiyikη (xi , x)+b = sgn ∑l i=1 ∑p m=1 αiyiηmkm (xi , x)+b (24) 基于核对齐的模糊多核支持向量机的算法实 现流程图如图 1 所示。 数据归一化 输入数据 把数据按比例分成训练集和测试集 计算模糊粗糙集方法的样例隶属度si 模糊多核SVM训练，解得Lagrange乘子ai和偏置量b 模糊多核SVM预测，以测试精度，实验时间为评价指标 输出 基础核函数选择，计算核对齐优化问题，δ = 100,得到核权重η 根据多核线性组合规则 Kη (xi ,xj ) = ΣηmKm (xi ,xj ) 组合多核 p m=1 图 1 算法流程图 Fig. 1 Flow chart of algorithm 4 实验仿真 UCI 数据库是加州大学欧文分校提出的用于 机器学习的数据库，是常用的标准测试数据库 集，为了验证本文所提出方法的可行性与有效 性，本文在 UCI 中选取了 9 个数据集，有关信息 如表 1 所示。由于本文只考虑两类分类问题，所 以对于 wine 数据集，将类别 2 与 3 视为一类处理。 表 1 实验数据信息 Table 1 Data information 编号 数据集名称 样本个数 属性个数 类别个数 1 horse 368 23 2 2 hepatitis 155 20 2 3 heart 270 14 2 4 CT 221 37 2 5 breastcancer 683 10 2 6 ionosphere 351 34 2 7 lymphagraphy 148 19 2 8 wine 178 14 3 9 wpbc 198 34 2 ·1166· 智 能 系 统 学 报 第 14 卷
第6期 何强，等：核对齐多核模糊支持向量机 ·1167· 实验在一台PC机(CPU:2.6GHz,内存4GB) FSVM的分类精度高，而且在计算效率方面，MS 上进行，操作系统为Windows8.1,实验工具为 VM与MFSVM比SVM和FSVM显著提高。 Matlab R2014b。实验中将所有数据都做归一化处 理，核函数采用的是不同核参数的Gaussian核。 表2高斯核参数设置 给定惩罚系数C=100,解核对齐优化问题时的参 Table 2 Parameters setting of base kernel 数6=102。选择7个参数σ不同的Gaussian核作 编号 数据集名称 基核参数 为基础核，每个数据集对应的核参数如表2所 horse 2°，2.22,23,24,25,2 示。所有精度都采用10折交叉验证方式获得，其 hepatitis 2-6,2-5,2-4,2-3,2-2,21,20 中单核支持向量机结果为不同参数Gaussian核精 度最大值。实验对本文提出的基于粗糙集隶属度 heart 26,25,2,23,22,21,29 的模糊多核支持向量机(MFSVM)和经典支持向 CT 2-6,2-5,2,23,2-2,2-1,20 量机(SVM)、模糊支持向量机(FSVM)、多核支持 breastcancer 2,22,23,24,25,2,27 向量机(MSVM)的分类性能进行对比。 26.2-3.24,2-3.2-2.2-1,20 无噪声情况下实验结果如表3所示。从实验 0 ionosphere 结果可以看出，在无噪声的情况下，本文提出的 lymphagraphy 2-3,2-2,2-1,20,2,22,23 MFSVM方法在9个数据集中分类精度最高，其 wine 20,2,22,23,24,25,2 中在lymphography数据集和wine数据集中，MF- 9 SVM和MSVM分类精度一样，并且比SVM和 wpbc 2-6,2-5,24,23,2-2,2-1,20 表3无噪声情况下分类精度与训练时间比较 Table 3 Comparison of classification accuracy and training time without noise 测试精度%、训练时间/s 编号 数据集名称 SVM FSVM MKVM MFSVM 78.00±3.62、 81.24±3.50 81.78+3.87、 83.15±3.99 horse 3.01 2.7 0.53 0.49 70.06±11.01 69.77±8.62、 70.40±4.01、 71.65±5.21、 hepatitis 1.13 1.2 0.17 0.21 78.25±9.04、 80.37±6.31、 82.96±8.04、 83.70±8.04 heart 4.3 4.35 0.26 0.24 90.51±5.10、 90.95±5.60、 90.95±7.73、 91.88±3.49 CT 2.81 2.86 0.13 0.15 96.92±2.14、 96.92±2.24 96.93±1.44 97.36±2.28 breastcancer 4.41 4.36 0.4 0.45 94.02±4.94、 94.87±4.43、 95.43±3.61、 96.00±4.30 ionosphere 8.99 8.97 0.31 0.35 68.15±12.39、 69.59壮10.02、 70.82±14.69 70.82±14.69 lymphography 0.95 0.98 0.15 0.17 96.15±4.05J 97.69±3.71、 98.46±3.24、 98.46±3.24 wine 0.48 0.55 0.05 0.05 77.2247.70、 80.17±7.83 81.28±8.90、 82.89±7.42 wpbc 2.13 2.19 0.21 0.24 为了进一步验证MFSVM在噪声环境中的表 在噪声比例为20%的情况下，虽然4种方法的分 现，接下来在所有9个数据集中都随机选择一定 类精度较于表4中都相对变低，但在所有数据库 比例的分类超平面附近训练样本改变其类标签。 上，MFSVM都具有最高的分类精度。该结果也 通过这样的方式构造了带有10%、20%的噪声水 进一步验证了，本文所提出的MFSVM方法在抗 平的数据。表4和表5分别是噪声比例为10% 噪声能力与计算开销两方面集中了MSVM与FS 和20%时，4种算法的测试精度比较结果。 VM的优势，不仅避免了核选择难题，而且具有较 从实验结果可以看出，当加入10%的噪声 强的抗噪声能力。从而MFSVM不仅可行，且有 时，MFSVM方法在所有9个数据集中的分类精 更广的应用范围。 度均高于其他3种方法，具有最高的分类精度
C = 100 δ = 102 σ 实验在一台 PC 机（CPU：2.6 GHz，内存 4 GB） 上进行，操作系统为 Windows 8.1，实验工具为 Matlab R2014b。实验中将所有数据都做归一化处 理，核函数采用的是不同核参数的 Gaussian 核。 给定惩罚系数 ，解核对齐优化问题时的参 数 。选择 7 个参数 不同的 Gaussian 核作 为基础核，每个数据集对应的核参数如表 2 所 示。所有精度都采用 10 折交叉验证方式获得，其 中单核支持向量机结果为不同参数 Gaussian 核精 度最大值。实验对本文提出的基于粗糙集隶属度 的模糊多核支持向量机 (MFSVM) 和经典支持向 量机 (SVM)、模糊支持向量机 (FSVM)、多核支持 向量机 (MSVM) 的分类性能进行对比。 无噪声情况下实验结果如表 3 所示。从实验 结果可以看出，在无噪声的情况下，本文提出的 MFSVM 方法在 9 个数据集中分类精度最高，其 中在 lymphography 数据集和 wine 数据集中，MFSVM 和 MSVM 分类精度一样，并且比 SVM 和 FSVM 的分类精度高，而且在计算效率方面，MSVM 与 MFSVM 比 SVM 和 FSVM 显著提高。 表 2 高斯核参数设置 Table 2 Parameters setting of base kernel 编号 数据集名称 基核参数 1 horse 2 0 ,2 1 ,2 2 ,2 3 ,2 4 ,2 5 ,2 6 2 hepatitis 2 −6 ,2 −5 ,2 −4 ,2 −3 ,2 −2 ,2 −1 ,2 0 3 heart 2 −6 ,2 −5 ,2 −4 ,2 −3 ,2 −2 ,2 −1 ,2 0 4 CT 2 −6 ,2 −5 ,2 −4 ,2 −3 ,2 −2 ,2 −1 ,2 0 5 breastcancer 2 1 ,2 2 ,2 3 ,2 4 ,2 5 ,2 6 ,2 7 6 ionosphere 2 −6 ,2 −5 ,2 −4 ,2 −3 ,2 −2 ,2 −1 ,2 0 7 lymphagraphy 2 −3 ,2 −2 ,2 −1 ,2 0 ,2 1 ,2 2 ,2 3 8 wine 2 0 ,2 1 ,2 2 ,2 3 ,2 4 ,2 5 ,2 6 9 wpbc 2 −6 ,2 −5 ,2 −4 ,2 −3 ,2 −2 ,2 −1 ,2 0 表 3 无噪声情况下分类精度与训练时间比较 Table 3 Comparison of classification accuracy and training time without noise 编号 数据集名称 测试精度/%、训练时间/s SVM FSVM MKVM MFSVM 1 horse 78.00±3.62、 81.24±3.50、 81.78±3.87、 83.15±3.99、 3.01 2.7 0.53 0.49 2 hepatitis 70.06±11.01、 69.77±8.62、 70.40±4.01、 71.65±5.21、 1.13 1.2 0.17 0.21 3 heart 78.25±9.04、 80.37±6.31、 82.96±8.04、 83.70±8.04、 4.3 4.35 0.26 0.24 4 CT 90.51±5.10、 90.95±5.60、 90.95±7.73、 91.88±3.49、 2.81 2.86 0.13 0.15 5 breastcancer 96.92±2.14、 96.92±2.24、 96.93±1.44、 97.36±2.28、 4.41 4.36 0.4 0.45 6 ionosphere 94.02±4.94、 94.87±4.43、 95.43±3.61、 96.00±4.30、 8.99 8.97 0.31 0.35 7 lymphography 68.15±12.39、 69.59±10.02、 70.82±14.69、 70.82±14.69、 0.95 0.98 0.15 0.17 8 wine 96.15±4.05、 97.69±3.71、 98.46±3.24、 98.46±3.24、 0.48 0.55 0.05 0.05 9 wpbc 77.22±7.70、 80.17±7.83、 81.28±8.90、 82.89±7.42、 2.13 2.19 0.21 0.24 为了进一步验证 MFSVM 在噪声环境中的表 现，接下来在所有 9 个数据集中都随机选择一定 比例的分类超平面附近训练样本改变其类标签。 通过这样的方式构造了带有 10%、20% 的噪声水 平的数据。表 4 和表 5 分别是噪声比例为 10% 和 20% 时，4 种算法的测试精度比较结果。 从实验结果可以看出，当加入 10% 的噪声 时，MFSVM 方法在所有 9 个数据集中的分类精 度均高于其他 3 种方法，具有最高的分类精度。 在噪声比例为 20% 的情况下，虽然 4 种方法的分 类精度较于表 4 中都相对变低，但在所有数据库 上，MFSVM 都具有最高的分类精度。该结果也 进一步验证了，本文所提出的 MFSVM 方法在抗 噪声能力与计算开销两方面集中了 MSVM 与 FSVM 的优势，不仅避免了核选择难题，而且具有较 强的抗噪声能力。从而 MFSVM 不仅可行，且有 更广的应用范围。 第 6 期 何强，等：核对齐多核模糊支持向量机 ·1167·
·1168· 智能系统学报 第14卷 表410%噪声下分类精度与训练时间比较 Table 4 Comparison of classification accuracy and training time with 10%noise 测试精度/%、训练时间/s 编号 数据集名称 SVM FSVM MKVM MFSVM 80.69±2.91 81.77±3.42 81.23±2.94 82.31±3.99 horse 2.24 1.8 0.37 0.34 67.56±10.21 69.43±10.05 71.65±10.26 72.22±13.09 hepatitis 1.01 0.97 0.13 0.16 75.93±8.05 79.26±5.84 79.63±6.36 81.11±4.76 heart 4.37 4.35 0.25 0.26 87.77±5.30 89.60±3.69 90.95±5.67 91.86±5.98 CT 2.87 2.89 0.15 0.18 91.96±3.76 95.33±2.51 93.69±3.04 96.78±1.52 breastcancer 5.36 6.71 0.79 0.71 89.17±4.01 94.02±3.92 91.44±4.27 94.58±3.68 ionosphere 9.22 9.36 0.38 0.42 63.79±16.69 64.46±16.35 68.36±15.51 70.05±11.36 lymphography 0.93 0.94 0.17 0.15 89.23±8.27 93.85±4.86 96.15±4.05 98.46±3.24 wine 0.81 0.89 0.15 0.15 76.39±9.85 78.39肚8.01 81.94±12.00 82.28±8.01 wpbc 2 2.01 0.21 0.24 表520%噪声下分类精度与训练时间比较 Table 5 Comparison of classification accuracy and training time with 20%noise 测试精度/%、训练时间s 编号 数据集名称 SVM FSVM MKVM MFSVM 73.69±5.76 75.05±6.01 76.37±6.34 78.83±5.01 horse 2.43 2.16 0.53 0.53 64.83±10.46 65.74±9.85 70.11±8.64 70.40±7.71 hepatitis 1.04 0.97 0.15 0.12 78.15±6.86 79.63±8.42 82.22±7.96 84.07±9.08 heart 4.57 4.59 0.25 0.29 83.81±9.38 88.74±8.22 89.64±6.94 91.46±6.71 CT 1.25 1.26 0.18 0.18 85.82±3.82 88.73+3.9 93.71±2.15 95.18±3.00 breastcancer 8.04 9.09 1.27 1.21 84.60±6.08 89.46±5.22 88.88±4.57 91.17±4.94 ionosphere 8.56 8.61 0.42 0.48 64.26±12.74 67.13±9.22 68.46±12.67 70.82±8.81 lymphography 1.06 1.08 0.17 0.2 87.69±9.73 90.00±11.49 93.85±4.86 94.62±7.30 wine 0.97 0.97 0.1 0.12 73.28±6.90 79.83±3.09 82.11±10.86 83.89±9.30 wpbc 2.07 2.1 0.24 0.22 5结论 ~定程度的提升，特别是在有噪声的样本中表现 本文是在模糊支持向量机和多核学习的基础 更为突出，证实了本文方法在解决核函数选择难 之上，通过将基于核对齐的多核方法引入到模糊 和对噪声数据敏感问题上的可行性和有效性。由 支持向量机中，提出了基于核对齐的模糊多核支 于本文方法中涉及到了多核组合和隶属度的计 持向量机模型。实验仿真表明此方法综合了模糊 算，因此下一步将进一步研究更优的核组合方式 支持向量机和多核学习的优点，在分类性能上有 以及如何改进样本隶属度的计算
5 结论 本文是在模糊支持向量机和多核学习的基础 之上，通过将基于核对齐的多核方法引入到模糊 支持向量机中，提出了基于核对齐的模糊多核支 持向量机模型。实验仿真表明此方法综合了模糊 支持向量机和多核学习的优点，在分类性能上有 一定程度的提升，特别是在有噪声的样本中表现 更为突出，证实了本文方法在解决核函数选择难 和对噪声数据敏感问题上的可行性和有效性。由 于本文方法中涉及到了多核组合和隶属度的计 算，因此下一步将进一步研究更优的核组合方式 以及如何改进样本隶属度的计算。 表 4 10% 噪声下分类精度与训练时间比较 Table 4 Comparison of classification accuracy and training time with 10% noise 编号 数据集名称 测试精度/%、训练时间/s SVM FSVM MKVM MFSVM 1 horse 80.69± 2.91 81.77± 3.42 81.23± 2.94 82.31± 3.99 2.24 1.8 0.37 0.34 2 hepatitis 67.56±10.21 69.43±10.05 71.65±10.26 72.22±13.09 1.01 0.97 0.13 0.16 3 heart 75.93± 8.05 79.26± 5.84 79.63± 6.36 81.11± 4.76 4.37 4.35 0.25 0.26 4 CT 87.77± 5.30 89.60± 3.69 90.95± 5.67 91.86± 5.98 2.87 2.89 0.15 0.18 5 breastcancer 91.96± 3.76 95.33± 2.51 93.69± 3.04 96.78± 1.52 5.36 6.71 0.79 0.71 6 ionosphere 89.17± 4.01 94.02± 3.92 91.44± 4.27 94.58± 3.68 9.22 9.36 0.38 0.42 7 lymphography 63.79±16.69 64.46±16.35 68.36±15.51 70.05±11.36 0.93 0.94 0.17 0.15 8 wine 89.23± 8.27 93.85± 4.86 96.15± 4.05 98.46± 3.24 0.81 0.89 0.15 0.15 9 wpbc 76.39± 9.85 78.39± 8.01 81.94±12.00 82.28±8.01 2 2.01 0.21 0.24 表 5 20% 噪声下分类精度与训练时间比较 Table 5 Comparison of classification accuracy and training time with 20% noise 编号 数据集名称 测试精度/%、训练时间/s SVM FSVM MKVM MFSVM 1 horse 73.69± 5.76 75.05± 6.01 76.37± 6.34 78.83± 5.01 2.43 2.16 0.53 0.53 2 hepatitis 64.83±10.46 65.74± 9.85 70.11± 8.64 70.40± 7.71 1.04 0.97 0.15 0.12 3 heart 78.15± 6.86 79.63± 8.42 82.22± 7.96 84.07± 9.08 4.57 4.59 0.25 0.29 4 CT 83.81± 9.38 88.74± 8.22 89.64± 6.94 91.46± 6.71 1.25 1.26 0.18 0.18 5 breastcancer 85.82± 3.82 88.73± 3.9 93.71± 2.15 95.18±3.00 8.04 9.09 1.27 1.21 6 ionosphere 84.60± 6.08 89.46± 5.22 88.88± 4.57 91.17± 4.94 8.56 8.61 0.42 0.48 7 lymphography 64.26±12.74 67.13± 9.22 68.46±12.67 70.82± 8.81 1.06 1.08 0.17 0.2 8 wine 87.69± 9.73 90.00±11.49 93.85± 4.86 94.62± 7.30 0.97 0.97 0.1 0.12 9 wpbc 73.28± 6.90 79.83± 3.09 82.11±10.86 83.89± 9.30 2.07 2.1 0.24 0.22 ·1168· 智 能 系 统 学 报 第 14 卷
第6期 何强，等：核对齐多核模糊支持向量机 ·1169· 参考文献： Janeiro,Brazil,2007:1-8. [15]杜海洋简化多核支持向量机的研究D]北京：北京交 [1]VAPNIK V N.The nature of statistical learning theory[M]. 通大学，2015：13-25 2nd ed.New York:Springer-Verlag,1999:69-110. DU Haiyang.Research of reduced multiple kernel sup- [2]邓乃扬，田英杰.支持向量机：理论、算法与拓展M.北 port vector machine[D].Beijing:Beijing Jiaotong Uni- 京：科学出版社，2009：115-132. versity,2015:13-25 [3]LIN Chunfu,WANG Shengde.Fuzzy support vector ma- [16]WANG Tinghua,ZHAO Dongyan,TIAN Shengfeng.An chines[J].IEEE transactions on neural networks,2002, overview of kernel alignment and its applications[J].Arti- 13(2):464-471. ficial intelligence review,2015,43(2):179-192 [4]SIAHROUDI S K,MOODI P Z,BEIGY H.Detection of [17]ZHONG Shangping,CHEN Daya,XU Qianfen,et al.Op- timizing the Gaussian kernel function with the formu evolving concepts in non-stationary data streams:a mul- lated kernel target alignment criterion for two-class pat- tiple kernel learning approach[J].Expert systems with ap- plications,.2018,9:187-197. tern classification[J].Pattern recognition,2013,46(7): 2045-2054. [5]GONEN M,ALPAYDIN E.Multiple kernel learning al- [18]刘向东，骆斌.陈兆乾.支持向量机最优模型选择的研 gorithms[J].Journal of machine learning research,2011, 究U.计算机研究与发展，2005,42(4)：576-581 12:2211-2268. LIU Xiangdong,LUO Bin,CHEN Zhaoqian.Optimal [6]CRISTIANINI N.SHAWE-TAYLOR J.ELISSEEFF A.et model selection for support vector machines[J].Journal of al.On kernel-target alignment[C]//Proceedings of the 14th computer research and development,2005,42(4): International Conference on Neural Information Pro- 576-581 cessing Systems:Natural and Synthetic.Vancouver, [19]周炜，周创明，史朝辉，等.粗糙集理论及应用[M.北 Canada,2001:367-373. 京：清华大学出版社，2015：57-64 [7]HE Qiang,WU Congxin.Membership evaluation and fea- [20]DUBOIS D,PRADE H.Rough fuzzy sets and fuzzy ture selection for fuzzy support vector machine based on rough sets[J].International journal of general systems, fuzzy rough sets[J].Soft computing,2011,15(6): 1990,17(2/3):191-209. 1105-1114 [21]DUBOIS D.PRADE H.Putting rough sets and fuzzy sets [8]LIN Chunfu,WANG Shengde.Training algorithms for together[M]//SLOWINSKI R.Intelligent Decision Sup- fuzzy support vector machines with noisy data[J].Pattern port:Handbook of Applications and Advances of the recognition letters,2004,25(14):1647-1656. Rough Sets Theory.Dordrecht,Netherlands:Springer, [9]CRISTIANINI N,SHAWE-TAYLOR J.An introduction 1992:203-232 to support vector machines and other kernel-based learn- [22]CHEN Degang,YANG Yongping,WANG Hui.Granular ing methods[M].Cambridge:Cambridge University Press. computing based on fuzzy similarity relations[J].Soft 2000:1-28 computing,2011,15(6):1161-1172 [10]DE DIEGO I M.MUNOZ A,MOGUERZA J M.Meth- [23]CHEN Linlin,CHEN Degang,WANG Hui.Alignment based kernel selection for multi-label learning[J].Neural ods for the combination of kernel matrices within a sup- processing letters,2019,49(3):1157-1177. port vector framework[J].Machine learning,2010, 78(1/2):137-174. 作者简介： [11]CHRISTOUDIAS C M.URTASUN R.DARRELL T. 何强，男，1977年生，副教授，主 Bayesian localized multiple kernel learning.Technical 要研究方向为多核学习、监督学习、确 定性信息处理。主持国家自然基金 Report No.UCB/EECS-2009-96[R].Berkeley:Uni- 河北省自然基金等多项。发表学术论 versity of California,2009:1531-1565. 文30余篇。 [12]BEN-HUR A,NOBLE WS.Kemel methods for predicting pro- tein-protein interactions[J].Bioinformatics,2005,21(S1) [13]QIU Shibin,LANE T.A Framework for multiple kernel 张娇阳，女，1993年生，硕士，主 support vector regression and its applications to siRNA 要研究方向为多核学习、支持向量 efficacy prediction[J].IEEE/ACM transactions on compu- 机。参与国家基金项目1项，发表学 tational biology and bioinformatics,2009,6(2):190-199. 术论文3篇。 [14]VARMA M,RAY D.Learning the discriminative power- invariance trade-off C]//Proceedings of 2007 IEEE 11th International Conference on Computer Vision.Rio de
参考文献： VAPNIK V N. The nature of statistical learning theory[M]. 2nd ed. New York: Springer-Verlag, 1999: 69-110. [1] 邓乃扬, 田英杰. 支持向量机: 理论、算法与拓展 [M]. 北 京: 科学出版社, 2009: 115–132. [2] LIN Chunfu, WANG Shengde. Fuzzy support vector machines[J]. IEEE transactions on neural networks, 2002, 13(2): 464–471. [3] SIAHROUDI S K, MOODI P Z, BEIGY H. Detection of evolving concepts in non-stationary data streams: a multiple kernel learning approach[J]. Expert systems with applications, 2018, 91: 187–197. [4] GONEN M, ALPAYDIN E. Multiple kernel learning algorithms[J]. Journal of machine learning research, 2011, 12: 2211–2268. [5] CRISTIANINI N, SHAWE-TAYLOR J, ELISSEEFF A, et al. On kernel-target alignment[C]//Proceedings of the 14th International Conference on Neural Information Processing Systems: Natural and Synthetic. Vancouver, Canada, 2001: 367–373. [6] HE Qiang, WU Congxin. Membership evaluation and feature selection for fuzzy support vector machine based on fuzzy rough sets[J]. Soft computing, 2011, 15(6): 1105–1114. [7] LIN Chunfu, WANG Shengde. Training algorithms for fuzzy support vector machines with noisy data[J]. Pattern recognition letters, 2004, 25(14): 1647–1656. [8] CRISTIANINI N, SHAWE-TAYLOR J. An introduction to support vector machines and other kernel-based learning methods[M]. Cambridge: Cambridge University Press, 2000: 1–28. [9] DE DIEGO I M, MUÑOZ A, MOGUERZA J M. Methods for the combination of kernel matrices within a support vector framework[J]. Machine learning, 2010, 78(1/2): 137–174. [10] CHRISTOUDIAS C M, URTASUN R, DARRELL T. Bayesian localized multiple kernel learning. Technical Report No. UCB/EECS-2009-96[R]. Berkeley: University of California, 2009: 1531–1565. [11] BEN-HUR A, NOBLE W S. Kernel methods for predicting protein-protein interactions[J]. Bioinformatics, 2005, 21(S1). [12] QIU Shibin, LANE T. A Framework for multiple kernel support vector regression and its applications to siRNA efficacy prediction[J]. IEEE/ACM transactions on computational biology and bioinformatics, 2009, 6(2): 190–199. [13] VARMA M, RAY D. Learning the discriminative powerinvariance trade-off[C]//Proceedings of 2007 IEEE 11th International Conference on Computer Vision. Rio de [14] Janeiro, Brazil, 2007: 1–8. 杜海洋. 简化多核支持向量机的研究 [D]. 北京: 北京交 通大学, 2015: 13–25. DU Haiyang. Research of reduced multiple kernel support vector machine[D]. Beijing: Beijing Jiaotong University, 2015: 13–25. [15] WANG Tinghua, ZHAO Dongyan, TIAN Shengfeng. An overview of kernel alignment and its applications[J]. Artificial intelligence review, 2015, 43(2): 179–192. [16] ZHONG Shangping, CHEN Daya, XU Qianfen, et al. Optimizing the Gaussian kernel function with the formulated kernel target alignment criterion for two-class pattern classification[J]. Pattern recognition, 2013, 46(7): 2045–2054. [17] 刘向东, 骆斌, 陈兆乾. 支持向量机最优模型选择的研 究 [J]. 计算机研究与发展, 2005, 42(4): 576–581. LIU Xiangdong, LUO Bin, CHEN Zhaoqian. Optimal model selection for support vector machines[J]. Journal of computer research and development, 2005, 42(4): 576–581. [18] 周炜, 周创明, 史朝辉, 等. 粗糙集理论及应用 [M]. 北 京: 清华大学出版社, 2015: 57–64. [19] DUBOIS D, PRADE H. Rough fuzzy sets and fuzzy rough sets[J]. International journal of general systems, 1990, 17(2/3): 191–209. [20] DUBOIS D, PRADE H. Putting rough sets and fuzzy sets together[M]//SŁOWIŃSKI R. Intelligent Decision Support: Handbook of Applications and Advances of the Rough Sets Theory. Dordrecht, Netherlands: Springer, 1992: 203–232. [21] CHEN Degang, YANG Yongping, WANG Hui. Granular computing based on fuzzy similarity relations[J]. Soft computing, 2011, 15(6): 1161–1172. [22] CHEN Linlin, CHEN Degang, WANG Hui. Alignment based kernel selection for multi-label learning[J]. Neural processing letters, 2019, 49(3): 1157–1177. [23] 作者简介： 何强，男，1977 年生，副教授，主 要研究方向为多核学习、监督学习、确 定性信息处理。主持国家自然基金、 河北省自然基金等多项。发表学术论 文 30 余篇。 张娇阳，女，1993 年生，硕士，主 要研究方向为多核学习、支持向量 机。参与国家基金项目 1 项，发表学 术论文 3 篇。 第 6 期 何强，等：核对齐多核模糊支持向量机 ·1169·
