第15卷第5期 智能系统学报 Vol.15 No.5 2020年9月 CAAI Transactions on Intelligent Systems Sep.2020 D0:10.11992/tis.201906030 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20200320.0956.006.html 基于能量的结构化最小二乘孪生支持向量机 史颂辉2，丁世飞2 (1.中国矿业大学计算机科学与技术学院，江苏徐州221116,2.矿山数字化教育部工程研究中心，江苏徐州 221116) 摘要：针对最小二乘李生支持向量机对噪声和离群值非常敏感的问题，本文提出了一种基于能量的结构化最 小二乘孪生支持向量机。首先对每个类进行聚类分析，然后计算类中各个簇的协方差矩阵并将其引入到目标 函数中。其次，为了降低噪声和离群值对算法的影响，本文为每个超平面引入能量因子，在最小二乘的基础上 将等式约束转换为基于能量的形式。最后采用“多对一”的策略将提出的算法用于处理多分类问题。研究结果 表明：本文提出的基于能量的结构化最小二乘李生支持向量机具有良好的分类性能。 关键词：孪生支持向量机；最小二乘；结构信息；聚类；协方差矩阵；能量因子；“多对一”策略：多分类问题 中图分类号：TP391文献标志码：A 文章编号：1673-4785(2020)05-1013-07 中文引用格式：史颂辉，丁世飞.基于能量的结构化最小二乘李生支持向量机J.智能系统学报，2020,15(5)：1013-1019. 英文引用格式：SHI Songhui,DING Shifei..Energy-based structural least square twin support vector machine[J]..CAAI transac- tions on intelligent systems,2020,15(5):1013-1019. Energy-based structural least square twin support vector machine SHI Songhui2,DING Shifei (1.School of Computer Science and Technology,China University of Mining and Technology,Xuzhou 221116,China;2.Engineer- ing Research Center (Ministry of Education)of Mine Digitization,Xuzhou 221116,China) Abstract:The least square twin support vector machine(TWSVM)is very sensitive to noise and outlier.To solve this problem,we propose an energy-based structured least square TWSVM(ES-LSTWSVM).First,we perform a cluster analysis on each class,then compute the covariance matrix of each cluster in the classes,and introduce it into the object- ive function.To reduce the influence of noises and outliers on the algorithm,an energy factor is introduced to each hy- perplane,and the equality constraint is converted into an energy-based form on the basis of least squares.Finally,we ad- opt the"all-versus-one"strategy to apply the proposed algorithm in solving a multi-class classification problem.The ex- perimental results show that ES-LSTWSVM has good classification performance. Keywords:twin support vector machine;least square;structural information;cluster;covariance matrix;en- ergy factor;"all-versus-one"strategy;multi-class classification problem 支持向量机(support vector machine, 2007年，Jayadeva等提出了孪生支持向量 SVM)W是由Vapnik提出的基于结构风险最小化 机(twin support vector machine,TWSVM),它为每 原理的二分类分类器。其基本思想是在2个平行 一类构造一个超平面，使每一类样本尽可能距离 支持超平面之间找到最大化边界。与此同时，对 本类的超平面近，而尽可能地远离另一类的超平 于非线性分类问题，内核技巧也可以应用到 面。TWSVM的2个非平行的超平面是通过求解 SVM中。然而，SVM的计算复杂度却很高。 2个二次规划问题(quadratic programming prob- 收稿日期：2019-06-18.网络出版日期：2020-03-20 lems,QPPs)得到的，每个QPP的约束条件都只与 基金项目：国家自然科学基金项目(61672522,61976216， 61379101). 一类样本有关。TWSVM不但保持了SVM的优 通信作者：丁世飞.E-mail:dingsf@cumt.edu.cn 点，而且训练速度比传统SVM要快4倍。为了进DOI: 10.11992/tis.201906030 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20200320.0956.006.html 基于能量的结构化最小二乘孪生支持向量机 史颂辉1,2，丁世飞1,2 （1. 中国矿业大学 计算机科学与技术学院，江苏 徐州 221116; 2. 矿山数字化教育部工程研究中心，江苏 徐州 221116） 摘 要：针对最小二乘孪生支持向量机对噪声和离群值非常敏感的问题，本文提出了一种基于能量的结构化最 小二乘孪生支持向量机。首先对每个类进行聚类分析，然后计算类中各个簇的协方差矩阵并将其引入到目标 函数中。其次，为了降低噪声和离群值对算法的影响，本文为每个超平面引入能量因子，在最小二乘的基础上 将等式约束转换为基于能量的形式。最后采用“多对一”的策略将提出的算法用于处理多分类问题。研究结果 表明：本文提出的基于能量的结构化最小二乘孪生支持向量机具有良好的分类性能。 关键词：孪生支持向量机；最小二乘；结构信息；聚类；协方差矩阵；能量因子；“多对一”策略；多分类问题 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)05−1013−07 中文引用格式：史颂辉, 丁世飞. 基于能量的结构化最小二乘孪生支持向量机 [J]. 智能系统学报, 2020, 15(5): 1013–1019. 英文引用格式：SHI Songhui, DING Shifei. Energy-based structural least square twin support vector machine[J]. CAAI transac￾tions on intelligent systems, 2020, 15(5): 1013–1019. Energy-based structural least square twin support vector machine SHI Songhui1,2 ，DING Shifei1,2 (1. School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China; 2. Engineer￾ing Research Center (Ministry of Education) of Mine Digitization, Xuzhou 221116, China) Abstract: The least square twin support vector machine (TWSVM) is very sensitive to noise and outlier. To solve this problem, we propose an energy-based structured least square TWSVM (ES-LSTWSVM). First, we perform a cluster analysis on each class, then compute the covariance matrix of each cluster in the classes, and introduce it into the object￾ive function. To reduce the influence of noises and outliers on the algorithm, an energy factor is introduced to each hy￾perplane, and the equality constraint is converted into an energy-based form on the basis of least squares. Finally, we ad￾opt the “all-versus-one” strategy to apply the proposed algorithm in solving a multi-class classification problem. The ex￾perimental results show that ES-LSTWSVM has good classification performance. Keywords: twin support vector machine; least square; structural information; cluster; covariance matrix; en￾ergy factor; “all-versus-one” strategy; multi-class classification problem 支持向量 机 (support vector machine, SVM)[1] 是由 Vapnik 提出的基于结构风险最小化 原理的二分类分类器。其基本思想是在 2 个平行 支持超平面之间找到最大化边界。与此同时，对 于非线性分类问题，内核技巧也可以应用 到 SVM 中。然而，SVM 的计算复杂度却很高。 2007 年，Jayadeva 等 [2] 提出了孪生支持向量 机 (twin support vector machine, TWSVM)，它为每 一类构造一个超平面，使每一类样本尽可能距离 本类的超平面近，而尽可能地远离另一类的超平 面。TWSVM 的 2 个非平行的超平面是通过求解 2 个二次规划问题 (quadratic programming prob￾lems,QPPs) 得到的，每个 QPP 的约束条件都只与 一类样本有关。TWSVM 不但保持了 SVM 的优 点，而且训练速度比传统 SVM 要快 4 倍。为了进 收稿日期：2019−06−18. 网络出版日期：2020−03−20. 基金项目：国家自然科学基金项 目 (61672522， 61976216， 61379101). 通信作者：丁世飞. E-mail：dingsf@cumt.edu.cn. 第 15 卷第 5 期 智 能 系 统 学 报 Vol.15 No.5 2020 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2020