第3期 花小朋，等：一种改进的投影孪生支持向量机 .389. 表4非线性模式下3种算法的实验比较 Table 4 Experimental comparision of three algorithms on UCI datasets with nonlinear kernel TWSVM PTSVM WPTSVM Dataset 正确率/% 训练时间/s 正确率/% 训练时间/s 正确率/% 训练时间/s Spectf(267×46) 83.43±7.15 14.63 82.49±8.36 14.65 84.03±5.17 1.73 Cleve (296x13) 85.12±5.77 7.22 85.93±4.90 7.82 85.24±4.56 3.40 Wpbc(198×33) 79.36±5.52 4.12 78.03±6.59 1.72 79.98±6.62 0.59 P_gene(106×57) 65.50±18.23 2.25 64.13±21.17 2.22 68.13±16.71 1.19 Sonar(208×60) 63.29±18.65 7.55 64.50±13.50 8.63 68.43±13.26 2.78 Spect (267x22) 84.42±9.04 11.42 84.42±7.43 4.01 84.80±8.27 5.54 Monks2(432×6) 68.77±15.24 5.02 68.71±3.43 6.43 68.99±11.07 4.57 Vertebral (310x6) 85.81±6.32 5.63 84.52±6.42 6.02 86.13±6.46 2.87 Monks3(432×6) 98.70±3.89 11.09 98.52±4.44 9.97 99.26±2.22 8.03 Breast gy(277×9) 75.86±5.89 5.24 73.57±4.10 4.04 75.94±6.69 0.87 结束语 [5]MANGASARIAN O L,WILD E W.MultisurFace proximal support vector machine classification via generalized eigen- 本文基于投影孪生支持向量机(PTSVM)提出一 values [J].IEEE transactions on pattern analysis and ma- chine intelligence,2006,28 (1):69-74. 种新的的非平行超平面分类器方法：加权投影孪生支 [6]PENG Xinjun,XU Dong.Bi-density twin support vector ma- 持向量机(WPTSVM)。WPTSVM不仅继承了PTS chines for pattern recognition[J].Neurocomputing,2013, VM方法的优点，而且在一定程度上提高了算法局部 99:134-143. 学习能力。除此之外，WPTSVM通过类间近邻图选 [7]CHEN Xiaobo,YANG Jian,YE Qiaolin,et al.Recursive 择少量边界样本构造优化问题约束条件，相当程度上 projection twin support vector machine via within-class vari- ance minimization[J].Pattern recognition,2011,44 (10/ 降低了二次规划求解时间复杂度。理论分析及实验 11):2643-2655. 结果均验证了本文所提算法的有效性。诚然，WPTS- [8 ]SHAO Yuanhai,WANG Zhen,CHEN Weijie,et al.A reg- VM在构造类内及类间近邻图时，需要花费额外的计 ularization for the projection twin support vector machine 算开销，特别是在学习样本数目较大时，算法计算复 [J].Knowledge-based systems,2013,37 (1):203-210. 杂度会偏高，这也是今后进一步研究的目标。 [9]YANG Xubing,CHEN Songcan,CHEN Bin,et al.Proxi- mal support vector machine using local information [J]. 参考文献： Neurocomputing,2009,73(1):357-365. [10]COVER T M,HART P E.Nearest neighbor pattern classi- [1]皋军，王士同，邓赵红.基于全局和局部保持的半监督 fication [J ]IEEE transactions on information theory, 支持向量机[J].电子学报，2010,38(7)：1626-1633. 1967,13(1):21-27. GAO Jun,WANG Shitong,DENG Zhaohong.Global and local [11]WANG Xiaoming,CHUNG Fulai,WANG Shitong.On preserving based semi-supervised support vector machine minimum class locality preserving variance support vector [J].Acta electronica sinica,2010,38(7):1626-1633. machine[J].Patter recognition,2010,43(8):2753- [2]花小朋，丁世飞.局部保持对支持向量机[J].计算机研 2762. 究与发展，2014,51(3)：590-597. [12]YE Qiaolin,ZhAO Chunxia,YE Ning,et al.Localized HUAxiaopeng,DING Shifei.Locality preserving twin sup- twin svm via convex minimization[J].Neurocomputing, port vector machines [J].Journal of computer research and 2011.74(4):580-587. development,2014,51(3):590-597. [13]皋军，黄丽莉，王士同.基于局部子域的最大间距判别 [3]DING Shifei,HUA Xiaopeng,YU Junzhao.An overview on 分析[J].控制与决策，2014,29(5)：827-832. nonparallel hyperplane support vector machines[J].Neural GAO Jun,HUANG Lili,WANG Shitong.Local sub-do- computing and applications,2014,25(5):975-982. mains based maximum margin criterion [J].Control and [4]JAYADEVA,KHEMCHAND R,CHANDRA S.Twin sup- decision,2014,29(5):827-832. port vector machines for pattern classification [J].IEEE [14]邓乃杨，田英杰.支持向量机一理论、算法与拓展[M] transaction on pattern analysis and machine intelligence, 北京：科学出版社，2009：164-223. 2007,29(5):905-910. [l5]丁立中，廖士中.KMA-a:一个支持向量机核矩阵的近表 ４ 非线性模式下 ３ 种算法的实验比较 Ｔａｂｌｅ ４ Ｅｘｐｅｒｉｍｅｎｔａｌ ｃｏｍｐａｒｉｓｉｏｎ ｏｆ ｔｈｒｅｅ ａｌｇｏｒｉｔｈｍｓ ｏｎ ＵＣＩ ｄａｔａｓｅｔｓ ｗｉｔｈ ｎｏｎｌｉｎｅａｒ ｋｅｒｎｅｌ Ｄａｔａｓｅｔ ＴＷＳＶＭ ＰＴＳＶＭ ＷＰＴＳＶＭ 正确率／ ％ 训练时间／ ｓ 正确率／ ％ 训练时间／ ｓ 正确率／ ％ 训练时间／ ｓ Ｓｐｅｃｔｆ （２６７×４６） ８３．４３±７．１５ １４．６３ ８２．４９±８．３６ １４．６５ ８４．０３±５．１７ １．７３ Ｃｌｅｖｅ （２９６×１３） ８５．１２±５．７７ ７．２２ ８５．９３±４．９０ ７．８２ ８５．２４±４．５６ ３．４０ Ｗｐｂｃ （１９８×３３） ７９．３６±５．５２ ４．１２ ７８．０３±６．５９ １．７２ ７９．９８±６．６２ ０．５９ Ｐ＿ｇｅｎｅ （１０６×５７） ６５．５０±１８．２３ ２．２５ ６４．１３±２１．１７ ２．２２ ６８．１３±１６．７１ １．１９ Ｓｏｎａｒ （２０８×６０） ６３．２９±１８．６５ ７．５５ ６４．５０±１３．５０ ８．６３ ６８．４３±１３．２６ ２．７８ Ｓｐｅｃｔ （２６７×２２） ８４．４２±９．０４ １１．４２ ８４．４２±７．４３ ４．０１ ８４．８０±８．２７ ５．５４ Ｍｏｎｋｓ２ （４３２×６） ６８．７７±１５．２４ ５．０２ ６８．７１±３．４３ ６．４３ ６８．９９±１１．０７ ４．５７ Ｖｅｒｔｅｂｒａｌ （３１０×６） ８５．８１±６．３２ ５．６３ ８４．５２±６．４２ ６．０２ ８６．１３±６．４６ ２．８７ Ｍｏｎｋｓ３ （４３２×６） ９８．７０±３．８９ １１．０９ ９８．５２±４．４４ ９．９７ ９９．２６±２．２２ ８．０３ Ｂｒｅａｓｔ＿ｇｙ（２７７×９） ７５．８６±５．８９ ５．２４ ７３．５７±４．１０ ４．０４ ７５．９４±６．６９ ０．８７ ４ 结束语 本文基于投影孪生支持向量机（ＰＴＳＶＭ ）提出一 种新的的非平行超平面分类器方法：加权投影孪生支 持向量机（ＷＰＴＳＶＭ ）。 ＷＰＴＳＶＭ 不仅继承了 ＰＴＳ⁃ ＶＭ 方法的优点，而且在一定程度上提高了算法局部 学习能力。 除此之外，ＷＰＴＳＶＭ 通过类间近邻图选 择少量边界样本构造优化问题约束条件，相当程度上 降低了二次规划求解时间复杂度。 理论分析及实验 结果均验证了本文所提算法的有效性。 诚然，ＷＰＴＳ⁃ ＶＭ 在构造类内及类间近邻图时，需要花费额外的计 算开销，特别是在学习样本数目较大时，算法计算复 杂度会偏高，这也是今后进一步研究的目标。 参考文献： ［１］皋军， 王士同， 邓赵红． 基于全局和局部保持的半监督 支持向量机［Ｊ］． 电子学报， ２０１０， ３８（７）： １６２６⁃１６３３． ＧＡＯ Ｊｕｎ， ＷＡＮＧ Ｓｈｉｔｏｎｇ， ＤＥＮＧ Ｚｈａｏｈｏｎｇ． Ｇｌｏｂａｌ ａｎｄ ｌｏｃａｌ ｐｒｅｓｅｒｖｉｎｇ ｂａｓｅｄ ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ［Ｊ］． Ａｃｔａ ｅｌｅｃｔｒｏｎｉｃａ ｓｉｎｉｃａ， ２０１０， ３８（７）： １６２６⁃１６３３． ［２］花小朋， 丁世飞． 局部保持对支持向量机［ Ｊ］． 计算机研 究与发展， ２０１４， ５１（３）： ５９０⁃５９７． ＨＵＡｘｉａｏｐｅｎｇ， ＤＩＮＧ Ｓｈｉｆｅｉ． Ｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇ ｔｗｉｎ ｓｕｐ⁃ ｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｒｅｓｅａｒｃｈ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ， ２０１４， ５１（３）： ５９０⁃５９７． ［３］ＤＩＮＧ Ｓｈｉｆｅｉ， ＨＵＡ Ｘｉａｏｐｅｎｇ， ＹＵ Ｊｕｎｚｈａｏ． Ａｎ ｏｖｅｒｖｉｅｗ ｏｎ ｎｏｎｐａｒａｌｌｅｌ ｈｙｐｅｒｐｌａｎｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ［ Ｊ］． Ｎｅｕｒａｌ ｃｏｍｐｕｔｉｎｇ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１４， ２５（５）： ９７５⁃９８２． ［４］ＪＡＹＡＤＥＶＡ， ＫＨＥＭＣＨＡＮＤ Ｒ， ＣＨＡＮＤＲＡ Ｓ． Ｔｗｉｎ ｓｕｐ⁃ ｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｆｏｒ ｐａｔｔｅｒｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００７， ２９ （５）： ９０５⁃９１０． ［５］ ＭＡＮＧＡＳＡＲＩＡＮ Ｏ Ｌ， ＷＩＬＤ Ｅ Ｗ． ＭｕｌｔｉｓｕｒＦａｃｅ ｐｒｏｘｉｍａｌ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｖｉａ ｇｅｎｅｒａｌｉｚｅｄ ｅｉｇｅｎ⁃ ｖａｌｕｅｓ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａ⁃ ｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００６， ２８ （１）： ６９⁃７４． ［６］ＰＥＮＧ Ｘｉｎｊｕｎ，ＸＵ Ｄｏｎｇ． Ｂｉ－ｄｅｎｓｉｔｙ ｔｗｉｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａ⁃ ｃｈｉｎｅｓ ｆｏｒ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ［ Ｊ］． Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２０１３， ９９： １３４⁃１４３． ［７］ ＣＨＥＮ Ｘｉａｏｂｏ， ＹＡＮＧ Ｊｉａｎ， ＹＥ Ｑｉａｏｌｉｎ， ｅｔ ａｌ． Ｒｅｃｕｒｓｉｖｅ ｐｒｏｊｅｃｔｉｏｎ ｔｗｉｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｖｉａ ｗｉｔｈｉｎ⁃ｃｌａｓｓ ｖａｒｉ⁃ ａｎｃｅ ｍｉｎｉｍｉｚａｔｉｏｎ［Ｊ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１１， ４４ （１０ ／ １１）： ２６４３⁃２６５５． ［８］ＳＨＡＯ Ｙｕａｎｈａｉ， ＷＡＮＧ Ｚｈｅｎ， ＣＨＥＮ Ｗｅｉｊｉｅ， ｅｔ ａｌ． Ａ ｒｅｇ⁃ ｕｌａｒｉｚａｔｉｏｎ ｆｏｒ ｔｈｅ ｐｒｏｊｅｃｔｉｏｎ ｔｗｉｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ［Ｊ］． Ｋｎｏｗｌｅｄｇｅ⁃ｂａｓｅｄ ｓｙｓｔｅｍｓ， ２０１３， ３７ （１）： ２０３⁃２１０． ［９］ＹＡＮＧ Ｘｕｂｉｎｇ， ＣＨＥＮ Ｓｏｎｇｃａｎ， ＣＨＥＮ Ｂｉｎ， ｅｔ ａｌ． Ｐｒｏｘｉ⁃ ｍａｌ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｕｓｉｎｇ ｌｏｃａｌ ｉｎｆｏｒｍａｔｉｏｎ ［ Ｊ］． Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２００９， ７３（１）： ３５７⁃３６５． ［１０］ＣＯＶＥＲ Ｔ Ｍ， ＨＡＲＴ Ｐ Ｅ． Ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ ｃｌａｓｓｉ⁃ ｆｉｃａｔｉｏｎ ［ Ｊ ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｔｈｅｏｒｙ， １９６７， １３ （１）： ２１⁃２７． ［１１］ ＷＡＮＧ Ｘｉａｏｍｉｎｇ， ＣＨＵＮＧ Ｆｕｌａｉ， ＷＡＮＧ Ｓｈｉｔｏｎｇ． Ｏｎ ｍｉｎｉｍｕｍ ｃｌａｓｓ ｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇ ｖａｒｉａｎｃｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ［ Ｊ］． Ｐａｔｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０， ４３ （ ８）： ２７５３⁃ ２７６２． ［１２］ ＹＥ Ｑｉａｏｌｉｎ， ＺｈＡＯ Ｃｈｕｎｘｉａ， ＹＥ Ｎｉｎｇ， ｅｔ ａｌ． Ｌｏｃａｌｉｚｅｄ ｔｗｉｎ ｓｖｍ ｖｉａ ｃｏｎｖｅｘ ｍｉｎｉｍｉｚａｔｉｏｎ ［ Ｊ］． Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２０１１， ７４（４）： ５８０⁃５８７． ［１３］皋军， 黄丽莉， 王士同． 基于局部子域的最大间距判别 分析 ［Ｊ ］． 控制与决策， ２０１４， ２９ （５）： ８２７⁃８３２． ＧＡＯ Ｊｕｎ， ＨＵＡＮＧ Ｌｉｌｉ， ＷＡＮＧ Ｓｈｉｔｏｎｇ． Ｌｏｃａｌ ｓｕｂ －ｄｏ⁃ ｍａｉｎｓ ｂａｓｅｄ ｍａｘｉｍｕｍ ｍａｒｇｉｎ ｃｒｉｔｅｒｉｏｎ ［ Ｊ］． Ｃｏｎｔｒｏｌ ａｎｄ ｄｅｃｉｓｉｏｎ， ２０１４， ２９ （５）： ８２７⁃８３２． ［１４］邓乃杨， 田英杰． 支持向量机—理论、算法与拓展［Ｍ］． 北京： 科学出版社， ２００９： １６４⁃２２３． ［１５］丁立中， 廖士中． ＫＭＡ－ａ： 一个支持向量机核矩阵的近 第 ３ 期 花小朋，等：一种改进的投影孪生支持向量机 ·３８９·