·388 智能系统学报 第11卷 表13种算法在复杂交叉数据集上的分类精度(%)比较 (见表2)。显然，WPTSVM方法具有更好的测试效 Table 1 Classification comparision of three algorithms on 果，这说明本文加权措施的确能够在一定程度上提 comxor dataset 高PTSVM算法的局部学习能力。 Dataset TWSVM PTSVM WPTSVM 表23种算法在双月形数据集上的分类精度(%)比较 Table 2 Classification comparision of three algorithms on Comxor 93.76±6.70 95.67±4.73 97.36±2.90 two-moons dataset 3.2流形数据集 Dataset TWSVM PTSVM WPTSVM 数据集two-moons(如图3所示)的结构具有 two-moons 77.17±13.7276.33±12.36 78.83±8.86 明显局部流形，所以该数据集多用于测试算法的局 3.3 UCI数据集 部学习能力[2,1)。这里通过测试two-moons数据集， UCI数据集经常被用来验证算法的分类精 并与TWSVM和PTSVM方法进行比较，验证本文 度[37,1s16)。该数据集包含若干数据子集，涉及诸多 WPTSVM方法局部学习能力。 应用领域。 1.0 0 0.8 实验中选取部分数据子集，利用10-折交叉验 0 0. 04 og°g 证法测试算法分类性能。非线性算法实验中，选择 0. 08 00 高斯核exp(-‖x,-x:‖2/o)作为核函数，参数σ的 0 0 8 0 搜索范围为{21i=-1,0,…,7},其他参数搜索范围 -0.4 -0.6 同3.1节。线性模式及非线性模式下实验结果如表 -0.8 8 -1.0 3和表4分别所示。 -0.8-0.6-0.4-0.200.20.40.60.81.0 从训练时间上看：TWSVM与PTSVM相 当，WPTSVM明显比这两种算法快。原因是WPTS 图3Two-moons数据集 VM选用少量边界样本进行二次规划求解，而其他 Fig.3 Two-moons dataset 两种算法则选择异类中全部样本。 实验选择正负类样本各为50的two-moons数 从分类性能上看：本文提出的WPTSVM算法具 据集。随机抽取40%训练集和60%测试集进行实 有更好的分类能力，这也进一步佐证了本文提高 验，重复此过程10次并记录实验结果的平均值 PTSVM算法局部学习能力的措施确实有效。 表3 线性模式下3种算法的实验比较 Table 3 Experimental comparision of three algorithms on UCI datasets with linear kernel TWSVM PTSVM WPTSVM Dataset 正确率/% 训练时间/s 正确率/% 训练时间/s 正确率/% 训练时间/s Hepatitis(155x19) 84.17±7.79 3.84 83.67±10.80 3.46 87.33±9.17 1.36 Cleve(296×13) 82.42±4.21 5.40 82.08±3.38 5.26 83.46±3.71 2.56 Sonar(208×60) 66.00±16.85 3.93 66.36±14.27 3.82 68.07±13.60 1.58 Bupa_liver(345×6) 68.69±3.23 2.42 67.59±5.30 2.84 70.20±6.42 2.17 Wdbc(569×30) 96.99±1.63 19.77 96.99±1.63 19.95 97.53±1.65 1.14 Haberman (306x3) 74.50±2.11 4.09 74.56±7.90 5.74 75.44±5.03 1.36 Heart (270x13) 84.07±5.25 5.30 84.07±5.51 5.38 85.19±5.49 2.40 Monks2 (432x6) 67.14±4.98 2.84 67.84±3.15 2.56 67.13±3.20 0.78 Monks3.(432×6) 77.41±11.32 6.07 80.74±13.05 6.32 81.69±12.85 3.76 Australian(690x14)） 86.26±4.76 13.37 86.28±4.91 11.90 86.83±5.25 2.81 Pima_india(768×8) 77.17±2.80 40.91 76.41±3.53 42.81 76.79±4.05 10.25 Tic_tac_toe(958×9)） 64.93±2.31 18.07 63.11±5.33 18.21 78.72±6.13 6.24表 １ ３ 种算法在复杂交叉数据集上的分类精度（％）比较 Ｔａｂｌｅ １ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｏｍｐａｒｉｓｉｏｎ ｏｆ ｔｈｒｅｅ ａｌｇｏｒｉｔｈｍｓ ｏｎ ｃｏｍｘｏｒ ｄａｔａｓｅｔ Ｄａｔａｓｅｔ ＴＷＳＶＭ ＰＴＳＶＭ ＷＰＴＳＶＭ Ｃｏｍｘｏｒ ９３．７６±６．７０ ９５．６７±４．７３ ９７．３６±２．９０ ３．２ 流形数据集 数据集 ｔｗｏ⁃ｍｏｏｎｓ （如图 ３ 所示） 的结构具有 明显局部流形，所以该数据集多用于测试算法的局 部学习能力［２，１３］ 。 这里通过测试 ｔｗｏ⁃ｍｏｏｎｓ 数据集， 并与 ＴＷＳＶＭ 和 ＰＴＳＶＭ 方法进行比较，验证本文 ＷＰＴＳＶＭ 方法局部学习能力。 图 ３ Ｔｗｏ⁃ｍｏｏｎｓ 数据集 Ｆｉｇ．３ Ｔｗｏ⁃ｍｏｏｎｓ ｄａｔａｓｅｔ 实验选择正负类样本各为 ５０ 的 ｔｗｏ⁃ｍｏｏｎｓ 数 据集。 随机抽取 ４０％训练集和 ６０％测试集进行实 验，重复此过程 １０ 次并记录实验结果的平均值 （见表 ２）。 显然，ＷＰＴＳＶＭ 方法具有更好的测试效 果，这说明本文加权措施的确能够在一定程度上提 高 ＰＴＳＶＭ 算法的局部学习能力。 表 ２ ３ 种算法在双月形数据集上的分类精度（％）比较 Ｔａｂｌｅ ２ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｏｍｐａｒｉｓｉｏｎ ｏｆ ｔｈｒｅｅ ａｌｇｏｒｉｔｈｍｓ ｏｎ ｔｗｏ⁃ｍｏｏｎｓ ｄａｔａｓｅｔ Ｄａｔａｓｅｔ ＴＷＳＶＭ ＰＴＳＶＭ ＷＰＴＳＶＭ ｔｗｏ⁃ｍｏｏｎｓ ７７．１７±１３．７２ ７６．３３±１２．３６ ７８．８３±８．８６ ３．３ ＵＣＩ 数据集 ＵＣＩ 数据集经常被用来验 证 算 法 的 分 类 精 度［３⁃７，１５⁃１６］ 。 该数据集包含若干数据子集，涉及诸多 应用领域。 实验中选取部分数据子集，利用 １０－折交叉验 证法测试算法分类性能。 非线性算法实验中，选择 高斯核 ｅｘｐ（－‖ｘｉ －ｘｊ‖２ ／ σ）作为核函数，参数 σ 的 搜索范围为｛２ ｉ ｜ ｉ ＝ －１，０， …，７｝，其他参数搜索范围 同 ３．１ 节。 线性模式及非线性模式下实验结果如表 ３ 和表 ４ 分别所示。 从训练时间上看： ＴＷＳＶＭ 与 ＰＴＳＶＭ 相 当，ＷＰＴＳＶＭ 明显比这两种算法快。 原因是 ＷＰＴＳ⁃ ＶＭ 选用少量边界样本进行二次规划求解，而其他 两种算法则选择异类中全部样本。 从分类性能上看：本文提出的 ＷＰＴＳＶＭ 算法具 有更好的分类能力，这也进一步佐证了本文提高 ＰＴＳＶＭ 算法局部学习能力的措施确实有效。 表 ３ 线性模式下 ３ 种算法的实验比较 Ｔａｂｌｅ ３ Ｅｘｐｅｒｉｍｅｎｔａｌ ｃｏｍｐａｒｉｓｉｏｎ ｏｆ ｔｈｒｅｅ ａｌｇｏｒｉｔｈｍｓ ｏｎ ＵＣＩ ｄａｔａｓｅｔｓ ｗｉｔｈ ｌｉｎｅａｒ ｋｅｒｎｅｌ Ｄａｔａｓｅｔ ＴＷＳＶＭ ＰＴＳＶＭ ＷＰＴＳＶＭ 正确率／ ％ 训练时间／ ｓ 正确率／ ％ 训练时间／ ｓ 正确率／ ％ 训练时间／ ｓ Ｈｅｐａｔｉｔｉｓ（１５５×１９） ８４．１７±７．７９ ３．８４ ８３．６７±１０．８０ ３．４６ ８７．３３±９．１７ １．３６ Ｃｌｅｖｅ （２９６×１３） ８２．４２±４．２１ ５．４０ ８２．０８±３．３８ ５．２６ ８３．４６±３．７１ ２．５６ Ｓｏｎａｒ （２０８×６０） ６６．００±１６．８５ ３．９３ ６６．３６±１４．２７ ３．８２ ６８．０７±１３．６０ １．５８ Ｂｕｐａ＿ｌｉｖｅｒ（３４５×６） ６８．６９±３．２３ ２．４２ ６７．５９±５．３０ ２．８４ ７０．２０±６．４２ ２．１７ Ｗｄｂｃ （５６９×３０） ９６．９９±１．６３ １９．７７ ９６．９９±１．６３ １９．９５ ９７．５３±１．６５ １．１４ Ｈａｂｅｒｍａｎ （３０６×３） ７４．５０±２．１１ ４．０９ ７４．５６±７．９０ ５．７４ ７５．４４±５．０３ １．３６ Ｈｅａｒｔ （２７０×１３） ８４．０７±５．２５ ５．３０ ８４．０７±５．５１ ５．３８ ８５．１９±５．４９ ２．４０ Ｍｏｎｋｓ２ （４３２×６） ６７．１４±４．９８ ２．８４ ６７．８４±３．１５ ２．５６ ６７．１３±３．２０ ０．７８ Ｍｏｎｋｓ３ （４３２×６） ７７．４１±１１．３２ ６．０７ ８０．７４±１３．０５ ６．３２ ８１．６９±１２．８５ ３．７６ Ａｕｓｔｒａｌｉａｎ（６９０×１４） ８６．２６±４．７６ １３．３７ ８６．２８±４．９１ １１．９０ ８６．８３±５．２５ ２．８１ Ｐｉｍａ＿ｉｎｄｉａ（７６８×８） ７７．１７±２．８０ ４０．９１ ７６．４１±３．５３ ４２．８１ ７６．７９±４．０５ １０．２５ Ｔｉｃ＿ｔａｃ＿ｔｏｅ（９５８×９） ６４．９３±２．３１ １８．０７ ６３．１１±５．３３ １８．２１ ７８．７２±６．１３ ６．２４ ·３８８· 智 能 系 统 学 报 第 １１ 卷