张晓丹等：一个广义三次样条光滑半监督支持向量机 ·389 由表2可知，当c=c取不同值时，采用广义三次 总结上述三个数据集上的实验结果可得，当数据 样条函数逼近对称铰链损失函数分类正确率较高，且 规模变化时，所得到的广义三次样条光滑半监督支持 计算时间较短.特别当c=c成倍增大达到100时，分 向量机亦有较好的分类效果 类器的分类正确率达到最高.当c=c'=1000时，分 5 类器仍维持较高的分类正确率，但时间大大增加 结论 在红酒质量检测实验中，我们对光滑参数k的选 应用广义三弯矩法证明了满足零点二阶光滑条件 取作最优检测，取c=c=100,分类正确率随k的变化 的广义三次样条对称铰链逼近函数的存在唯一性：分 如图2. 析了该函数的逼近精度.最后，证明了基于此函数的 100 光滑半监督支持向量分类机具有较好的收敛性并进行 95 了数值检验.数值实验显示新模型比基于高斯函数的 光滑半监督支持向量机模型具有更好的分类正确率和 90 更快的处理速度 85 参考文献 80 [1]Deng N Y.Tian Y J.Neu Method in Data Mining:Support Vector 75 Machine.Beijing:Science Press,2004:49 70 (邓乃扬，田英杰.数据挖掘的新方法：支持向量机.北京： 100200300400500600700800900 科学出版社，2004：49) 图2当k取不同值时，3SS3VM的训练正确率 2] Xu Q L,Wang X L.A Novel Semi-supervised classification meth- Fig.2 Training accuracy rate of 3SS VM with different values of k od based on SVM.Comput Technol Dev,2010,20(10):115 (徐庆伶，汪西莉.一种基于支持向量机的半监督分类方法 由图2可见：c=c的取值固定，k取值越大，分类 计算机技术与发展，2010,20(10)：115) 器的性能越好：当k足够大时，分类器的性能趋于稳 B] Chapelle 0,Sindhwani V,Keerhi S S.Optimization techniques 定，继续增大k,由于舍入误差等原因导致分类器性能 for semi-supervised support vector machines.J Mach Learn Res, 2008,9:203 并没有提高.因此，针对不同的实际训练问题，不同的 [4] Bennett K P.DemirizA.Semi-supervised support vector machines c和c取值，k选取适当即可. /Adrances in Neural Information Processing Systems 11,Cam- 下面进行白酒品质检测.数据规模增大为4898 bridge:MIT Press,1998:368 个样本，均为已标记.任取100个数据为标记数据，对 [5]Reddy IS,Shevade S,Murty M N.A fast quasi-Newton method 其余4798个数据进行无标记处理.其中属性检测信 for semi-supervised SVM.Pattern Recognit,2011,44:2305 息与红酒实验数据相同.白酒品质的取值为0~10，实 6 Liu Y Q,Liu S Y,Gu M T.Polynomial smooth classification al- 验中对所有品质小于5的归为差类，白酒的品质分为 gorithm of semi-supervised support vector machines.Comput Sci, 2009,36(7):179 优和差两类.每个数据样本包括12个属性，所有数据 (刘叶青，刘三阳，谷明涛.一种多项式光滑的半监督支持向 样本被分为两类.基于模型3Ss3VM的求解得到的性 量机分类算法.计算机科学，2009,36(7)：179) 能指标如表3. [7]Chapelle 0,Zien A.Semi-supervised classification by low density 表3用3SSVM检测白酒质量问题的正确率 separation /10th International Workshop on Artificial Intelligence Table 3 Training accuracy rate using 3SSVM to test the quality of liq- and Statistics.Barbados,2005:57 uor 的 8]Lee Y J,Mangasarian O L.SSVM:A smooth support vector ma- chine for classification.Comput Optim Appl,2001,22(1):5 c=c" k=1 k=10k=100 k=1000k=10000 9] Wu Q.Support Vector Machines Learning Algorithm Research 1 69.10 69.21 83.24 80.61 83.36 Based on Optimization Theory [Dissertation].Xian:Xidian Uni- 10 70.11 70.1380.8869.66 59.55 versity,2009:85 (吴青.基于最优化理论的支持向量机学习算法研究[学位 由表3可知：当c=c=1,k=10000时，有较好的 论文].西安：西安电子科技大学，2009：85) 分类效果：当c=c°=10，k=100时，有较好的分类效 [10]Zhang X D,Shao S,Liu Q S.Smooth support vector machine 果.对于不同的c和c取值，模型3SSVM的参数k有 model based on spline function.J Unir Sci Technol Beijing, 2012,34(6):718 不同的最优值.因此，针对不同的实际训练问题，不同 (张晓丹，邵帅，刘软圣.基于样条函数的光滑支持向量机 的c和c取值，k选取较优值就可以. 模型.北京科技大学学报，2012,34(6)：718)张晓丹等: 一个广义三次样条光滑半监督支持向量机 由表 2 可知，当 c = c * 取不同值时，采用广义三次 样条函数逼近对称铰链损失函数分类正确率较高，且 计算时间较短． 特别当 c = c * 成倍增大达到 100 时，分 类器的分类正确率达到最高． 当 c = c * = 1000 时，分 类器仍维持较高的分类正确率，但时间大大增加． 在红酒质量检测实验中，我们对光滑参数 k 的选 取作最优检测，取 c = c * = 100，分类正确率随 k 的变化 如图 2． 图 2 当 k 取不同值时，3SS3VM 的训练正确率 Fig． 2 Training accuracy rate of 3SS3VM with different values of k 由图 2 可见: c = c * 的取值固定，k 取值越大，分类 器的性能越好; 当 k 足够大时，分类器的性能趋于稳 定，继续增大 k，由于舍入误差等原因导致分类器性能 并没有提高． 因此，针对不同的实际训练问题，不同的 c 和 c * 取值，k 选取适当即可． 下面进行白酒品质检测． 数据规模增大为 4898 个样本，均为已标记． 任取 100 个数据为标记数据，对 其余 4798 个数据进行无标记处理． 其中属性检测信 息与红酒实验数据相同． 白酒品质的取值为 0 ～ 10，实 验中对所有品质小于 5 的归为差类，白酒的品质分为 优和差两类． 每个数据样本包括 12 个属性，所有数据 样本被分为两类． 基于模型 3SS3 VM 的求解得到的性 能指标如表 3． 表 3 用 3SS3VM 检测白酒质量问题的正确率 Table 3 Training accuracy rate using 3SS3VM to test the quality of liq￾uor % c = c* k = 1 k = 10 k = 100 k = 1000 k = 10000 1 69. 10 69. 21 83. 24 80. 61 83. 36 10 70. 11 70. 13 80. 88 69. 66 59. 55 由表 3 可知: 当 c = c * = 1，k = 10000 时，有较好的 分类效果; 当 c = c * = 10，k = 100 时，有较好的分类效 果． 对于不同的 c 和 c * 取值，模型 3SS3 VM 的参数 k 有 不同的最优值． 因此，针对不同的实际训练问题，不同 的 c 和 c * 取值，k 选取较优值就可以． 总结上述三个数据集上的实验结果可得，当数据 规模变化时，所得到的广义三次样条光滑半监督支持 向量机亦有较好的分类效果． 5 结论 应用广义三弯矩法证明了满足零点二阶光滑条件 的广义三次样条对称铰链逼近函数的存在唯一性; 分 析了该函数的逼近精度． 最后，证明了基于此函数的 光滑半监督支持向量分类机具有较好的收敛性并进行 了数值检验． 数值实验显示新模型比基于高斯函数的 光滑半监督支持向量机模型具有更好的分类正确率和 更快的处理速度． 参 考 文 献 ［1］ Deng N Y，Tian Y J． New Method in Data Mining: Support Vector Machine． Beijing: Science Press，2004: 49 ( 邓乃扬，田英杰． 数据挖掘的新方法: 支持向量机． 北京: 科学出版社，2004: 49) ［2］ Xu Q L，Wang X L． A Novel Semi-supervised classification meth￾od based on SVM． Comput Technol Dev，2010，20( 10) : 115 ( 徐庆伶，汪西莉． 一种基于支持向量机的半监督分类方法． 计算机技术与发展，2010，20( 10) : 115) ［3］ Chapelle O，Sindhwani V，Keerhi S S． Optimization techniques for semi-supervised support vector machines． J Mach Learn Ｒes， 2008，9: 203 ［4］ Bennett K P，Demiriz A． Semi-supervised support vector machines / / Advances in Neural Information Processing Systems 11，Cam￾bridge: MIT Press，1998: 368 ［5］ Ｒeddy I S，Shevade S，Murty M N． A fast quasi-Newton method for semi-supervised SVM． Pattern Ｒecognit，2011，44: 2305 ［6］ Liu Y Q，Liu S Y，Gu M T． Polynomial smooth classification al￾gorithm of semi-supervised support vector machines． Comput Sci， 2009，36( 7) : 179 ( 刘叶青，刘三阳，谷明涛． 一种多项式光滑的半监督支持向 量机分类算法． 计算机科学，2009，36( 7) : 179) ［7］ Chapelle O，Zien A． Semi-supervised classification by low density separation / / 10th International Workshop on Artificial Intelligence and Statistics． Barbados，2005: 57 ［8］ Lee Y J，Mangasarian O L． SSVM: A smooth support vector ma￾chine for classification． Comput Optim Appl，2001，22( 1) : 5 ［9］ Wu Q． Support Vector Machines Learning Algorithm Ｒesearch Based on Optimization Theory［Dissertation］． Xian: Xidian Uni￾versity，2009: 85 ( 吴青． 基于最优化理论的支持向量机学习算法研究［学位 论文］． 西安: 西安电子科技大学，2009: 85) ［10］ Zhang X D，Shao S，Liu Q S． Smooth support vector machine model based on spline function． J Univ Sci Technol Beijing， 2012，34( 6) : 718 ( 张晓丹，邵帅，刘钦圣． 基于样条函数的光滑支持向量机 模型． 北京科技大学学报，2012，34( 6) : 718) · 983 ·