·472 智能系统学报 第3卷 造出若干特例：光滑SVM、近似SVM、简化SVM等， 着理论的不断发展和完善，SVM在模式识别、回归 LS-SVM算法主要是为了解决计算复杂性问题，它 分析、生物信息技术、医学研究以及其他一些领域， 采用二次损失函数，并用等式约束来代替标准SVM 必将得到更加广泛的应用. 算法中的不等式约束，把标准SVM算法的二次规划 问题转变成了线性方程组来求解。 参考文献： 此外还有加权SVM(weighted SVM)[o1模糊 [1]VAPNIK V.The nature of statistical learing theory M]. SVM（fuz四SVM)Im1、鲁棒SVM（robust New York:Springer Verlag,2000. SVM)[41,积极学习SVM(active SVM)[6]、中心 [2]CRISTIANINI N,SHAWE T J.An introduction to support sVM(center SVM)m,并行SVM(parallel vector machine[M].New York:Cambridge University Press,2000. SVM)i]、多类SVM(muli-class SVM)【91、几何 SVM(geometric SVM)[o1、转导半监督SVM((trans- [3]DOUMPOS M,ZOPOUNIDIS C.Additive support vector machines for pattern classification[J].IEEE Trans on Sys- ductive semi-supervised SVM)[a1-2l等】 tems,Man,and Cybernetics:Part B,2007,37(3):540- 550. 4结束语 [4]JAYADEVA,KHEMCHANDANI R,CHANDRA S.Twin 统计学习理论系统地研究了机器学习问题，尤 support vector machines for pattern classification[J].IEEE 其是在有限样本情况下的统计学习问题.这一理论 Trans on Pattern Analysis and Machine Intelligence,2007, 框架下产生的SVM是一种通用的机器学习新方法， 29(5):905-910. [5]WU Zhili,LI Chunhung,JOSEPH K,et al.Location esti- 在理论和实际应用中表现出很多优越的性能.SVM mation via support vector regression[J].IEEE Trans on 算法的理论与应用均取得了长足的进步，但在处理 Mobile Computing,2007,6(3):311-321. 有大量训练数据的实际应用中，仍然存在计算速度 [6]HAO Peiyi,CHIANG J H.Fuzzy regression analysis by 和存储容量等问题.该领域需要进一步发展和完善， support vector leaming approach[J].IEEE Trans on Fuzzy 研究方向包括： Sy9tems,2008,16(2):428-441. 1)更高效的算法.训练算法的收敛速度和计算 [7]CHANG CC,HSU C W,LIN C J.The analysis of decom- 所需内存是SVM发展的瓶颈，设计更快、更小的高 position methods for support vector machines[J].IEEE 效算法一直是SVM算法研究的主要目标. Trans on Neural Networks,2000,11 (4):1003-1008. [8]LIN C J.On the convergence of the decomposition method 2)更符合实际情况的假设.现有方法基本上是 for support vector machines[J].IEEE Trans on Neural Net- 基于数据的独立同分布假设，而很多实际情况，如非 work8,2001,12(6):1288-1298. 线性动态系统的建模，显然不满足这个条件.开发非 [9]NORIKAZU T,TETSUO N.Global convergence of decom- 独立同分布假设情况下的算法，将具有更大的实用 position learning methods for support vector machines[J]. 价值. IEEE Trans on Neural Networks,2006,17 (6):1362- 3)统一框架的建立.SVM的各种在线算法之 1369. 间，以及SVM与Logistic回归、条件随机域、Lsso类 [10]LIN C J.A Formal analysis of stopping criteria of decomp- 方法估计P范数方法、稀疏表示等方法之间的内在 osition methods for support vector machines[J].IEEE Trans on Neural Networks,2002,13(5):1045-1052. 联系是怎样的，如何建立统一的模型和研究理论体 [11]HU W J,SONG Q.An accelerated decomposition algo- 系也是值得研究的方向. rithm for robust support vector machines[J].IEEE Trans 当前的SVM缩减方法基本上是采用一步优化 on Circuits and Systems,2004,51(5):234-240. 策略的贪婪算法，这不但增加了算法的计算量，而且 [12]DONG Jianxiong,ADAM K,CHING Y S.Fast SVM 难以得到整体最优解.基于基寻踪原理的稀疏表示， training algorithm with decomposition on very large data 是一种采用p范数作为度量函数的全局竞争优化算 sets[J].IEEE Trans on Pattern Analysis and Machine In- telligence,2005,27(4):603618. 法，在一定条件下稀疏表示获得的解是最稀疏的解， 同时也是待逼近函数的本质驱动源.另外，次梯度在 [13 ]QIAO Hong,WANG Yanguo,ZHANG Bo.A simple de- composition algorithm for support vector machines with pol- 训练过程中表现出良好的收敛速度，且不要求目标 ynomial-time convergence[J].Pattern Recognition,2007, 函数可微.因此，基于次梯度和稀疏表示的方法可望 40(9):2543-2549 在进一步提高SVM训练速度方面发挥重要作用.随 [14]周水生，詹海生，周利华.训练支持向量机的Huber近