·92· 北京科技大学学报 2006年第1期 应用时所面临的模型选择这一“瓶颈”问题.首先 Ed.New York:Springer,2000 针对高斯核函数以Jaakkola--Haussler误差上界为 [2]Gold C,Sollichb P.Model selection for support vector ma 模型选择性能评价标准，应用粗网格与模式搜索 chine classifcation.Neurocomputing,2003,55:221 [3]Cortes C,Vapnik V.Support vector networks.Mach Learn. 相结合的优化算法寻找优化的模型参数.该优化 1995,20:273 算法充分利用了粗网格全局搜索及模式搜索的高 [4]Amari S,Wu S.Improving support vector machine classifiers 效率优点，特别适合于计算导数困难的低维优化 by modifying kernel functions.Neural Networks,1999,12: 问题.然后基于黎曼几何理论提出了一个新的保 783 角变换，对核函数进行数据依赖性的进一步改进， [5]Chapeile O,Vapnik V N.Choosing multiple parameters for 并证明了对应的修正核函数满足Mercer条件. support vector machines.Mach Learn,2002,46:131 16]Burges CJC.Geometry and invariance in kernel based meth 最后，在人工非线性分类问题实验研究的基础上， ods//Scholkopf B.Burges C JC.Smola A J.Advances in 将该方法应用于手写体相似汉字识别，实验结果 Kernel Methods-Support Vector Learning.Cambridge:MIT 表明SVM分类器性能得到了明显地改善. Press,1999 [7]Wu S,Amari S.Conformal transformation of kemel fune. 参考文献 tions:a data-dependent way to improve support vector machine classifiers.Neural Process Lett,2002,15:59 [1]Vapnik V N.The nature of statistical learning theory.2nd Automatic model selection method for support vector machines classifiers FENG Jun2),XIE Bin),HAO Weidong1),YANG Yang1) 1)Information Engineering School,University of Science and Technology Beijing,Beijing 100083,China 2)Department of Computer Science,Shijiazhuang Institute of Railway,Shijiazhuang 050043,China ABSTRACT An optimal approach was presented for model parameters of a support vector machine classifi- er based on coarse grid search combined with pattern search,in which the Jaakkola-Haussler error bound was considered as the evaluation criterion of model selection.Based on the Riemannian geometry theory,a novel conformal transformation was proposed and the kernel function was modified by the transformation in a data-dependent way.Simulated results for the artificial data set showed that the approach for automatic model selection was very effective.An application of the approach in handwritten similar Chinese characters recognition was further investigated.The experimental result showed remarkable improvement of the per- formance of the classifier. KEY WORDS support vector machines;model selection;Riemannian geometry;conformal transforma- tion;Chinese character recognition北 京 科 技 大 学 学 报 2 0 0` 年第 1 期 应用时 所面临 的模 型选择 这一 “ 瓶颈 ” 问题 . 首先 针对高斯核函数 以 Ja k ko af 一 H au s el r 误差上界 为 模型选择性 能评 价标准 , 应 用粗 网格与模式 搜索 相结合的优化 算法寻 找优化 的模型参数 . 该 优 化 算法充分利用 了粗 网格全局搜索及模式 搜索 的高 效率 优点 , 特别 适 合于 计算导 数困难的低 维 优化 问题 . 然后基 于黎 曼几何理论 提 出 了一 个新的保 角变换 , 对核 函数进行数据依赖性的进一步 改进 , 并证 明 了对 应 的修正 核 函 数 满足 M er ce r 条 件 . 最后 , 在人工非线性分类问题 实验研 究的基础 上 , 将该方法应用 于 手 写体相似 汉 字识 别 , 实验 结果 表 明 S V M 分类 器性 能得到 了明显地改善 . 参 考 文 献 川 Va p n i k V N . T h e n a t u r e o f s t a t i s t i e a l l e am i叱 t h eo r y . Z n d E d , N e w Y or k : S p ir n 郎 r , 2 0 0 0 〔2 ] G o ld e , 50 1一i e h b P . M od e l s e l e e t io n f o r s u p卯rt ve c t o r m a - e h i n e e l as if e a t i o n . N e o r o c 帅)I . t i gn , 2 0 0 3 , 5 5 : 2 2 1 t 3 ] oC rt es C , v 叩 n ik V . S u p卯rt v e e t or n e t ow rks M a e h L e的 · 1 9 9 5 , 2 0 : 2 7 3 〔4 〕 A n l ar i s , w u 5 . xm p r vo i明 s叩即rt v e ct o r m a e h i n e e l a s if i e r s b y n 、浏if y ign k e rne l f u n c t ~ . N e u ar l N e tw or kS , 19 99 , 1 2 : 78 3 汇5 〕 Ch a p e ll e O , v a p n ik v N , C h o s i n g m u l t i p l e p amr et e r s f o r s u P p o r l v e e ot r m a e h i n e s . M a e h eL aur , 2 00 2 , 4 6 : 1 3 1 〔6 〕 B u 啥es C J e . G eO m e t r y an d i n va ir an c e i n k e r n e l bas e d m e t h - od s / cS h6I k o p f B , B u 啥es C J C , S m o l a A J . A d va n e e s i n K e rn e l M e t h od s 一 S 叩op rt V ce t o r L ~ i雌 . C a m b r i d g e : M IT P r e s , 1 9 9 9 [ 7 了 W u S , A m a r i 5 . oC n fo rm a l t r an s fo rm a t i o n o f k e rn e l f u n e - t i o n s : a d a t a 一 d e 伴n d e n t w a y t o im p ro v e s u p po r t ve e t o r m a e h i n e e l a s if i e rs . N e u r a l P r oc 积” L e t t , 2 0 0 2 , 1 5 : 5 9 A u t o m a t i e m o d e l s e l e e t i o n m e t h o d f o r s u p p o r t v e e t o r m a e h i n e s e l a s s i fi e r s 咫N G J u n l , 2 ) , x 班 B i n l ) , 月A o we 艺己o n g l ) , 以N G 介 n g l ) 1 ) I n fo 二 a t i o n E n g i n e e ir n g cS h o l , U n i v e r s i t y o f cS i e n e e a n d T e e h nol 吃y eB ij i眼 , B e ij i n g 1 0 00 8 3 , C h i n a 2 ) D e p art m en t of o 〕 n l p u t e r cS i e n e e , S h ij iaz h u a n g I n s t i t u t e o f R a Uw a y , s h ij iaz h u a n g 0 5 0 04 3 , e h i n a A BS T R A C T A n o p t i m a l a p p or a e h w a s p r e s e n t e d f o r m o d e l p a r a m e t e r s o f a s u p p o r t v e e t o r m a e h i n e e l a s s i fi - e r b a s e d o n e o a r s e g r id s e a r e h e o m b i n e d w i t h P a t t e r n s e a r e h , i n w h i e h t h e J a a k k o l a 一 H a u s s l e r e r or r bo u n d w a s e o n s i d e r e d a s t h e e v a l u a t i o n e r i t e r i o n o f m o d e l s e l e e t i o n . B a s e d o n t h e R i e m a n n i a n g e o m e t r y t h e o r y , a n o v e l e o n fo r m a l t r a n s fo r m a t i o n w a s p or po s e d a n d t h e k e r n e l f u n e t i o n w a s mo d if i e d b y t h e t r a n s fo r m a t i o n i n a d a t a 一 d e p e n d e n t w a y . S im u l a t e d r e s u l t s fo r t h e a r t i fi e i a l d a t a s e t s h o w e d t h a t t h e a p P or a e h fo r a u t o m a t i e m o d e l s e l e e t i o n w a s v e r y e f f e e t i v e . A n a P p li e a t i o n o f t h e a p p or a e h i n h a n d w ir t t e n s i m i l a r C h i n e s e e h a r a e t e r s r e e o g n i t i o n w a s f u r t h e r i n v e s t i g a t e d . T h e e x p e r im e n t a l r e s u l t s ho w e d r e m a r k a b l e im p or v e m e n t o f t h e P e r - fo mr a n e e o f t h e e l a s s i fi e r . K E Y W O R D S s u p 卯 r t v e e ot r m a e h i n e s ; mo d e l s e l e e t i o n ; Ri em an n i a n g eom e t r y ; e o n fo mr a l t r a n s f o mr a - t ion ; C h i n e s e e h a r a e t e r r e e o g n i t i o n