Contents 11.5. 1 Overview 11.5.2 Newton's Methods 11.5.3 Active Set Training 11.6 Variants of Support Vector Regressors 11.6.1 Linear Programming Support Vector Regressors 11.6.2 v-Support Vector Regressors 11.6.3 Least-Squares Support Vector Regres 11.7 Variable Selection 11.7.2 Variable Selection by Block Deletion 11.7. 3 Performance Evaluation References A Conventional classifiers 443 A 1 Bayesian Classifiers A 2 Nearest-Neighbor Classifiers References B Matrices B. 1 Matrix Properties 447 B 2 Least-Squares Methods and Singular Value Decomposition.. 4 B 3 Covariance Matrices References 454 c Quadratic Programmin 455 C1 Optimality Conditions 455 C2 Properties of Solutions 456 D Positive Semidefinite Kernels and Reproducing Kernel Hilbert Space D. 1 Positive semidefinite Kernels D2 Reproducing Kernel Hilbert Space References Indexxviii Contents 11.5.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403 11.5.2 Newton’s Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 11.5.3 Active Set Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422 11.6 Variants of Support Vector Regressors. . . . . . . . . . . . . . . . . . . . . 429 11.6.1 Linear Programming Support Vector Regressors . . . . . . 430 11.6.2 ν-Support Vector Regressors . . . . . . . . . . . . . . . . . . . . . . . 431 11.6.3 Least-Squares Support Vector Regressors . . . . . . . . . . . . 432 11.7 Variable Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435 11.7.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435 11.7.2 Variable Selection by Block Deletion . . . . . . . . . . . . . . . . 436 11.7.3 Performance Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 437 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438 A Conventional Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443 A.1 Bayesian Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443 A.2 Nearest-Neighbor Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445 B Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 B.1 Matrix Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 B.2 Least-Squares Methods and Singular Value Decomposition . . . 449 B.3 Covariance Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454 C Quadratic Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455 C.1 Optimality Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455 C.2 Properties of Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456 D Positive Semidefinite Kernels and Reproducing Kernel Hilbert Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 D.1 Positive Semidefinite Kernels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 D.2 Reproducing Kernel Hilbert Space . . . . . . . . . . . . . . . . . . . . . . . . 463 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465 Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467