4 Statistical Pattern Recognition 43 4.1 Measured data and measurement errors 4.2 Probability Theory 4.2.2 Conditional Probability and Bayes'Rule 4.2.3 Naive Bayes Classifier 4.3 Continuous Random variables 4.3.1 The Multivariate Gaussian 4.3.2 The Covariance matrix 4.3.3 The Mahalanobis Distance 363479θ2 4.4 Exercis References 5 Supervised Learning 5.1 Parametric and Non-parametric Learnin 5.2 Parametric Learning 75 5.2.1 Bayesian Decision Theory 5.2.2 Discriminant Functions and Decision Boundaries 5.2.3 MAP(Maximum A Posteriori) Estimator 5.3 Exercises References 6 Nonparametric Learning 6.1 Histogram Estimator and Parzen Windows 6.2 k-Nearest Neighbor (k-NN) Classification 6.3 Artificial Neural Networks 104 6.4 Kernel machines 6.5 Exercises 7 Feature Extraction and Selection 7.1 Reducing Dimensionality 7.1.1 Preprocessing 7. 2 Feature Selection 124 7. 2. 1 Inter/Intraclass Distance 7. 2.2 Subset Selection 7.3 Feature Extraction 7.3. 1 Principal Component Analysis 7.3.2 Linear Discriminant Anal 140 References 1414 Statistical Pattern Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.1 Measured Data and Measurement Errors . . . . . . . . . . . . . . . . . . 43 4.2 Probability Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.2.1 Simple Probability Theory . . . . . . . . . . . . . . . . . . . . . . . 43 4.2.2 Conditional Probability and Bayes’ Rule . . . . . . . . . . . . . 46 4.2.3 Naı¨ve Bayes Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.3 Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . 54 4.3.1 The Multivariate Gaussian . . . . . . . . . . . . . . . . . . . . . . . 57 4.3.2 The Covariance Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.3.3 The Mahalanobis Distance . . . . . . . . . . . . . . . . . . . . . . . 69 4.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 5 Supervised Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 5.1 Parametric and Non-parametric Learning . . . . . . . . . . . . . . . . . . 75 5.2 Parametric Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 5.2.1 Bayesian Decision Theory . . . . . . . . . . . . . . . . . . . . . . . 75 5.2.2 Discriminant Functions and Decision Boundaries . . . . . . 87 5.2.3 MAP (Maximum A Posteriori) Estimator . . . . . . . . . . . . 94 5.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 6 Nonparametric Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 6.1 Histogram Estimator and Parzen Windows . . . . . . . . . . . . . . . . . 99 6.2 k-Nearest Neighbor (k-NN) Classification . . . . . . . . . . . . . . . . . 100 6.3 Artificial Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 6.4 Kernel Machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 6.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 7 Feature Extraction and Selection . . . . . . . . . . . . . . . . . . . . . . . . . . 123 7.1 Reducing Dimensionality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 7.1.1 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 7.2 Feature Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 7.2.1 Inter/Intraclass Distance . . . . . . . . . . . . . . . . . . . . . . . . . 124 7.2.2 Subset Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 7.3 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 7.3.1 Principal Component Analysis . . . . . . . . . . . . . . . . . . . . 127 7.3.2 Linear Discriminant Analysis . . . . . . . . . . . . . . . . . . . . . 135 7.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 x Contents