Contents 8 Unsupervised Learni 8. 1 Clustering 143 8. 2 k-Means Clustering 145 8.2.1 Fuzzy c-Means Clustering 8.3(Agglomerative) Hierarchical Clustering 8.4 Exercises References 9 Estimating and Comparing Classifiers 9. 1 Comparing Classifiers and the No Free Lunch Theorem 9.1.1 Bias and Variance 9.2 Cross-Validation and Resampling methods 9.2.1 The Holdout Method 9.2.2 k-Fold Cross-Validation 9.2.3 Bootstrap 9.3 Measuring Classifier Performance 9.4 Compar 9.4.1 ROC Curves 9.4.2 McNemar's Test 9.4.3 Other Statistical Tests 9.4. 4 The Classification Toolbox 9.5 Combining classifiers 174 Reference 10 Projects 10.1 Retinal Tortuosity as an Indicator of Disease 177 10.2 Segmentation by Texture 10.3 Biometric Systems 10.3.2 Face Re References8 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 8.1 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 8.2 k-Means Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 8.2.1 Fuzzy c-Means Clustering . . . . . . . . . . . . . . . . . . . . . 148 8.3 (Agglomerative) Hierarchical Clustering . . . . . . . . . . . . . . . . . 150 8.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 9 Estimating and Comparing Classifiers . . . . . . . . . . . . . . . . . . . . . . 157 9.1 Comparing Classifiers and the No Free Lunch Theorem . . . . . . 157 9.1.1 Bias and Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 9.2 Cross-Validation and Resampling Methods . . . . . . . . . . . . . . . 160 9.2.1 The Holdout Method . . . . . . . . . . . . . . . . . . . . . . . . . 161 9.2.2 k-Fold Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . 162 9.2.3 Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 9.3 Measuring Classifier Performance . . . . . . . . . . . . . . . . . . . . . . 164 9.4 Comparing Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 9.4.1 ROC Curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 9.4.2 McNemar’s Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 9.4.3 Other Statistical Tests . . . . . . . . . . . . . . . . . . . . . . . . 169 9.4.4 The Classification Toolbox . . . . . . . . . . . . . . . . . . . . . 171 9.5 Combining Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 10 Projects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 10.1 Retinal Tortuosity as an Indicator of Disease . . . . . . . . . . . . . . 177 10.2 Segmentation by Texture . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 10.3 Biometric Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 10.3.1 Fingerprint Recognition . . . . . . . . . . . . . . . . . . . . . . . 184 10.3.2 Face Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 Contents xi