第2章监督学习… …21 2.1分类与回归… …21 22泛化、过拟合与欠拟合… …22 23监督学习算法… …24 2.3.1一些样本数据集… …25 2.3.2k近邻… …28 2.3.3线性模型 …35 2.34朴素贝叶斯分类器… …53 23.5决策树… 54 2.3.6决策树集成… …64 23.7核支持向量机… …7 2.3.8神经网络（深度学习）… 444…80 2.4。分类器的不确定度估计… .91 2.4.】决策函数 2.4.2预测概率… …94 2.4.3多分类问题的不确定度… …96 2.5小结与展望… …98 第3章无监督学习与预处理… 4…100 3.1无监督学习的类型 100 3.2无监督学习的挑战 101 3.3预处理与缩放… …101 3.3.】不同类型的预处理… 102 3.3.2应用数据变换… …l02 3.3.3对训练数据和测试数据进行相同的缩放… 104 3.3.4预处理对监督学习的作用… …06 3.4降维、特征提取与流形学习… 107 34.1主成分分析 …l07 3.4.2非负矩阵分解… …120 3.4.3用t-SNE进行流形学习… …126 35聚类 …130 3.5.1k均值聚类… …130 3.5.2凝聚聚类 …140 3.5.3 DBSCAN …143 3.5.4聚类算法的对比与评估… …147 3.5.5聚类方法小结… …l59 3.6小结与展望… 159 viI目录vi ｜ 目录 第 2 章 监督学习 ..............................................................................................................................21 2.1 分类与回归 ...............................................................................................................................21 2.2 泛化、过拟合与欠拟合 ...........................................................................................................22 2.3 监督学习算法 ...........................................................................................................................24 2.3.1 一些样本数据集 ..........................................................................................................25 2.3.2 k 近邻 ...........................................................................................................................28 2.3.3 线性模型 ......................................................................................................................35 2.3.4 朴素贝叶斯分类器 ......................................................................................................53 2.3.5 决策树 ..........................................................................................................................54 2.3.6 决策树集成 ..................................................................................................................64 2.3.7 核支持向量机 ..............................................................................................................71 2.3.8 神经网络（深度学习） ................................................................................................80 2.4 分类器的不确定度估计 ...........................................................................................................91 2.4.1 决策函数 ......................................................................................................................91 2.4.2 预测概率 ......................................................................................................................94 2.4.3 多分类问题的不确定度 ..............................................................................................96 2.5 小结与展望 ...............................................................................................................................98 第 3 章 无监督学习与预处理......................................................................................................100 3.1 无监督学习的类型 .................................................................................................................100 3.2 无监督学习的挑战 .................................................................................................................101 3.3 预处理与缩放 .........................................................................................................................101 3.3.1 不同类型的预处理 ....................................................................................................102 3.3.2 应用数据变换 ............................................................................................................102 3.3.3 对训练数据和测试数据进行相同的缩放 ................................................................104 3.3.4 预处理对监督学习的作用 ........................................................................................106 3.4 降维、特征提取与流形学习 .................................................................................................107 3.4.1 主成分分析 ................................................................................................................107 3.4.2 非负矩阵分解 ............................................................................................................120 3.4.3 用 t-SNE 进行流形学习 ............................................................................................126 3.5 聚类 .........................................................................................................................................130 3.5.1 k 均值聚类 .................................................................................................................130 3.5.2 凝聚聚类 ....................................................................................................................140 3.5.3 DBSCAN ....................................................................................................................143 3.5.4 聚类算法的对比与评估 ............................................................................................147 3.5.5 聚类方法小结 ............................................................................................................159 3.6 小结与展望 .............................................................................................................................159