数据分析与数据挖掘 二、模型评估与选择
典型的机器学习过程 使用学习算法(learning algorithm) 类别标记 训练数据 (label) 模型 什么模型好？ 训练 色泽 根蒂 敲声 好瓜 青绿 蜷缩 浊响 是 决策树，神经网络，支持向量机 乌黑 蜷缩 浊响 Boosting,贝叶斯网， 青绿 硬挺 清脆 否 乌黑 稍蜷 沉闷 否 ?=是 新数据样本 (浅白，蜷缩，浊响，？) 类别标记 未知 泛化能力强！ 能很好地适用于 unseen instance 例如，错误率低、精度高 然而，我们手上没有unseen instance
! unseen instance 柺廐䙨 侟ㆇ" 㾼◷叞╼㈛猳 unseen instance……
泛化误差VS.经验误差 错误率(error rate):e=a/m;m个样本中错误a个. 准确率（精度，accuracy.):a=1-e. 误差(error)：实际预测输出与样本的真实输出之间的差异. 泛化误差(generalization error):在“未来”样本上的误差； 经验误差(empirical error):在训练集上的误差，亦称“ 训练误差”(training error). 口泛化误差越小越好 口经验误差是否越小越好？ NO！因为会出现“过拟合”(overfitting)
/#6) vs. 496) )11/1 1 ) ) - - ((1 ( ) )11/1 /#6) ).)1 /. )11/1 &+-.,;16) 496))-1( )11/1 &538;16)=2 536)1 .. )11/1 p /#6)7(7' p 496)*$7(7': NO! % !"0抨㗀⛩(overfitting)
经验误差与过拟合 口过拟合： 学习器把训练样本学习的“"太好”，将训练样本本身的特点当 做所有样本的一般性质，导致泛化性能下降 ● 优化目标加正则项 ●early stop,dropout 口欠拟合： 对训练样本的一般性质尚未学好 ●决策树：拓展分支 ●神经网络：增加训练轮数
p H, ! *D=41!9 :$D=411F987' )/419eC(E#B6(AI l :25d l p L, , "D=419eC(E%0!: l @? D=a.
过拟合(overfitting)VS.欠拟合(underfitting) 过拟合模型分类结果： →不是树叶 树叶训练样本 (误以为树叶必须有锯齿) 新样本 欠拟合模型分类结果： →是树叶 误以为绿色的都是树叶) 图2.1过拟合、欠拟合的直观类比
(overfitting) vs. (underfitting)
过拟合(overfitting)VS.欠拟合(underfitting) How Overfitting affects Prediction Underfitting Overfitting Predictive Error Error on Test Data Error on Training Data Model Complexity Ideal Range for Model Complexity
(overfitting) vs. (underfitting)
模型选择(model selection) 三个关键问题： ▣如何获得测试结果？ 〉 评估方法 ▣如何评估性能优劣？ 〉 性能度量 ▣如何判断实质差别？ 比较检验
" (model selection) $%&: p p p # !'
评估方法 关键：怎么获得“测试集”(test set))? 测试集应该与训练集“互斥” 测试集不应出现在训练集中！ 常见方法： ▣留出法(hold-out) 口交叉验证法(cross validation) ▣自助法(bootstrap)
!(test set) ! ! p (hold-out) p " (cross validation) p (bootstrap)
留出法 拥有的数据集 训练集 测试集 通常将包含m个样本的数据集D={(c1,1),(c2,2),.,(xm,ym)} 拆分成训练集S和测试集T(互斥)： 保持数据类别比例！ 注意： >保持数据分布一致性，例如：分层采样stratified sampling >多次重复划分（例如：100次随机划分）-单次结果不稳定」 >测试集（比例）不能太大(why？)、不能太小（例如：1/5w1/3)
1. &*2)(; /% Ø ')(#5$ : "8,, )( Ø -9 ( : 100-:+)-- ! Ø 07;4 4 ! ( 1/5~1/3) 63; 07; ()
k-折交叉验证法(k-fold cross validation) 若k=m,则得到“留一法” D (leave-one-out,LOO) 不受随机样本划分方式的 D1 D2 Ds D Ds Do D:Ds Do D1o 影响，结果往往比较准确： 训练集 测试集 当数据集比较大时，计算 D D2 Ds Da Ds Di D:Ds D10 测试结果1 开销难以忍受。 D1 D2 D3 D Ds D6 Di Ds D1o 测试结果2 平均返回 结果 D2 D3 Da Ds Do D:Ds Do D1o 测试结果10 图2.2 10折交又验证示意图 将数据集分层采样划分为k个大小相似的互斥子集，每次用k-1个子 集的并集作为训练集，余下的子集作为测试集，最终返回k个测试结 果的均值，k最常用的取值是10. k折交叉验证通常随机使用不同的划分重复p次，最终的评估结果是这p 次k折交叉验证结果的均值，例如常见的“10次10折交叉验证
k- ( ( - ) k = m (leave-one-out, LOO) • "/.T$O8 k #?> 0!T:9= k-1 ! T>&T GBT>!T k 4%=>310. • k- UHN%R6=>P p94C>I D73Mp 9k- UHD7> %E>10910- UH R6851(> *,D7++;K@ )/.T;K 2FA 'QS ,
