信息检索与数据挖掘 2019年4月16日 讨论3-3-3：偏差一方差折中准则 学习误差=偏差+方差。通常情况下，这两个部 分不会同时最小。当我们比较两个学习方法T和T2 时，大部分情况下最后的结果都是，其中一个方法 偏差高方差低而另一个方法偏差低方差高。因此， 从两个学习方法中选择一个时，我们不是简单地选 择能够在不同训练集上产生好的分类器的学习方法 (方差小)，也不是选择那些能学出复杂决策边界 的学习方法（偏差小）。实际的做法是，根据应用 的需要，选择不同的权重对偏差和方差进行加权求 和。这种折衷称为偏差-方差折衷准则(bias variance tradeoff)信息检索与数据挖掘 2019年4月16日 讨论3-3-3：偏差—方差折中准则 • 学习误差 = 偏差 + 方差。通常情况下，这两个部 分不会同时最小。当我们比较两个学习方法Г1和Г2 时，大部分情况下最后的结果都是，其中一个方法 偏差高方差低而另一个方法偏差低方差高。因此， 从两个学习方法中选择一个时，我们不是简单地选 择能够在不同训练集上产生好的分类器的学习方法 （方差小），也不是选择那些能学出复杂决策边界 的学习方法（偏差小）。实际的做法是，根据应用 的需要，选择不同的权重对偏差和方差进行加权求 和。这种折衷称为偏差-方差折衷准则（bias– variance tradeoff）。 4