机器学习 第5章评估假设 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 1 机器学习 第5章 评估假设
概述 对假设的精度进行评估是机器学习中的基本问题 本章介绍用统计方法估计假设精度,主要解决以下三 个问题: 已知一个假设在有限数据样本上观察到的精度,怎样估计它 在其他实例上的精度? 如果一个假设在某些数据样本上好于另一个,那么一般情况 下该假设是否更准确? 数据有限时,怎样高效地利用这些数据,通过它们既能学 习到假设,还能估计其精度? 统计的方法,结合有关数据基准分布的假定,使我们 可以用有限数据样本上的观察精度来逼近整个数据分 布上的真实精度 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏 2
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 2 概述 • 对假设的精度进行评估是机器学习中的基本问题 • 本章介绍用统计方法估计假设精度，主要解决以下三 个问题： – 已知一个假设在有限数据样本上观察到的精度，怎样估计它 在其他实例上的精度？ – 如果一个假设在某些数据样本上好于另一个，那么一般情况 下该假设是否更准确？ – 当数据有限时，怎样高效地利用这些数据，通过它们既能学 习到假设，还能估计其精度？ • 统计的方法，结合有关数据基准分布的假定，使我们 可以用有限数据样本上的观察精度来逼近整个数据分 布上的真实精度
动机 对学习到的假设进行尽可能准确地性能评估十分重要 为了知道是否可以使用该假设 是许多学习方法的重要组成部分 当给定的数据集有限时,要学习一个概念并估计其将 来的精度,存在两个很关键的困难: 估计的困难 使用与训练样例和假设无关的测试样例 估计的方差 即使假设精度在独立的无偏测试样例上测量,得到的精度仍可能 与真实精度不同 测试样例越少,产生的方差越大 本章讨论了对学到的假设的评估、对两个假设精度的 比较、两个学习算法精度的比较 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 3 动机 • 对学习到的假设进行尽可能准确地性能评估十分重要 – 为了知道是否可以使用该假设 – 是许多学习方法的重要组成部分 • 当给定的数据集有限时，要学习一个概念并估计其将 来的精度，存在两个很关键的困难： – 估计的困难 • 使用与训练样例和假设无关的测试样例 – 估计的方差 • 即使假设精度在独立的无偏测试样例上测量，得到的精度仍可能 与真实精度不同。 • 测试样例越少，产生的方差越大 • 本章讨论了对学到的假设的评估、对两个假设精度的 比较、两个学习算法精度的比较
学习问题的框架 有一所有可能实例的空间X,其中定义了多个 目标函数,我们假定Ⅹ中不同实例具有不同的 出现频率。一种合适的建模方式是,假定存在 未知的概率分布D,它定义了X中每一实例 出现的概率。 学习任务是在假设空间上学习一个目标概念, 训练样例的每一个实例按照分布D独立地抽取 然后连同正确的目标值提供给学习器。 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 4 学习问题的框架 • 有一所有可能实例的空间X，其中定义了多个 目标函数，我们假定X中不同实例具有不同的 出现频率。一种合适的建模方式是，假定存在 一未知的概率分布D，它定义了X中每一实例 出现的概率。 • 学习任务是在假设空间上学习一个目标概念， 训练样例的每一个实例按照分布D独立地抽取， 然后连同正确的目标值提供给学习器
评估假设的问题 给定假设h和包含若干按D分布抽取的样 例的数据集,如何针对将来按同样分布 抽取的实例,得到对h的精度最好估计 这一精度估计的可能的误差是多少 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 5 评估假设的问题 • 给定假设h和包含若干按D分布抽取的样 例的数据集，如何针对将来按同样分布 抽取的实例，得到对h的精度最好估计 • 这一精度估计的可能的误差是多少
样本错误率和真实错误率 定义:假设h关于目标函数f和数据样本S的样 本错误率(标记为eror(h) emor(h)=∑6((x,M(x) n=s 6(MD=(1f(x)≠x) 10 othenvise 定义:假设h关于目标函数f分布D的真实错 误率(标记为eroh)) error(h)=Pr[f(x)+h(x) 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 6 样本错误率和真实错误率 • 定义：假设h关于目标函数f和数据样本S的样 本错误率（标记为errors (h)） • 定义：假设h关于目标函数f和分布D的真实错 误率（标记为errorD(h)） = x S s f x h x n error h ( ( ), ( )) 1 ( ) = otherwise f x h x f x h x ( ) ( ) 0 1 ( ( ), ( )) n =| S | error (h) Pr[ f (x) h(x)] x D D =
样本错误率和真实错误率(2) 我们想知道的是假设的真实误差,因为 这是在分类未来样例时可以预料到的误 差 我们所能测量的只是样本错误率,因为 样本数据是我们知道的。 ·本节要考虑的问题是:样本错误率在何 种程度上提供了对真实错误率的估计? 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 7 样本错误率和真实错误率（2） • 我们想知道的是假设的真实误差，因为 这是在分类未来样例时可以预料到的误 差。 • 我们所能测量的只是样本错误率，因为 样本数据是我们知道的。 • 本节要考虑的问题是：样本错误率在何 种程度上提供了对真实错误率的估计？
离散值假设的置信区间 先考虑离散值假设的情况,比如: 样本S包含n个样例,它们的抽取按照概率分布D, 抽取过程是相互独立的,并且不依赖于假设h n>=30 假设h在这n个样例上犯了r个错误 根据上面的条件,统计理论可以给出以下断 没有其他信息的话,真实错误率 error(h)最可能的 值是样本错误率 cerrors((h)=rn 有大约95%的可能性,真实错误率处于下面的区间 内 error:(h)+1.96/errors(h)(I-errors(h) 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 8 离散值假设的置信区间 • 先考虑离散值假设的情况，比如： – 样本S包含n个样例，它们的抽取按照概率分布D， 抽取过程是相互独立的，并且不依赖于假设h – n>=30 – 假设h在这n个样例上犯了r个错误 • 根据上面的条件，统计理论可以给出以下断言： – 没有其他信息的话，真实错误率errorD(h)最可能的 值是样本错误率errorS (h)=r/n – 有大约95%的可能性，真实错误率处于下面的区间 内： n error h error h error h S S S ( )(1 ( )) ( ) 1.96 −
举例说明 数据样本S包含n=40个样例,并且假设h在这些数据上 生了r=12个错误,这样样本错误率为 error(h)=12/40=0.3 如果没有更多的信息,对真实错误率 error(h)的最好的 估计即为0.3 如果另外收集40个随机抽取的样例S’,样本错误率 errors,(h将与原来的eror(h)存在一些差别 如果不断重复这一实验,每次抽取一个包含40样例的 样本,将会发现约95%的实验中计算所得的区间包含 真实错误率 将上面的区间称为eroo(h)的95%置信区间估计 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 9 举例说明 • 数据样本S包含n=40个样例，并且假设h在这些数据上 产生了r=12个错误，这样样本错误率为 errorS (h)=12/40=0.3 • 如果没有更多的信息，对真实错误率errorD(h)的最好的 估计即为0.3 • 如果另外收集40个随机抽取的样例S’，样本错误率 errorS’(h)将与原来的errorS (h)存在一些差别 • 如果不断重复这一实验，每次抽取一个包含40样例的 样本，将会发现约95%的实验中计算所得的区间包含 真实错误率 • 将上面的区间称为errorD(h)的95%置信区间估计
置信区间表达式的推广 常数196是由95%这一置信度确定的 定义么为计算N%置信区间的常数(取值见表5 1),计算 error(h)的N%置信区间的一般表达 式(公式51)为: errors(h)+Ey/erors(hXl-errors (h) 可以求得同样情况下的68%置信区间,从直觉 上可以看出68%置信区间要小于95%置信区间, 因为减小了要求 error(h)落入的概率 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 10 置信区间表达式的推广 • 常数1.96是由95%这一置信度确定的 • 定义zN为计算N%置信区间的常数（取值见表5- 1），计算errorD(h)的N%置信区间的一般表达 式（公式5.1）为： • 可以求得同样情况下的68%置信区间，从直觉 上可以看出68%置信区间要小于95%置信区间， 因为减小了要求errorD(h)落入的概率 n error h error h error h z S S S N ( )(1 ( )) ( ) −