机器学习 第12章归纳和分析学习的结合 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏1
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 1 机器学习 第12章 归纳和分析学习的结合
概述 纯粹的归纳学习方法通过在训练样例中寻找经 验化的规律来形成一般假设 纯粹的分析方法使用先验知识演绎推导一般假 设 ·本章考虑将归纳和分析的机制结合起来的方法, 并获得两者的优点:有先验知识时获得更高的 泛化精度和依赖训练数据克服先验知识的不足 所得到的结合的方法比纯粹的归纳方法和分析 方法的性能都要高 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏2
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 2 概述 • 纯粹的归纳学习方法通过在训练样例中寻找经 验化的规律来形成一般假设 • 纯粹的分析方法使用先验知识演绎推导一般假 设 • 本章考虑将归纳和分析的机制结合起来的方法， 并获得两者的优点：有先验知识时获得更高的 泛化精度和依赖训练数据克服先验知识的不足 • 所得到的结合的方法比纯粹的归纳方法和分析 方法的性能都要高
动机 归纳学习寻找拟合训练数据的一般假设,分析学习寻 找拟合先验知识的一般假设,同时使它覆盖训练数据 归纳方法和分析方法对假设的论证方法有根本区别, 因此优缺点互为补充,将它们结合起来有可能得到更 强有力的学习方法 纯粹的分析学习方法的优缺点 优点:可用先验知识从较少的数据中更精确地泛化以引导学 缺点:当先验知识不足或不正确时,可能产生误导 纯粹的归纳学习方法的优缺点 优点:不需要显示的先验知识,主要基于训练数据学习规律 缺点:训练数据不足时,会失败,会被其中隐式的归纳偏置 2031218所祝导习归纳和分析学习的结合作者:Mme译者:曾华军等讲者:陶晓鹏3
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 3 动机 • 归纳学习寻找拟合训练数据的一般假设，分析学习寻 找拟合先验知识的一般假设，同时使它覆盖训练数据 • 归纳方法和分析方法对假设的论证方法有根本区别， 因此优缺点互为补充，将它们结合起来有可能得到更 强有力的学习方法 • 纯粹的分析学习方法的优缺点 – 优点：可用先验知识从较少的数据中更精确地泛化以引导学 习 – 缺点：当先验知识不足或不正确时，可能产生误导 • 纯粹的归纳学习方法的优缺点 – 优点：不需要显示的先验知识，主要基于训练数据学习规律 – 缺点：训练数据不足时，会失败，会被其中隐式的归纳偏置 所误导
表12-纯粹的分析学习和纯粹 的归纳学习的比较 归纳学习 分析学习 目标拟合数据的假设拟合领域理论的 假设 论证统计推理 演绎推理 优点需要很少先验知识|从稀少的数据中 学习 缺陷|稀少的数据,不正|不完美的领域理 确的偏置 论 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏4
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 4 表12-1 纯粹的分析学习和纯粹 的归纳学习的比较 归纳学习 分析学习 目标 拟合数据的假设 拟合领域理论的 假设 论证 统计推理 演绎推理 优点 需要很少先验知识 从稀少的数据中 学习 缺陷 稀少的数据，不正 确的偏置 不完美的领域理 论
动机(2) 图12-1 概述了学习问题的分布范围,它随着可获得的先验 知识和训练数据不同而变化 在一个极端,有大量的训练数据,但没有先验知识 在另一个极端,有很强的先验知识,但训练数据很 少 多数实际学习问题位于这两个极端之间,通常可以 从近似的先验知识开始 本章考虑的问题是: 什么样的算法,使用近似的先验知识结合可用数据 来形成一般的假设 203.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏5
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 5 动机（2） • 图12-1 – 概述了学习问题的分布范围，它随着可获得的先验 知识和训练数据不同而变化 – 在一个极端，有大量的训练数据，但没有先验知识 – 在另一个极端，有很强的先验知识，但训练数据很 少 – 多数实际学习问题位于这两个极端之间，通常可以 从近似的先验知识开始 • 本章考虑的问题是： – 什么样的算法，使用近似的先验知识结合可用数据 来形成一般的假设
动机(3) 即使使用最纯粹的归纳学习算法,仍有机会基于特定学习仼务的 先验知识来选择设计方案 通常设计者将领域特定的知识嵌入到学习算法中,但我们感兴趣 的是一个系统能将先验知识和训练数据作为显示的输入给学习器 概括而言,我们感兴趣的是领域无关算法,这种算法使用显示输 入的领域相关的知识,这种算法具备以下的属性: 如果没有领域理论,它至少能像纯粹的归纳方法一样有效学习 如果没有完美的领域理论,它至少能像纯粹的分析方法一样有效学 如果领域理论和训练数据都不完美,它应能结合两者的长处,比单 纯的归纳或分析方法的性能要好 它应能处理训练数据中未知程度的差错 它应能处理领域理论中未知程度的差错 这里列出的期望目标很难达到,目前没有算法能以一般化的方式 2003 足所舊塏象肅柱 析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏6
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 6 动机（3） • 即使使用最纯粹的归纳学习算法，仍有机会基于特定学习任务的 先验知识来选择设计方案 • 通常设计者将领域特定的知识嵌入到学习算法中，但我们感兴趣 的是一个系统能将先验知识和训练数据作为显示的输入给学习器 • 概括而言，我们感兴趣的是领域无关算法，这种算法使用显示输 入的领域相关的知识，这种算法具备以下的属性： – 如果没有领域理论，它至少能像纯粹的归纳方法一样有效学习 – 如果没有完美的领域理论，它至少能像纯粹的分析方法一样有效学 习 – 如果领域理论和训练数据都不完美，它应能结合两者的长处，比单 纯的归纳或分析方法的性能要好 – 它应能处理训练数据中未知程度的差错 – 它应能处理领域理论中未知程度的差错 • 这里列出的期望目标很难达到，目前没有算法能以一般化的方式 满足所有这些约束
学习的归纳-分析途径 本章考虑的学习问题 已知 一个训练样例集合D,可能包含差错 一个领域理论B,可能包含差错 ·候选假设的空间H 求解 个最好地拟合训练样例和领域理论的假设 最好地拟合训练样例和领域理论的确切 定义 rg min kperrorp(h)+kgerrorB(h) 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏7
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 7 学习的归纳-分析途径 • 本章考虑的学习问题 – 已知 • 一个训练样例集合D，可能包含差错 • 一个领域理论B，可能包含差错 • 候选假设的空间H – 求解 • 一个最好地拟合训练样例和领域理论的假设 • 最好地拟合训练样例和领域理论的确切 定义 argmin k error (h) k error (h) D D B B h H +
学习的归纳-分析途径(2) 确定先验知识和数据权值的一种解决方法是使用贝叶 斯观点 贝叶斯定律描述了怎样计算给定训练数据D时假设h的后验概率 贝叶斯定律基于观察到的数据D以及先验知识计算后验概率,以P(h) P(D)和PDh)的形式表示 我们可以把P(h),P(D)和P(Dh)看作是某种形式的背景知识 贝叶斯理论可看作一种为领域理论加权的方法,它与观察到的数据D 一起,赋予h的后验概率为P(hD) 贝叶斯公式提供了为先验知识和观察到数据的贡献加权的方法 但是,贝叶斯公式隐含假定了关于P(h,P①D),P(Dh 率分布的完美知识 贝叶斯公式没有提供将这些近似已知的概率分布与观 察数据结合起来的方法 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏8
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 8 学习的归纳-分析途径（2） • 确定先验知识和数据权值的一种解决方法是使用贝叶 斯观点 – 贝叶斯定律描述了怎样计算给定训练数据D时假设h的后验概率 – 贝叶斯定律基于观察到的数据D以及先验知识计算后验概率，以P(h), P(D)和P(D|h)的形式表示 – 我们可以把P(h), P(D)和P(D|h)看作是某种形式的背景知识 – 贝叶斯理论可看作一种为领域理论加权的方法，它与观察到的数据D 一起，赋予h的后验概率为P(h|D) – 贝叶斯公式提供了为先验知识和观察到数据的贡献加权的方法 • 但是，贝叶斯公式隐含假定了关于P(h), P(D), P(D|h)概 率分布的完美知识 • 贝叶斯公式没有提供将这些近似已知的概率分布与观 察数据结合起来的方法
假设空间搜索 大多数学习任务可以刻画为假设空间上的搜索 任务而决定这个搜索任务的4个参数是: 假设空间H 搜索的初始假设h0 定义单个搜索步的搜索算子集合O 指定搜索目标的判据G 本章探索了3种方法,它们用先验知识来改变 纯归纳方法执行的搜索 使用先验知识推导出搜索起步的初始假设: Kbann 使用先验知识来改变假设空间搜索的目标:Ebn 2031218使先验识銮县用的摁蠹,Ql讲者;购晓鹏
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 9 假设空间搜索 • 大多数学习任务可以刻画为假设空间上的搜索 任务,而决定这个搜索任务的4个参数是： – 假设空间H – 搜索的初始假设h0 – 定义单个搜索步的搜索算子集合O – 指定搜索目标的判据G • 本章探索了3种方法，它们用先验知识来改变 纯归纳方法执行的搜索 – 使用先验知识推导出搜索起步的初始假设：Kbann – 使用先验知识来改变假设空间搜索的目标：Ebnn – 使用先验知识改变可用的搜索步：Focl
使用先验知识得到的初始假设 KBANN技术:一种使用先验知识的方法是将假设初始 化为完美拟合领域理论,然后按照需要归纳地精化初 始假设以拟合训练数据 这种技术的动机是:如果领域理论是正确的,初始假 设将正确分类所有训练样例,而无需再修正;如果初 始假设不能完美地分类训练样例,那么它需要被归纳 精华,以改进它在训练样例上的拟合度 在纯粹归纳的反向传播算法中,权值一般被初始化为 小的随机值,KBAN的含义是:即使领域理论是近似 正确的,将网络初始化为拟合领域理论,比初始化为 随机值有更好的近似开端 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏10
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 10 使用先验知识得到的初始假设 • KBANN技术：一种使用先验知识的方法是将假设初始 化为完美拟合领域理论，然后按照需要归纳地精化初 始假设以拟合训练数据 • 这种技术的动机是：如果领域理论是正确的，初始假 设将正确分类所有训练样例，而无需再修正；如果初 始假设不能完美地分类训练样例，那么它需要被归纳 精华，以改进它在训练样例上的拟合度 • 在纯粹归纳的反向传播算法中，权值一般被初始化为 小的随机值，KBANN的含义是：即使领域理论是近似 正确的，将网络初始化为拟合领域理论，比初始化为 随机值有更好的近似开端