机器学习 第1章引言 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 1 机器学习 第1章 引言
什么是机器学习 什么是机器学习 计算机程序如何随着经验积累自动提高性能 系统自我改进的过程 历史 成功应用 学习识别人类讲话 学习驾驶车辆 学习分类新的天文结构 学习对弈西洋双陆棋 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏 2
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 2 什么是机器学习 什么是机器学习 计算机程序如何随着经验积累自动提高性能 系统自我改进的过程 历史 成功应用 学习识别人类讲话 学习驾驶车辆 学习分类新的天文结构 学习对弈西洋双陆棋
相关学科 人工智能 计算复杂性理论 控制论 信息论 统计学 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 3 相关学科 • 人工智能 • 计算复杂性理论 • 控制论 • 信息论 • 统计学
学习问题的标准描述 定义 如果一个计算机针对某类任务T的用P衡量的性能根 据经验E来自我完善,那么我们称这个计算机程序 在从经验E中学习,针对某类任务T,它的性能用P 来衡量。 ·西洋跳棋学习问题的解释 E,和自己下棋 T,参与比赛 P,比赛成绩(或赢棋能力,击败对手的百分比) 手写识别学习问题 器人驾驶学羽 lithe译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 4 学习问题的标准描述 • 定义 – 如果一个计算机针对某类任务T的用P衡量的性能根 据经验E来自我完善，那么我们称这个计算机程序 在从经验E中学习，针对某类任务T，它的性能用P 来衡量。 • 西洋跳棋学习问题的解释 – E，和自己下棋 – T，参与比赛 – P，比赛成绩（或赢棋能力，击败对手的百分比） • 手写识别学习问题 • 机器人驾驶学习问题
学习问题的标准描述(2) 定义太宽泛 甚至包括了以非常直接的方式通过经验自我 提高的计算机程序 实际的机器学习问题往往比较复杂 定义一类问题 探索解决这类问题的方法 理解学习问题的基本结构和过程 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 5 学习问题的标准描述（2） • 定义太宽泛 – 甚至包括了以非常直接的方式通过经验自我 提高的计算机程序 • 实际的机器学习问题往往比较复杂 – 定义一类问题 – 探索解决这类问题的方法 – 理解学习问题的基本结构和过程
设计一个学习系统 基本设计方法和学习途径 (以西洋跳棋为例 选择训练经验 选择目标函数 选择目标函数的表示 选择函数逼近算法 最终设计 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 6 设计一个学习系统 • 基本设计方法和学习途径 （以西洋跳棋为例） – 选择训练经验 – 选择目标函数 – 选择目标函数的表示 – 选择函数逼近算法 – 最终设计
设计一个学习系统 西洋跳棋学习问题 任务T,下西洋跳棋 性能标准P,击败对手的百分比 训练经验E,和自己进行训练对弈 学习系统需要选择 要学习的知识的确切类型 对于这个目标知识的表示 种学习机制 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 7 设计一个学习系统 • 西洋跳棋学习问题 – 任务T，下西洋跳棋 – 性能标准P，击败对手的百分比 – 训练经验E，和自己进行训练对弈 • 学习系统需要选择 – 要学习的知识的确切类型 – 对于这个目标知识的表示 – 一种学习机制
选择训练经验 第一个关键属性,训练经验能否为系统 的决策提供直接或间接的反馈 第二个重要属性,学习器在多大程度上 控制样例序列 第三个重要属性,训练样例的分布能多 好地表示实例分布,通过样例来衡量最 终系统的性能 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 8 选择训练经验 • 第一个关键属性，训练经验能否为系统 的决策提供直接或间接的反馈 • 第二个重要属性，学习器在多大程度上 控制样例序列 • 第三个重要属性，训练样例的分布能多 好地表示实例分布，通过样例来衡量最 终系统的性能
选择目标函数 目标函数 Choosemove ChooseMove:B→M,接受合法棋局集合中 的棋盘状态作为输入,并从合法走子集合中 选择某个走子作为输出 问题转化 我们把提高任务T的性能P的问题转化(或简 化)为学习像 ChooseMove这样某个特定的 目标函数 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 9 选择目标函数 • 目标函数ChooseMove – ChooseMove: B→M，接受合法棋局集合中 的棋盘状态作为输入，并从合法走子集合中 选择某个走子作为输出 • 问题转化 – 我们把提高任务T的性能P的问题转化（或简 化）为学习像ChooseMove这样某个特定的 目标函数
选择目标函数(2) ChooseMove的评价 学习问题很直观地转化成这个函数 这个函数的学习很困难,因为提供给系统的是间接 训练经验 另一个目标函数V 个评估函数,V:B→>R,它为任何给定棋局赋予 个数值评分,给好的棋局赋予较高的评分 优点,学习简单 V的应用 根据Ⅴ能够轻松地找到当前棋局的最佳走法 2003.12.18 机器学习-引言作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-引言作者：Mitchell 译者：曾华军等讲者：陶晓鹏 10 选择目标函数（2） • ChooseMove的评价 – 学习问题很直观地转化成这个函数 – 这个函数的学习很困难，因为提供给系统的是间接 训练经验 • 另一个目标函数V – 一个评估函数，V: B→R，它为任何给定棋局赋予 一个数值评分，给好的棋局赋予较高的评分 – 优点，学习简单 • V的应用 – 根据V能够轻松地找到当前棋局的最佳走法