第七章机器学习 S7.1基本概念 1机器学习 (1)学习：没有一个精确，公认的定义，主要有以下几 种观点： ①学习是系统改进其性能的过程，西蒙1980年提出的 ②学习是获取知识的过程 ③学习是技能的获取（弹钢琴） ④学习是事物规律的发现过程 学习是一个有特定目的的知识获取过程，其内在 行为是获取知识，积累经验，发现规律，外部表现是 改进性能，适应环境，实现系统的自我完善
第七章 机器学习 §7.1 基本概念 1 机器学习 (1)学习：没有一个精确，公认的定义，主要有以下几 种观点： ①学习是系统改进其性能的过程，西蒙1980年提出的 ②学习是获取知识的过程 ③学习是技能的获取（弹钢琴） ④学习是事物规律的发现过程 学习是一个有特定目的的知识获取过程，其内在 行为是获取知识，积累经验，发现规律，外部表现是 改进性能，适应环境，实现系统的自我完善
(2)机器学习：是计算机能模拟人的学习行为， 自动地通过学习获取知识和技能，不断改善 性能，实现自我完善。机器学习的研究围绕 三个方面： ①学习机理的研究：对人类学习机制的研究 ②学习方法的研究：研究人类学习过程 ③面向任务的研究 2学习系统：是能够在一定程度上实现机器学 习的系统，一个学习系统应具有如下条件和 能力。 (1)具有适当的学习环境 环境：学习系统进行学习时的信息来源
(2)机器学习：是计算机能模拟人的学习行为， 自动地通过学习获取知识和技能，不断改善 性能，实现自我完善。机器学习的研究围绕 三个方面： ①学习机理的研究：对人类学习机制的研究 ②学习方法的研究：研究人类学习过程 ③面向任务的研究 2 学习系统：是能够在一定程度上实现机器学 习的系统，一个学习系统应具有如下条件和 能力。 (1)具有适当的学习环境 环境：学习系统进行学习时的信息来源
例学习系统是学生，环境就是教师，书本，各种应 用、实践过程。学习系统用于专家系统的获取时， 环境是领域专家，文字资料，图像等。博弈时，环 境是博弈的对手和千变万化的棋局。 (2)具有一定的学习能力 学习，验证 (3)能应用学习到的知识求解问题 能把学到的信息用于未来的估计，分类，决策， 控制 (4)能提高系统的性能 环境 学习 知识库 执行与评价
例 学习系统是学生，环境就是教师，书本，各种应 用、实践过程。学习系统用于专家系统的获取时， 环境是领域专家，文字资料，图像等。博弈时，环 境是博弈的对手和千变万化的棋局。 (2)具有一定的学习能力 学习，验证 (3)能应用学习到的知识求解问题 能把学到的信息用于未来的估计，分类，决策， 控制 (4)能提高系统的性能 环境 学习 知识库 执行与评价
● 学习是通过对环境的搜索取得外部信息，然后 分析，综合类比，归纳获得知识，将知识送入 知识库并进行适当的组织，拟定用于处理系统 面临的现实问题，评价用于验证执行环节执行 的效果。 。评价有两种： ①把评价时所需的性能指标直接建立在系统中有 由系统对执行环节得到的结果进行评价 ②由人来协助完成评价工作 3机器学习的发展，分三个阶段 (1)神经元模型的研究 。20世纪50年代中期，主要研究工作是应用决策 理论的方法研制可适应环境的通用学习系统
• 学习是通过对环境的搜索取得外部信息，然后 分析，综合类比，归纳获得知识，将知识送入 知识库并进行适当的组织，拟定用于处理系统 面临的现实问题，评价用于验证执行环节执行 的效果。 • 评价有两种： ①把评价时所需的性能指标直接建立在系统中有 由系统对执行环节得到的结果进行评价 ②由人来协助完成评价工作 3 机器学习的发展，分三个阶段 (1)神经元模型的研究 • 20世纪50年代中期，主要研究工作是应用决策 理论的方法研制可适应环境的通用学习系统
·1957年罗森勃拉特提出感知器模型，由阈值型神经元 组成，试图模拟动物和人脑的感知及学习能力 ·塞缪尔研制的具有自学习，自组织，自适应能力的跳 棋程序 (2)符号学习的研究 ·20世纪70年代中期，研究者们力图在高层只是符号表 示的基础上建立人类的学习模型，用逻辑的演绎及归 纳推理代替数值的或统计的方法 ·莫斯托夫的指导式学习 温斯顿和卡鲍尼尔的类比学习 尼切尔等人的解释学习 (3)连接学习的研究 ·20世纪80年代
• 1957年罗森勃拉特提出感知器模型，由阈值型神经元 组成，试图模拟动物和人脑的感知及学习能力 • 塞缪尔研制的具有自学习，自组织，自适应能力的跳 棋程序 (2)符号学习的研究 • 20世纪70年代中期，研究者们力图在高层只是符号表 示的基础上建立人类的学习模型，用逻辑的演绎及归 纳推理代替数值的或统计的方法 • 莫斯托夫的指导式学习 温斯顿和卡鲍尼尔的类比学习 尼切尔等人的解释学习 (3)连接学习的研究 • 20世纪80年代
·VLSI技术，超导技术，生物技术，光学技术发展，提 出了多层网络的学习算法，进入连接学习阶段一非线 性大规模并行处理为主流的神经网络的研究。 -连接学习适用于连续语音的语音识别及连续模式的 识别 一符号学习在离牧模式识别及专家系统的规则获取方 面有效多应用 目前里奇开发的集成系统将两者结合起来 4机器学习的分类 (1)按学习方法分类 ·机械式学习 ·指导式学习
• VLSI技术，超导技术，生物技术，光学技术发展，提 出了多层网络的学习算法，进入连接学习阶段—非线 性大规模并行处理为主流的神经网络的研究。 –连接学习适用于连续语音的语音识别及连续模式的 识别 –符号学习在离散模式识别及专家系统的规则获取方 面有效多应用 目前里奇开发的集成系统将两者结合起来 4 机器学习的分类 (1)按学习方法分类 • 机械式学习 • 指导式学习
示例学习 ·类比学习 ·解释学习 (2)按推理方式分类 ·基于演绎的学习：是从已知前提逻辑地推出结论的 一种推理，解释学习其推理过程主要是演绿方法， 归于一类 ·基于归纳的学习：是从特殊事物或大量实例概括出 一般规则或结论的一种推理，由归纳推理得到的结 论是否确实是前提的逻辑结论是不能断定的。 示例学习，发现学习以归纳推理为主，划归一类
• 示例学习 • 类比学习 • 解释学习 (2)按推理方式分类 • 基于演绎的学习：是从已知前提逻辑地推出结论的 一种推理，解释学习其推理过程主要是演绎方法， 归于一类 • 基于归纳的学习：是从特殊事物或大量实例概括出 一般规则或结论的一种推理，由归纳推理得到的结 论是否确实是前提的逻辑结论是不能断定的。 示例学习，发现学习以归纳推理为主，划归一类
(3)按综合属性分类 ·归纳学习 ·分析学习 ·连接学习 ·遗传算法 ·分类器系统
(3)按综合属性分类 • 归纳学习 • 分析学习 • 连接学习 • 遗传算法 • 分类器系统
§7.2机械式学习 1机械式学习一死记学习，是一种最简单，最原 始的学习方法。把经过评价所取得的知识存储 到知识库中，求解问题时从知识库种检索出相 应的知识，直接用来求解问题 2机械式学习实质上是用存储空间来换取处理时 间，要全面权衡时间与空间的关系
§7.2 机械式学习 1 机械式学习—死记学习，是一种最简单，最原 始的学习方法。把经过评价所取得的知识存储 到知识库中，求解问题时从知识库种检索出相 应的知识，直接用来求解问题 2 机械式学习实质上是用存储空间来换取处理时 间，要全面权衡时间与空间的关系
§7.3指导式学习—嘱咐式学习， 教授式学习 指导式学习过程有下列四步骤组成： 1征询指导者的指示或建议 ·简单征询：由指导者给出一般性的意见，系统 将其具体化 ·复杂征询：由指导者给出一般性的意见，具体 鉴别知识库中可能存在的问题，给出修改意见 ·被动征询：系统被动的等待指导者提供意见 ·主动征询：系统不只是被动地接受，而且还能 主动提出询问
§7.3 指导式学习—嘱咐式学习， 教授式学习 指导式学习过程有下列四步骤组成： 1 征询指导者的指示或建议 • 简单征询：由指导者给出一般性的意见，系统 将其具体化 • 复杂征询：由指导者给出一般性的意见，具体 鉴别知识库中可能存在的问题，给出修改意见 • 被动征询：系统被动的等待指导者提供意见 • 主动征询：系统不只是被动地接受，而且还能 主动提出询问