清华大学出版社 TSINGHUA UNIVERSITY PRESS 第8章机器学习 8.1机器学习的基本概念 8.2机械学习 8.3指导学习 8.4类比学习 8.5归纳学习 8.6解释学习 8.7知识发现与数据挖掘 8.8学习控制系统 合
第8章 机器学习 8.1 机器学习的基本概念 8.2 机械学习 8.3 指导学习 8.4 类比学习 8.5 归纳学习 8.6 解释学习 8.7 知识发现与数据挖掘 8.8 学习控制系统
清华大学出版社 TSINGHUA UNIVERSITY PRESS 8.1机器学习的基本概念 8.1.1 什么是机器学习 8.1.2学习系统 8.1.3 机器学习的主要策略 8.1.4机器学习系统的基本结构 回
8.1 机器学习的基本概念 8.1.1 什么是机器学习 8.1.2 学习系统 8.1.3 机器学习的主要策略 8.1.4 机器学习系统的基本结构
清华大学出版社 TSINGHUA UNIVERSITY PRESS 8.1.1什么是机器学习 1.学习 机器学习的核心是学习，关于学习至今还没有一个精 确的、能被公认的定义。目前，对学习这一概念研究的观 点主要有以下几种： (I)按照人工智能大师西蒙的观点，学习就是系统在 不断重复的工作中对本身能力的增强或改进，使得系统在 下一次执行同样任务或类似任务时，会比现在做得更好或 效率更高。 (2)从事专家系统研究人们的观点，学习就是获取知 识的过程。由于知识获取一直是专家系统建造中的主要问 题之一，因此希望通过对机器学习的研究，实现对知识的 自动获取
8.1.1 什么是机器学习 1. 学习 机器学习的核心是学习，关于学习至今还没有一个精 确的、能被公认的定义。目前，对学习这一概念研究的观 点主要有以下几种： ⑴ 按照人工智能大师西蒙的观点，学习就是系统在 不断重复的工作中对本身能力的增强或改进，使得系统在 下一次执行同样任务或类似任务时，会比现在做得更好或 效率更高。 ⑵ 从事专家系统研究人们的观点，学习就是获取知 识的过程。由于知识获取一直是专家系统建造中的主要问 题之一，因此希望通过对机器学习的研究，实现对知识的 自动获取
清华大学出版社 TSINGHUA UNIVERSITY PRESS (3)心理学家对于学习活动有不同的见解，大致分为 三派：一派主张学习是条件反射作用；一派主张学习是刺 激与反应的联结；一派提出“领悟说”，认为学习是重新 组织已有的知觉、经验，掌握与领悟情景中各因素间的新 关系，导致问题解决。 (④)工程控制专家蔡普金的观点，学习是一种过程， 通过对系统重复输入各种信号，并从外部校正该系统，从 而系统对特定的输入作用具有特定的响应；自学习就是不 具外来校正的学习，即不具奖罚的学习，它不给系统响应 正确与否的任何附加信息。 综合上述观点可以认为：学习是一个有特定目的的知 识获取过程，其内在行为是获取知识、积累经验直至发现 规律；其外部表现是改进性能、适应环境和实现系统的自 我完善
⑶ 心理学家对于学习活动有不同的见解，大致分为 三派：一派主张学习是条件反射作用；一派主张学习是刺 激与反应的联结；一派提出“领悟说”，认为学习是重新 组织已有的知觉、经验，掌握与领悟情景中各因素间的新 关系，导致问题解决。 ⑷ 工程控制专家蔡普金的观点，学习是一种过程， 通过对系统重复输入各种信号，并从外部校正该系统，从 而系统对特定的输入作用具有特定的响应；自学习就是不 具外来校正的学习，即不具奖罚的学习，它不给系统响应 正确与否的任何附加信息。 综合上述观点可以认为：学习是一个有特定目的的知 识获取过程，其内在行为是获取知识、积累经验直至发现 规律；其外部表现是改进性能、适应环境和实现系统的自 我完善
清华大学出版社 TSINGHUA UNIVERSITY PRESS 2.机器学习 机器学习是研究如何使用计算机来模拟人类 学习活动的一门学科。稍严格的提法是，机器学 习是一门研究计算机获取新知识和新技能并识别 现有知识的方法。 机器学习的研究工作主要从以下三个方面进 行：学习机理的研究，通过对人类获取知识技能 和抽象概念能力的研究，将从根本上解决机器学 习中存在的种种问题；学习方面的研究，通过对 人类的学习过程、各种可能的学习方法的探索研 究，建立起独立于具体应用领域的学习算法； 面 向任务的研究，通过对特定任务要求的研究，建 立起相应的学习系统
2. 机器学习 机器学习是研究如何使用计算机来模拟人类 学习活动的一门学科。稍严格的提法是，机器学 习是一门研究计算机获取新知识和新技能并识别 现有知识的方法。 机器学习的研究工作主要从以下三个方面进 行：学习机理的研究，通过对人类获取知识技能 和抽象概念能力的研究，将从根本上解决机器学 习中存在的种种问题；学习方面的研究，通过对 人类的学习过程、各种可能的学习方法的探索研 究，建立起独立于具体应用领域的学习算法；面 向任务的研究，通过对特定任务要求的研究，建 立起相应的学习系统
清华大学出版社 TSINGHUA UNIVERSITY PRESS 8.1.2学习系统 所谓学习系统，是指能在一定程度上实现机 器学习的系统。1973年萨里斯的定义是：学习系 统是一个能够学习有关过程的未知信息，并用所 学信息作为进一步决策和控制的经验，从而逐步 改善系统的性能。类似的定义是：若一个系统能 够学习某一过程或环境的未知特征固有信息，并 用所得经验进行估计、分类、决策或控制，使得 全系统的品质得到改善，则称该系统为学习系统
8.1.2 学习系统 所谓学习系统，是指能在一定程度上实现机 器学习的系统。1973年萨里斯的定义是：学习系 统是一个能够学习有关过程的未知信息，并用所 学信息作为进一步决策和控制的经验，从而逐步 改善系统的性能。类似的定义是：若一个系统能 够学习某一过程或环境的未知特征固有信息，并 用所得经验进行估计、分类、决策或控制，使得 全系统的品质得到改善，则称该系统为学习系统
清华大学出版社 TSINGHUA UNIVERSITY PRESS 一个学习系统应具有如下的条件和能力： 1. 适当的学习环境。这里所说的环境是指学习系统进行学习 时的信息来源，若学习系统不具有适当的环境，则它就失去了学习和 应用的基础，不能实现机器学习。对不同的学习系统及不同的应用， 其环境一般是不相同的。 2.具有一定的学习能力。除了上述的学习环境，为要从中学到 有关信息，它还必须有合适的学习方法及一定的学习能力。学习过程 是系统与环境相互作用的过程，是边学习、边实践，然后再学习、再 实践的过程。学习系统也是通过与环境相互作用逐步学到有关知识的， 而且在学习过程中要通过实践验证、评价所学知识的正确性。 3.能应用学到的知识求解问题。学习系统应能把学到的信息用 于未来的估计、分类、决策或控制，做到学以致用。 4.能提高系统的性能。学习系统通过学习应能增长知识，提高 技能，改善系统的性能，使它能完成原来不能完成的任务，或比原来 做得更好
一个学习系统应具有如下的条件和能力： 1． 适当的学习环境。这里所说的环境是指学习系统进行学习 时的信息来源，若学习系统不具有适当的环境，则它就失去了学习和 应用的基础，不能实现机器学习。对不同的学习系统及不同的应用， 其环境一般是不相同的。 2． 具有一定的学习能力。除了上述的学习环境，为要从中学到 有关信息，它还必须有合适的学习方法及一定的学习能力。学习过程 是系统与环境相互作用的过程，是边学习、边实践，然后再学习、再 实践的过程。学习系统也是通过与环境相互作用逐步学到有关知识的， 而且在学习过程中要通过实践验证、评价所学知识的正确性。 3． 能应用学到的知识求解问题。学习系统应能把学到的信息用 于未来的估计、分类、决策或控制，做到学以致用。 4． 能提高系统的性能。学习系统通过学习应能增长知识，提高 技能，改善系统的性能，使它能完成原来不能完成的任务，或比原来 做得更好
清华大学出版社 TSINGHUA UNIVERSITY PRESS 8.1.3机器学习的主要策略 学习是一项复杂的智能活动，学习过程与推 理过程二者紧密相连，学习中使用的推理方法称 为学习策略。学习系统中的推理过程实际上就是 一种变换过程，它将系统外部提供的信息变换为 符合系统内部表达的形式，以便对信息进行存储 和使用。这种变换的性质决定了学习策略的类型 为：机械学习、通过传授学习、类比学习和通过 事例学习
8.1.3 机器学习的主要策略 学习是一项复杂的智能活动，学习过程与推 理过程二者紧密相连，学习中使用的推理方法称 为学习策略。学习系统中的推理过程实际上就是 一种变换过程，它将系统外部提供的信息变换为 符合系统内部表达的形式，以便对信息进行存储 和使用。这种变换的性质决定了学习策略的类型 为：机械学习、通过传授学习、类比学习和通过 事例学习
清华大学出版社 TSINGHUA UNIVERSITY PRESS 1.机械学习。它就是记忆，是最简单的学习策略。这种学习策 略不需任何推理过程；外界输入的知识表示方式与系统内部表示方式 完全一致，不需要任何处理与转换。虽然机械学习在方法上看似简单， 但由于计算机的存储容量相当大，检索速度又相当快，且记忆精度无 丝毫误差，所以也能产生难以预料的效果。 2.通过传授学习。对于使用该种策略的系统来说，外界输入知 识的表达方式与内部表达方式不完全一致，系统接受外部知识时需要 一点推理、翻译和转化的工作。 3.类比学习。该系统只能得到完成类似任务的有关知识，即在 遇到新的问题时，可学习以前解决过的相类似问题的解决办法，来解 决当前的问题。所以寻求与当前问题相似的已知问题就很重要，并且 必须要能够发现当前任务与已知任务的相似之点，由此制订出完成当 前任务的方案。因此，它比上述两种学习策略需要更多的推理。 4.通过实例学习。系统事先完全没有完成任务的任何规律性的信 息，所得到的只是一些具体的工作例子及工作经验。系统需要对这些 例子及经验进行分析、总结和推广，得到完成任务的一般性规律，并 在进一步工作中验证或修改规律，因此，它需要的推理是最多的
⒈ 机械学习。它就是记忆，是最简单的学习策略。这种学习策 略不需任何推理过程；外界输入的知识表示方式与系统内部表示方式 完全一致，不需要任何处理与转换。虽然机械学习在方法上看似简单， 但由于计算机的存储容量相当大，检索速度又相当快，且记忆精度无 丝毫误差，所以也能产生难以预料的效果。 ⒉ 通过传授学习。对于使用该种策略的系统来说，外界输入知 识的表达方式与内部表达方式不完全一致，系统接受外部知识时需要 一点推理、翻译和转化的工作。 ⒊ 类比学习。该系统只能得到完成类似任务的有关知识，即在 遇到新的问题时，可学习以前解决过的相类似问题的解决办法，来解 决当前的问题。所以寻求与当前问题相似的已知问题就很重要，并且 必须要能够发现当前任务与已知任务的相似之点，由此制订出完成当 前任务的方案。因此，它比上述两种学习策略需要更多的推理。 ⒋ 通过实例学习。系统事先完全没有完成任务的任何规律性的信 息，所得到的只是一些具体的工作例子及工作经验。系统需要对这些 例子及经验进行分析、总结和推广，得到完成任务的一般性规律，并 在进一步工作中验证或修改规律，因此，它需要的推理是最多的
清华大学出版社 TSINGHUA UNIVERSITY PRESS 8.1.4机器学习系统的基本结构 以西蒙的学习定义作为出发点，建立起图8-1所示的机 器学习的基本模型，通过对此模型的讨论，总结出设计学 习系统时应当注意的一些原则。该模型中包括了四个基本 组成环节。环境向系统的学习环节提供某些信息，学习环 节利用这些信息修改知识库，以增进系统执行环节完成任 务的效能，执行环节根据知识库完成的任务，把获得的信 息反映给学习环节。下面对系统中的各个环节进行讨论。 环境 学习环节 知识库 执行环节 图8-1
8.1.4 机器学习系统的基本结构 以西蒙的学习定义作为出发点，建立起图8–1所示的机 器学习的基本模型，通过对此模型的讨论，总结出设计学 习系统时应当注意的一些原则。该模型中包括了四个基本 组成环节。环境向系统的学习环节提供某些信息，学习环 节利用这些信息修改知识库，以增进系统执行环节完成任 务的效能，执行环节根据知识库完成的任务，把获得的信 息反映给学习环节。下面对系统中的各个环节进行讨论。 图8-1