第9章机器学习与知积发现 第9章机器学习与知识发现 9.1机器学习概述 9.2符号学习 9.3神经网络学习 9.4知迟发现与数据挖掘 习题九 BACK
第 9 章 机器学习与知识发现 9 第 9 章 机器学习与知识发现 9.1 机器学习概述 9.2 符号学习 9.3 神经网络学习 9.4 知识发现与数据挖掘 习题九
第9章机器学习与知识发现 9.1机器学习概述 9.1.1机器学习的概念 心理学中对学习的解释是：学习是指（人或动物）依靠经验 的获得而使行为持久变化的过程。人工智能和机器学习领域的 几位著名学者也对学习提出了各自的说法。如Simon认为：如 果一个系统能够通过执行某种过程而改进它的性能，这就是学 习。Minsky认为：学习是在人们头脑中（心理内部）进行有用的 变化。TomM.Mitchel1在《机器学习》一书中对学习的定义 是：对于某类任务T和性能度P,如果一个计算机程序在T上以P 衡量的性能随着经验E而自我完善，那么，我们称这个计算机 程序从经验E中学习
第 9 章 机器学习与知识发现 9 9.1 机器学习概述 9.1.1 心理学中对学习的解释是: 学习是指(人或动物)依靠经验 的获得而使行为持久变化的过程。人工智能和机器学习领域的 几位著名学者也对学习提出了各自的说法。 如Simon认为:如 果一个系统能够通过执行某种过程而改进它的性能, 这就是学 习。Minsky认为: 学习是在人们头脑中(心理内部)进行有用的 变化。Tom M. Mitchell在《机器学习》一书中对学习的定义 是: 对于某类任务T和性能度P, 如果一个计算机程序在T上以P 衡量的性能随着经验E而自我完善, 那么, 我们称这个计算机 程序从经验E中学习
第9章机器学司与知识发现 9.1.2机器学习的原理 从以上对于学习的解释可以看出： (1)学习与经验有关。 (2)学习可以改善系统性能。 (3)学习是一个有反馈的信息处理与控制过程。因为经验 是在系统与环境的交互过程中产生的，而经验中应该包含系统 输入、响应和效果等信息。因此经验的积累、性能的完善正是 通过重复这一过程而实现的
第 9 章 机器学习与知识发现 9 9.1.2 从以上对于学习的解释可以看出: (1) 学习与经验有关。 (2) 学习可以改善系统性能。 (3) 学习是一个有反馈的信息处理与控制过程。因为经验 是在系统与环境的交互过程中产生的,而经验中应该包含系统 输入、响应和效果等信息。因此经验的积累、性能的完善正是 通过重复这一过程而实现的
第9章机器学习与知积发现 9 西安地目标大学业酸 西安地手到丛女学出板程 输入信息 响应信息 反馈信息 决策 执行 评估 汤安也子科大学放版园 一山子科发大学出版烈 经验 程上以基以山 图9-1机器学习原理1
第 9 章 机器学习与知识发现 9 图 9-1 机器学习原理1
第9章机器学习与和识发现 这里的输入信息是指系统在完成某任务时，接收到的环境 信息；响应信息是指对输入信息做出的回应；执行是指根据响 应信息实施相应的动作或行为。按图9-1，机器学习的流程就 是：①对于输入信息，系统根据目标和经验做出决策予以响 应，即执行相应动作；② 对目标的实现或任务的完成情况进 行评估；③将本次的输入、响应和评价作为经验予以存储记 录。可以看出，第一次决策时系统中还无任何经验，但从第二 次决策开始，经验便开始积累。这样，随着经验的丰富，系统的 性能自然就会不断改善和提高
第 9 章 机器学习与知识发现 9 这里的输入信息是指系统在完成某任务时, 接收到的环境 信息; 响应信息是指对输入信息做出的回应;执行是指根据响 应信息实施相应的动作或行为。按图9-1, 机器学习的流程就 是: ① 对于输入信息, 系统根据目标和经验做出决策予以响 应, 即执行相应动作; ② 对目标的实现或任务的完成情况进 行评估; ③ 将本次的输入、响应和评价作为经验予以存储记 录。可以看出, 第一次决策时系统中还无任何经验, 但从第二 次决策开始, 经验便开始积累。这样, 随着经验的丰富, 系统的 性能自然就会不断改善和提高
第9章机器学司与知识发现 图9-1所示的学习方式现在一般称为记忆学习。例如， Samuel的跳棋程序就采用这种记忆学习方法。还有，基于范例的 学习也可以看作是这种记忆学习的一个特例。记忆学习实际上 也是人类和动物的一种基本学习方式。然而，这种依靠经验来 提高性能的记忆学习存在严重不足。其一，由于经验积累是一个 缓慢过程， 所以系统性能的改善也很缓慢；其二，由于经验毕 竟不是规律，故仅凭经验对系统性能的改善是有限的，有时甚 至是靠不住的。 所以，学习方式需要延伸和发展。可想而知，如果能在积累 的经验中进一步发现规律，然后利用所发现的规律即知识来指 导系统行为，那么，系统的性能将会得到更大的改善和提高，于 是，我们有图9-2所示的机器学习原理2
第 9 章 机器学习与知识发现 9 图9-1所示的学习方式现在一般称为记忆学习。例如, Samuel的跳棋程序就采用这种记忆学习方法。还有,基于范例的 学习也可以看作是这种记忆学习的一个特例。记忆学习实际上 也是人类和动物的一种基本学习方式。然而, 这种依靠经验来 提高性能的记忆学习存在严重不足。其一,由于经验积累是一个 缓慢过程, 所以系统性能的改善也很缓慢; 其二,由于经验毕 竟不是规律, 故仅凭经验对系统性能的改善是有限的, 有时甚 至是靠不住的。 所以, 学习方式需要延伸和发展。可想而知,如果能在积累 的经验中进一步发现规律, 然后利用所发现的规律即知识来指 导系统行为,那么,系统的性能将会得到更大的改善和提高，于 是, 我们有图9-2所示的机器学习原理2
第9章机器学习与知积发现 9 ()经验积累过程豪边等火 目标 输入信息 响应信息 反馈信息 决策 执行 评估 经验 (2)知识生成过程 归纳 知识 西安电子科装 输入信息 输出信息 决策 执行 (3)知识运用过程 图9-2机器学习原理2
第 9 章 机器学习与知识发现 9 图 9-2 机器学习原理2
第9章机器学习与知识发现 可以看出，这才是一个完整的学习过程。它可分为三个子 过程，即经验积累过程、知识生成过程和知识运用过程。事实 上，这种学习方式就是人类和动物的技能训练或者更一般的适 应性训练过程，如骑车、驾驶、体操、 游泳等都是以这种方式 学习的。所以，图9-2所示这种学习方式也适合于机器的技能 训练，如机器人的驾车训练。 但现在的机器学习研究一般都省去了上面的经验积累过程， 而是一开始就把事先组织好的经验数据（包括实验数据和统计 数据)直接作为学习系统的输入，然后对其归纳推导而得出知 识，再用所得知识去指导行为、改善性能，其过程如图9-3所 示。在这里把组织好的经验数据称为训练样本或样例，把由样 例到知识的转换过程称为学习或训练
第 9 章 机器学习与知识发现 9 可以看出,这才是一个完整的学习过程。它可分为三个子 过程, 即经验积累过程、知识生成过程和知识运用过程。事实 上,这种学习方式就是人类和动物的技能训练或者更一般的适 应性训练过程, 如骑车、驾驶、体操、游泳等都是以这种方式 学习的。所以, 图9-2所示这种学习方式也适合于机器的技能 训练, 如机器人的驾车训练。 但现在的机器学习研究一般都省去了上面的经验积累过程, 而是一开始就把事先组织好的经验数据(包括实验数据和统计 数据)直接作为学习系统的输入, 然后对其归纳推导而得出知 识, 再用所得知识去指导行为、改善性能, 其过程如图9-3所 示。在这里把组织好的经验数据称为训练样本或样例, 把由样 例到知识的转换过程称为学习或训练
第9章机器学习与知积发现 9 1 样例 电子科卡大号 (1)知识生成过程 训练 X 知识 电子大学版 输入信息 响应信息 决策 执行 大学版 2) 知识运用过程 图93机器学习原理3
第 9 章 机器学习与知识发现 9 图 9-3 机器学习原理3
第9章机器学习与知积发规 考察上面的图9-1、图9-2和图9-3可以发现，从经验数 据中发现知识才是机器学习的关键环节。所以，在机器学习 中，人们就进一步把图9-3所示的机器学习过程简化为只有知 识生成一个过程（如图9-4所示），即只要从经验数据归纳推 导出知识就算是完成了学习。 可以看出，图9-4所示的这类机器学习已经与机器学习的 本来含义不一致了，实际上似乎已变成纯粹的知识发现了
第 9 章 机器学习与知识发现 9 考察上面的图9-1、 图9-2和图9-3可以发现, 从经验数 据中发现知识才是机器学习的关键环节。所以, 在机器学习 中, 人们就进一步把图9-3所示的机器学习过程简化为只有知 识生成一个过程(如图9-4 所示), 即只要从经验数据归纳推 导出知识就算是完成了学习。 可以看出, 图9-4所示的这类机器学习已经与机器学习的 本来含义不一致了, 实际上似乎已变成纯粹的知识发现了