第9章机器学习与知识发现 第9章机器学习与知识发现 9,1机器学习概述 9.2符号学习 9.3神经网络学习 9,4知识发现与数据挖掘 习题九 BACK
第 9 章 机器学习与知识发现 9 第 9 章 机器学习与知识发现 9.1 机器学习概述 9.2 符号学习 9.3 神经网络学习 9.4 知识发现与数据挖掘 习题九
第9章机器学习与知识发现 91机器学习概述 9.1.1机器学习的概念 心理学中对学习的解释是:学习是指(人或动物)依靠经验 的获得而使行为持久变化的过程。人工智能和机器学习领域的 几位著名学者也对学习提出了各自的说法。如 Simon认为:如 果一个系统能够通过执行某种过程而改进它的性能,这就是学 习。 Minsky认为:学习是在人们头脑中(心理内部)进行有用的 变化。TomM. Mitchell在《机器学习》一书中对学习的定义 是:对于某类任务T和性能度P,如果一个计算机程序在T上以P 衡量的性能随着经验E而自我完善,那么,我们称这个计算机 程序从经验E中学习
第 9 章 机器学习与知识发现 9 9.1 机器学习概述 9.1.1 心理学中对学习的解释是: 学习是指(人或动物)依靠经验 的获得而使行为持久变化的过程。人工智能和机器学习领域的 几位著名学者也对学习提出了各自的说法。 如Simon认为:如 果一个系统能够通过执行某种过程而改进它的性能, 这就是学 习。Minsky认为: 学习是在人们头脑中(心理内部)进行有用的 变化。Tom M. Mitchell在《机器学习》一书中对学习的定义 是: 对于某类任务T和性能度P, 如果一个计算机程序在T上以P 衡量的性能随着经验E而自我完善, 那么, 我们称这个计算机 程序从经验E中学习
第9章机器学习与知识发现 9.1.2机器学习的原理 从以上对于学习的解释可以看出: 1)学习与经验有关。 (2)学习可以改善系统性能 (3)学习是一个有反馈的信息处理与控制过程。因为经验 是在系统与环境的交互过程中产生的,而经验中应该包含系统 输入、响应和效果等信息。因此经验的积累、性能的完善正是 通过重复这一过程而实现的
第 9 章 机器学习与知识发现 9 9.1.2 从以上对于学习的解释可以看出: (1) 学习与经验有关。 (2) 学习可以改善系统性能。 (3) 学习是一个有反馈的信息处理与控制过程。因为经验 是在系统与环境的交互过程中产生的,而经验中应该包含系统 输入、响应和效果等信息。因此经验的积累、性能的完善正是 通过重复这一过程而实现的
第9章机器学习与知识发现 品目标L 出拉 输入信息 决策)响应信息 反馈信息 执行 评估 要电大学 经验 图9-1机器学习原理1
第 9 章 机器学习与知识发现 9 图 9-1 机器学习原理1
第9章机器学习与知识发现 这里的输入信息是指系统在完成某任务时,接收到的环境 信息;响应信息是指对输入信息做出的回应;执行是指根据响 应信息实施相应的动作或行为。按图9-1,机器学习的流程就 是:①对于输入信息,系统根据目标和经验做出决策予以响 应,即执行相应动作;②对目标的实现或任务的完成情况进 行评估;③将本次的输入、响应和评价作为经验予以存储记 录。可以看出,第一次决策时系统中还无任何经验,但从第二 次决策开始,经验便开始积累。这样,随着经验的丰富,系统的 性能自然就会不断改善和提高
第 9 章 机器学习与知识发现 9 这里的输入信息是指系统在完成某任务时, 接收到的环境 信息; 响应信息是指对输入信息做出的回应;执行是指根据响 应信息实施相应的动作或行为。按图9-1, 机器学习的流程就 是: ① 对于输入信息, 系统根据目标和经验做出决策予以响 应, 即执行相应动作; ② 对目标的实现或任务的完成情况进 行评估; ③ 将本次的输入、响应和评价作为经验予以存储记 录。可以看出, 第一次决策时系统中还无任何经验, 但从第二 次决策开始, 经验便开始积累。这样, 随着经验的丰富, 系统的 性能自然就会不断改善和提高
第9章机器学习与知识发现 图9-1所示的学习方式现在一般称为记忆学习。例如, Samuel的跳棋程序就采用这种记忆学习方法。还有,基于范例的 学习也可以看作是这种记忆学习的一个特例。记忆学习实际上 也是人类和动物的一种基本学习方式。然而,这种依靠经验来 提高性能的记忆学习存在严重不足。其一,由于经验积累是一个 缓慢过程,所以系统性能的改善也很缓慢;其二,由于经验毕 竟不是规律,故仅凭经验对系统性能的改善是有限的,有时甚 至是靠不住的 所以,学习方式需要延伸和发展。可想而知,如果能在积累 的经验中进一步发现规律,然后利用所发现的规律即知识来指 导系统行为,那么,系统的性能将会得到更大的改善和提高,于 是,我们有图92所示的机器学习原理2
第 9 章 机器学习与知识发现 9 图9-1所示的学习方式现在一般称为记忆学习。例如, Samuel的跳棋程序就采用这种记忆学习方法。还有,基于范例的 学习也可以看作是这种记忆学习的一个特例。记忆学习实际上 也是人类和动物的一种基本学习方式。然而, 这种依靠经验来 提高性能的记忆学习存在严重不足。其一,由于经验积累是一个 缓慢过程, 所以系统性能的改善也很缓慢; 其二,由于经验毕 竟不是规律, 故仅凭经验对系统性能的改善是有限的, 有时甚 至是靠不住的。 所以, 学习方式需要延伸和发展。可想而知,如果能在积累 的经验中进一步发现规律, 然后利用所发现的规律即知识来指 导系统行为,那么,系统的性能将会得到更大的改善和提高，于 是, 我们有图9-2所示的机器学习原理2
第9章机器学习与知识发现 六学()经验积累过程安 目标 输入信息 响应信息 执行 反馈信息 决策 评估 电大学 经验 1(2)知识生成过程 归纳 要电卡学1一要大 知识 长输入值息(决氧)输出信息(执行 (3)知识运用过程 图92机器学习原理2
第 9 章 机器学习与知识发现 9 图 9-2 机器学习原理2
第9章机器学习与知识发现 可以看出,这才是一个完整的学习过程。它可分为三个子 过程,即经验积累过程、知识生成过程和知识运用过程。事实 上,这种学习方式就是人类和动物的技能训练或者更一般的适 应性训练过程,如骑车、驾驶、体操、游泳等都是以这种方式 学习的。所以,图92所示这种学习方式也适合于机器的技能 训练,如机器人的驾车训练。 但现在的机器学习研究一般都省去了上面的经验积累过程, 而是一开始就把事先组织好的经验数据(包括实验数据和统计 数据)直接作为学习系统的输入,然后对其归纳推导而得出知 ,再用所得知识去指导行为、改善性能,其过程如图9-3所 示。在这里把组织好的经验数据称为训练样本或样例,把由样 例到知识的转换过程称为学习或训练
第 9 章 机器学习与知识发现 9 可以看出,这才是一个完整的学习过程。它可分为三个子 过程, 即经验积累过程、知识生成过程和知识运用过程。事实 上,这种学习方式就是人类和动物的技能训练或者更一般的适 应性训练过程, 如骑车、驾驶、体操、游泳等都是以这种方式 学习的。所以, 图9-2所示这种学习方式也适合于机器的技能 训练, 如机器人的驾车训练。 但现在的机器学习研究一般都省去了上面的经验积累过程, 而是一开始就把事先组织好的经验数据(包括实验数据和统计 数据)直接作为学习系统的输入, 然后对其归纳推导而得出知 识, 再用所得知识去指导行为、改善性能, 其过程如图9-3所 示。在这里把组织好的经验数据称为训练样本或样例, 把由样 例到知识的转换过程称为学习或训练
第9章机器学习与知识发现 }大 样例 1(1)知识生成过程 训练)。出点 品安电!大营 知识 输入信息 决策)响应信息 执行 (2)知识运用过程 图93机器学习原理3
第 9 章 机器学习与知识发现 9 图 9-3 机器学习原理3
第9章机器学习与知识发现 考察上面的图9-1、图9-2和图9-3可以发现,从经验数 据中发现知识才是机器学习的关键环节。所以,在机器学习 中,人们就进一步把图9-3所示的机器学习过程简化为只有知 生成一个过程(如图9-4所示),即只要从经验数据归纳推 导出知识就算是完成了学习 可以看出,图9-4所示的这类机器学习已经与机器学习的 本来含义不一致了,实际上似乎已变成纯粹的知识发现了
第 9 章 机器学习与知识发现 9 考察上面的图9-1、 图9-2和图9-3可以发现, 从经验数 据中发现知识才是机器学习的关键环节。所以, 在机器学习 中, 人们就进一步把图9-3所示的机器学习过程简化为只有知 识生成一个过程(如图9-4 所示), 即只要从经验数据归纳推 导出知识就算是完成了学习。 可以看出, 图9-4所示的这类机器学习已经与机器学习的 本来含义不一致了, 实际上似乎已变成纯粹的知识发现了