第6章机器学习与知识发现 6.1机器学习概述 6.2符号学习 6.3神经网络学习 6.4知识发现与数据挖掘
第6章 机器学习与知识发现 6.1 机器学习概述 6.2 符号学习 6.3 神经网络学习 6.4 知识发现与数据挖掘
6.1机器学习概述 61.机学习的概念 心理学中对学习的解释是:学习是指(人或动物)依靠经 验的获得而使行为持久变化的过程。 Simon认为:如果一个系统能够通过执行某种过程而改进 它的性能,这就是学习。 Minsk认为:学习是在人们头脑中(心狸内部)进行有用 的变化。 TomM. Mitchell在《机器学习》一书中对学习的定义是: 对于某类任务T和性能度P,如果一个计算机程序在T上以P 衡量的性能随着经验E而自我完善,那么,我们称这个计 算机程序从经验E中学习。 当前关于机器学习的许多文献中也大都认为:学习是系统 积累经验以改善其自身性能的过程
6.1 机器学习概述 6.1.1 机器学习的概念 § 心理学中对学习的解释是：学习是指（人或动物）依靠经 验的获得而使行为持久变化的过程。 § Simon认为：如果一个系统能够通过执行某种过程而改进 它的性能，这就是学习。 § Minsky认为：学习是在人们头脑中（心理内部）进行有用 的变化。 § Tom M. Mitchell在《机器学习》一书中对学习的定义是： 对于某类任务T和性能度P，如果一个计算机程序在T上以P 衡量的性能随着经验E而自我完善，那么，我们称这个计 算机程序从经验E中学习。 § 当前关于机器学习的许多文献中也大都认为：学习是系统 积累经验以改善其自身性能的过程
总之 ①学习与经验有关; ②学习可以改善系统性能; ③学习是一个有反馈的信息处理与控制过程。因 为经验是在系统与环境的交互过程中产生的,而 经验中应该包含系统输入、响应和效果等信息 因此经验的积累、性能的完善正是通过重复这一 过程而实现的
总之： ① 学习与经验有关； ② 学习可以改善系统性能； ③ 学习是一个有反馈的信息处理与控制过程。因 为经验是在系统与环境的交互过程中产生的，而 经验中应该包含系统输入、响应和效果等信息。 因此经验的积累、性能的完善正是通过重复这一 过程而实现的
6.1.2机器学习的原理 安电目 输入信息 决策响应信息 执行 评估反馈信息 版 子将数大学出版 经验 图9-1机器学习原理1
6.1.2 机器学习的原理 图 9-1 机器学习原理1
大()经验积累过程 目标 输入信息 响应信息 (决策 执行 评估)反馈信息 +…= 安电 大学出版 安电大学 经验 1(2)知识生成过程 要电大 (归纳 画安电数卡学出版 知识 安子长输入信息(决策)输出信息(执行)° (3)知识运用过程 图9-2机器学习原理2
图 9-2 机器学习原理2
大出版 样例 安电子大学出 电子大学出底 (1)知识生成过程 训练 电子大学出 电子!大学出 要}大学出知识要}大出 安电 输入信息 响应信息 决策 执行 画安电学出版 (2)知识运用过程 图9-3机器学习原理3
图 9-3 机器学习原理3
样例 归纳 安电↓式 知识 图9-4机器学习原理4
图 9-4 机器学习原理4
安电子 又发现 信息“知识 图9-5机器学习原理5
图 9-5 机器学习原理5
6.1.3机器学习的分类 1.基于学习策略的分类 (1)模拟人脑的机器学习 符号学习:模拟人脑的宏观心理级学习过程,以认知心理学 原理为基础,以符号数据为输入,以符号运算为方法,用 推理过程在图或状态空间中搜索,学习的目标为概念或规 则等。符号学习的典型方法有:记忆学习、示例学习、演 绎学习、类比学习、解释学习等。 ●神经网络学习(或连接学习):模拟人脑的微观生理级学 习过程,以脑和神经科学原理为基础,以人工神经网络为 函数结构模型,以数值数据为输入,以数值运算为方法, 用迭代过程在系数向量空间中搜索,学习的目标为函数。 典型的连接学习有权值修正学习、拓扑结构学习
6.1.3 机器学习的分类 1. 基于学习策略的分类 （1）模拟人脑的机器学习 ●符号学习：模拟人脑的宏观心理级学习过程，以认知心理学 原理为基础，以符号数据为输入，以符号运算为方法，用 推理过程在图或状态空间中搜索，学习的目标为概念或规 则等。符号学习的典型方法有：记忆学习、示例学习、演 绎学习、类比学习、解释学习等。 ●神经网络学习（或连接学习）：模拟人脑的微观生理级学 习过程，以脑和神经科学原理为基础，以人工神经网络为 函数结构模型，以数值数据为输入，以数值运算为方法， 用迭代过程在系数向量空间中搜索，学习的目标为函数。 典型的连接学习有权值修正学习、拓扑结构学习
(2)直接采用数学方法的机器学习 ●主要有统计机器学习 2.基于学习方法的分类 (1)归纳学习 ●符号归纳学习:典型的符号归纳学习有示例学习, 决策树学习。 ●函数归纳学习(发现学习):典型的函数归纳学习 有神经网络学习、示例学习,发现学习,统计学习 (2)演绎学习 (3)类比学习:典型的类比学习有案例(范例)学习 (4)分析学习:典型的分析学习有案例(范例)学习、 解释学习
（2）直接采用数学方法的机器学习 ●主要有统计机器学习。 2. 基于学习方法的分类 （1）归纳学习 ● 符号归纳学习：典型的符号归纳学习有示例学习， 决策树学习。 ● 函数归纳学习（发现学习）：典型的函数归纳学习 有神经网络学习、示例学习，发现学习，统计学习。 （2）演绎学习 （3）类比学习：典型的类比学习有案例（范例）学习。 （4）分析学习：典型的分析学习有案例（范例）学习、 解释学习