第6章机器学习与知识发现 61机器学习概述 6.2符号学习 6.3神经网络学习 6.4知识发现与数据挖掘
6.1机器学习概述 6.1.1机器学习的概念 心理学中对学习的解释是:学习是指(人或动物)依靠经 验的获得而使行为持久变化的过程。 Simon认为:如果一个系统能够通过执行某种过程而改进 它的性能,这就是学习。 Minsky认为:学习是在人们头脑中(心理内部)进行有用 的变化。 TomM. Mitchell在《机器学习》一书中对学习的定义是 对于某类任务T和性能度P,如果一个计算机程序在T上以P 衡量的性能随着经验E而自我完善,那么,我们称这个计 算机程序从经验E中学习 当前关于机器学习的许多文献中也大都认为:学习是系统 积累经验以改善其自身性能的过程
总之: ①学习与经验有关; ②学习可以改善系统性能; ③学习是一个有反馈的信息处理与控制过程。因 为经验是在系统与环境的交互过程中产生的,而 经验中应该包含系统输入、响应和效果等信息。 因此经验的积累、性能的完善正是通过重复这 过程而实现的
6.1.2机器学习的原理 安电目 输入信息 决策响应信息 执行 评估反馈信息 版 中子大学底应 子将数大学出版 经验 图9-1机器学习原理1
图 9-1 机器学习原理1
大()经验积累过程 目标 输入信息 响应信息 (决策 执行 评估)反馈信息 +…= 安电 大学出版 安电大学 经验 1(2)知识生成过程 要电大 (归纳 安电卡学出版 知识 要中子卡输入信息(决策)输出信息(执行) (3)知识运用过程 图9-2机器学习原理2
图 9-2 机器学习原理2
样例 安电子大学出 电子大学出底 (1)知识生成过程 训练 电子大学出 电子!大学出 要大学知识}学 安电 输入信息 响应信息 决策 执行 安电大学版 (2)知识运用过程 图9-3机器学习原理3
图 9-3 机器学习原理3
样例 归纳 安电↓式 知识 图9-4机器学习原理4
图 9-4 机器学习原理4
电子的 又发现 信息“知识 图9-5机器学习原理5
图 9-5 机器学习原理5
6.1.3机器学习的分类 1.基于学习策略的分类 (1)模拟人脑的机器学习 ●符号学习:模拟人脑的宏观心理级学习过程,以认知心理学 原理为基础,以符号数据为输入,以符号运算为方法,用 推理过程在图或状态空间中搜索,学习的目标为概念或规 则等。符号学习的典型方法有:记忆学习、示例学习、演 绎学习、类比学习、解释学习等。 ●神经网络学习(或连接学习):模拟人脑的微观生理级学 习过程,以脑和神经科学原理为基础,以人工神经网络为 函数结构模型,以数值数据为输入,以数值运算为方法, 用迭代过程在系数向量空间中搜索,学习的目标为函数。 典型的连接学习有权值修正学习、拓扑结构学习
(2)直接采用数学方法的机器学习 ●主要有统计机器学习。 基于学习方法的分类 (1)归纳学习 ●符号归纳学习:典型的符号归纳学习有示例学习, 决策树学习。 ●函数归纳学习(发现学习):典型的函数归纳学习 有神经网络学习、示例学习,发现学习,统计学习。 (2)演绎学习 (3)类比学习:典型的类比学习有案例(范例)学习。 (4)分析学习:典型的分析学习有案例(范例)学习、 解释学习