第一章:关于机器学习的一般论题 人工智能、专家系统、机器学习 人工智能 分四个阶段:第一阶段:智力难题的求解(修道士过河) 第二阶段:自然语言理解,景物分析等 第三阶段:专家系统(推理)人工智能走向实用 程序 A→B 知识库 B→C A→D C→→D 第四阶段:以知识为中心(由于专家系统 的发展)
第一章： 关于机器学习的一般论题 一. 人工智能、专家系统、机器学习 1. 人工智能 分四个阶段：第一阶段：智力难题的求解（修道士过河） 第二阶段：自然语言理解，景物分析等 第三阶段：专家系统（推理） 人工智能走向实用 程序 知识库 A→B B →C C →D A→D 第四阶段：以知识为中心（由于专家系统 的发展）
知识获取是专家系统的“瓶颈”。 学习的概念 1.( Simon)学习是系统的改变,这种改变使系统在下一次做相同 或类似的工作更有效。 2.学习是(有用)知识的获取 3.( Michalski)学习是构造或修改所经历事物的表示。 4。( Mitchell)如果一个计算机程序(执行任务T,性能衡量为 P)能根据经验E来自我完善,那么我们称这个计算机程序从经验 E中学习。 三.机器学习研究的分类 1.分类方式: 1)基于所使用的基本学习策略分类:根据在所给定的数据上执 行学习所花费的推理步骤。死记硬背式学习、讲授式学习、演绎 式学习、示例学习、观察与发现学习 2)基于知识表示的分类:树、产生式规则
知识获取是专家系统的“瓶颈”。 二. 学习的概念 1. (simon) 学习是系统的改变，这种改变使系统在下一次做相同 或类似的工作更有效。 2. 学习是（有用）知识的获取。 3. （Michalski) 学习是构造或修改所经历事物的表示。 4 。 （Mitchell) 如果一个计算机程序（执行任务T，性能衡量为 P) 能根据经验E来自我完善，那么我们称这个计算机程序从经验 E中学习。 三. 机器学习研究的分类 1. 分类方式： 1）基于所使用的基本学习策略分类：根据在所给定的数据上执 行学习所花费的推理步骤。死记硬背式学习、讲授式学习、演绎 式学习、示例学习、观察与发现学习。 2）基于知识表示的分类：树、产生式规则
3)基于应用领域分类:农业、化学、机器人、语言 识别等 2.基于学习策略分类 1)死记硬背式学习( Rote learning)不需要推理、直接 编程或存储外部信息 1)讲授式学习( Learning by being told or from instruction):通过教师或其它知识系统来获取知识, 学习程序要把得到的知识转化为内部可用的一种表示。 讲授式学习知识获取程序一般要作以下几项工作: ①把领域专家(即环境)用自然语言或其它手段表述 的知识翻译成系统的内部表示 ②把新知识放入知识库中适当位置上。 ③维护知识库的一致性 3)演绎式学习( Deductive Learning):从公理出发, 经逻辑变换推导出结论。这种推理是一种保真变换
3）基于应用领域分类： 农业、化学、机器人、语言 识别 等 2. 基于学习策略分类 1）死记硬背式学习(Rote Learning):不需要推理、直接 编程或存储外部信息。 1）讲授式学习（Learning by being told or from instruction）: 通过教师或其它知识系统来获取知识， 学习程序要把得到的知识转化为内部可用的一种表示。 讲授式学习知识获取程序一般要作以下几项工作： ① 把领域专家（即环境）用自然语言或其它手段表述 的知识翻译成系统的内部表示。 ② 把新知识放入知识库中适当位置上。 ③ 维护知识库的一致性。 3）演绎式学习（Deductive Learning）: 从公理出发， 经逻辑变换推导出结论。这种推理是一种保真变换
4)示例学习:给学习程序提供正例集和反例集,学习程序能 归纳出适合正例集排除反例集的一般概念描述 主要算法:AQ15、ID3、扩张矩阵理论AE算法。 (例子集见表1.1) 第一组:[发色=金色∨红色]眼睛=蓝色∨灰色] 第二组:[发色=黑色]Ⅵ[眼睛=黑色] 5)观察与发现学习( Learning from observation and discovery):环境给程序提供一组观察事例,学习程序构造 个概念描述来覆盖所有或大多数事例。聚类,经验发现 6)解释学习:学生根据教师提供的目标概念,该概念的一个 例子,领域理论及操作准则,首先构造一个解释说明该例子 能满足目标概念,然后使用回归将解释推广为目标概念的 个满足操作准则的充分条件 7)类比学习:S和T分别是源域和目标域,P(S)及P(t成立, 且Q(S)成立,可推出Q(t)成立
4）示例学习：给学习程序提供正例集和反例集，学习程序能 归纳出适合正例集排除反例集的一般概念描述。 主要算法：AQ15、ID3、扩张矩阵理论AE算法。 (例子集见表1.1) 第一组： [发色=金色∨红色][眼睛=蓝色∨灰色] 第二组： [发色=黑色] ∨[眼睛=黑色] 5）观察与发现学习（Learning from observation and discovery）: 环境给程序提供一组观察事例，学习程序构造 一个概念描述来覆盖所有或大多数事例。聚类，经验发现。 6）解释学习：学生根据教师提供的目标概念，该概念的一个 例子，领域理论及操作准则，首先构造一个解释说明该例子 能满足目标概念，然后使用回归将解释推广为目标概念的一 个满足操作准则的充分条件。 7）类比学习：S和T分别是源域和目标域，P(S) 及P(t) 成立， 且Q(S) 成立， 可推出Q(t) 成立
表1.1两组人(例子)的集合 组次 身材发色眼睛 第1组 金色蓝色 234 红色蓝色 第2组 矮高高矮高矮高高矮 金色蓝色 金色灰色 金色黑色 黑色蓝色 黑色蓝色 黑色灰色 金色黑色
组次 身材 发色 眼睛 第1组 1 2 3 4 矮 高 高 矮 金色 红色 金色 金色 蓝色 蓝色 蓝色 灰色 第2组 1 2 3 4 5 高 矮 高 高 矮 金色 黑色 黑色 黑色 金色 黑色 蓝色 蓝色 灰色 黑色 表1.1 两组人（例子）的集合
四.机器学习的研究目标: 1.加强基础硏究,发展各种学习理论,探讨所有可能的学习 方法及其算法,比较人类学习与机器学习的异同及其联系 模拟人类学习过程,深入研究学习过程的各个环节及其特 征 3.面向应用,研制各种机器学习系统,即具有学习功能的人 工智能系统。 五.机器学习的若干说明 1.机器学习算法在很多应用领域被证明很有实用价值。如: 数据挖掘(从大量数据中发现有价值的规律),模式识别 等领域。 2.机器学习从不同的学科吸收概念,包括人工智能、概率和 统计、计算复杂性、信息论、心理学和神经生物学、控制 论以及哲学。 3.一个完整定义的学习问题需要一个明确的任务、一个性能 度量标准以及用来训练的经验
四. 机器学习的研究目标： 1. 加强基础研究，发展各种学习理论，探讨所有可能的学习 方法及其算法，比较人类学习与机器学习的异同及其联系。 2. 模拟人类学习过程，深入研究学习过程的各个环节及其特 征。 3. 面向应用，研制各种机器学习系统，即具有学习功能的人 工智能系统。 五. 机器学习的若干说明 1. 机器学习算法在很多应用领域被证明很有实用价值。如： 数据挖掘（从大量数据中发现有价值的规律），模式识别 等领域。 2. 机器学习从不同的学科吸收概念，包括人工智能、概率和 统计、计算复杂性、信息论、心理学和神经生物学、控制 论以及哲学。 3. 一个完整定义的学习问题需要一个明确的任务、一个性能 度量标准以及用来训练的经验
六.机器学习(阅读)资源: 1杂志:《 Machine learning》(机器学习),《 Neural networks (神经网络); 2.会议:ICML(国际机器学习会议)、ECML(欧洲机器学习 会议)、NIPS(神经信息处理系统会议)、ICGA(国际遗传算 法会议)、KDD(国际知识发现和数据挖掘会议)等
六. 机器学习（阅读）资源： 1. 杂志：《Machine Learning》（机器学习）， 《Neural Networks》 （神经网络）； 2. 会议： ICML（国际机器学习会议）、ECML（欧洲机器学习 会议） 、NIPS（神经信息处理系统会议） 、ICGA（国际遗传算 法会议） 、KDD（国际知识发现和数据挖掘会议）等