第6讲机器学习与知识发现 周文晖 杭州电子科技大学
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 第6讲 机器学习与知识发现 周文晖 杭州电子科技大学
什么是机器学习？ 什么是机器学习 机器学习原理，基本过程，机器学习分类… 经典机器学习 经典机器学习 简单机器学习、经典机器学习，… 决策树学习 决策树学习 什么是决策树，学习步骤，… 神经网络学习 神经网络学习 人工神经元，人工神经网络发展历史，感知器，BP, 深度学习 深度学习 什么是深度学习，深度学习的发展历史，卷积神经网络，常见深度学习网络，： Hangzhou Dian.2i乙niversity杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 什么是机器学习 神经网络学习 经典机器学习 决策树学习 深度学习 什么是机器学习？ 机器学习原理，基本过程，机器学习分类 … 经典机器学习 简单机器学习、经典机器学习，… 决策树学习 神经网络学习 人工神经元，人工神经网络发展历史，感知器， BP， … 深度学习 ？ 什么是深度学习，深度学习的发展历史，卷积神经网络，常见深度学习网络，… 什么是决策树，学习步骤， …
什么是机器学习？ 什么是机器学习 机器学习原理，基本过程，机器学习分类 经典机器学习 经典机器学习 简单机器学习、经典机器学习，… 决策树学习 决策树学习 什么是决策树，学习步骤，… 神经网络学习 神经网络学习 人工神经元，人工神经网络发展历史，感知器，BP, 深度学习 深度学习 什么是深度学习，深度学习的发展历史，卷积神经网络，常见深度学习网络，： Hangzhou Dian.2i乙niversity杭州电子科技大学 School of Computer Science and Technology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 什么是机器学习 神经网络学习 经典机器学习 决策树学习 深度学习 什么是机器学习？ 机器学习原理，基本过程，机器学习分类 … 经典机器学习 简单机器学习、经典机器学习，… 决策树学习 神经网络学习 人工神经元，人工神经网络发展历史，感知器， BP， … 深度学习 ？ 什么是深度学习，深度学习的发展历史，卷积神经网络，常见深度学习网络，… 什么是决策树，学习步骤， …
为什么要研究机器学习？ 人工智能主要是为了研究人的智能，模仿其机理将其应用于工程的科学。 该过程必然涉及“人类怎样做才能获取这种特殊技能（或知识）？”。 当前人工智能研究的主要障碍和发展方向之一就是机器学习，包括学习的计算理论和构 造学习系统。 Hangzhou Dian2 i University杭州电子科技大学 School of Computer Science and Technology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 为什么要研究机器学习？ 人工智能主要是为了研究人的智能，模仿其机理将其应用于工程的科学。 该过程必然涉及“人类怎样做才能获取这种特殊技能（或知识）？”。 当前人工智能研究的主要障碍和发展方向之一就是机器学习，包括学习的计算理论和构 造学习系统
机器学习的核心思想 人工智能的发展经历了两个阶段： (1)逻辑推理，知识库与专家系统 1980之前一-逻辑推理，人工建立规则、知识库； 如何判断一张图像是不是猫？ ·可扩展性和通用性差，需要各领域的专家知识，构建专 家系统： ·有些问题无法用精确的规则描述一一只可意会不可言传。 (2)机器学习 1980之后一一模仿人的学习能力，从实例中进行学习获得 经验和知识。 这一张图像呢？ Hangzhou Dianzi Universit的杭州电子科技大学 School of Computer Science and Technology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 机器学习的核心思想 人工智能的发展经历了两个阶段： （1）逻辑推理，知识库与专家系统 1980之前——逻辑推理，人工建立规则、知识库； • 可扩展性和通用性差，需要各领域的专家知识，构建专 家系统； • 有些问题无法用精确的规则描述——只可意会不可言传。 （2）机器学习 1980之后——模仿人的学习能力，从实例中进行学习获得 经验和知识。 如何判断一张图像是不是猫？ 这一张图像呢？
THIS IS YOUR MACHINE LEARNING SYSTEM? 机器学习的核心思想 YUP!YOU POUR THE DATA INTO THIS BIG PILE OF LINEAR ALGEBRA,THEN COLLECT 与其把知识和经验总结好了告诉计算机，还不如让计 THE ANSWERS ON THE OTHER SIDE. 算机自己去学习知识和经验。 WHAT IF THE ANSWERS ARE WJRONG? JUST STIR THE PILE UNTIL 机器学习的主要动机：与其显式地编写程序来执行某 THEY START LOOKING RIGHT 些任务，不如教计算机如何开发一个算法来完成任务。 机器学习思想：使用算法解析数据，从中学习，然后 对未知事件做出决定或预测。 学什么？如何学？怎么学？ Hangzhou Dianzi Universit的杭州电子科技大学 School of Computer Science and Technology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 机器学习的核心思想 与其把知识和经验总结好了告诉计算机，还不如让计 算机自己去学习知识和经验。 机器学习的主要动机：与其显式地编写程序来执行某 些任务，不如教计算机如何开发一个算法来完成任务。 机器学习思想：使用算法解析数据，从中学习，然后 对未知事件做出决定或预测。 学什么？如何学？怎么学？
人类的学习 婴儿通过识图卡或者 心理学认为：学习是指（人或动物）依靠经 实物学会了认识物体 验的获得而使行为持久变化的过程。 ·Simon(1983):学习就是系统中的变 化，这种变化使系统比以前更有效地去 做同样的工作。 ·Minsky(1985):学习是在我们头脑中 (心里内部)进行有用的变化。 初生儿脑皮层 3个月婴儿脑皮层 2岁婴儿脑皮层 单个神经元易看清 神经元连接增多 密集的神经元网络 Hangzhou Dian2 i University杭州电子科技大学 School of Computer Science and Tecfmnology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 人类的学习 心理学认为：学习是指（人或动物）依靠经 验的获得而使行为持久变化的过程。 • Simon （1983） ：学习就是系统中的变 化，这种变化使系统比以前更有效地去 做同样的工作。 • Minsky（1985）：学习是在我们头脑中 （心里内部）进行有用的变化。 婴儿通过识图卡或者 实物学会了认识物体
典型问题 方法 解决时间 人类学习与机器学习 算术运算 CPU指令 1945年 大规模线性方程组 Krylov子空间迭代 1950年 人脑有哪些功能？ 海量数据的排序 快速排序算法 1962年 感知视觉，听觉，嗅觉，触觉 寻找地图上两点间最短路径 Dijkstra算法 1959年 计算数学计算 存储并管理大规模数据 关系型数据库系统 1970年 推理逻辑推理，证明数学定理 数学公式推导 符号计算 1970年代 大规模信息检索 搜索引擎 1990年代 记忆长期记忆，短期记忆 感知问题听觉 机器学习 还未解决 联想触景生情 感知问题视觉 机器学习 还未解决 控制控制肢体运动 运动控制 机器人控制算法 还未解决 语言理解语言，说话，写作 理解人类语言 机器学习 还未解决 创作，如诗歌和音乐 机器学习 还未解决 创作绘画，写诗，创作音乐 有确定性的数学，逻辑模型的问题，计算机远胜人类；无法建 感情情绪，恋爱 立这种精确模型的问题，恰好是机器学习要解决的核心问题。 Hag3 hou Dianzi Universit杭州电子科技大学 School of Computer Science and Technology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 人类学习与机器学习 人脑有哪些功能？ 感知 视觉，听觉，嗅觉，触觉 计算 数学计算 推理 逻辑推理，证明数学定理 记忆 长期记忆，短期记忆 联想 触景生情 控制 控制肢体运动 语言 理解语言，说话，写作 创作 绘画，写诗，创作音乐 感情 情绪，恋爱 典型问题 方法 解决时间 算术运算 CPU指令 1945年 大规模线性方程组 Krylov子空间迭代 1950年 海量数据的排序 快速排序算法 1962年 寻找地图上两点间最短路径 Dijkstra算法 1959年 存储并管理大规模数据 关系型数据库系统 1970年 数学公式推导 符号计算 1970年代 大规模信息检索 搜索引擎 1990年代 感知问题-听觉 机器学习 还未解决 感知问题-视觉 机器学习 还未解决 运动控制 机器人控制算法 还未解决 理解人类语言 机器学习 还未解决 创作，如诗歌和音乐 机器学习 还未解决 有确定性的数学，逻辑模型的问题，计算机远胜人类；无法建 立这种精确模型的问题，恰好是机器学习要解决的核心问题
学习的过程 人类学习→机器学习： ·获取新的陈述性知识。 ·通过教育或实践发展认知能力。 ·将新知识组织成为通用化和有效的表达形式。 ·借助观察和实验发现新的事实和新的理论。 机器学习：模仿了人的学习能力，从样本数据中学习经验，将经验用于预测。 Hangzhou Dian21 niversity杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文晖 cioot G CoRbreL DCICACE ut I6eRiot
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 学习的过程 人类学习机器学习： • 获取新的陈述性知识。 • 通过教育或实践发展认知能力。 • 将新知识组织成为通用化和有效的表达形式。 • 借助观察和实验发现新的事实和新的理论。 机器学习：模仿了人的学习能力，从样本数据中学习经验，将经验用于预测
机器学习的原理 原理： ·学习与经验有关。 ·学习可以改善系统性能。 ·学习是一个有反馈的信息处理与控制过程。 经验是在系统与环境的交互过程中产生的。 经验中应包含系统输入、响应和效果等信息。 因此经验积累、性能完善正是通过重复这一过程而实现的。 Hangzhou Dianzi University杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 机器学习的原理 原理： • 学习与经验有关。 • 学习可以改善系统性能。 • 学习是一个有反馈的信息处理与控制过程。 经验是在系统与环境的交互过程中产生的。 经验中应包含系统输入、响应和效果等信息。 因此经验积累、性能完善正是通过重复这一过程而实现的