第7讲决策树学习 周文晖 杭州电子科技大学
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 第7讲 决策树学习 周文晖 杭州电子科技大学
什么是机器学习？ 什么是机器学习 机器学习原理，基本过程，机器学习分类… 经典机器学习 经典机器学习 简单机器学习、经典机器学习， 决策树学习 决策树学习 什么是决策树，学习步骤， 神经网络学习 神经网络学习 人工神经元，人工神经网络发展历史，感知器，BP,… 深度学习 深度学习 什么是深度学习，深度学习的发展历史，卷积神经网络，常见深度学习网络，： Hangchou Dianzi Universi的y杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 什么是机器学习 神经网络学习 经典机器学习 决策树学习 深度学习 什么是机器学习？ 机器学习原理，基本过程，机器学习分类 … 经典机器学习 简单机器学习、经典机器学习，… 决策树学习 神经网络学习 人工神经元，人工神经网络发展历史，感知器， BP， … 深度学习 ？ 什么是深度学习，深度学习的发展历史，卷积神经网络，常见深度学习网络，… 什么是决策树，学习步骤， …
决策数基本流程 基本流程 决策过程，基本流程，… 划分选择 划分选择 信息熵，增益率，基尼指数，… 剪枝处理 剪枝处理 预剪枝，后剪枝 连续与缺失值 连续与缺失值 连续值处理，缺失值处理 小结 小结 决策树与深度学习. Hangzhou Dianzi Universi的y杭州电子科技大学 School(of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 基本流程 连续与缺失值 划分选择 剪枝处理 小结 决策数基本流程 决策过程，基本流程，… 划分选择 信息熵，增益率，基尼指数，… 剪枝处理 连续与缺失值 连续值处理，缺失值处理 … 小结 ？ 决策树与深度学习… 预剪枝，后剪枝 …
决策数基本流程 基本流程 决策过程，基本流程，… 划分选择 划分选择 信息熵，增益率，基尼指数，… 剪枝处理 剪枝处理 个 预剪枝，后剪枝 连续与缺失值 连续与缺失值 连续值处理，缺失值处理 小结 小结 决策树与深度学习. Hangzhou Dianzi Universi的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 基本流程 连续与缺失值 划分选择 剪枝处理 小结 决策数基本流程 决策过程，基本流程，… 划分选择 信息熵，增益率，基尼指数，… 剪枝处理 连续与缺失值 连续值处理，缺失值处理 … 小结 ？ 决策树与深度学习… 预剪枝，后剪枝 …
人类的决策过程 色泽=？ 青绿 人类在做某些决策时会基于规则，这些规则是人工总结或制定的。 根蒂=？ 医生根据生理指标判定是否有病？ 蜷缩 以及判断一个西瓜是否是好瓜？ 敲声-？ +++ 浊响 人类决策的特点： 好瓜 1)决策过程中提出的每个判定问题都是对某个属性的“测试”： 2)决策过程的最终结论对应了我们所希望的判定结果； 3)每个测试的结果或是导出最终结论，或者导出进一步的判定问题，其考虑范围是在上次决策 结果的限定范围之内。 Hangzhou①ianzi Universi的杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 人类的决策过程 人类在做某些决策时会基于规则，这些规则是人工总结或制定的。 医生根据生理指标判定是否有病？ 以及判断一个西瓜是否是好瓜？ 色泽=? 根蒂=? 敲声=? 好瓜 青绿 蜷缩 浊响 …... … …... … …... … 人类决策的特点： 1）决策过程中提出的每个判定问题都是对某个属性的“测试”； 2）决策过程的最终结论对应了我们所希望的判定结果； 3）每个测试的结果或是导出最终结论，或者导出进一步的判定问题，其考虑范围是在上次决策 结果的限定范围之内
人类的决策过程→决策树学习 色泽=？ 青绿 与人类决策过程类似，决策树也是这种基于规则的方法，它用 根蒂=？ 一组嵌套的规则进行预测： 蜷缩 嵌套的规则形成一种基于树结构的预测： 敲声=？ 浊响 ·由对象的若干属性、属性值和有关决策组成的一棵树： 好瓜 ·决策树包含一个根结点、若干内部结点和叶结点： ·决策树的结点为属性（一般为语言变量）； 决策树学习的目的是为了产生一棵泛化能 ·树的分枝为相应的属性值（一般为语言值）； 力强，即处理未见示例能力强的决策树 Hangzhiou①ianzi Universi的抗州电子科技大学 School(of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 人类的决策过程决策树学习 与人类决策过程类似，决策树也是这种基于规则的方法，它用 一组嵌套的规则进行预测； 嵌套的规则形成一种基于树结构的预测： • 由对象的若干属性、属性值和有关决策组成的一棵树； • 决策树包含一个根结点、若干内部结点和叶结点； • 决策树的结点为属性（一般为语言变量）； • 树的分枝为相应的属性值（一般为语言值）； 色泽=? 根蒂=? 敲声=? 好瓜 青绿 蜷缩 浊响 …... … …... … …... … 决策树学习的目的是为了产生一棵泛化能 力强，即处理未见示例能力强的决策树
决策树示意图 A a 结点A,B,C代表各个属性； a,b,ck代表各属性的属性值： B 叶结点d,代表对应的决策结果； 内部结点则对应于一个属性测试： d k da g de 从根结点到每个叶结点的路径对应了一个判定测试序列。 决策树上从根节点到各叶子节点分枝路径上的诸“属性-值”对，和对应叶子节点的决策，构成 一个产生式规则。如A到d,的规则：(A=a1)∧(B=b2)=>d2 Hangchou①ianzi Universi的y杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 决策树示意图 结点 A, B, C 代表各个属性； ai, bj, ck 代表各属性的属性值； 叶结点 dl 代表对应的决策结果； 内部结点则对应于一个属性测试； 从根结点到每个叶结点的路径对应了一个判定测试序列。 决策树上从根节点到各叶子节点分枝路径上的诸“属性-值”对，和对应叶子节点的决策，构成 一个产生式规则。如 A 到 d2 的规则：(A= a1)∧(B= b2) => d2
决策树举例 天气 机场指挥台关于飞机起飞的简单决策树。 晴 阴 雨 风力 风力 取消 属性 属性值 大 小 大 小 天气 晴、阴、雨 风力 大、小 等待 地雾 取消 起飞 地雾 有、无 有 无 等待 起飞 Hangzhiou①ianzi Universi的抗州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 决策树举例 机场指挥台关于飞机起飞的简单决策树。 属性 属性值 天气 晴、阴、雨 风力 大、小 地雾 有、无
食物 决策树举例2 肉 草 描述“兔子”概念的决策树 否 体型 小 大 中 属性 属性值 耳朵 否 否 食物 食肉、食草 长 短 体型 大、中、小 尾巴 否 耳朵 长、短 尾巴 长、短 长 短 嘴型 两瓣、三瓣 否 嘴形 两瓣 三瓣 否 是 Hangzhou①ianzi Universi的杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 决策树举例2 描述“兔子”概念的决策树 属性 属性值 食物 食肉、食草 体型 大、中、小 耳朵 长、短 尾巴 长、短 嘴型 两瓣、三瓣
怎样学习决策树？ 决策树学习是以实例为基础的归纳学习； 从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则： 其基本流程遵循简单且直观的“分而治之(divide-and-conquer)”策略。 决策树的关键是选择最优划分属性，其基本思想： ·以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的 实例都属于同一类。 Hangzhou①ianzi Universi的y杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 怎样学习决策树 ? 决策树学习是以实例为基础的归纳学习； 从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则； 其基本流程遵循简单且直观的“分而治之 (divide-and-conquer)”策略。 决策树的关键是选择最优划分属性，其基本思想: • 以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的 实例都属于同一类