第十章其他机器学习理论
第十章 其他机器学习理论
章前导读01020304可否跨平台的进对每个项目都进时变的复杂系统如何将多个预测行训练集标记耗和动态变化，是能力不好的基本行数据利用和模时耗力，如何将否有学习算法能机器学习模型集型训练？在与复杂环境的现有项目的训练成在一起，提升集标记应用到新交互中进行学习？模型的性能。的项目中去
章前导读 01 • 如何将多个预测 能力不好的基本 机器学习模型集 成在一起，提升 模型的性能 。 02 • 对每个项目都进 行训练集标记耗 时耗力，如何将 现有项目的训练 集标记应用到新 的项目中去。 03 • 时变的复杂系统 和动态变化，是 否有学习算法能 在与复杂环境的 交互中进行学习？ 04 • 可否跨平台的进 行数据利用和模 型训练？
三学习目标了解了解迁移学习的联邦学习的基本原理和基本原理和常用算法常用算法了解了解集成学习的强化学习的基本原理和基本原理和常用算法常用算法
1 2 3 4 了解 集成学习的 基本原理和 常用算法 了解 迁移学习的 基本原理和 常用算法 了解 强化学习的 基本原理和 常用算法 了解 联邦学习的 基本原理和 常用算法 学习目标
本章内容集成学习简介目录迁移学习简介强化学习简介联邦学习简介
目 录 集 成 学 习 简 介 迁 移 学 习 简 介 强 化 学 习 简 介 联 邦 学 习 简 介 本章内容
第一部分集成学习mii
第一部分 集成学习
集成学习概念：集成学习从组合优化的角度出发，构建并结合多个学习器来完成学习任务，往往可以获得比单一学习器显著优越的泛化性能集成学习的一般结构：先产生一组“个体学习器”，再以某种策略将它们组合起来。根据产生个体学习器的算法是否相同，个体学习器又可以称为基学习器或组件学习器，只使用一种学习算法生成相同种类的学习器，被称为同质集成，相应的学习算法和学习器称为基学习算法/器，如果集成中包含了不同类型的学习器，例如同时包含决策树和神经网络，这种方式被称为异质集成
集成学习 概念：集成学习从组合优化的角度出发，构建并结合多个 学习器来完成学习任务，往往可以获得比单一学习器显著 优越的泛化性能。 集成学习的一般结构：先产生一组“个体学习器”，再以 某种策略将它们组合起来。根据产生个体学习器的算法是 否相同，个体学习器又可以称为基学习器或组件学习器。 只使用一种学习算法生成相同种类的学习器，被称为同质 集成，相应的学习算法和学习器称为基学习算法/器。 如果集成中包含了不同类型的学习器，例如同时包含决策 树和神经网络，这种方式被称为异质集成
一集成学习根据个体学习器的生成方式，本章介绍两种重要算法：BoostingBagging
集成学习 根据个体学习器的生成方式,本章介绍两种重要算法： Boosting Bagging
=BoostingBoosting算法：数据处理数据处理更收联处理通过增加选代基学习器的学习效果来产生一个表现更优练子集！训练子集2调练子集店的强学习器。基学习法基学习律送2基学习好基学习器学习器2基学习态具体过程如右图：模型雅合酒采用串行的方式不断选代基学习器，通过给错误样本一谢试集成学习器美测给果个较大的权重来提升性能Boosting算法代表性算法：Adaboost。通过使用不同的损失函数和优化方法，可以得到多种Boosting方法
Boosting Boosting算法： 通过增加迭代基学习器的学习效果来产生一个表现更优 的强学习器。 具体过程如右图： 采用串行的方式不断迭代基学习器，通过给错误样本一 个较大的权重来提升性能。 代表性算法：Adaboost。 通过使用不同的损失函数和优化方法，可以得到多种 Boosting方法
=BaggingBagging算法：通过随机改变训练集的分布产生新的采样集，然后分别调栋果自助来村团用不同的采样集来训练个体学习器，最后将其集成为整体。自助采祥送采祥达百助谢练子集目鲜子集2妈饭子果基学习草法学习具体过程如左图：习达陈学习器【掌学习器通过应用自助采样法产生不同的训练子集，然基7习8后基于每个训练子集训练出一个基学习器，再将这些投费法横器结采基学习器进行结合。一佳成学习器需试集Bagging算法代表性算法：随机森林
Bagging Bagging算法： 通过随机改变训练集的分布产生新的采样集，然后分别 用不同的采样集来训练个体学习器，最后将其集成为整体。 具体过程如左图： 通过应用自助采样法产生不同的训练子集，然 后基于每个训练子集训练出一个基学习器，再将这些 基学习器进行结合。 代表性算法：随机森林
=BaggingBagging算法：采用并行的方式训练基学习器，通过对不同独立的基学习器的学习结果进行平均来降低误差。Bagging算法的关键在于基学习器对数据分布敏感。由于使用自助采样法来产生新的训练子集，当个体学习器效果越好且它们之间的差异越大时，该集成算法的效果就会越好。自助采样过程中初始训练集剩下未采用的部分样本可用作验证集来对泛化性能进行包外估计
Bagging Bagging算法：采用并行的方式训练基学习器， 通过对不同独立的基学习器的学习结果进行平均来降低 误差。 Bagging算法的关键在于基学习器对数据分布敏感。 由于使用自助采样法来产生新的训练子集，当个体学习 器效果越好且它们之间的差异越大时，该集成算法的效 果就会越好。 自助采样过程中初始训练集剩下未采用的部分样本 可用作验证集来对泛化性能进行包外估计