电子科技大学研究生《机器学习》精品课程 第12讲超参数优化与自动学习 Hyperparameters Optimization AutoML 郝家胜(Jiasheng Hao) Ph.D.,Associate Professor Email:hao@uestc.edu.cn School of Automation Engineering,Center for Robotics University of Electronic Science and Technology of China,Chengdu 611731 Awg.2015第一稿；Dec.2021第四稿
电子科技大学研究生《机器学习》精品课程 Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronic Science and Technology of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor Aug. 2015 第一稿；Dec. 2021第四稿 第12讲 超参数优化与自动学习 Hyperparameters Optimization & AutoML
问题：机器学习算法的超参数 hyperparameters BP网络的隐藏层数量、神经元个数？ 随机森林的决策树数量，属性个数？ 特征选择的最优组合？ Kmeans的k? Grid search(网格搜索)、Random search(随机 搜索) 调参师机器化？
BP 网络的隐藏层数量、神经元个数？ 随机森林的决策树数量，属性个数？ 特征选择的最优组合？ Kmeans的 k ？ 问题：机器学习算法的超参数 hyperparameters 调参师机器化？ Grid search（网格搜索）、Random search（随机 搜索）
机器学习模型超参数：复杂函数最优值问题 f(x,y)=xsin(4πx)-ysin(4πy+π)+1 x,y∈[-1,2] f10闪 6 如何求解？ Grid Search Random Search 0 0 Important parameter mportant parameter
机器学习模型超参数：复杂函数最优值问题 如何求解？
内容提要 遗传算法 粒子群算法 贝叶斯优化 10 0 -200 0 200 0 200 -200 前两种不是特别适合复杂模型超参数调优场景：初始样本多，效率低
内容提要 4 遗传算法 粒子群算法 贝叶斯优化 前两种不是特别适合复杂模型超参数调优场景：初始样本多，效率低
遗传算法 Genetic Algorithms,GA 5
5 遗传算法 Genetic Algorithms, GA
SGA的算法步骤 开始 (1)编码：随机产生一个由确定长度的 (1) 初始化种群 特征字符串组成的初始种群。 (2) 计算适应度值 (2)进化：对该字符串种群迭代的执行下 面的步①和步②，直到满足停止标准： (3) 选择操作 ①计算种群中每个个体字符串的适 (4) 应值； 交叉操作 ②应用复制、交叉和变异等遗传算 (5) 变异操作 子产生下一代种群。 终止条件？ (6) (3)解码：把在后代中出现的最好的个体 字符串指定为遗传算法的执行结果，这 最优解输出 是 结束 个结果可以表示问题的一个解。 简单遗传算法框图
SGA的算法步骤 (1) 编码： 随机产生一个由确定长度的 特征字符串组成的初始种群。 (2) 进化：对该字符串种群迭代的执行下 面的步①和步② ，直到满足停止标准： ① 计算种群中每个个体字符串的适 应值； ② 应用复制、交叉和变异等遗传算 子产生下一代种群。 (3) 解码：把在后代中出现的最好的个体 字符串指定为遗传算法的执行结果，这 个结果可以表示问题的一个解。 初始化种群 变异操作 计算适应度值 选择操作 交叉操作 最优解输出 终止条件？ 简单遗传算法框图 否 是 开始 结束 (1) (2) (3) (4) (5) (6) (7)
粒子群优化算法 Particle Swarm Optimization,PSO 7
7 粒子群优化算法 Particle Swarm Optimization, PSO
算法简介 Kennedy和Eberhart于1995年提出 受人工生命研究结果的启发、通过模拟鸟群觅食过程 中的迁徙和群聚行为而提出的一种基于群体智能的全 局随机搜索算法 群体迭代，粒子在解空间追随最优的粒子进行搜索 简单易行 粒子群算法： 收敛速度快 设置参数少 已成为现代优化方法领域研究的热点. 8
算法简介 8 Kennedy和Eberhart于1995年提出 受人工生命研究结果的启发、通过模拟鸟群觅食过程 中的迁徙和群聚行为而提出的一种基于群体智能的全 局随机搜索算法 群体迭代，粒子在解空间追随最优的粒子进行搜索. 简单易行 粒子群算法: 收敛速度快 设置参数少 已成为现代优化方法领域研究的热点．
算法应用 PSO比较有潜力的应用包括系统设计、 多目标优化、分类、模式识别、调度、信 号处理、决策、机器人应用等。其中具体 应用实例有：模糊控制器设计、车间作业 调度、机器人实时路径规划、自动目标检 测、时频分析等
PSO应用 算法应用
思想起源 ▣ 自然界中各种生物体均具有一定的群体行为，而人工生 命的主要研究领域之一是探索自然界生物的群体行为 自然界中的鸟群和鱼群的群体行为一直是科学家的研究 兴趣，生物学家Craig Reynolds在1987年提出了一个非常 有影响的鸟群聚集模型： ■ 避免与邻域个体相冲撞 匹配邻域个体的速度 飞向鸟群中心，且整个群体飞向目标 口PSO基于此诞生 10
思想起源 10 o 自然界中各种生物体均具有一定的群体行为，而人工生 命的主要研究领域之一是探索自然界生物的群体行为 o 自然界中的鸟群和鱼群的群体行为一直是科学家的研究 兴趣，生物学家Craig Reynolds在1987年提出了一个非常 有影响的鸟群聚集模型： n 避免与邻域个体相冲撞 n 匹配邻域个体的速度 n 飞向鸟群中心，且整个群体飞向目标 o PSO基于此诞生