·493· 窦勇敢，等：基于隐式随机梯度下降优化的联邦学习 第3期 3.4真实数据集实验结果分析 者为0%时，代表所有设备执行相同的工作量 在本实验中，为了验证本文提出的算法在高 (E=20)。在指定的全局时间周期内，当E<20时， 度系统异构性和数据异构性环境下的整体效果， FedAvg会丢掉这些掉队者，本文的算法和Fed 本节在3个联邦学习常用真实数据集和一个合成 PrOx会合并这些掉队者，不同的是本文在全局模 数据集上比较不同算法的稳定性和收敛效果，其 型聚合阶段会有效地使用合并掉队者的模型参 中Synthetic11客户端本地类别设置为5，实现在 数，利用隐式随机梯度下降对全局模型进一步优 数据异构性基础上模拟不同系统异构性的联邦设置。 化。真实数据集上的训练损失如图3所示，从上 本文通过约束设备的本地工作量，使每个设 到下3行图片分别代表0%、50%和90%的掉队 备训练指定的E来模拟系统的异构性，对于不同 者。随着迭代轮数的不断增加，平均损失逐渐趋 的异构设置，随机选择不同的E(E<20)分配给 于稳定，从图3中可以看出本文提出的算法的收 0%、50%和90%当前参与训练的设备。当掉队 敛速度明显优于Fedavg和FedProx。 …FedAvg ---FedProx -Ours 1.5 1.8 15 6 罩4 0.5 20 0.5 0.5 0 50 100 150200 50 100150200 0 100200300 400 0 200400600800 训练轮数 训练轮数 训练轮数 训练轮数 (a)Synthetic11掉队者o% (b)MNIST掉队者0% (c)EMNIST掉队者O% (d)Sent140掉队者0% 1.8 1.5 18 1.5 1.0 1.0 50 25 三 0.5 =03 05 0 50100150200 50100150200 0 100200300400 200400600800 训练轮数 训练轮数 训练轮数 训练轮数 (e)Synthetic1I掉队者50% ()MNIST掉队者50% (g)EMNIST掉队者50% (h)Sent140掉队者50% 1.8 1.5 1.5, 价 130 1.5 100 1.0 M 0.5 0 50100150200 50100150200 100200300400 200400600800 训练轮数 训练轮数 训练轮数 训练轮数 (①Synthetic_I_1掉队者90% G)MNIST掉队者90% (k)EMNIST掉队者90% (0)Sent140掉队者90% 图3真实联邦数据集实验结果分析 Fig.3 Analysis of experimental results of realistic federated datasets 表4给出了在高度异构环境下模型的平均测 4结束语 试精度，从表中可以看出掉队者为90%时，本文 提出的算法的平均测试精度最高，其次是Fed- 本文提出了一种基于隐式随机梯度下降优化 Prox。本文算法在MNIST数据集上比FedProx 的联邦学习算法。全局模型聚合阶段不再是简单 高5%。实验中，在Sentl40数据集上通过设置相 的平均各设备上传的模型参数，而是利用本地上 同超参数进行比较不同算法运行时间，在通信轮 传的模型参数近似求出全局梯度，同时避免求解 数为200的情况下，FedAvg、FedProx和本文所提 一阶导数。利用随机梯度下降对全局模型参数 算法运行时间分别为67min、108min、108min。 进行更新，在信息几余的情况下能更准确地利用 有效信息，随着通信轮数不断增加，全局模型会 表4高度异构环境各算法平均测试精度 Table 4 Average test accuracy of each algorithm in 很快收敛到最小值附近。在3个合成数据集和 highlyheterogeneous environment % 3个真实数据集上的实验结果充分表明：该算法 数据集 FedAvg FedProx 本文算法 能够在不同异构环境中均表现出更快更稳健的收 敛结果，显著提高了联邦学习在实际应用系统中 Synthetic 1 1 72.3 76.1 77.4 的稳定性和鲁棒性。 MNIST 76.7 81.4 86.4 EMNIST 50.4 68.1 68.3 参考文献： Sent140 57.0 69.4 69.5 [1]MCMAHAN B,MOORE E,RAMAGE D,et al.Commu-3.4 真实数据集实验结果分析 在本实验中，为了验证本文提出的算法在高 度系统异构性和数据异构性环境下的整体效果， 本节在 3 个联邦学习常用真实数据集和一个合成 数据集上比较不同算法的稳定性和收敛效果，其 中 Synthetic_1_1 客户端本地类别设置为 5，实现在 数据异构性基础上模拟不同系统异构性的联邦设置。 本文通过约束设备的本地工作量，使每个设 备训练指定的Ｅ来模拟系统的异构性，对于不同 的异构设置，随机选择不同的 E(E<20) 分配给 0%、50% 和 90% 当前参与训练的设备。当掉队 者为 0% 时，代表所有设备执行相同的工作量 (E=20)。在指定的全局时间周期内，当 E<20 时， FedAvg 会丢掉这些掉队者，本文的算法和 Fed￾Prox 会合并这些掉队者，不同的是本文在全局模 型聚合阶段会有效地使用合并掉队者的模型参 数，利用隐式随机梯度下降对全局模型进一步优 化。真实数据集上的训练损失如图 3 所示，从上 到下 3 行图片分别代表 0%、50% 和 90% 的掉队 者。随着迭代轮数的不断增加，平均损失逐渐趋 于稳定，从图 3 中可以看出本文提出的算法的收 敛速度明显优于 Fedavg 和 FedProx。 1.5 1.8 1.0 0.5 训练损失 1.5 1.8 1.0 0.5 训练损失 1.5 1.8 1.0 0.5 训练损失 1.0 1.5 0.5 0.3 训练损失 1.0 1.5 0.5 0.3 训练损失 1.0 1.5 0.5 0.3 训练损失 1.0 1.5 0.5 0.4 训练损失 100 130 50 0 训练损失 50 75 83 25 60 72 40 20 训练损失 训练损失 1.5 1.8 1.0 训练损失 0.5 1.5 1.8 1.0 训练损失 0.5 训练轮数 训练轮数 训练轮数 0 100 200 300 400 0 100 200 300 400 100 200 300 400 0 200 400 600 800 0 200 400 600 800 0 200 400 600 800 0 50 100 150 200 0 50 100 150 200 0 50 100 150 200 训练轮数 训练轮数 训练轮数 训练轮数 训练轮数 训练轮数 训练轮数 训练轮数 训练轮数 0 50 100 150 200 0 50 100 150 200 0 50 100 150 200 FedAvg FedProx Ours (a) Synthetic_1_1 掉队者0% (b) MNIST 掉队者0% (c) EMNIST 掉队者0% (d) Sent140 掉队者0% (e) Synthetic_1_1 掉队者50% (f) MNIST 掉队者50% (g) EMNIST 掉队者50% (h) Sent140 掉队者50% (i) Synthetic_1_1 掉队者90% (j) MNIST 掉队者90% (k) EMNIST 掉队者90% (l) Sent140 掉队者90% 图 3 真实联邦数据集实验结果分析 Fig. 3 Analysis of experimental results of realistic federated datasets 表 4 给出了在高度异构环境下模型的平均测 试精度，从表中可以看出掉队者为 90% 时，本文 提出的算法的平均测试精度最高，其次是 Fed￾Prox。本文算法在 MNIST 数据集上比 FedProx 高 5%。实验中，在 Sent140 数据集上通过设置相 同超参数进行比较不同算法运行时间，在通信轮 数为 200 的情况下，FedAvg、FedProx 和本文所提 算法运行时间分别为 67 min、108 min、108 min。 表 4 高度异构环境各算法平均测试精度 Table 4 Average test accuracy of each algorithm in highlyheterogeneous environment % 数据集 FedAvg FedProx 本文算法 Synthetic_1_1 72.3 76.1 77.4 MNIST 76.7 81.4 86.4 EMNIST 50.4 68.1 68.3 Sent140 57.0 69.4 69.5 4 结束语 本文提出了一种基于隐式随机梯度下降优化 的联邦学习算法。全局模型聚合阶段不再是简单 的平均各设备上传的模型参数，而是利用本地上 传的模型参数近似求出全局梯度，同时避免求解 一阶导数。 利用随机梯度下降对全局模型参数 进行更新，在信息冗余的情况下能更准确地利用 有效信息，随着通信轮数不断增加，全局模型会 很快收敛到最小值附近。在 3 个合成数据集和 3 个真实数据集上的实验结果充分表明：该算法 能够在不同异构环境中均表现出更快更稳健的收 敛结果，显著提高了联邦学习在实际应用系统中 的稳定性和鲁棒性。 参考文献： [1] MCMAHAN B, MOORE E, RAMAGE D, et al. Commu- ·493· 窦勇敢，等：基于隐式随机梯度下降优化的联邦学习 第 3 期