梁舒等：分布式一致性最优化的梯度算法与收敛分析 439. 个体之间的信息分享关系如图1所示 20 18 8 6 图1信息分享关系图 Fig.1 Information sharing graph 0 容易验证20=∩%，2=[-5，-1山，而问题的最优 50100150200250300350400450500 Iteration number,k 解为 图4李雅普诺夫函数的更新轨迹 xi=…=x5=-1 (23) Fig.4 Trajectory of the Lyapunov function 通过分析和计算得 5结论 5 =3IlLll =6 (24) 对分布式一致性最优化问题进行了研究，设 因此，根据式(21)，选择B=0.9,得到参数α的 计了具有两个可调参数的分布式原始-对偶梯度 选择范围是0<a<0.075.在数值实验中，选择 算法，并论证了算法的收敛性.针对一般的定步长 α=0.07，得到的实验结果如图2~4所示.可以看 迭代格式，提出一种基于李雅普诺夫函数的分析 出，由于选择了合适的步长等参数，算法仅迭代 范式，具有普适性和一般性，在收敛分析方面具有 300次后就已经收敛到最优解.这些实验结果验证 框架性和系统性.提出的方法运用在论文所考虑 了本文提出的分布式算法及其收敛分析方法的正 的分布式梯度算法上，得到了算法收敛条件，确定 确性和有效性 出算法参数的选择范围，证实了方法的有效性.给 出的数值实验结果也验证了该方法的有效性.接 Agent 1 Agent 2 下来的工作将包括对其他类型的分布式优化算法 Agent 3 Agent 4 进行设计和分析，如带有耦合等式或不等式约束 Agent s 0 的分布式资源分配问题等 参考文献 [1]Yang T,Yi X L,Wu J F,et al.A survey of distributed optimization.Ann Rev Control,2019,47:278 050100150200250300350400450500 [2]Yi P,Hong Y G.Distributed cooperative optimization and its Iteration number,k applications.Sci Sin Math,2016,46(10):1547 图2决策变量的更新轨迹 (衣鹏，洪奕光.分布式合作优化及其应用.中国科学：数学， Fig.2 Trajectories of decision variables 2016,46(10):1547) [3]Peng K X,Zhang C F,Ma L,et al.System-levels-based Agent I Agent 2 holographic fault diagnosis for complex industrial processes. Agent 3 C1ESCJ,2019,70(2):590 Agent 4 Agent 5 (彭开香，张传放，马亮，等.面向系统层级的复杂工业过程全息 故障诊断.化工学报，2019.70(2)：590) [4]Nedic A,Ozdaglar A,Parrilo P A.Constrained consensus and optimization in multi-agent networks.IEEE Trans Autom Control. 2010,55(4):922 [5]Nedic A,Olshevsky A.Distributed optimization over time-varying 50100150200250300350400450500 directed graphs.IEEE Trans Autom Control,2015,60(3):601 Iteration number,k [6]Nedic A,Olshevsky A.Stochastic gradient-push for strongly 图3对偶变量的更新轨迹 convex functions on time-varying directed graphs.IEEE Trans Fig.3 Trajectories of dual variables Autom Control.2016.61(12):3936个体之间的信息分享关系如图 1 所示. Ω0 = ∩N 容易验证 i=1 Ωi = [−5,−1] ，而问题的最优 解为 x ∗ 1 = ··· = x ∗ 5 = −1 （23） 通过分析和计算得 κ f = 5 3 , ∥L∥∞ = 6 （24） β = 0.9 α 0 < α < 0.075 α = 0.07 因此，根据式（21），选择 ，得到参数 的 选择范围是 . 在数值实验中 ，选择 ，得到的实验结果如图 2～4 所示. 可以看 出，由于选择了合适的步长等参数，算法仅迭代 300 次后就已经收敛到最优解. 这些实验结果验证 了本文提出的分布式算法及其收敛分析方法的正 确性和有效性. 5    结论 对分布式一致性最优化问题进行了研究，设 计了具有两个可调参数的分布式原始–对偶梯度 算法，并论证了算法的收敛性. 针对一般的定步长 迭代格式，提出一种基于李雅普诺夫函数的分析 范式，具有普适性和一般性，在收敛分析方面具有 框架性和系统性. 提出的方法运用在论文所考虑 的分布式梯度算法上，得到了算法收敛条件，确定 出算法参数的选择范围，证实了方法的有效性. 给 出的数值实验结果也验证了该方法的有效性. 接 下来的工作将包括对其他类型的分布式优化算法 进行设计和分析，如带有耦合等式或不等式约束 的分布式资源分配问题等. 参    考    文    献 Yang  T,  Yi  X  L,  Wu  J  F,  et  al.  A  survey  of  distributed optimization. Ann Rev Control, 2019, 47: 278 [1] Yi  P,  Hong  Y  G.  Distributed  cooperative  optimization  and  its applications. Sci Sin Math, 2016, 46（10）: 1547 （衣鹏, 洪奕光. 分布式合作优化及其应用. 中国科学: 数学, 2016, 46（10）：1547） [2] Peng  K  X,  Zhang  C  F,  Ma  L,  et  al.  System-levels-based holographic  fault  diagnosis  for  complex  industrial  processes. CIESC J, 2019, 70（2）: 590 （彭开香, 张传放, 马亮, 等. 面向系统层级的复杂工业过程全息 故障诊断. 化工学报, 2019, 70（2）：590） [3] Nedic  A,  Ozdaglar  A,  Parrilo  P  A.  Constrained  consensus  and optimization in multi-agent networks. IEEE Trans Autom Control, 2010, 55（4）: 922 [4] Nedic A, Olshevsky A. Distributed optimization over time-varying directed graphs. IEEE Trans Autom Control, 2015, 60（3）: 601 [5] Nedic  A,  Olshevsky  A.  Stochastic  gradient-push  for  strongly convex  functions  on  time-varying  directed  graphs. IEEE Trans Autom Control, 2016, 61（12）: 3936 [6] 1 2 3 5 4 图 1    信息分享关系图 Fig.1    Information sharing graph 0 50 100 150 200 Iteration number, k 250 300 350 400 450 500 −4 −3 −2 −1 0 1 2 3 Agent 1 Agent 2 Agent 3 Agent 4 Agent 5 Primal variable, x[k] 图 2    决策变量的更新轨迹 Fig.2    Trajectories of decision variables 0 50 100 150 200 Iteration number, k 250 300 350 400 450 500 −3 −2 −1 0 1 2 3 Agent 1 Agent 2 Agent 3 Agent 4 Agent 5 Dual variable, λ[k] 图 3    对偶变量的更新轨迹 Fig.3    Trajectories of dual variables 0 50 100 150 200 Iteration number, k 250 300 350 400 450 500 0 6 4 2 8 10 12 14 18 16 20 Lyapunov function, V[k] 图 4    李雅普诺夫函数的更新轨迹 Fig.4    Trajectory of the Lyapunov function 梁    舒等： 分布式一致性最优化的梯度算法与收敛分析 · 439 ·