林歆悠等：基于增强学习算法的插电式燃料电池电动汽车能量管理控制策略 ·1337. (a) (b) 0 -200 -200 400 -400 40 40 电潘功华 0 、0 20 40 40 0 40 20 0 -20 需求功率kW 电池功率 20 需求功率kW 图6增强学习价值函数优化结果.()价值函数的最优值：(b)迭代后的Q值 Fig.6 Optimization results of the RL cost function:(a)optimal solution of cost function;(b)values after iteration 4.1增强学习策略的可行性验证 汽车的仿真模型，为了与实际工作情况相一致，便于 以动力系统数学模型为基础，在Matlab/Simu- 建立起控制系统的硬件在环仿真环境，采用前向仿 lik开发环境下，建立所研究的燃料电池混合动力 真，该仿真流程如图7所示 加速 目标车速 制动踏板 日标转矩 电机需求 DC/DC 司机意图 功率 功率 目标功率 DC/DC 燃料电池 司机模型 解释 需求 能量管理 模型 系统模型 荷电状态个 电池 氢 电机 目标 动力电池 功率 气 需求 功率 模型 电机实际 DC/DC 实际车速 整车动力 功率 电机 电池实际功率 学模型 模型 实际功率 图7燃料电池混合动力汽车仿真模型 Fig.7 Simulation model of the fuel cell hybrid electric vehicle 采用模拟现实拥堵市区交通中走走停停的城市 量恢复一定值后再次由电池驱动车辆，电池在较低 行驶工况进行循环加载仿真试验，在该工况下整车 荷电状态条件下，处于反复充放电状态，该策略下氢 仿真的速度对比如图8所示，从图中可以看出实际 气消耗量为0.8334kg.基于等效消耗最小策略在电 车速与目标车速基本一致 池电量消耗至设定值0.2后启动燃料电池，在该阶 100 段基于等效氢气消耗最小原则，实时地分配电池和 一目标车速 80 一一一实际车速 燃料电池之间的能量，使电池的电量保持在设定值 60 上下浮动，最终氢气消耗仅为0.5774kg.基于增强 学习算法的策略在电池电量充足的情况下，使用电 20 池驱动的成本值较小，因此，主要使用电池驱动车 200 400 600 800 1000 1200 400 辆，当电池消耗到一定程度时，控制策略根据计算得 运行时间s 到的最优成本值开始频繁调用燃料电池介入工作， 图8实际车速与目标车速对比 辅助电池来共同驱动车辆，使电池的电量消耗速率 Fig.8 Comparison between actual and target speeds 明显降低，氢气的消耗速率在此时也稍微增加，但 在设定电池S0C的初始值为0.9，行驶里程为 是，在仿真结束时仍可以使电池保持一定的电量，且 200km的情况下，将基于增强学习的能量管理策略 综合氢气消耗量相对于基于等效消耗最小策略的控 与基于规则和基于等效消耗最小策略的策略进行仿 制策略进一步减少，仅为0.5028kg. 真试验对比，图9给出了动力电池S0C变化以及电 如图10给出的是燃料电池系统输出功率对比， 池电量消耗和燃料电池氢气消耗的结果对比. 同样可以看出，在电池电量充足时，燃料电池参与驱 可以看出，当电池的电量较高时，三种策略都倾 动的功率较小且不频繁，当电量降低时后，基于增强 向于优先消耗电池电量，燃料电池处于不工作状态， 学习的控制策略相比于另两种策略燃料电池更早地 基于规则的策略在电池电量消耗到设定值0.2时启 参与驱动车辆，这也验证了图9中电池荷电状态的 动燃料电池来驱动车辆，并对电池进行充电，电池电 变化.另外，图11表示的是燃料电池系统三种策略林歆悠等: 基于增强学习算法的插电式燃料电池电动汽车能量管理控制策略 图 6 增强学习价值函数优化结果. (a)价值函数的最优值;(b)迭代后的 Q 值 Fig. 6 Optimization results of the RL cost function:(a)optimal solution of cost function; (b) Q values after iteration 4郾 1 增强学习策略的可行性验证 以动力系统数学模型为基础,在 Matlab / Simu鄄 link 开发环境下,建立所研究的燃料电池混合动力 汽车的仿真模型,为了与实际工作情况相一致,便于 建立起控制系统的硬件在环仿真环境,采用前向仿 真,该仿真流程如图 7 所示. 图 7 燃料电池混合动力汽车仿真模型 Fig. 7 Simulation model of the fuel cell hybrid electric vehicle 采用模拟现实拥堵市区交通中走走停停的城市 行驶工况进行循环加载仿真试验,在该工况下整车 仿真的速度对比如图 8 所示,从图中可以看出实际 车速与目标车速基本一致. 图 8 实际车速与目标车速对比 Fig. 8 Comparison between actual and target speeds 在设定电池 SOC 的初始值为 0郾 9,行驶里程为 200 km 的情况下,将基于增强学习的能量管理策略 与基于规则和基于等效消耗最小策略的策略进行仿 真试验对比,图 9 给出了动力电池 SOC 变化以及电 池电量消耗和燃料电池氢气消耗的结果对比. 可以看出,当电池的电量较高时,三种策略都倾 向于优先消耗电池电量,燃料电池处于不工作状态, 基于规则的策略在电池电量消耗到设定值 0郾 2 时启 动燃料电池来驱动车辆,并对电池进行充电,电池电 量恢复一定值后再次由电池驱动车辆,电池在较低 荷电状态条件下,处于反复充放电状态,该策略下氢 气消耗量为0郾 8334 kg. 基于等效消耗最小策略在电 池电量消耗至设定值 0郾 2 后启动燃料电池,在该阶 段基于等效氢气消耗最小原则,实时地分配电池和 燃料电池之间的能量,使电池的电量保持在设定值 上下浮动,最终氢气消耗仅为 0郾 5774 kg. 基于增强 学习算法的策略在电池电量充足的情况下,使用电 池驱动的成本值较小,因此,主要使用电池驱动车 辆,当电池消耗到一定程度时,控制策略根据计算得 到的最优成本值开始频繁调用燃料电池介入工作, 辅助电池来共同驱动车辆,使电池的电量消耗速率 明显降低,氢气的消耗速率在此时也稍微增加,但 是,在仿真结束时仍可以使电池保持一定的电量,且 综合氢气消耗量相对于基于等效消耗最小策略的控 制策略进一步减少,仅为 0郾 5028 kg. 如图 10 给出的是燃料电池系统输出功率对比, 同样可以看出,在电池电量充足时,燃料电池参与驱 动的功率较小且不频繁,当电量降低时后,基于增强 学习的控制策略相比于另两种策略燃料电池更早地 参与驱动车辆,这也验证了图 9 中电池荷电状态的 变化. 另外,图 11 表示的是燃料电池系统三种策略 ·1337·