林歆悠等：基于增强学习算法的插电式燃料电池电动汽车能量管理控制策略 ·1333· 200,and 300 km mileages,respectively.The hardware-in-loop-test was performed on the D2P development platform,and the final en- ergy consumption of the vehicle was reduced by 20.8%under urban dynamometer driving schedule driving cycle.The hardware-in loop-test results are consistent with the simulation findings,indicating the effectiveness and feasibility of the proposed energy manage- ment strategy. KEY WORDS fuel-cell vehicle;reinforcement learning;energy management;Q_learning algorithm;control strategy 面对越来越严苛的排放法规，各大汽车厂商纷 合动态规划与等效消耗最小策略，通过动态规划对 纷着力发展新能源汽车，具有零排放、效率高、燃料 等效消耗最小策略的等效系数EF进行优化的基础 来源多元化、能源可再生等优势的燃料电池汽车，一 上，提出简化的等效系数优化方法.Murgovski等)] 直是国际汽车巨头及中国汽车企业重点研究的对 采用庞特里亚金极小值原理(pontryagin minimum 象).仅采用燃料电池作为动力源的燃料电池动力 principle,PMP)优化算法，寻找单一路径来实现系 系统，输出特性疲软，动态响应能力较差[)，因此， 统的优化控制，其计算速度相比于动态规划算法快 燃料电池汽车一般采用燃料电池+动力电池或超级 的多，仿真结果与基于动态规划的能量管理策略进 电容的混合动力驱动构型).针对混合动力燃料电 行对比，发现基于庞特里亚金极小值原理的策略只 池汽车，建立合理的能量管理策略，有效控制车辆工 比基于动态规划的策略的经济性降低了0.35%. 作模式、合理使用电池的能量[46]，是国内外汽车企 基于已知工况的策略，仅在历史行驶数据的基 业以及研究机构研究的核心技术之一[) 础上进行预测，不能实现准确的控制，从而无法达到 车辆的行驶里程、行驶工况等因素会直接影响 真正意义上的实时优化.基于优化算法的最优能量 混合动力车辆的动力分配以及工作模式的划分，从 管理策略通常需要建立能够良好地反映系统特性的 而影响整车经济性.Lin等[]采用六个典型的驾驶 精确模型，如等效消耗最小策略中的等效系数估计 模式来表征不同工况，对每个典型的驾驶模式应用 模型，这使得能量管理策略的建立过程变得十分复 动态规划方法寻找全局最优解，通过提炼全局最优 杂：其次，这些最优能量管理策略不能根据实际的工 结果给出各个典型驾驶模式下可以直接应用的优化 况进行策略更新迭代，使得控制策略不具有时效性 策略.林歆悠与孙冬野)选定了四种典型城市工 和拓展性.针对传统最优能量管理策略在这些方面 况，采用学习向量量化(LVQ)神经网络模型进行工 存在的问题，本文以插电式燃料电池电动汽车(P℉- 况识别，并根据工况识别结果制定了工况自适应功 CEV)为研究对象，提出了一种基于增强学习(rein- 率均衡规则控制策略.为了达到良好的优化效果， forcement learning,RL)算法的插电式燃料电池电 同时解决工程经验适应性差的问题，很多文献提出 动汽车能量管理策略 了基于优化算法的最优能量管理策略.朱元等[] 本文的内容结构如下，在第一节，根据插电式燃 利用马尔可夫决策理论获得混合动力汽车的随机能 料电池汽车动力系统特点，建立包括整车、燃料电池 量管理策略.石英乔等)基于瞬时优化的方法开 系统和锂离子电池等关键部件的模型：第二节描述 展能量分配策略研究，并引入了蓄电池等价燃料消 了整车能量管理的优化控制模型：第三节描述了状 耗理论.王钦普等)提出了一种基于粒子群算法 态转移概率矩阵的计算以及该能量管理策略的构建 (particle swarm optimization,PSO)的等效消耗最小 和实现方法；第四节给出了该策略与其他策略的仿 equivalent consumption minimization strategy, 真及硬件在环试验结果对比和分析：最后给出了 ECMS),可实现不同初始电池荷电状态(state of 结论 charge,SOC)下能量管理策略的近似全局优化.文 1插电式燃料电池汽车动力系统建模 献[13]在等效氢消耗最小的基础上，考虑电池荷电 状态、等效系数与燃油消耗的关系，利用遗传算法离 1.1车辆模型 线优化等效系数.文献[14]针对等效氢气消耗最小 本文所研究的插电式燃料电池汽车的动力系统 策略中的等效系数通过动态规划(dynamic program- 结构为并联型结构，主要由驱动系统、锂离子动力电 ming,DP)进行全局优化，优化效果明显，但难以在 池、燃料电池系统及相应的控制器组成，如图1所 实车中实现.文献[15]将不同模式下的燃料电池衰 示.燃料电池系统通过DC/DC(直流转直流)变换 退速率与等效氢气消耗构成多目标的优化，但策略 器连接到直流母线，锂离子电池组直接连接到母线 复杂，实际适应性不高.Han等[16]基于特定工况结 以维持直流线路电压，相应的整车与关键部件参数林歆悠等: 基于增强学习算法的插电式燃料电池电动汽车能量管理控制策略 200, and 300 km mileages, respectively. The hardware鄄in鄄loop鄄test was performed on the D2P development platform, and the final en鄄 ergy consumption of the vehicle was reduced by 20郾 8% under urban dynamometer driving schedule driving cycle. The hardware鄄in loop鄄test results are consistent with the simulation findings, indicating the effectiveness and feasibility of the proposed energy manage鄄 ment strategy. KEY WORDS fuel鄄cell vehicle; reinforcement learning; energy management; Q_learning algorithm; control strategy 面对越来越严苛的排放法规,各大汽车厂商纷 纷着力发展新能源汽车,具有零排放、效率高、燃料 来源多元化、能源可再生等优势的燃料电池汽车,一 直是国际汽车巨头及中国汽车企业重点研究的对 象[1] . 仅采用燃料电池作为动力源的燃料电池动力 系统,输出特性疲软,动态响应能力较差[2] ,因此, 燃料电池汽车一般采用燃料电池 + 动力电池或超级 电容的混合动力驱动构型[3] . 针对混合动力燃料电 池汽车,建立合理的能量管理策略,有效控制车辆工 作模式、合理使用电池的能量[4鄄鄄6] ,是国内外汽车企 业以及研究机构研究的核心技术之一[7] . 车辆的行驶里程、行驶工况等因素会直接影响 混合动力车辆的动力分配以及工作模式的划分,从 而影响整车经济性. Lin 等[8] 采用六个典型的驾驶 模式来表征不同工况,对每个典型的驾驶模式应用 动态规划方法寻找全局最优解,通过提炼全局最优 结果给出各个典型驾驶模式下可以直接应用的优化 策略. 林歆悠与孙冬野[9] 选定了四种典型城市工 况,采用学习向量量化(LVQ)神经网络模型进行工 况识别,并根据工况识别结果制定了工况自适应功 率均衡规则控制策略. 为了达到良好的优化效果, 同时解决工程经验适应性差的问题,很多文献提出 了基于优化算法的最优能量管理策略. 朱元等[10] 利用马尔可夫决策理论获得混合动力汽车的随机能 量管理策略. 石英乔等[11] 基于瞬时优化的方法开 展能量分配策略研究,并引入了蓄电池等价燃料消 耗理论. 王钦普等[12] 提出了一种基于粒子群算法 (particle swarm optimization, PSO)的等效消耗最小 策略 ( equivalent consumption minimization strategy, ECMS),可实现不同初始电池荷电状态 ( state of charge, SOC)下能量管理策略的近似全局优化. 文 献[13]在等效氢消耗最小的基础上,考虑电池荷电 状态、等效系数与燃油消耗的关系,利用遗传算法离 线优化等效系数. 文献[14]针对等效氢气消耗最小 策略中的等效系数通过动态规划( dynamic program鄄 ming,DP)进行全局优化,优化效果明显,但难以在 实车中实现. 文献[15]将不同模式下的燃料电池衰 退速率与等效氢气消耗构成多目标的优化,但策略 复杂,实际适应性不高. Han 等[16] 基于特定工况结 合动态规划与等效消耗最小策略,通过动态规划对 等效消耗最小策略的等效系数 EF 进行优化的基础 上,提出简化的等效系数优化方法. Murgovski 等[17] 采用庞特里亚金极小值原理( pontryagin minimum principle, PMP) 优化算法,寻找单一路径来实现系 统的优化控制,其计算速度相比于动态规划算法快 的多,仿真结果与基于动态规划的能量管理策略进 行对比,发现基于庞特里亚金极小值原理的策略只 比基于动态规划的策略的经济性降低了 0郾 35% . 基于已知工况的策略,仅在历史行驶数据的基 础上进行预测,不能实现准确的控制,从而无法达到 真正意义上的实时优化. 基于优化算法的最优能量 管理策略通常需要建立能够良好地反映系统特性的 精确模型,如等效消耗最小策略中的等效系数估计 模型,这使得能量管理策略的建立过程变得十分复 杂;其次,这些最优能量管理策略不能根据实际的工 况进行策略更新迭代,使得控制策略不具有时效性 和拓展性. 针对传统最优能量管理策略在这些方面 存在的问题,本文以插电式燃料电池电动汽车(PF鄄 CEV)为研究对象,提出了一种基于增强学习( rein鄄 forcement learning, RL) 算法的插电式燃料电池电 动汽车能量管理策略. 本文的内容结构如下,在第一节,根据插电式燃 料电池汽车动力系统特点,建立包括整车、燃料电池 系统和锂离子电池等关键部件的模型;第二节描述 了整车能量管理的优化控制模型;第三节描述了状 态转移概率矩阵的计算以及该能量管理策略的构建 和实现方法;第四节给出了该策略与其他策略的仿 真及硬件在环试验结果对比和分析;最后给出了 结论. 1 插电式燃料电池汽车动力系统建模 1郾 1 车辆模型 本文所研究的插电式燃料电池汽车的动力系统 结构为并联型结构,主要由驱动系统、锂离子动力电 池、燃料电池系统及相应的控制器组成,如图 1 所 示. 燃料电池系统通过 DC / DC(直流转直流)变换 器连接到直流母线,锂离子电池组直接连接到母线 以维持直流线路电压,相应的整车与关键部件参数 ·1333·