第17卷 智能系统学报 ·916· 示。同时使用6部分奖励函数时，模型在点导航 4结论 问题上具有最好的性能。其他6个消融实验在各 种指标上都略逊于6种奖励函数同时使用的效 本文针对传统局部路径规划算法不适用于基 果，证明了这6种奖励函数在点导航任务上具有 于视觉$LAM导航的问题，使用深度强化学习算 快速到达局部目标点，并降低碰撞率和跟踪丢失 法训练局部路径规划策略，根据输入输出数据特 率的能力。另外，在删除角度奖励部分后，模型 点进行Actor网络和Critic网络的设计，根据一般 的性能有较大程度的下降，说明在本文的点导航 导航需求和视觉SLAM工作特点设计奖励函数， 任务中，角度奖励相比另外5种奖励更能提升模 在Habitat仿真平台中使用点导航数据集进行训 型的性能。 练，最终得到训练好的策略。在与传统导航策略 0.5 的对比中，训练好的策略在防止视觉SLAM失败 避障导航方面都表现出良好的性能，最终在3种 0.4 不同难度场景中的导航成功率，均有巨大提升。 下一步计划，考虑将视觉SLAM建立的二维地图 0.3 纳入强化学习的观测空间，使局部导航策略的决 策具有记忆性；对特征点分布进行分析，不仅考 本文算法 虑特征点的数量，还要考虑将特征点分布对SLAM 稳定性的影响。 参考文献： 100 200 300 400 500 任务数量 [1]PANDEY A.Mobile robot navigation and obstacle avoid- (a)成功率 1.0 ance techniques:a review[J].International robotics& 一本文算法 wo rspt automation journal,2017,2(3):96-105. w/o angle [2] YASUDA Y D V.MARTINS L E G.CAPPABIANCO F A M.Autonomous visual navigation for mobile robots:a 06 systematic literature review[J].ACM computing surveys, 2021,53(1):13 [3] FANG Baofu.MEI Gaofei,YUAN Xiaohui,et al.Visual SLAM for robot navigation in healthcare facility[J].Pat- 02 tern recognition,2021,113:107822. [4] YANG Shaowu,SCHERER S A,YI Xiaodong,et al. 100 200 300 400 500 Multi-camera visual SLAM for autonomous navigation of 任务数量 (b)碰撞率 micro aerial vehicles[J].Robotics and autonomous sys- 1.0 tems,2017,93:116-134 本文算法 [5] 张瑜，宋荆洲，张琪祁.基于改进动态窗口法的户外清 0.8 扫机器人局部路径规划[J].机器人，2020,42(5)： -w/o slam 617-625. 0.6 ZHANG Yu,SONG Jingzhou,ZHANG Qiqi.Local path planning of outdoor cleaning robot based on an improved 0.4 DWA[JU.Robot,.2020,42(5):617-625 0.2 [6] 王殿君.基于改进A·算法的室内移动机器人路径规 划[J].清华大学学报（自然科学版），2012,52(8)： 1085-1089 100 200300 400 500 任务数量 WANG Dianjun.Indoor mobile-robot path planning (©)跟踪失败率 based on an improved A*algorithm[J].Journal of 图10 消融实验结果图 tsinghua university (science and technology edition), Fig.10 Results of ablation experiments 2012,52(8):1085-1089示。同时使用 6 部分奖励函数时，模型在点导航 问题上具有最好的性能。其他 6 个消融实验在各 种指标上都略逊于 6 种奖励函数同时使用的效 果，证明了这 6 种奖励函数在点导航任务上具有 快速到达局部目标点，并降低碰撞率和跟踪丢失 率的能力。另外，在删除角度奖励部分后，模型 的性能有较大程度的下降，说明在本文的点导航 任务中，角度奖励相比另外 5 种奖励更能提升模 型的性能。 4 结论 本文针对传统局部路径规划算法不适用于基 于视觉 SLAM 导航的问题，使用深度强化学习算 法训练局部路径规划策略，根据输入输出数据特 点进行 Actor 网络和 Critic 网络的设计，根据一般 导航需求和视觉 SLAM 工作特点设计奖励函数， 在 Habitat 仿真平台中使用点导航数据集进行训 练，最终得到训练好的策略。在与传统导航策略 的对比中，训练好的策略在防止视觉 SLAM 失败 避障导航方面都表现出良好的性能，最终在 3 种 不同难度场景中的导航成功率，均有巨大提升。 下一步计划，考虑将视觉 SLAM 建立的二维地图 纳入强化学习的观测空间，使局部导航策略的决 策具有记忆性；对特征点分布进行分析，不仅考 虑特征点的数量，还要考虑将特征点分布对 SLAM 稳定性的影响。 参考文献： PANDEY A. Mobile robot navigation and obstacle avoid￾ance techniques: a review[J]. International robotics & automation journal, 2017, 2(3): 96–105. [1] YASUDA Y D V, MARTINS L E G, CAPPABIANCO F A M. Autonomous visual navigation for mobile robots: a systematic literature review[J]. ACM computing surveys, 2021, 53(1): 13. [2] FANG Baofu, MEI Gaofei, YUAN Xiaohui, et al. Visual SLAM for robot navigation in healthcare facility[J]. Pat￾tern recognition, 2021, 113: 107822. [3] YANG Shaowu, SCHERER S A, YI Xiaodong, et al. Multi-camera visual SLAM for autonomous navigation of micro aerial vehicles[J]. Robotics and autonomous sys￾tems, 2017, 93: 116–134. [4] 张瑜, 宋荆洲, 张琪祁. 基于改进动态窗口法的户外清 扫机器人局部路径规划 [J]. 机器人, 2020, 42(5): 617–625. ZHANG Yu, SONG Jingzhou, ZHANG Qiqi. Local path planning of outdoor cleaning robot based on an improved DWA[J]. Robot, 2020, 42(5): 617–625. [5] 王殿君. 基于改进 A*算法的室内移动机器人路径规 划 [J]. 清华大学学报(自然科学版), 2012, 52(8): 1085–1089. WANG Dianjun. Indoor mobile-robot path planning based on an improved A* algorithm[J]. Journal of tsinghua university (science and technology edition), 2012, 52(8): 1085–1089. [6] 0.5 0.4 0.3 0.2 0.1 0 100 200 300 400 500 成功率 任务数量 本文算法 w/o nmpt w/o dis w/o angle w/o bonus w/o obv w/o slam 本文算法 w/o nmpt w/o dis w/o angle w/o bonus w/o obv w/o slam 本文算法 w/o nmpt w/o dis w/o angle w/o bonus w/o obv w/o slam (a) 成功率 1.0 0.8 0.6 0.4 0.2 0 100 200 300 400 500 碰撞率 任务数量 1.0 0.8 0.6 0.4 0.2 0 100 200 300 400 500 跟踪失败率 任务数量 (b) 碰撞率 (c) 跟踪失败率 图 10 消融实验结果图 Fig. 10 Results of ablation experiments 第 17 卷 智 能 系 统 学 报 ·916·