第15卷第4期 智能系统学报 Vol.15 No.4 2020年7月 CAAI Transactions on Intelligent Systems Jul.2020 D0L:10.11992tis.202002010 面向自动驾驶目标检测的深度多模态融合技术 张新钰2，邹镇洪2，李志伟2，刘华平3，李骏2 (1.清华大学汽车安全与节能国家重点实验室，北京100084,2.清华大学车辆与运载学院，北京100084,3.清 华大学计算机科学与技术系，北京100084) 摘要：研究者关注利用多个传感器来提升自动驾驶中目标检测模型的准确率，因此对目标检测中的数据融合 方法进行研究具有重要的学术和应用价值。为此，本文总结了近年来自动驾驶中深度目标检测模型中的数据 融合方法。首先介绍了自动驾驶中深度目标检测技术和数据融合技术的发展，以及已有的研究综述：接着从多 模态目标检测、数据融合的层次、数据融合的计算方法3个方面展开闸述，全面展现了该领域的前沿进展；此 外，本文提出了数据融合的合理性分析，从方法、鲁棒性、冗余性3个角度对数据融合方法进行了讨论；最后讨 论了融合方法的一些公开问题，并从挑战、策略和前景等方面作了总结。 关键词：数据融合；目标检测；自动驾驶：深度学习；多模态；感知；计算机视觉：传感器：综述 中图分类号：TP274;TP212 文献标志码：A文章编号：1673-4785(2020)04-0758-14 中文引用格式：张新钰，邹镇洪，李志伟，等.面向自动驾驶目标检测的深度多模态融合技术.智能系统学报，2020,15(4)： 758-771. 英文引用格式：ZHANG Xinyu,.ZOU Zhenhong,.LIZhiwei,,et al Deep multi--modal fusion in object detection for autonomous driv- ing[Jl.CAAI transactions on intelligent systems,2020,15(4):758-771. Deep multi-modal fusion in object detection for autonomous driving ZHANG Xinyu,ZOU Zhenhong2,LI Zhiwei,LIU Huaping,LI Jun'2 (1.State Key Laboratory of Automotive Safety and Energy,Tsinghua University,Beijing 100084,China;2.School of Vehicle and Mobility,Tsinghua University,Beijing 100084,China;3.Department of Computer Science and Technology,Tsinghua University, Beijing 100084,China) Abstract:In autonomous driving,there has been an increasing interest in utilizing multiple sensors to improve the ac- curacy of object detection models.Accordingly,the research on data fusion has important academic and application value.This paper summarizes the data fusion methods in deep object detection models of autonomous driving in recent years.The paper first introduces the development of deep object detection and data fusion in autonomous driving,as well as existing researches and reviews,then expounds from three aspects of multi-modal object detection,fusion levels and calculation methods,comprehensively showing the cutting-edge progress in this field.In addition,this paper pro- poses a rationality analysis of data fusion from another three perspectives:methods,robustness and redundancy.Finally, open issues are discussed,and the challenges,strategy and prospects are summarized. Keywords:data fusion;object detection;autonomous driving;deep learning;multimodal;perception;computer vision; sensor;survey 作为自动驾驶技术的重要组成部分，基于深 注。尽管随着深度学习和计算机视觉领域的发 度学习的目标检测技术持续受到研究人员的关 展，目标检测技术已经取得了显著的进步，特别 是将DARPAU、PASCAL VOC2007等基于图像 收稿日期：2020-02-14. 基金项目：国家重点研发计划项目(2018YFE0204300):北京市 的目标检测任务的基准提升到了较高的水平。 科技计划项目(Z191100007419008);国强研究院项 目(2019GQG1010). 然而，自动驾驶要求模型在复杂多变的场景下 通信作者：刘华平.E-mail:hpliu(@tsinghua.edu.cn 保持较高的准确率，基于单一传感器的算法即DOI: 10.11992/tis.202002010 面向自动驾驶目标检测的深度多模态融合技术 张新钰1,2，邹镇洪1,2，李志伟1,2，刘华平3 ，李骏1,2 （1. 清华大学 汽车安全与节能国家重点实验室，北京 100084; 2. 清华大学 车辆与运载学院，北京 100084; 3. 清 华大学 计算机科学与技术系，北京 100084） 摘 要：研究者关注利用多个传感器来提升自动驾驶中目标检测模型的准确率，因此对目标检测中的数据融合 方法进行研究具有重要的学术和应用价值。为此，本文总结了近年来自动驾驶中深度目标检测模型中的数据 融合方法。首先介绍了自动驾驶中深度目标检测技术和数据融合技术的发展，以及已有的研究综述；接着从多 模态目标检测、数据融合的层次、数据融合的计算方法 3 个方面展开阐述，全面展现了该领域的前沿进展；此 外，本文提出了数据融合的合理性分析，从方法、鲁棒性、冗余性 3 个角度对数据融合方法进行了讨论；最后讨 论了融合方法的一些公开问题，并从挑战、策略和前景等方面作了总结。 关键词：数据融合；目标检测；自动驾驶；深度学习；多模态；感知；计算机视觉；传感器；综述 中图分类号：TP274； TP212 文献标志码：A 文章编号：1673−4785(2020)04−0758−14 中文引用格式：张新钰, 邹镇洪, 李志伟, 等. 面向自动驾驶目标检测的深度多模态融合技术 [J]. 智能系统学报, 2020, 15(4): 758–771. 英文引用格式：ZHANG Xinyu, ZOU Zhenhong, LI Zhiwei, et al. Deep multi-modal fusion in object detection for autonomous driv￾ing[J]. CAAI transactions on intelligent systems, 2020, 15(4): 758–771. Deep multi-modal fusion in object detection for autonomous driving ZHANG Xinyu1,2 ，ZOU Zhenhong1,2 ，LI Zhiwei1,2 ，LIU Huaping3 ，LI Jun1,2 (1. State Key Laboratory of Automotive Safety and Energy, Tsinghua University, Beijing 100084, China; 2. School of Vehicle and Mobility, Tsinghua University, Beijing 100084, China; 3. Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China) Abstract: In autonomous driving, there has been an increasing interest in utilizing multiple sensors to improve the ac￾curacy of object detection models. Accordingly, the research on data fusion has important academic and application value. This paper summarizes the data fusion methods in deep object detection models of autonomous driving in recent years. The paper first introduces the development of deep object detection and data fusion in autonomous driving, as well as existing researches and reviews, then expounds from three aspects of multi-modal object detection, fusion levels and calculation methods, comprehensively showing the cutting-edge progress in this field. In addition, this paper pro￾poses a rationality analysis of data fusion from another three perspectives: methods, robustness and redundancy. Finally, open issues are discussed, and the challenges, strategy and prospects are summarized. Keywords: data fusion; object detection; autonomous driving; deep learning; multimodal; perception; computer vision; sensor; survey 作为自动驾驶技术的重要组成部分，基于深 度学习的目标检测技术持续受到研究人员的关 注。尽管随着深度学习和计算机视觉领域的发 展，目标检测技术已经取得了显著的进步，特别 是将 DARPA[1] 、PASCAL VOC2007[2] 等基于图像 的目标检测任务的基准提升到了较高的水平。 然而，自动驾驶要求模型在复杂多变的场景下 保持较高的准确率，基于单一传感器的算法即 收稿日期：2020−02−14. 基金项目：国家重点研发计划项目 (2018YFE0204300)；北京市 科技计划项目 (Z191100007419008)；国强研究院项 目 (2019GQG1010). 通信作者：刘华平. E-mail：hpliu@tsinghua.edu.cn. 第 15 卷第 4 期 智 能 系 统 学 报 Vol.15 No.4 2020 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2020