·762· 智能系统学报 第15卷 而建立起点云和高精地图之间的联系。通过往高 基于雷达21和毫米波雷达的研究s),同样值得 精地图上添加交通语义信息，如信号灯、道路指 关注。 示标志、车辆信息等，可以充分利用道路上的先 2.1.5基于多模态数据的目标检测 验信息，从而提高点云上目标检测模型的性能。 近年来，自动驾驶领域对基于多模态数据融 雷达和毫米波雷达均可以提供点云，但所提供的 合的目标检测技术的研究兴起，一方面是出于上 信息只包含深度（三维空间）信息，且其点云较激 述对单一模态数据的缺陷的考虑，另一方面是出 光雷达点云更为稀疏，因此应用范围不及激光雷 于对车载传感器稳定性的考虑。表3总结了近年 达。然而雷达，特别是毫米波雷达具有更大的射 来自动驾驶场景下基于多模态数据融合的深度目 程，可以提供更大距离的障碍物信息，近年来有 标检测方法。 表3深度目标检测数据融合方法统计 Table 3 Statistics of deep target detection data fusion methods 文献 传感器 点云表示方式 数据融合 特征融合结果融合轴助估计 [53] 毫米波雷达、RGB相机 前视图 [56 激光雷达、RGB相机 前视图、鸟瞰图、体素化 [25] 雷达、长焦相机、短焦相机 前视图 [57] 激光雷达、RGB相机 3D点云、体素化 [261 激光雷达、RGB相机 鸟瞰图 [55] 激光雷达、RGB相机 前视图 [27] 激光雷达、RGB相机 体素化的前视图、鸟瞰图 [58] 激光雷达、RGB相机 鸟瞰图 [50] 深度相机 3D点云 [51] RGB相机、热成像相机 [59] 激光雷达、RGB相机 鸟瞰图 [60] 激光雷达、RGB相机 前视图 [52] 激光雷达、高精地图 高精地图、栅格化鸟瞰图 [61] 激光雷达、道路先验信息 鸟瞰图 [62] 激光雷达、RGB相机 6通道鸟瞰特征图 [28] 激光雷达、RGB相机 前视图 [63] 激光雷达、RGB相机 稀疏深度图、稠密深度图 [64 激光雷达、RGB相机 3D点云 [65] 激光雷达、RGB相机 按深度生成3个前视图 [66 激光雷达、RGB相机 鸟瞰图 [67] 深度相机 前视图 [23] 激光雷达、RGB相机 鸟瞰图、前视图 [68] 激光雷达、RGB相机 3D点云 [48] 激光雷达、RGB相机 稠密深度图、稠密强度图 [10] 深度相机、专家先验信息 前视图 [49] 激光雷达、RGB相机 前视图 [29] RGB相机、热成像相机 [30] RGB相机、热成像相机 [69] 激光雷达、RGB相机 稠密强度图 针对第一方面，近年来不断有针对多模态数 提出的基于HHA采样的激光雷达点云和相机图 据的目标检测方法被提出，如Cho等s提出的对 像的融合方法，两种数据组成了6通道的扩展图 雷达点云、激光雷达点云和相机图像的专家融合 像，用于行人检测：DOU等s提出了融合点云前 方法，用于车辆检测与跟踪；Schlosser等Ia列 向投影的深度图和相机图像的融合方法，是一项而建立起点云和高精地图之间的联系。通过往高 精地图上添加交通语义信息，如信号灯、道路指 示标志、车辆信息等，可以充分利用道路上的先 验信息，从而提高点云上目标检测模型的性能。 雷达和毫米波雷达均可以提供点云，但所提供的 信息只包含深度 (三维空间) 信息，且其点云较激 光雷达点云更为稀疏，因此应用范围不及激光雷 达。然而雷达，特别是毫米波雷达具有更大的射 程，可以提供更大距离的障碍物信息，近年来有 基于雷达[25] 和毫米波雷达的研究[53] ，同样值得 关注。 2.1.5 基于多模态数据的目标检测 近年来，自动驾驶领域对基于多模态数据融 合的目标检测技术的研究兴起，一方面是出于上 述对单一模态数据的缺陷的考虑，另一方面是出 于对车载传感器稳定性的考虑。表 3 总结了近年 来自动驾驶场景下基于多模态数据融合的深度目 标检测方法。 表 3 深度目标检测数据融合方法统计 Table 3 Statistics of deep target detection data fusion methods 文献 传感器 点云表示方式 数据融合 特征融合 结果融合 辅助估计 [53] 毫米波雷达、RGB相机 前视图 √ √ √ [56] 激光雷达、RGB相机 前视图、鸟瞰图、体素化 √ √ √ √ [25] 雷达、长焦相机、短焦相机 前视图 √ √ [57] 激光雷达、RGB相机 3D点云、体素化 √ √ [26] 激光雷达、RGB相机 鸟瞰图 √ [55] 激光雷达、RGB相机 前视图 √ √ [27] 激光雷达、RGB相机 体素化的前视图、鸟瞰图 √ [58] 激光雷达、RGB相机 鸟瞰图 √ √ [50] 深度相机 3D点云 √ √ [51] RGB相机、热成像相机 / √ √ [59] 激光雷达、RGB相机 鸟瞰图 √ [60] 激光雷达、RGB相机 前视图 √ [52] 激光雷达、高精地图 高精地图、栅格化鸟瞰图 √ √ [61] 激光雷达、道路先验信息 鸟瞰图 √ [62] 激光雷达、RGB相机 6通道鸟瞰特征图 √ √ [28] 激光雷达、RGB相机 前视图 √ [63] 激光雷达、RGB相机 稀疏深度图、稠密深度图 √ √ [64] 激光雷达、RGB相机 3D点云 √ √ [65] 激光雷达、RGB相机 按深度生成3个前视图 √ √ [66] 激光雷达、RGB相机 鸟瞰图 √ √ [67] 深度相机 前视图 √ √ √ [23] 激光雷达、RGB相机 鸟瞰图、前视图 √ [68] 激光雷达、RGB相机 3D点云 √ √ [48] 激光雷达、RGB相机 稠密深度图、稠密强度图 √ [10] 深度相机、专家先验信息 前视图 √ [49] 激光雷达、RGB相机 前视图 √ √ [29] RGB相机、热成像相机 / √ √ √ [30] RGB相机、热成像相机 / √ √ [69] 激光雷达、RGB相机 稠密强度图 √ 针对第一方面，近年来不断有针对多模态数 据的目标检测方法被提出，如 Cho 等 [54] 提出的对 雷达点云、激光雷达点云和相机图像的专家融合 方法，用于车辆检测与跟踪； Schlosse r 等 [ 4 9 ] 提出的基于 HHA 采样的激光雷达点云和相机图 像的融合方法，两种数据组成了 6 通道的扩展图 像，用于行人检测；DOU 等 [55] 提出了融合点云前 向投影的深度图和相机图像的融合方法，是一项 ·762· 智 能 系 统 学 报 第 15 卷