第4期 张新钰，等：面向自动驾驶目标检测的深度多模态融合技术 ·765· 文献[5)对模型分支输出的边界框和分类结果采 合输出和高层特征的方法十分相似，文献51,6,6例 用了加权求和的形式，文献[25]采用了长短两个 中将多个分支的结果用NN融合后作为特征继 焦距的相机，因此具有两个视野的图像，其中长 续计算，而文献[23]则融合了多个分支的特征图 焦距相机的图像是短焦距相机图像的子集，同时 作为特征继续计算，两者在结构上的相似性与它 也具有更高的分辨率。因此模型将长焦相机图像 们性能的表现之间的关系还有待探究。 中的边界框叠加到短焦相机图像的对应位置上， 2.3.5专家混合法 以在保持视野的同时提高模型对远处小目标的检 不同于上述可以泛化的方法，对于特定组合 测性能。 的多模态数据，需要使用特定的融合方法。文 2.3.3相加法 献[54]为了融合RGB图像、激光雷达点云和雷 相加法通常应用于特征图的融合6@，6@1和感兴 达点云，提出了一种基于运动模型的目标跟踪算 趣区域(region of interest,,RO)的处理，后者包括 法，以针对性将3种模态中的信息充分用于目标 ROI的合并)以及ROI叠加到特征图上作为检 检测和追踪。文献[65]采用了三阶段的目标检 测的约束条件66。有些模型考虑通过特征图的加 测方法，首先在分段点云中生成检测种子，再根 权求和来融合特征6，对于ROI区域，既可以当 据种子计算锚点(anchor),最终生成并调整检测 作普通的特征图来直接合并，也可以作为模型的 框。一种常见的任务是对稠密点云的估计，文 多层次约束。如文献[66]提出的方法，不断根据 献[56,63]中均对点云的深度图进行了补全估 点云滤波减少搜索范围，将点云投影到图像上， 计，以获得更稠密的空间信息。值得注意的是， 并在点云范围内进行检测和分类。 专家融合法多见于非常用模态数据和先验信息 2.3.4子网络法 的融合，比如高精地图52，、地图语义信息6和 为了提升结果融合的效果，部分模型采用子 专家先验信息，其中地图语义信息和专家先验 网络来提取已有的目标输出的结果的特征，从而 信息的融合在深度学习模型中较为少见，对其的 生成更精细的检测结果，这里的网络又称为网中 研究还有待开拓。 网(network in network,NiN)。文献[68]中设计了 3数据融合的合理性分析 一个结果融合网络，对两个单独分支的检测框和 分类结果分别进行了融合；类似地，文献[48]对 尽管上述的数据融合模型都在实验中获得了 3个分支输出的结果重新提取特征，经过多层感 良好的表现，很少有人去探究其中的原理，现有 知机(MLP)和非极大抑制算法(NMS)后回归得 的融合模型中也很少有控制融合模型变量的对比 到新的边界框和分类结果。此外，使用NN来融 实验，表4中展示了近年论文中的分析实验。 表4数据融合的合理性分析 Table 4 Analysis of the rationality of data fusion 文献 传感器 合理性分析 方法 [51] RGB相机、热成像相机 融合方法分析 比较不同层次融合对性能的提升 [63] 激光雷达、RGB相机 融合方法分析 比较不同层次融合对性能的提升 [67刀 深度相机 融合方法分析 比较不同层次融合对性能的提升 [49] 激光雷达、RGB相机 融合方法分析 比较不同层次融合对性能的提升 [29咧 RGB相机、热成像相机 融合方法分析 比较不同层次融合对性能的提升 [30] RGB相机、热成像相机 融合方法分析 比较不同层次融合对性能的提升 [25] 雷达、长焦相机、短焦相机 融合方法分析、数据沉余性分析 对比融合方法、融合与否的模型性能 [56 激光雷达、RGB相机 融合方法分析、数据冗余性分析 比较不同层次和模态融合对性能的提升 [26 激光雷达、RGB相机 模型鲁棒性分析 使用随机模态丢失来提升模型鲁棒性 [52] 激光雷达、高精地图 模型鲁棒性分析 使用随机模态丢失来提升模型鲁棒性 [60] 激光雷达、RGB相机 模型鲁棒性分析 对多模态数据加噪声来验证模型的鲁棒性 [10] 深度相机、专家先验信息 模型鲁棒性分析 在连续变化的场景中测试融合的鲁棒性文献 [51] 对模型分支输出的边界框和分类结果采 用了加权求和的形式，文献 [25] 采用了长短两个 焦距的相机，因此具有两个视野的图像，其中长 焦距相机的图像是短焦距相机图像的子集，同时 也具有更高的分辨率。因此模型将长焦相机图像 中的边界框叠加到短焦相机图像的对应位置上， 以在保持视野的同时提高模型对远处小目标的检 测性能。 2.3.3 相加法 相加法通常应用于特征图的融合[60, 62] 和感兴 趣区域 (region of interest，ROI) 的处理，后者包括 ROI 的合并[23] 以及 ROI 叠加到特征图上作为检 测的约束条件[66]。有些模型考虑通过特征图的加 权求和来融合特征[60] ，对于 ROI 区域，既可以当 作普通的特征图来直接合并，也可以作为模型的 多层次约束。如文献 [66] 提出的方法，不断根据 点云滤波减少搜索范围，将点云投影到图像上， 并在点云范围内进行检测和分类。 2.3.4 子网络法 为了提升结果融合的效果，部分模型采用子 网络来提取已有的目标输出的结果的特征，从而 生成更精细的检测结果，这里的网络又称为网中 网 (network in network，NiN)。文献 [68] 中设计了 一个结果融合网络，对两个单独分支的检测框和 分类结果分别进行了融合；类似地，文献 [48] 对 3 个分支输出的结果重新提取特征，经过多层感 知机 (MLP) 和非极大抑制算法 (NMS) 后回归得 到新的边界框和分类结果。此外，使用 NiN 来融 合输出和高层特征的方法十分相似，文献[51, 56, 65] 中将多个分支的结果用 NiN 融合后作为特征继 续计算，而文献 [23] 则融合了多个分支的特征图 作为特征继续计算，两者在结构上的相似性与它 们性能的表现之间的关系还有待探究。 2.3.5 专家混合法 不同于上述可以泛化的方法，对于特定组合 的多模态数据，需要使用特定的融合方法。文 献 [54] 为了融合 RGB 图像、激光雷达点云和雷 达点云，提出了一种基于运动模型的目标跟踪算 法，以针对性将 3 种模态中的信息充分用于目标 检测和追踪。文献 [65] 采用了三阶段的目标检 测方法，首先在分段点云中生成检测种子，再根 据种子计算锚点 (anchor)，最终生成并调整检测 框。一种常见的任务是对稠密点云的估计，文 献 [56, 63] 中均对点云的深度图进行了补全估 计，以获得更稠密的空间信息。值得注意的是， 专家融合法多见于非常用模态数据和先验信息 的融合，比如高精地图[52, 75] 、地图语义信息[61] 和 专家先验信息[10] ，其中地图语义信息和专家先验 信息的融合在深度学习模型中较为少见，对其的 研究还有待开拓。 3 数据融合的合理性分析 尽管上述的数据融合模型都在实验中获得了 良好的表现，很少有人去探究其中的原理，现有 的融合模型中也很少有控制融合模型变量的对比 实验，表 4 中展示了近年论文中的分析实验。 表 4 数据融合的合理性分析 Table 4 Analysis of the rationality of data fusion 文献 传感器 合理性分析 方法 [51] RGB相机、热成像相机 融合方法分析 比较不同层次融合对性能的提升 [63] 激光雷达、RGB相机 融合方法分析 比较不同层次融合对性能的提升 [67] 深度相机 融合方法分析 比较不同层次融合对性能的提升 [49] 激光雷达、RGB相机 融合方法分析 比较不同层次融合对性能的提升 [29] RGB相机、热成像相机 融合方法分析 比较不同层次融合对性能的提升 [30] RGB相机、热成像相机 融合方法分析 比较不同层次融合对性能的提升 [25] 雷达、长焦相机、短焦相机 融合方法分析、数据冗余性分析 对比融合方法、融合与否的模型性能 [56] 激光雷达、RGB相机 融合方法分析、数据冗余性分析 比较不同层次和模态融合对性能的提升 [26] 激光雷达、RGB相`机 模型鲁棒性分析 使用随机模态丢失来提升模型鲁棒性 [52] 激光雷达、高精地图 模型鲁棒性分析 使用随机模态丢失来提升模型鲁棒性 [60] 激光雷达、RGB相机 模型鲁棒性分析 对多模态数据加噪声来验证模型的鲁棒性 [10] 深度相机、专家先验信息 模型鲁棒性分析 在连续变化的场景中测试融合的鲁棒性 第 4 期 张新钰，等：面向自动驾驶目标检测的深度多模态融合技术 ·765·