·766· 智能系统学报 第15卷 文献[4)中提及，目前仍缺乏足够的关于数据 作状态并通过数据融合获得了一个鲁棒的模型。 融合的冗余性的分析。不仅仅是冗余性分析，关 关于自适应模型，文献「10们和文献「60们中均考虑 于融合模型的鲁棒性的分析也很少。但现有的研 了自适应权重，从而使得模型可以自适应地选择 究中较多地涉及了融合方法的研究，包括对融合 最有力的数据模态。 层次和融合操作方法的对比实验，为后续的研究 33数据冗余性分析 提供了一定的实证支持。本文将融合方法的分 尽管不断有新的融合模型被提出，但却很少 析、模型的鲁棒性分析和数据冗余性分析并称为 有研究定量或定性地分析，不同模态的数据融合 数据融合模型的合理性分析。如表4所示，本文 对模型性能的可能提升程度。为此存在两个问 综述了自动驾驶场景下目标检测模型中的数据融 题：1)两个不同模态的数据融合造成的信息增 合方法的合理性研究进展，后续的研究将能在此 益；2)不同模态数据的融合对模型不确定性的减 基础上开展。3个方面的分析如下： 少的影响有多大。根据目前的了解，只有文献[56 3.1融合方法分析 量化比较了不同模态数据对于融合效果的贡献 如上文所述，目标检测中包含了多样的可能 (激光雷达点云和图像、建图模块mapping、深度 的融合方法，不仅体现在融合层次的多样性上， 图、修正模块refine的融合)。此外，而文献[25] 而且也体现在融合的具体计算方法的多样性上。 中对融合信息（雷达点云）对模型影响的探究也 通常的做法是根据控制变量原则，分别在模型的 体现了数据的冗余性分析。现有的实验结果表 不同阶段进行融合并比较结果做6，列，而文献25) 明，在大部分任务上，数据融合对模型的性能有 则比较了融合与否(RGB图像是否融合雷达点 提升，但不是所有任务都有提升，并且融合模型 云)以及融合方式（连接法或相加法）对模型的影 的效率也需要加入考虑。 响。现有的实验结果表明，中间融合（对应本文 3.4融合实践的挑战与策略 所述特征融合)得到了最佳结果，并且较晚的融 3.4.1挑战 合比较早的融合和过于晚的融合更佳，而对于最 尽管不断有基于数据融合的自动驾驶的目标 佳融合阶段，目前还没有研究给出相关估计。而 检测模型出现，然而目前依然缺乏对此的系统的 对于融合的操作方法，尽管文献[4]给出了一个 描述和深入的探究。一方面，缺乏针对目标检测 全面的综述，但目前还没有量化的比较。 中的数据融合方法的理论研究；另一方面，目前 3.2模型鲁棒性分析 使用的融合方法仍显得过于简单。从融合的合 融合模型可以有效地结合多种模态数据的优 理性分析，即使只考虑现有的方法也存在很多工 点，挖掘场景更深层次的语义信息。然而在实际 作有待完成，不仅缺乏不同方法之间的对比实 应用中，可能遇到极端的场景和数据，或者遇上 验，而且融合模型的可解释性也是一个重要问 传感器异常的情况，两种情形都将导致模型缺乏 题。本文建议从模型的鲁棒性和数据冗余性两个 部分模态的数据或被输入部分模态的异常数据。 角度来考虑融合的可解释性。 与单一模态的模型不同，由于具有多个模态数据 根据现有的论文方法，在融合方面主要的挑 的输入，多模态模型可能在部分模态数据失效的 战包括但不限于：可解释的融合计算、对最佳融 同时持续运行而不被察觉，但模型的性能已经受 合阶段的估计、对融合数据的异常检测、自适应 到影响：另一种情况则与之相反，研究人员希望 的融合机制、跨模态数据融合的信息增益估计以 多模态模型可以在部分模态失效的时候，融合模 及数据融合对模型不确定性变化程度的估计。当 型可以尽可能地减少部分模态损失导致的模型性 前已经出现了一些验证实验和对比实验，但还需 能的下降26,60。综上所述，模型的鲁棒性应体现 要更深层次的研究。 在两个方面：对异常数据的检测；自适应调节0。 3.4.2策略 相对于自适应模型，融合模型中对异常数据的检 尽管现有的模型可能会在融合计算上偏向某 测还不多，且现有的模型鲁棒性的研究主要在实 一方法，但目前仍然没有定量的分析或者推导来 验验证阶段：文献[52]采用随机模态丢失的方法 证明某一方法的优越性。然而，在表4所记录的 来训练模型，一方面可以提升模型的鲁棒性，另 论文中，对融合层次比较的实验结果基本支持中 一方面验证了多模态模型在模态缺失的情形下依 间融合优于前融合和后融合这一观点，对应到本 旧可以具有一定的准确率。类似地，文献[26]采 文的分类方法中则为特征融合优于数据融合和结 用了同样的方法，模拟了雪雾天气下传感器的工 果融合。然而，按传统的前中后阶段划分对于集文献 [4] 中提及，目前仍缺乏足够的关于数据 融合的冗余性的分析。不仅仅是冗余性分析，关 于融合模型的鲁棒性的分析也很少。但现有的研 究中较多地涉及了融合方法的研究，包括对融合 层次和融合操作方法的对比实验，为后续的研究 提供了一定的实证支持。本文将融合方法的分 析、模型的鲁棒性分析和数据冗余性分析并称为 数据融合模型的合理性分析。如表 4 所示，本文 综述了自动驾驶场景下目标检测模型中的数据融 合方法的合理性研究进展，后续的研究将能在此 基础上开展。3 个方面的分析如下： 3.1 融合方法分析 如上文所述，目标检测中包含了多样的可能 的融合方法，不仅体现在融合层次的多样性上， 而且也体现在融合的具体计算方法的多样性上。 通常的做法是根据控制变量原则，分别在模型的 不同阶段进行融合并比较结果[29, 63, 67, 73] ，而文献 [25] 则比较了融合与否 (RGB 图像是否融合雷达点 云) 以及融合方式 (连接法或相加法) 对模型的影 响。现有的实验结果表明，中间融合 (对应本文 所述特征融合) 得到了最佳结果，并且较晚的融 合比较早的融合和过于晚的融合更佳，而对于最 佳融合阶段，目前还没有研究给出相关估计。而 对于融合的操作方法，尽管文献 [4] 给出了一个 全面的综述，但目前还没有量化的比较。 3.2 模型鲁棒性分析 融合模型可以有效地结合多种模态数据的优 点，挖掘场景更深层次的语义信息。然而在实际 应用中，可能遇到极端的场景和数据，或者遇上 传感器异常的情况，两种情形都将导致模型缺乏 部分模态的数据或被输入部分模态的异常数据。 与单一模态的模型不同，由于具有多个模态数据 的输入，多模态模型可能在部分模态数据失效的 同时持续运行而不被察觉，但模型的性能已经受 到影响；另一种情况则与之相反，研究人员希望 多模态模型可以在部分模态失效的时候，融合模 型可以尽可能地减少部分模态损失导致的模型性 能的下降[26, 60]。综上所述，模型的鲁棒性应体现 在两个方面：对异常数据的检测；自适应调节[10]。 相对于自适应模型，融合模型中对异常数据的检 测还不多，且现有的模型鲁棒性的研究主要在实 验验证阶段：文献 [52] 采用随机模态丢失的方法 来训练模型，一方面可以提升模型的鲁棒性，另 一方面验证了多模态模型在模态缺失的情形下依 旧可以具有一定的准确率。类似地，文献 [26] 采 用了同样的方法，模拟了雪雾天气下传感器的工 作状态并通过数据融合获得了一个鲁棒的模型。 关于自适应模型，文献 [10] 和文献 [60] 中均考虑 了自适应权重，从而使得模型可以自适应地选择 最有力的数据模态。 3.3 数据冗余性分析 尽管不断有新的融合模型被提出，但却很少 有研究定量或定性地分析，不同模态的数据融合 对模型性能的可能提升程度。为此存在两个问 题 ：1）两个不同模态的数据融合造成的信息增 益；2）不同模态数据的融合对模型不确定性的减 少的影响有多大。根据目前的了解，只有文献 [56] 量化比较了不同模态数据对于融合效果的贡献 (激光雷达点云和图像、建图模块 mapping、深度 图、修正模块 refine 的融合)。此外，而文献 [25] 中对融合信息 (雷达点云) 对模型影响的探究也 体现了数据的冗余性分析。现有的实验结果表 明，在大部分任务上，数据融合对模型的性能有 提升，但不是所有任务都有提升[25] ，并且融合模型 的效率也需要加入考虑。 3.4 融合实践的挑战与策略 3.4.1 挑战 尽管不断有基于数据融合的自动驾驶的目标 检测模型出现，然而目前依然缺乏对此的系统的 描述和深入的探究。一方面，缺乏针对目标检测 中的数据融合方法的理论研究；另一方面，目前 使用的融合方法仍显得过于简单[4]。从融合的合 理性分析，即使只考虑现有的方法也存在很多工 作有待完成，不仅缺乏不同方法之间的对比实 验，而且融合模型的可解释性也是一个重要问 题。本文建议从模型的鲁棒性和数据冗余性两个 角度来考虑融合的可解释性。 根据现有的论文方法，在融合方面主要的挑 战包括但不限于：可解释的融合计算、对最佳融 合阶段的估计、对融合数据的异常检测、自适应 的融合机制、跨模态数据融合的信息增益估计以 及数据融合对模型不确定性变化程度的估计。当 前已经出现了一些验证实验和对比实验，但还需 要更深层次的研究。 3.4.2 策略 尽管现有的模型可能会在融合计算上偏向某 一方法，但目前仍然没有定量的分析或者推导来 证明某一方法的优越性。然而，在表 4 所记录的 论文中，对融合层次比较的实验结果基本支持中 间融合优于前融合和后融合这一观点，对应到本 文的分类方法中则为特征融合优于数据融合和结 果融合。然而，按传统的前中后阶段划分对于集 ·766· 智 能 系 统 学 报 第 15 卷