第5期 王照国，等：基于F1值的非极大值抑制阈值自动选取方法 ·1007· YOLOv3m等。另外一类就是双阶段目标检测算 间，并且引入网络的参数调整十分困难，实验过 法，如R-CNN、Fast R-CNN9、Faster R-CNNIOI等。 程中很难获得一个性能表现良好的模型。 无论是单阶段检测算法还是双阶段目标检测 虽然很多算法对传统NMS算法做出了改进， 算法，都不能直接得到令人满意的检测结果，产 但是大多数仍然依赖于人为设定阈值。例如 生的检测结果往往是冗余的。这时就需要采用 Soft-NMS,Soft-NMS算法在一定程度上缓解了 NMS)算法根据检测框之间的IOU(intersection NMS算法的漏检问题，但是在实验过程中发现， over union)值进行过滤，去除多余的检测框，获得 Soft-NMS会比传统的NMS算法产生更多的误检 最佳的检测结果。 样本。Softer-NMS基于Soft-NMS,对预测标注方 传统的NMS算法首先需要人为设定一个阈 差范围内的检测框加权平均，使高定位置信度的 值，根据候选框之间重合度IOU进行过滤，但是 检测框具有较高的分类置信度。但是无论上述哪 这样由于阈值设定的不合理，可能会造成检测的 种方法，应用过程中，仍然需要通过大量的实验 漏检和误检。针对NMS算法存在的问题，Bodia 来调整一个相对合理的阈值。 等提出Soft-NMS,对于IOU值大于阈值的候选 针对上述问题，本文提出一种基于F1值的非 框，不再是直接过滤掉，而是衰减其对应的置信 极大值抑制阈值自动选取方法。根据图像自身信 度值，文章中提供了两种衰减策略降低检测框置 息的不同，我们提出的算法在过滤检测框时自动 信度，在一定程度上面减少了漏检问题的出现， 调整对应的过滤阈值，同时考虑了漏检、误检问 但是却增加了误检问题。He等]提出Softer- 题，以及阈值调整带来的计算负担。 NMS,利用KL散度作为损失函数，训练模型首先 1NMS算法及阈值对算法的影响 利用KL损失函数学习定位置信度，然后将大于 重叠度阈值的候选框根据置信度加权平均。侯志 1.1 基本定义 强等提出双阈值NMS,算法规定两个阈值对候 一幅图像经过检测之后，对图像中的每个物 选框进行过滤，同时避免了重叠度过高和过低带 体，都会产生多个冗余检测框，检测算法最终的 来的性能下降，缺点是增加了额外的阈值超参 目的是使得每个物体只保留一个与真实框符合度 数。赵文清等阿利用分段比例惩罚因子NMS和 最高的检测框，NMS算法会根据检测框之间的 连续比例惩罚因子NMS降低边界框置信度，多 IOU值进行过滤，从而保留最佳的检测框。NMS 次迭代之后移除置信度低于阈值的边界框，作者 算法的步骤如下： 通过实验证明，算法对于阈值设定的敏感度远远 1)图像经过检测算法之后，产生检测框集合 低于传统NMS算法。Liu等u6针对曲线文本检 B,所有检测框对应的置信度集合S。设定NMS 测问题，提出了多边形NMS,考虑到文字图像中 算法的过滤阈值N,建立空集D用于存放最终的 经常出现的曲线情况，利用多边形检测框代替矩 检测框。 形框进行检测，具体流程与传统NMS算法类似。 2)从置信度集合S中选出最高得分m,在 Jiang等1m指出定位置信度与分类置信度不匹配 B中选择m对应的检测框M。 的问题，将IOU置信度加入到日标检测的流程 3)将M从B中取出，放入D中。 中，作者利用预测的IOU值替换置信度作为 4)遍历B中所有的检测框，计算B中检测框 NMS算法排名的关键依据，有助于消除分类置信 b,与M的IOU值，如果IOU值大于阈值N,则将 度指导下的错误。Hosang等I]同样是考虑到 b,从B中别除，将b,对应的得分S,从S中剔除 IOU阈值如果设定的过高，可能导致抑制不够充 5)重复步骤2)~4)，直至集合B为空集。 分，而过低又会出现多个真实检测框被过滤的情 从NMS算法的步骤中可以看出，是否过滤检 况，其设计一个卷积神经网络，组合含有不同重 测框取决于阈值N的设定，而N的值往往是人为 叠度阈值的NMS结果，通过学习的方法获取最 规定的，需要通过大量实验来寻找一个较为合理 佳输出。Liu等针对行人检测中目标过于密集 的值，在实际应用的过程中，很难找到一个统一 的问题，提出了一种自适应的非极大值抑制算 的N,使得NMS算法能够同时保证检测结果的准 法，作者通过设计一个卷积神经网络来学习密度 确率和召回率。而由于NMS算法阈值设定的不 的置信度，利用网络预测对应的阈值，但是作者 合理，可能会导致最终检测结果的漏检和误检 引入了一个新的网络，网络训练需要耗费大量时 (图1)。YOLOv3[7] 等。另外一类就是双阶段目标检测算 法，如 R-CNN[8] 、Fast R-CNN[9] 、Faster R-CNN[10] 等。 无论是单阶段检测算法还是双阶段目标检测 算法，都不能直接得到令人满意的检测结果，产 生的检测结果往往是冗余的。这时就需要采用 NMS[11] 算法根据检测框之间的 IOU(intersection over union) 值进行过滤，去除多余的检测框，获得 最佳的检测结果。 传统的 NMS 算法首先需要人为设定一个阈 值，根据候选框之间重合度 IOU 进行过滤，但是 这样由于阈值设定的不合理，可能会造成检测的 漏检和误检。针对 NMS 算法存在的问题，Bodia[12] 等提出 Soft-NMS，对于 IOU 值大于阈值的候选 框，不再是直接过滤掉，而是衰减其对应的置信 度值，文章中提供了两种衰减策略降低检测框置 信度，在一定程度上面减少了漏检问题的出现， 但是却增加了误检问题。He 等 [13] 提出 Softer￾NMS，利用 KL 散度作为损失函数，训练模型首先 利用 KL 损失函数学习定位置信度，然后将大于 重叠度阈值的候选框根据置信度加权平均。侯志 强等[14] 提出双阈值 NMS，算法规定两个阈值对候 选框进行过滤，同时避免了重叠度过高和过低带 来的性能下降，缺点是增加了额外的阈值超参 数。赵文清等[15] 利用分段比例惩罚因子 NMS 和 连续比例惩罚因子 NMS 降低边界框置信度，多 次迭代之后移除置信度低于阈值的边界框，作者 通过实验证明，算法对于阈值设定的敏感度远远 低于传统 NMS 算法。Liu 等 [16] 针对曲线文本检 测问题，提出了多边形 NMS，考虑到文字图像中 经常出现的曲线情况，利用多边形检测框代替矩 形框进行检测，具体流程与传统 NMS算法类似。 Jiang 等 [17] 指出定位置信度与分类置信度不匹配 的问题，将 IOU 置信度加入到目标检测的流程 中，作者利用预测 的 I OU 值替换置信度作 为 NMS 算法排名的关键依据，有助于消除分类置信 度指导下的错误。Hosang 等 [ 1 8 ] 同样是考虑到 IOU 阈值如果设定的过高，可能导致抑制不够充 分，而过低又会出现多个真实检测框被过滤的情 况，其设计一个卷积神经网络，组合含有不同重 叠度阈值的 NMS 结果，通过学习的方法获取最 佳输出。Liu 等 [19] 针对行人检测中目标过于密集 的问题，提出了一种自适应的非极大值抑制算 法，作者通过设计一个卷积神经网络来学习密度 的置信度，利用网络预测对应的阈值，但是作者 引入了一个新的网络，网络训练需要耗费大量时 间，并且引入网络的参数调整十分困难，实验过 程中很难获得一个性能表现良好的模型。 虽然很多算法对传统 NMS 算法做出了改进， 但是大多数仍然依赖于人为设定阈值。例如 Soft-NMS，Soft-NMS 算法在一定程度上缓解了 NMS 算法的漏检问题，但是在实验过程中发现， Soft-NMS 会比传统的 NMS 算法产生更多的误检 样本。Softer-NMS 基于 Soft-NMS，对预测标注方 差范围内的检测框加权平均，使高定位置信度的 检测框具有较高的分类置信度。但是无论上述哪 种方法，应用过程中，仍然需要通过大量的实验 来调整一个相对合理的阈值。 针对上述问题，本文提出一种基于 F1 值的非 极大值抑制阈值自动选取方法。根据图像自身信 息的不同，我们提出的算法在过滤检测框时自动 调整对应的过滤阈值，同时考虑了漏检、误检问 题，以及阈值调整带来的计算负担。 1 NMS 算法及阈值对算法的影响 1.1 基本定义 一幅图像经过检测之后，对图像中的每个物 体，都会产生多个冗余检测框，检测算法最终的 目的是使得每个物体只保留一个与真实框符合度 最高的检测框，NMS 算法会根据检测框之间的 IOU 值进行过滤，从而保留最佳的检测框。NMS 算法的步骤如下： 1) 图像经过检测算法之后，产生检测框集合 B，所有检测框对应的置信度集合 S。设定 NMS 算法的过滤阈值 N，建立空集 D 用于存放最终的 检测框。 2) 从置信度集合 S 中选出最高得分 m，在 B 中选择 m 对应的检测框 M。 3) 将 M 从 B 中取出，放入 D 中。 4) 遍历 B 中所有的检测框，计算 B 中检测框 bi 与 M 的 IOU 值，如果 IOU 值大于阈值 N，则将 bi 从 B 中剔除，将 bi 对应的得分 si 从 S 中剔除 5) 重复步骤 2)～4)，直至集合 B 为空集。 从 NMS 算法的步骤中可以看出，是否过滤检 测框取决于阈值 N 的设定，而 N 的值往往是人为 规定的，需要通过大量实验来寻找一个较为合理 的值，在实际应用的过程中，很难找到一个统一 的 N，使得 NMS 算法能够同时保证检测结果的准 确率和召回率。而由于 NMS 算法阈值设定的不 合理，可能会导致最终检测结果的漏检和误检 (图 1)。 第 5 期 王照国，等：基于 F1 值的非极大值抑制阈值自动选取方法 ·1007·