第6期 申凯，等：基于双向消息链路卷积网络的显著性物体检测 ·1153· 引发了显著性检测模型的热潮。基于卷积神经网 意力模块来提取有效特征，可赋予有效通道、有 络：刀的显著性检测方法消除了对手工特征的需 效卷积特征更高的权值，减少背景对显著性物体 求，逐渐成为显著性检测的主流方向。显著性物 预测的影响。 体检测用于突出图像中最重要的部分，常作为图 2)提出具有跳过连接结构的上下文感知模块 像预处理步骤用于计算机视觉任务中，包括图像 与带门控函数的消息链路组成的双向消息链路， 分割0、视觉跟踪、场景分类四、物体检测3、 可在获取高级语义信息的同时，保留完整的边界 图像检索61图像识别四等。 信息。 基于深度卷积神经网络，特别是全卷积神经 3)借助多尺度融合策略将多级有效特征进行 网络(CN),已经在语义分割20、姿态估计2和对 融合，可在不同角度产生对显著性物体的预测， 象提取2)等标记任务中表现出优异的性能。同 并进一步融合不同尺度的信息生成具有完整边界 时也推动了尝试使用FCN解决显著性物体检测 的显著性物体预测图。 中显著性物体定位问题，虽然这些模型5622在 预测侧物体显著性的任务中有出色的高层语义提取 1相关工作 能力，但是显著图缺少精确的边界细节，显著图 本节将从3个方面介绍相关工作。首先，描 无法保留精确的对象边界信息。这促使很多研究 述特征传递在显著性检测中的应用。其次，描述 人员利用不同层级的特征的非线性组合进行显著 了注意力机制在各种视觉任务中的应用。最后， 性检测。Xiao等21建议提取不同级别的显著图， 介绍了多尺度融合在显著性物体检测任务中的应用。 并将其进行非线性融合得到显著图，使其获取高 1.1特征传递 级语义信息的同时兼顾低级空间信息。Hou等o 不同级别的特征传递是显著性物体检测任务 建议在多个侧输出层之间添加短连接，用以组合 中的一项重要工作，也促使很多研究人员探讨更 不同级别的特征。Zhang等7提出通过低级别的 优异的特征传递策略。例如，Wang等提出了使 特征与高级别的特征进行聚合，生成多级特征。 用双卷积神经网络，将局部超像素估计传递到高 Jin等2]提出使用循环神经网络的方式将高级语 层卷积指导生成全局对象提议搜索的显著性物体 义信息和低级空间信息相互传递，生成显著图。 检测。Jin等P提出使用循环神经网络的方式将 Chen等2提出使用空间注意机制与通道注意力 高级语义信息和低级空间信息相互传递，生成显 机制捕捉图片高级语义信息，但依旧存在边界信 著图。Long等0借助跳过连接的方法，将高层语 息缺失的现象，且对于背景抑制、实体镜像问题 义添加到中间层，已生成多分辨率，多尺度的预 的处理还需要进一步提高。 测信息，并由预测信息生成像素的预测结果。Zhao 为解决上述问题，本文提出了一种基于双向 等1通过融合全局和局部的上下文信息来预测 消息链路卷积网络的显著性物体检测方法。为了 每个超像素的显著度，并依据每个超像素的显著 解决边界缺失问题使用设计一个具有跳过连接结 度生成显著对象的显著图。Lee等P1提出将降低 构的上下文感知模块将高级语义与低级空间特征 级空间信息与高级语义信息进行传递并编码，并 进行融合，对于每一个侧输出采用了空洞卷积获 使用编码后的特征预测显著性图。Li山等2建议 取每一个侧输出的更多的上下文信息。为了准确 使用分阶段检测物体的显著性，第一阶段使用卷 地定位显著性物体的位置信息以及减少无关通道 积神经网络提取全局结构特征，并产生粗略估 对显著物体的高级语义与空间信息的影响，借助 计，第二阶段融合策略，将本地上下文信息细化 了空间注意力与通道注意力机制组成的注意力模 为显著图的细节，并与第一阶段产生的粗略显著 块。为了更加有效地传递上下文语义信息，借助 图进行相互传递并融合得到精确的显著性图。Wang 具有门控的消息传递通道，完成从高级特征到低 等)设计了全卷积神经网络(FCN),将粗略的显 级特征的传递。为了融合产生的多层特征信息， 著性预测特征传递到高层，并逐步指导显著性图 借助多尺度融合策略生成物体显著性预测图。本 的生成。上述方法在实现特征传递过程中并没有 文将提出的BML-CNN在6个数据集上与13种 考虑到高层语义对低层轮廓提取的影响程度，使 先进的显著性物体检测模型进行比较，实验表明 得低层轮廓提取过于注重显著度高的位置，从而 BML-CNN在不同的评价指标下均有最出色的表 导致显著度较低的边缘信息保留不足。 现，此外，模型的实时处理速度为18s。本文的 为控制高层语义对低层轮廓提取的影响程 贡献主要分为以下三个方面： 度，提出使用带跳过连接结构与带门控函数组成 1)使用由通道注意力与空间注意力组成的注 的双向消息传递链路，在实现高层语义信息与低引发了显著性检测模型的热潮。基于卷积神经网 络 [5-7] 的显著性检测方法消除了对手工特征的需 求，逐渐成为显著性检测的主流方向。显著性物 体检测用于突出图像中最重要的部分，常作为图 像预处理步骤用于计算机视觉任务中，包括图像 分割[8-10] 、视觉跟踪[11] 、场景分类[12] 、物体检测[13-15] 、 图像检索[16-18] 、图像识别[19] 等。 基于深度卷积神经网络，特别是全卷积神经 网络 (FCN)，已经在语义分割[20] 、姿态估计[21] 和对 象提取[22] 等标记任务中表现出优异的性能。同 时也推动了尝试使用 FCN 解决显著性物体检测 中显著性物体定位问题，虽然这些模型[5-6, 23-24] 在 预测物体显著性的任务中有出色的高层语义提取 能力，但是显著图缺少精确的边界细节，显著图 无法保留精确的对象边界信息。这促使很多研究 人员利用不同层级的特征的非线性组合进行显著 性检测。Xiao 等 [25] 建议提取不同级别的显著图， 并将其进行非线性融合得到显著图，使其获取高 级语义信息的同时兼顾低级空间信息。Hou 等 [26] 建议在多个侧输出层之间添加短连接，用以组合 不同级别的特征。Zhang 等 [27] 提出通过低级别的 特征与高级别的特征进行聚合，生成多级特征。 Jin 等 [28] 提出使用循环神经网络的方式将高级语 义信息和低级空间信息相互传递，生成显著图。 Chen 等 [29] 提出使用空间注意机制与通道注意力 机制捕捉图片高级语义信息，但依旧存在边界信 息缺失的现象，且对于背景抑制、实体镜像问题 的处理还需要进一步提高。 为解决上述问题，本文提出了一种基于双向 消息链路卷积网络的显著性物体检测方法。为了 解决边界缺失问题使用设计一个具有跳过连接结 构的上下文感知模块将高级语义与低级空间特征 进行融合，对于每一个侧输出采用了空洞卷积获 取每一个侧输出的更多的上下文信息。为了准确 地定位显著性物体的位置信息以及减少无关通道 对显著物体的高级语义与空间信息的影响，借助 了空间注意力与通道注意力机制组成的注意力模 块。为了更加有效地传递上下文语义信息，借助 具有门控的消息传递通道，完成从高级特征到低 级特征的传递。为了融合产生的多层特征信息， 借助多尺度融合策略生成物体显著性预测图。本 文将提出的 BML-CNN 在 6 个数据集上与 13 种 先进的显著性物体检测模型进行比较，实验表明 BML-CNN 在不同的评价指标下均有最出色的表 现，此外，模型的实时处理速度为 18 f/s。本文的 贡献主要分为以下三个方面： 1) 使用由通道注意力与空间注意力组成的注 意力模块来提取有效特征，可赋予有效通道、有 效卷积特征更高的权值，减少背景对显著性物体 预测的影响。 2) 提出具有跳过连接结构的上下文感知模块 与带门控函数的消息链路组成的双向消息链路， 可在获取高级语义信息的同时，保留完整的边界 信息。 3) 借助多尺度融合策略将多级有效特征进行 融合，可在不同角度产生对显著性物体的预测， 并进一步融合不同尺度的信息生成具有完整边界 的显著性物体预测图。 1 相关工作 本节将从 3 个方面介绍相关工作。首先，描 述特征传递在显著性检测中的应用。其次，描述 了注意力机制在各种视觉任务中的应用。最后， 介绍了多尺度融合在显著性物体检测任务中的应用。 1.1 特征传递 不同级别的特征传递是显著性物体检测任务 中的一项重要工作，也促使很多研究人员探讨更 优异的特征传递策略。例如，Wang 等 [6] 提出了使 用双卷积神经网络，将局部超像素估计传递到高 层卷积指导生成全局对象提议搜索的显著性物体 检测。Jin 等 [28] 提出使用循环神经网络的方式将 高级语义信息和低级空间信息相互传递，生成显 著图。Long 等 [30] 借助跳过连接的方法，将高层语 义添加到中间层，已生成多分辨率，多尺度的预 测信息，并由预测信息生成像素的预测结果。Zhao 等 [19] 通过融合全局和局部的上下文信息来预测 每个超像素的显著度，并依据每个超像素的显著 度生成显著对象的显著图。Lee 等 [23] 提出将降低 级空间信息与高级语义信息进行传递并编码，并 使用编码后的特征预测显著性图。Liu 等 [24] 建议 使用分阶段检测物体的显著性，第一阶段使用卷 积神经网络提取全局结构特征，并产生粗略估 计，第二阶段融合策略，将本地上下文信息细化 为显著图的细节，并与第一阶段产生的粗略显著 图进行相互传递并融合得到精确的显著性图。Wang 等 [7] 设计了全卷积神经网络 (FCN)，将粗略的显 著性预测特征传递到高层，并逐步指导显著性图 的生成。上述方法在实现特征传递过程中并没有 考虑到高层语义对低层轮廓提取的影响程度，使 得低层轮廓提取过于注重显著度高的位置，从而 导致显著度较低的边缘信息保留不足。 为控制高层语义对低层轮廓提取的影响程 度，提出使用带跳过连接结构与带门控函数组成 的双向消息传递链路，在实现高层语义信息与低 第 6 期 申凯，等：基于双向消息链路卷积网络的显著性物体检测 ·1153·