·1154· 智能系统学报 第14卷 层轮廓信息相互传递的同时，能控制高层语义对 络，使用池化引导反卷积模块多级卷积特征。 低层轮廓提取的影响程度，达到高层语义有限指 Ronneberger等提出U-Net网络，应用多个跳过 导低层轮廓的获取，低层轮廓信息为高层语义提 连接结构来捕获上下文结构，并通过收缩路径和 供精确的空间信息。 扩展路径融合多尺度卷积特征生成有精确定位的 1.2注意力机制 显著性预测图。 视觉注意力机制是借鉴人类的视觉注意力机 受到以上研究的启发，本文提出的方法中也 制，扫描全局图片获取需要关注的目标实体区 使用跳过连接结构实现捕获上下文信息，并借助 域，并为这一区域投人更多的资源，可获取更为 空洞卷积对上下文信息进一步提取，同时借助带 完善的关注目标的信息，而降低其他信息的影 门控的信息传递链路，实现高级语义与中间卷积 响。注意力机制在多个视觉任务中都有很出色的 特征的相互融合，这种融合是以阶段方式进行 表现，例如，图像字幕，训、视觉问答2)目标识 的，由跳过连接结构与带门控的信息传递链路组 别9和图像分类B等。Xu等B首先提出了使用 成了双向信息传递链路，有利于为显著性预测提 “软”和“硬注意力机制解决图像字幕。Wag等 供全面的信息。另一方面通过多尺度融合策略， 提出使用一种残差注意力机制来训练深度残差网 为显著性预测提供不同视角的卷积特征，能够将 络进行图像分类。Chen等2提出了一种SCA- 低级的边缘感知特征与高级语义信息进行聚合， CNN网络，网络使用CNN结合了空间注意力机 有助于保持对象边界。 制与通道注意力机制赋予各个通道和空间位置不 同的权重，提高目标响应并降低背景的干扰。 2算法模型 在显著性物体检测时，并不是所有通道的卷 BML-CNN模型使用含有注意力模块的特征 积特征对显著性物体的预测都具有同等重要性， 提取模块来提取有效特征，借助双向消息链路实 个别通道会存在背景的卷积特征，且在同一通道 现高层语义信息与底层轮廓信息相互传递，融合 中不同位置的卷积特征也对显著性物体的预测产 上下文信息，最后使用多尺度融合策略，融合不 生影响。为更有利地获取有效卷积特征，进一步 同尺度的有效卷积特征，以实现物体的显著性预 消除背景对显著物体的影响，本文采用通道注意 测。该模型具有出色的显著性预测能力，且边界 力机制为不同卷积通道赋予不同权值，以降低含 保持较好。 背景卷积信息的通道对显著性物体预测的影响， 2.1通道注意力与空间注意力 另外引入空间注意力机制来为同一通道上不同位 通道注意力机制是调整特征通道对目标影响 置的卷积特征赋予不同权值，以进一步消除背景 程度的方式，为有效的通道赋予更高的权重使其 的影响。将空间注意力与通道注意力串联组成注 能对显著性对象有更高的响应，降低无效通道的 意力模块以实现对物体的初步关注，并以渐进的 权重使其能够降低对显著性对象预测的干扰。 方式指导下一层关注的提取，逐步消除背景对显 著性物体预测的影响。 将卷积特征用IERWxHxC表示，其中WxHxC 表示卷积特征I的维度，用F={f,五，…，f}表示 1.3多尺度特征融合 从一些可视化深度卷积神经网络的工作06 卷积特征I上的通道，其中∈RwH,i∈1,2，…，C) 可以看出，不同层次的卷积特征是从不同的视角 表示卷积特征I上的第i个通道，W表示宽，H表 描述物体特征及其周围环境。高级语义有助于图 示高，C表示通道总数。用s∈RC表示通道权重 像区域物体类别的识别，而低级视觉特征有助于 向量，本文设计一个卷积层来学习每个通道的权 保留空间细节，生成具有高分辨率的显著性图。 值特征： 8=Wc*F+bc (1)） 然而如何有效地利用多尺度特征依然是一个值得 式中：Wc表示卷积滤波器：bc表示卷积偏差。使 探讨的问题。为此，已经有很多有价值的研究， 例如，Li等通过使用先生成局部超像素估计， 用Softmax激活函数获得最终的通道注意力向量 然后在多个CNN中提取多尺度特征来预测物体 ac={ac(1),ac(2),…,ac(C)l: 的显著性。Zhang等2]提出Amulet网络使用 exp(g(i)) ac (i)=Softmax (g(i))= (2) RFC生成多分辨率的预测信息，并使用FS进行 exp(g(i)) 多尺度融合，获得显著性的预测。Hariharan等 提出使用Hypercolumn方法，不仅融合了来自多 / ac(i)=1 (3) 个中间层的卷积特征，还学习了密集特征分类 器。Badrinarayanan等采用编码器-解码器网 空间注意力机制直接使用卷积特征预测显著层轮廓信息相互传递的同时，能控制高层语义对 低层轮廓提取的影响程度，达到高层语义有限指 导低层轮廓的获取，低层轮廓信息为高层语义提 供精确的空间信息。 1.2 注意力机制 视觉注意力机制是借鉴人类的视觉注意力机 制，扫描全局图片获取需要关注的目标实体区 域，并为这一区域投入更多的资源，可获取更为 完善的关注目标的信息，而降低其他信息的影 响。注意力机制在多个视觉任务中都有很出色的 表现，例如，图像字幕[29, 31] 、视觉问答[32-33] 、目标识 别 [19] 和图像分类[34] 等。Xu 等 [35] 首先提出了使用 “软”和“硬”注意力机制解决图像字幕。Wang 等 [34] 提出使用一种残差注意力机制来训练深度残差网 络进行图像分类。Chen 等 [29] 提出了一种 SCA￾CNN 网络，网络使用 CNN 结合了空间注意力机 制与通道注意力机制赋予各个通道和空间位置不 同的权重，提高目标响应并降低背景的干扰。 在显著性物体检测时，并不是所有通道的卷 积特征对显著性物体的预测都具有同等重要性， 个别通道会存在背景的卷积特征，且在同一通道 中不同位置的卷积特征也对显著性物体的预测产 生影响。为更有利地获取有效卷积特征，进一步 消除背景对显著物体的影响，本文采用通道注意 力机制为不同卷积通道赋予不同权值，以降低含 背景卷积信息的通道对显著性物体预测的影响， 另外引入空间注意力机制来为同一通道上不同位 置的卷积特征赋予不同权值，以进一步消除背景 的影响。将空间注意力与通道注意力串联组成注 意力模块以实现对物体的初步关注，并以渐进的 方式指导下一层关注的提取，逐步消除背景对显 著性物体预测的影响。 1.3 多尺度特征融合 从一些可视化深度卷积神经网络的工作[9-10, 36-40] 可以看出，不同层次的卷积特征是从不同的视角 描述物体特征及其周围环境。高级语义有助于图 像区域物体类别的识别，而低级视觉特征有助于 保留空间细节，生成具有高分辨率的显著性图。 然而如何有效地利用多尺度特征依然是一个值得 探讨的问题。为此，已经有很多有价值的研究， 例如，Li 等 [5] 通过使用先生成局部超像素估计， 然后在多个 CNN 中提取多尺度特征来预测物体 的显著性。Zhang 等 [ 2 7 ] 提出 Amulet 网络使用 RFC 生成多分辨率的预测信息，并使用 FS 进行 多尺度融合，获得显著性的预测。Hariharan 等 [22] 提出使用 Hypercolumn 方法，不仅融合了来自多 个中间层的卷积特征，还学习了密集特征分类 器。Badrinarayanan 等 [11] 采用编码器−解码器网 络，使用池化引导反卷积模块多级卷积特征。 Ronneberger 等 [2] 提出 U-Net 网络，应用多个跳过 连接结构来捕获上下文结构，并通过收缩路径和 扩展路径融合多尺度卷积特征生成有精确定位的 显著性预测图。 受到以上研究的启发，本文提出的方法中也 使用跳过连接结构实现捕获上下文信息，并借助 空洞卷积对上下文信息进一步提取，同时借助带 门控的信息传递链路，实现高级语义与中间卷积 特征的相互融合，这种融合是以阶段方式进行 的，由跳过连接结构与带门控的信息传递链路组 成了双向信息传递链路，有利于为显著性预测提 供全面的信息。另一方面通过多尺度融合策略， 为显著性预测提供不同视角的卷积特征，能够将 低级的边缘感知特征与高级语义信息进行聚合， 有助于保持对象边界。 2 算法模型 BML-CNN 模型使用含有注意力模块的特征 提取模块来提取有效特征，借助双向消息链路实 现高层语义信息与底层轮廓信息相互传递，融合 上下文信息，最后使用多尺度融合策略，融合不 同尺度的有效卷积特征，以实现物体的显著性预 测。该模型具有出色的显著性预测能力，且边界 保持较好。 2.1 通道注意力与空间注意力 通道注意力机制是调整特征通道对目标影响 程度的方式，为有效的通道赋予更高的权重使其 能对显著性对象有更高的响应，降低无效通道的 权重使其能够降低对显著性对象预测的干扰。 I ∈ R W×H×C W × H ×C F = {f1, f2,··· , fC} fi ∈ R W×H i ∈ {1,2,··· ,C} i s ∈ R C 将卷积特征用 表示，其中 表示卷积特征 I 的维度，用 表示 卷积特征 I 上的通道，其中 ， 表示卷积特征 I 上的第 个通道，W 表示宽，H 表 示高，C 表示通道总数。用 表示通道权重 向量，本文设计一个卷积层来学习每个通道的权 值特征： g = WC ∗ F +bC (1) WC bC aC = {aC (1),aC (2),··· ,aC (C)} 式中： 表示卷积滤波器； 表示卷积偏差。使 用 Softmax 激活函数获得最终的通道注意力向量 ： aC (i) = Softmax(g(i)) = exp(g(i)) ∑C i=1 exp(g(i)) (2) ∑C i=1 aC (i) = 1 (3) 空间注意力机制直接使用卷积特征预测显著 ·1154· 智 能 系 统 学 报 第 14 卷