第6期 申凯，等：基于双向消息链路卷积网络的显著性物体检测 ·1155· 性往往可能由于非显著性区域所造成的噪音导致 I(①=I()×ac() (7) 次优结果。空间注意力机制通过对每一个区域进 式中：ac(①表示第i层通道的通道注意力向量第i 行评估，为每一个区域赋予不同的权值，使得模 维参数，其中iE{1,2,…,C。将得到的卷积特征 型能够更加关注有助于显著性预测的有效信息。 输入到空间注意力模块中得到心s: 空间注意力机制可以突出显著性对象，减少背景 Ics as (8) 区域的干扰。 式中*表示Hadamard矩阵乘积运算。得到的Ics 使用I∈RWxHxC表示卷积特征，使用L={(x,y) 是通过注意力模块的带权卷积特征，模型使用s x=1,2,…,Wy=1,2,…,H表示卷积特征上空间 指导下一层卷积对显著性物体特征的提取。 位置，其中(x,y表示空间上点的坐标。本文设计 图1中，左半边为通道注意力模块和式，右 了一个卷积层来计算空间注意力特征图： 半边为空间注意力模块和式，其中I为输人和式， m=Ws *1+bs (4) ac表示通道注意力向量和式由式（②）和式③)计算得到。 式中：m∈RwxH是包含所有通道的信息；Ws表示 心表示通道注意力模块的输出和式也是空间注 卷积滤波器；bs表示卷积偏差。使用Softmax激 意力模块的输人和式由式(7)计算得到。as表示 活函数获取每一个位置上的空间注意力权重。 空间注意力权重和式，由式(5)和式(6)计算得 as(I)=Softmax(m(D))= exp(m(D) 丁.expm) (5) 到。下表示空间注意力模块的输出和式，也是本 文注意力模块的输出和式由式(8)计算得到。多 ∑as0=1 (6) 层卷积之间添加注意力模块和式实现渐进式的 注意力引导。每一层的注意力信息可指导下一 式中：m(0表示空间注意力特征图m中第I个点， 层的训练，以自适应的方式生成新的注意项和式 其中I∈L;as(0表示第I个点的权值。令as={as(1), 使得上下文信息实现由粗至简的细化过程。 as(2),…,as(W×H)}为空间关注图。 2.2双向消息链路 注意力模块使用通道注意力模块与空间注意 双向消息链路由带有跳过连接结构的上下文 力模块串联成注意力模块，结构如图1所示。将 感知网络与带有门控函数的信息传递链路组成。 注意力模块添加到带跳过连接的上下文感知模 带有跳过结构连接结构的上下文感知网络用来提 块，可从不同方向上减少背景区域的干扰，提高 取高级的语义信息，而带有门控函数的信息传递 对显著性物体的预测，并精确的保留边界信息。 链路将高进语义信息和中间卷积特征指导低级空 间信息提取。使得送入多尺度融合模块的不同尺 度的特征图均具有完整的空间信息和语义信息， 为最终的融合提供有效、可靠的输入源。 如图2所示，带有跳过连接结构的上下文传 递模块，“Conv5”是对原始图片的特征提取，使用 图1注意力模块模型 跳过连接结构将原始图片，与语义特征一起作为 Fig.1 Attention module model 新的卷积层的输人，实现上下文传递，并使用后 使用I∈RWxHxC表示输人注意力模块的卷积 续的卷积将低级空间特征与高级语义相融合，使 特征前半阶段为通道注意力机制，后半段为空间 得显著性特征具有比较完备的边界信息和高级语 注意力机制。令为经过通道注意力模块输出 义信息。另外，注意力机制的加入减少了背景对 的卷积特征： 显著性物体预测的影响。 Conv5 Up4 Up3 Up2 Upl Conv10 Conv& Conv7 Conv6 Atten Atten Atten Atten Atten Convl 图2带跳过连接的上下文传递模块 Fig.2 Context transfer module with skip connection性往往可能由于非显著性区域所造成的噪音导致 次优结果。空间注意力机制通过对每一个区域进 行评估，为每一个区域赋予不同的权值，使得模 型能够更加关注有助于显著性预测的有效信息。 空间注意力机制可以突出显著性对象，减少背景 区域的干扰。 I ∈ R W×H×C L = {(x, y) |x = 1,2,··· ,W; y = 1,2,··· ,H} (x, y) 使用 表示卷积特征，使用 表示卷积特征上空间 位置，其中 表示空间上点的坐标。本文设计 了一个卷积层来计算空间注意力特征图： m = WS ∗ I +bS (4) m ∈ R W×H WS bS 式中： 是包含所有通道的信息； 表示 卷积滤波器； 表示卷积偏差。使用 Softmax 激 活函数获取每一个位置上的空间注意力权重。 aS (l) = Softmax(m(l)) = ∑ exp(m(l)) l∈L exp(m(l)) (5) ∑ l∈L aS (l) = 1 (6) m(l) l ∈ L aS (l) aS = {aS (1), aS (2),··· ,aS (W × H)} 式中： 表示空间注意力特征图 m 中第 l 个点， 其中 ； 表示第 l 个点的权值。令 为空间关注图。 注意力模块使用通道注意力模块与空间注意 力模块串联成注意力模块，结构如图 1 所示。将 注意力模块添加到带跳过连接的上下文感知模 块，可从不同方向上减少背景区域的干扰，提高 对显著性物体的预测，并精确的保留边界信息。 I × ac as I c I ＊ cs 图 1 注意力模块模型 Fig. 1 Attention module model I ∈ R 使用 W×H×C 表示输入注意力模块的卷积 特征前半阶段为通道注意力机制，后半段为空间 注意力机制。令 I C 为经过通道注意力模块输出 的卷积特征： I C (i) = I(i)×aC (i) (7) aC (i) i i i ∈ {1,2,··· ,C} I CS 式中： 表示第 层通道的通道注意力向量第 维参数，其中 。将得到的卷积特征 输入到空间注意力模块中得到 ： I CS = aS ∗ I C (8) I CS I CS 式中*表示 Hadamard 矩阵乘积运算。得到的 是通过注意力模块的带权卷积特征，模型使用 指导下一层卷积对显著性物体特征的提取。 aC I C aS I S 图 1 中，左半边为通道注意力模块和式，右 半边为空间注意力模块和式，其中 I 为输入和式， 表示通道注意力向量和式由式(2)和式(3)计算得到。 表示通道注意力模块的输出和式也是空间注 意力模块的输入和式由式 (7) 计算得到。 表示 空间注意力权重和式，由式 (5) 和式 (6) 计算得 到。 表示空间注意力模块的输出和式，也是本 文注意力模块的输出和式由式 (8) 计算得到。多 层卷积之间添加注意力模块和式实现渐进式的 注意力引导。每一层的注意力信息可指导下一 层的训练，以自适应的方式生成新的注意项和式 使得上下文信息实现由粗至简的细化过程。 2.2 双向消息链路 双向消息链路由带有跳过连接结构的上下文 感知网络与带有门控函数的信息传递链路组成。 带有跳过结构连接结构的上下文感知网络用来提 取高级的语义信息，而带有门控函数的信息传递 链路将高进语义信息和中间卷积特征指导低级空 间信息提取。使得送入多尺度融合模块的不同尺 度的特征图均具有完整的空间信息和语义信息， 为最终的融合提供有效、可靠的输入源。 如图 2 所示，带有跳过连接结构的上下文传 递模块，“Conv5”是对原始图片的特征提取，使用 跳过连接结构将原始图片，与语义特征一起作为 新的卷积层的输入，实现上下文传递，并使用后 续的卷积将低级空间特征与高级语义相融合，使 得显著性特征具有比较完备的边界信息和高级语 义信息。另外，注意力机制的加入减少了背景对 显著性物体预测的影响。 Up4 Up3 Up2 Up1 Atten Conv10 Atten Conv9 Atten Conv8 Atten Conv7 Atten Conv6 Atten Conv1 Conv5 Up5 图 2 带跳过连接的上下文传递模块 Fig. 2 Context transfer module with skip connection 第 6 期 申凯，等：基于双向消息链路卷积网络的显著性物体检测 ·1155·