.1176 工程科学学报，第43卷，第9期 Multiple multi-focus images Feature extraction feature map, Maximum spatial Fusion result with defocus spread MSFIFM frequency in Rectification strategy Image fusion method Fusion result without defocus spread 图1显微成像场景中多张多聚焦图像融合技术路线（图中红色箭头为失焦扩散效应.融合结果中的黄色虚线框为放大后的局部区域，以方便读 者查看) Fig.I Flow chart of multiple multi-focus image fusion in a microscopic imaging scene(The red arrow in the figure shows the defocus spread effect.The yellow dotted line box in the fusion result is the enlarged local area,which is convenient for readers to view) 过成像装置景深，造成在调焦范围内无法聚焦全 线框所示 部位置，必然在该区域内呈现持续的失焦状态.以 2方法 图1中红色箭头所指的深凹情况为例，失焦成像 状态下产生前景失焦扩散效应将影响到深凹区域 2.1基于深度学习和最大特征图空间频率的融合 的像素值分布，最终在融合结果中的背景深凹区 策略 域处产生失真的伪影效果20，如图1中的黄色虚 在对所有待融合图像进行图像配准后1-四采 线框示意.针对上述问题，通常采用基于硬件或软 用传统两两串行融合方法融合多张图像时，当待 件的解决方法，基于硬件的优化方法主要有以下 融合的图像数目为N时，需要执行2(N-1)次特征 两种：第一是通过扩大聚焦拍摄区间，即通过拍摄 提取过程，而采用本文提出的最大特征图空间频 更多的不同焦距的图像，以期找到背景深凹处的 率融合策略，仅需要执行N次特征提取过程即可 聚焦结果，最终形成清晰的融合结果.这种方法会 进行多图融合，因此提高了多张图像融合效率 造成拍摄时间的延长、电耗的增加和硬件运作的 本文在图像特征提取时使用编码器-解码器 磨损，最终降低成像效率甚至降低精密镜头的使 结构)，如图2(a)所示.编码器中C1包含了一个 用寿命.第二是通过抑制成像中的光强以减弱深 3x3卷积层.DC1、DC2以及DC3为密集链接模 凹区域以外物体的失焦扩散效应.这种方法虽然 块，分别包含一个3×3的卷积层，同时每个模块的 可以减弱失焦扩散效应，但会造成整体上的亮度 输出与其他模块跨层级联.SE为挤压-激发模块2， 降低，最终导致整体成像质量较差.并且基于硬件 可以通过自适应的特征通道维度校准来增强有用 的解决方法除上述缺陷外，还存在硬件改造成本 的特征.为了保证图像重建的准确性，在编码器与 高、技术升级难度大的问题.因此，如何通过基于 解码器中并没有加入池化层.解码器中C2、C3、 图像处理的软件方法缓解多聚焦图像融合中的失 C4以及C5结构与C1相同，用以重建输入图像 焦扩散效应是本领域中研究的难点. 在训练过程中利用文献[13)]中的像素损失以 针对以上显微成像场景中多张多聚焦图像融 及结构相似性损失同时训练编码器与解码器.像 合问题，本文提出如下的相应解决方案： 素损失与结构相似性损失为图像融合领域常用的 (1)本文提出一种最大特征图空间频率融合 损失函数.像素损失衡量了两张图像的距离，通过 策略(Maximum spatial frequency in feature map, 优化像素损失可以使输入输出图像在欧氏空间上 MSFIFM),在基于无监督学习的卷积神经网络中 具有更近的距离.结构相似性衡量了两张图像在 增加后处理模块，如图1所示，实验证明该策略显 亮度、对比度以及结构相关性三个方面的相似程 著提高了多张图像的多聚焦图像融合速度 度，通过优化结构相似性损失可以降低输出图像 (2)本文提出了一种矫正策略，可缓解失焦扩 视觉效果上的失真.当网络训练完成后，在推理时 散效应对融合图像质量的影响，如图1中黄色虚 仅利用编码器部分实现图像特征提取，并进行多过成像装置景深，造成在调焦范围内无法聚焦全 部位置，必然在该区域内呈现持续的失焦状态. 以 图 1 中红色箭头所指的深凹情况为例，失焦成像 状态下产生前景失焦扩散效应将影响到深凹区域 的像素值分布，最终在融合结果中的背景深凹区 域处产生失真的伪影效果[20] ，如图 1 中的黄色虚 线框示意. 针对上述问题，通常采用基于硬件或软 件的解决方法. 基于硬件的优化方法主要有以下 两种：第一是通过扩大聚焦拍摄区间，即通过拍摄 更多的不同焦距的图像，以期找到背景深凹处的 聚焦结果，最终形成清晰的融合结果. 这种方法会 造成拍摄时间的延长、电耗的增加和硬件运作的 磨损，最终降低成像效率甚至降低精密镜头的使 用寿命. 第二是通过抑制成像中的光强以减弱深 凹区域以外物体的失焦扩散效应. 这种方法虽然 可以减弱失焦扩散效应，但会造成整体上的亮度 降低，最终导致整体成像质量较差. 并且基于硬件 的解决方法除上述缺陷外，还存在硬件改造成本 高、技术升级难度大的问题. 因此，如何通过基于 图像处理的软件方法缓解多聚焦图像融合中的失 焦扩散效应是本领域中研究的难点. 针对以上显微成像场景中多张多聚焦图像融 合问题，本文提出如下的相应解决方案： （1）本文提出一种最大特征图空间频率融合 策 略 （ Maximum  spatial  frequency  in  feature  map, MSFIFM），在基于无监督学习的卷积神经网络中 增加后处理模块，如图 1 所示，实验证明该策略显 著提高了多张图像的多聚焦图像融合速度. （2）本文提出了一种矫正策略，可缓解失焦扩 散效应对融合图像质量的影响，如图 1 中黄色虚 线框所示. 2    方法 2.1    基于深度学习和最大特征图空间频率的融合 策略 在对所有待融合图像进行图像配准后[21−22] ，采 用传统两两串行融合方法融合多张图像时，当待 融合的图像数目为 N 时，需要执行 2（N−1）次特征 提取过程，而采用本文提出的最大特征图空间频 率融合策略，仅需要执行 N 次特征提取过程即可 进行多图融合，因此提高了多张图像融合效率. 本文在图像特征提取时使用编码器−解码器 结构[13] ，如图 2（a）所示. 编码器中 C1 包含了一个 3×3 卷积层. DC1、DC2 以及 DC3 为密集链接模 块，分别包含一个 3×3 的卷积层，同时每个模块的 输出与其他模块跨层级联. SE 为挤压−激发模块[23] ， 可以通过自适应的特征通道维度校准来增强有用 的特征. 为了保证图像重建的准确性，在编码器与 解码器中并没有加入池化层. 解码器中 C2、C3、 C4 以及 C5 结构与 C1 相同，用以重建输入图像. 在训练过程中利用文献 [13] 中的像素损失以 及结构相似性损失同时训练编码器与解码器. 像 素损失与结构相似性损失为图像融合领域常用的 损失函数. 像素损失衡量了两张图像的距离，通过 优化像素损失可以使输入输出图像在欧氏空间上 具有更近的距离. 结构相似性衡量了两张图像在 亮度、对比度以及结构相关性三个方面的相似程 度，通过优化结构相似性损失可以降低输出图像 视觉效果上的失真. 当网络训练完成后，在推理时 仅利用编码器部分实现图像特征提取，并进行多 Multiple multi-focus images Image fusion method Rectification strategy Fusion result with defocus spread Fusion result without defocus spread Maximum spatial frequency in feature map, MSFIFM Feature extraction 图 1    显微成像场景中多张多聚焦图像融合技术路线（图中红色箭头为失焦扩散效应. 融合结果中的黄色虚线框为放大后的局部区域，以方便读 者查看） Fig.1    Flow chart of multiple multi-focus image fusion in a microscopic imaging scene (The red arrow in the figure shows the defocus spread effect. The yellow dotted line box in the fusion result is the enlarged local area, which is convenient for readers to view) · 1176 · 工程科学学报，第 43 卷，第 9 期