印象等：面向显微影像的多聚焦多图融合中失焦扩散效应消除方法 .1179. 器选用Adam2,批尺寸与训练轮数分别设置为 随着图像尺寸的增加，图像特征提取的时间也会 48与30 随之增加，当图像数目为N时，两两串行融合策略 本文的算法实现基于PyTorch框架27和 需要执行2(WN-1)次特征提取过程，而MSFIFM策 OpenCV代码包2，并使用显存共计44GB的4块 略有效降低了算法特征提取网络的运行次数仅需 NVIDIA1O80 Ti GPU来训练网络 要执行N次特征提取就能得到最终的融合结果， 3.2最大特征图空间频率融合策略性能分析 因此随着待融合图像尺寸的增大MSFIFM算法的 本文利用65张不同聚焦深度下的显微场景下 融合效率提升也会越明显 的微观芯片图像进行实验.通过改变图像的尺寸对 MSFIFM策略与两两串行融合策略得到的融 比不同尺寸下多图像融合时MSFIFM策略与两两 合图像如图4所示.在“芯片1”对比图的放大区 串行融合策略的平均耗时.实验结果如表1所示. 域中可以看出，两两串行融合策略得到的融合结 果相比于MSFIFM策略在前景部分存在带状模糊 表1 MSFIFM策略与两两串行融合策略平均耗时对比 噪声；在“芯片2”对比图的放大区域中可以看出 Table 1 Average time comparison between the MSFIFM and one-by- 两两串行融合策略得到的融合结果相比于 one fusion strategies Average time of one- Execution MSFIFM策略在前景区域存在较大面积的模糊； Image size Average time of by-one fusion efficiency MSFIFM strategy/s 在“芯片3”对比图中两两串行融合策略相比于 strategy/s increase/% MSFIFM策略在前背景聚焦边界处存在更少的失 900×600 01397 0.2645 47.18 600×400 0.0732 0.1351 45.83 焦扩散伪影，但是并没有很好地捕捉到整体前景 300×200 0.0265 0.0391 32.08 的聚焦信息；这说明采用两两串行融合的方式不 能很好的捕捉到待融合图像中的清晰区域，这主 从表1的实验结果可以看出，MSFIFM策略相 要是因为算法中的特征提取网络在训练时不可避 比于两两串行融合策略在执行效率上提高了 免地会存在一定的噪声，而两两串行融合策略在 30%以上，证明了MSFIFM策略在多图融合时能 融合N张图像的时候相比于MSFIFM策略需要多 够充分降低算法运行时间.随着图像尺寸的增加， 运行N-2次特征提取网络，这就造成了决策图的 MSFIFM策略融合效率的提高也越加明显，这主 预测过程积累了更多的误差，从而降低了最终的 要是因为图像特征提取占据了大部分的耗时，而 融合结果的可视化效果 Chip3 Multiple multi-focus images One by one MSFIFM MSFIFM+ CNN Fuse MS-Lap serial rectification strategy 图4不同融合方式下芯片1、芯片2和芯片3的融合结果对比 Fig.4 Visualization of fusion results of chipl,chip2,and chip3 with different fusion algorithms 3.3面向显微成像场景失焦扩散效应的矫正策略 习的多聚焦图像融合算法，包括CNN Fuse!四以及 性能分析 考虑了失焦扩散效应的MS-Lap9其中MS-Lap 本节主要从主观评估以及算法运行效率两方 采用了基于优化策略的方法，对比时每次融合最 面，对本文提出的面向显微成像场景失焦扩散效 大迭代轮数取200，学习率取0.001 应的矫正策略进行分析.主要对比了两两串行融 图4展示了两两串行融合策略、MSFIFM策 合策略、MSFIFM策略以及另外两种基于深度学 略、MSFIFM策略+失焦扩散效应的矫正策略、器选用 Adam[26] ，批尺寸与训练轮数分别设置为 48 与 30. 本 文 的 算 法 实 现 基 于 PyTorch 框 架 [27] 和 OpenCV 代码包[28] ，并使用显存共计 44 GB 的 4 块 NVIDIA 1080Ti GPU 来训练网络. 3.2    最大特征图空间频率融合策略性能分析 本文利用 65 张不同聚焦深度下的显微场景下 的微观芯片图像进行实验. 通过改变图像的尺寸对 比不同尺寸下多图像融合时 MSFIFM 策略与两两 串行融合策略的平均耗时. 实验结果如表 1 所示. 表 1  MSFIFM 策略与两两串行融合策略平均耗时对比 Table 1   Average time comparison between the MSFIFM and one-by￾one fusion strategies Image size Average time of MSFIFM strategy/s Average time of one￾by-one fusion strategy/s Execution efficiency increase/% 900×600 0.1397 0.2645 47.18 600×400 0.0732 0.1351 45.83 300×200 0.0265 0.0391 32.08 从表 1 的实验结果可以看出，MSFIFM 策略相 比于两两串行融合策略在执行效率上提高 了 30% 以上，证明了 MSFIFM 策略在多图融合时能 够充分降低算法运行时间. 随着图像尺寸的增加， MSFIFM 策略融合效率的提高也越加明显，这主 要是因为图像特征提取占据了大部分的耗时，而 随着图像尺寸的增加，图像特征提取的时间也会 随之增加，当图像数目为 N 时，两两串行融合策略 需要执行 2（N−1）次特征提取过程，而 MSFIFM 策 略有效降低了算法特征提取网络的运行次数仅需 要执行 N 次特征提取就能得到最终的融合结果， 因此随着待融合图像尺寸的增大 MSFIFM 算法的 融合效率提升也会越明显. MSFIFM 策略与两两串行融合策略得到的融 合图像如图 4 所示. 在“芯片 1”对比图的放大区 域中可以看出，两两串行融合策略得到的融合结 果相比于 MSFIFM 策略在前景部分存在带状模糊 噪声；在“芯片 2”对比图的放大区域中可以看出 两 两 串 行 融 合 策 略 得 到 的 融 合 结 果 相 比 于 MSFIFM 策略在前景区域存在较大面积的模糊； 在“芯片 3”对比图中两两串行融合策略相比于 MSFIFM 策略在前背景聚焦边界处存在更少的失 焦扩散伪影，但是并没有很好地捕捉到整体前景 的聚焦信息；这说明采用两两串行融合的方式不 能很好的捕捉到待融合图像中的清晰区域，这主 要是因为算法中的特征提取网络在训练时不可避 免地会存在一定的噪声，而两两串行融合策略在 融合 N 张图像的时候相比于 MSFIFM 策略需要多 运行 N−2 次特征提取网络，这就造成了决策图的 预测过程积累了更多的误差，从而降低了最终的 融合结果的可视化效果. Chip1 Chip2 Chip3 Multiple multi-focus images One by one serial MSFIFM MSFIFM+ rectification strategy CNN Fuse MS-Lap 图 4    不同融合方式下芯片 1、芯片 2 和芯片 3 的融合结果对比 Fig.4    Visualization of fusion results of chip1, chip2, and chip3 with different fusion algorithms 3.3    面向显微成像场景失焦扩散效应的矫正策略 性能分析 本节主要从主观评估以及算法运行效率两方 面，对本文提出的面向显微成像场景失焦扩散效 应的矫正策略进行分析. 主要对比了两两串行融 合策略、MSFIFM 策略以及另外两种基于深度学 习的多聚焦图像融合算法，包括 CNN Fuse[12] 以及 考虑了失焦扩散效应的 MS-Lap[29] . 其中 MS-Lap 采用了基于优化策略的方法，对比时每次融合最 大迭代轮数取 200，学习率取 0.001. 图 4 展示了两两串行融合策略、MSFIFM 策 略 、 MSFIFM 策 略 +失焦扩散效应的矫正策略 、 印    象等： 面向显微影像的多聚焦多图融合中失焦扩散效应消除方法 · 1179 ·