·1180 工程科学学报，第43卷，第9期 CNN Fuse以及MS-La即下“芯片1”、“芯片2”和 下相对于另外两种算法在融合速度上有较为明显 “芯片3”的融合结果对比. 的优势，更加适用于实际应用环境 由图4主观对比可以看出，利用MSFIFM策 略+失焦扩散效应的矫正策略得到的融合结果相 表2 CNN Fuse、MS-La即以及本文算法平均融合时间对比 比于仅利用MSFIFM策略得到的融合结果具有 Table 2 Average time comparison among CNN Fuse,MS-Lap and our method 更好的视觉效果，在“芯片1”的对比图中利用 Image Average time of MSFIFM+ Average time of Average time of MSFIFM策略得到的融合结果虽然效果要优于两 name rectification strategy CNN Fuse MS-Lap 两串行融合策略，但是在放大区域中还是会存在 Chipl 3.9248 336.3321 96.2325 较为明显的失焦扩散效应，MSFIFM策略+失焦扩 Chip2 0.4126 72.4707 1.7137 散效应矫正策略、CNN Fuse以及MS-Lap算法均 Chip3 1.5518 347.4140 95.9874 取得了较为不错的效果.在“芯片2”的对比图中 MS-Lap算法取得了较好的效果，CNN Fuse算法 4 结论与展望 的融合结果在针脚根部存在一定的失焦扩散现 象，利用MSFIFM策略+失焦扩散效应的矫正策 本文针对现有多聚焦图像融合算法在进行多 略得到的融合图像相比于两两融合、仅利用 图融合时效率较低，以及在显微成像场景下图像 MSFIFM策略以及CNN Fuse算法在失焦扩散效应 融合时存在较严重失焦扩散效应的问题，提出了 上有很大的改善，但值得注意的是在右上角的针 一种最大特征图空间频率融合策略(MSFIFM).实 脚处出现了较为明显的前景图像预测错误的问 验证明，MSFIFM策略在多图融合场景下能够有 题，这主要是由于“芯片2”这一组图像在拍摄时不 效提高融合算法的效率.同时提出了一种面向显 但进行了焦距的调节，还进行了前景的缩放，这 微成像场景下失焦扩散效应的矫正策略，能够在 导致了背景区域计算时对应的像素在前背景区域 保证融合图像质量的情况下，有效地降低融合结 边界处是非对齐的，进而最后进行矫正时一部分 果中的失焦扩散效应 背景区域的像素覆盖了前景区域造成了前景图像 由于现实生活中存在很多自然场景的图像， 的缺失，可以通过在融合之前加入图像对齐操作 在利用多聚焦图像融合算法融合后也会存在不同 来缓解这种现象.在“芯片3”的对比图中，两两 程度的失焦扩散效应，而当前的算法中存在膨胀 串行融合策略、MSFIFM策略以及CNN Fuse在放 大小和判断阈值两个超参数，影响了算法在自然 大区域中均出现了不同程度的失焦扩散效应， 场景下的泛用性能.因此在未来的研究中，本团队 MSFIFM策略+失焦扩散效应矫正策略以及MS- 会进一步研究自然场景下的失焦扩散效应的特点 Lap算法取得了较好的融合效果.由以上对比可 以及相应的无参数优化算法 以看出，本文提出的MSFIFM策略+失焦扩散效应 矫正策略能够有效地去除显微成像场景下的失焦 致谢 扩散效应，MS-Lap算法在设计时考虑了针对失焦 本文的计算工作得到了北京材料基因工程高 扩散效应进行优化，也取得了不错的效果 精尖创新中心材料计算平台的支持，同时感谢珠 表2为CNN Fuse、.MS-Lap以及MSFIFM策 海博明视觉科技有限公司提供的实验数据 略+失焦扩散效应矫正策略在“芯片1”、“芯片2” 和“芯片3”三张图像上的平均融合时间对比.其 利益冲突 中，MSFIFM策略+失焦扩散效应矫正策略以及 本文中部分工作已申请发明专利“一种显微 MS-Lap方法运行环境为NVIDIA 1080 Ti GPU, 成像场景下失焦扩散效应消除方法及装置”，专利 CNN Fuse运行环境为Intel(R)Core(TM)i7-670oHQ 公开号：CN111861915A CPU.由于MS-Lap为基于优化策略的算法其融合 速度主要受其迭代次数的影响，因此融合速度较 参考文献 慢.CNN Fuse仅提供了MATLAB代码，因此只能 [1]Liu Y,Wang L,Cheng J,et al.Multi-focus image fusion:A 在CPU上运行，导致其相比于其他两种算法而言 Survey of the state of the art.Inf Fusion,2020,64:71 速度相对较慢.而本文提出的MSFIFM策略+失焦 [2]Szeliski R.Computer vision:Algorithms and Applications. 扩散效应矫正策略在保证了融合图像质量的前提 London:Springer,2011CNN Fuse 以及 MS−Lap 下“芯片 1”、“芯片 2”和 “芯片 3”的融合结果对比. 由图 4 主观对比可以看出，利用 MSFIFM 策 略+失焦扩散效应的矫正策略得到的融合结果相 比于仅利用 MSFIFM 策略得到的融合结果具有 更好的视觉效果 ，在“芯片 1”的对比图中利用 MSFIFM 策略得到的融合结果虽然效果要优于两 两串行融合策略，但是在放大区域中还是会存在 较为明显的失焦扩散效应，MSFIFM 策略+失焦扩 散效应矫正策略、CNN Fuse 以及 MS−Lap 算法均 取得了较为不错的效果. 在“芯片 2”的对比图中 MS−Lap 算法取得了较好的效果，CNN Fuse 算法 的融合结果在针脚根部存在一定的失焦扩散现 象，利用 MSFIFM 策略+失焦扩散效应的矫正策 略得到的融合图像相比于两两融合 、仅利 用 MSFIFM 策略以及 CNN Fuse 算法在失焦扩散效应 上有很大的改善，但值得注意的是在右上角的针 脚处出现了较为明显的前景图像预测错误的问 题，这主要是由于“芯片 2”这一组图像在拍摄时不 但进行了焦距的调节，还进行了前景的缩放，这 导致了背景区域计算时对应的像素在前背景区域 边界处是非对齐的，进而最后进行矫正时一部分 背景区域的像素覆盖了前景区域造成了前景图像 的缺失. 可以通过在融合之前加入图像对齐操作 来缓解这种现象. 在“芯片 3”的对比图中，两两 串行融合策略、MSFIFM 策略以及 CNN Fuse 在放 大区域中均出现了不同程度的失焦扩散效应 ， MSFIFM 策略+失焦扩散效应矫正策略以及 MS￾Lap 算法取得了较好的融合效果. 由以上对比可 以看出，本文提出的 MSFIFM 策略+失焦扩散效应 矫正策略能够有效地去除显微成像场景下的失焦 扩散效应，MS-Lap 算法在设计时考虑了针对失焦 扩散效应进行优化，也取得了不错的效果. 表 2 为 CNN  Fuse、 MS-Lap 以 及 MSFIFM 策 略+失焦扩散效应矫正策略在“芯片 1”、“芯片 2” 和“芯片 3”三张图像上的平均融合时间对比. 其 中 ， MSFIFM 策略+失焦扩散效应矫正策略以及 MS-Lap 方 法 运 行 环 境 为 NVIDIA  1080Ti  GPU， CNN Fuse 运行环境为 Intel(R) Core(TM) i7-6700HQ CPU. 由于 MS-Lap 为基于优化策略的算法其融合 速度主要受其迭代次数的影响，因此融合速度较 慢. CNN Fuse 仅提供了 MATLAB 代码，因此只能 在 CPU 上运行，导致其相比于其他两种算法而言 速度相对较慢. 而本文提出的 MSFIFM 策略+失焦 扩散效应矫正策略在保证了融合图像质量的前提 下相对于另外两种算法在融合速度上有较为明显 的优势，更加适用于实际应用环境. 表 2  CNN Fuse、MS-Lap 以及本文算法平均融合时间对比 Table 2 Average time comparison among CNN Fuse，MS-Lap and our method                                                                                       s Image name Average time of MSFIFM + rectification strategy Average time of CNN Fuse Average time of MS−Lap Chip1 3.9248 336.3321 96.2325 Chip2 0.4126 72.4707 1.7137 Chip3 1.5518 347.4140 95.9874 4    结论与展望 本文针对现有多聚焦图像融合算法在进行多 图融合时效率较低，以及在显微成像场景下图像 融合时存在较严重失焦扩散效应的问题，提出了 一种最大特征图空间频率融合策略（MSFIFM）. 实 验证明，MSFIFM 策略在多图融合场景下能够有 效提高融合算法的效率. 同时提出了一种面向显 微成像场景下失焦扩散效应的矫正策略，能够在 保证融合图像质量的情况下，有效地降低融合结 果中的失焦扩散效应. 由于现实生活中存在很多自然场景的图像， 在利用多聚焦图像融合算法融合后也会存在不同 程度的失焦扩散效应，而当前的算法中存在膨胀 大小和判断阈值两个超参数，影响了算法在自然 场景下的泛用性能. 因此在未来的研究中，本团队 会进一步研究自然场景下的失焦扩散效应的特点 以及相应的无参数优化算法. 致谢 本文的计算工作得到了北京材料基因工程高 精尖创新中心材料计算平台的支持，同时感谢珠 海博明视觉科技有限公司提供的实验数据. 利益冲突 本文中部分工作已申请发明专利“一种显微 成像场景下失焦扩散效应消除方法及装置”，专利 公开号：CN111861915A. 参    考    文    献 Liu  Y,  Wang  L,  Cheng  J,  et  al.  Multi-focus  image  fusion:  A Survey of the state of the art. Inf Fusion, 2020, 64: 71 [1] Szeliski  R. Computer vision: Algorithms and Applications. London: Springer, 2011 [2] · 1180 · 工程科学学报，第 43 卷，第 9 期