工程科学学报.第43卷.第9期：1174-1181.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1174-1181,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.002;http://cje.ustb.edu.cn 面向显微影像的多聚焦多图融合中失焦扩散效应消除 方法 印 象12,3)，马博渊2,34，班晓娟2,34，黄海友14，)，王宇6四，李松岩刀 1)北京科技大学北京材料基因工程高精尖创新中心，北京1000832)北京科技大学材料领域知识工程北京市重点实验室.北京100083 3)北京科技大学人工智能研究院，北京1000834)北京科技大学顺德研究生院，佛山5283005)北京科技大学新材料技术研究院，北京 1000836)北京理工大学网络空间安全学院，北京1000817)郑州大学医学院临床医学系，郑州450052 ☒通信作者，E-mail:hejohejo@126.com 摘要多聚焦图像融合是计算机视觉领域中的一个重要分支，旨在使用图像处理技术将同一场景下的聚焦不同目标的多 张图像中各自的清晰区域进行融合，最终获得全清晰图像.随着以深度学习为代表的机器学习理论的突破，卷积神经网络被 广泛应用于多聚焦图像融合领域，但大多数方法仅关注网络结构的改进，而使用简单的两两串行融合方式，降低了多图融合 的效率，并且在融合过程中存在的失焦扩散效应也严重影响了融合结果的质量.针对上述问题，在显微成像分析的应用场景 下，提出了一种最大特征图空间频率融合策略，通过在基于无监督学习的卷积神经网络中增加后处理模块，规避了两两串行 融合中冗余的特征提取过程，实验证明该策略显著提高了多张图像的多聚焦图像融合效率.并且提出了一种矫正策略，在保 证融合效率的情况下可有效缓解失焦扩散效应对融合图像质量的影响. 关键词多聚焦图像融合；失焦扩散效应：深度学习：卷积神经网路；多图融合 分类号TP391 Defocus spread effect elimination method in multiple multi-focus image fusion for microscopic images YIN Xiang23),MA Bo-yuan 23),BAN Xiao-juan 234),HUANG Hai-you 45),WANG Yu LI Song-yan 1)Beijing Advanced Innovation Center for Materials Genome Engineering.University of Science and Technology Beijing.Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science,University of Science and Technology Beijing,Beijing 00083,China 3)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China 4)Shunde Graduate School,University of Science and Technology Beijing,Foshan 528300,China 5)Institute for Advanced Materials and Technology,University of Science and Technology Beijing,Beijing 100083,China 6)School of Cyberspace Science and Technology,Beijing Institute of Technology,Beijing 100081,China 7)Clinical Medicine,Zhengzhou University,Zhengzhou 450052,China Corresponding author,E-mail:hejohejo@126.com ABSTRACT For a microscopic imaging scene,an all-in-focus image of the observation object is needed.Because of the limitation of the depth of field of the camera and the typically uneven surface of the observation object,an all-in-focus image is obtained through one shot with relative difficulty.In this case,an alternative method for obtaining the all-in-focus image is usually used,which is to fuse several images focusing on different depths with the help of multi-focus image fusion technology.Multi-focus image fusion is an 收稿日期：2021-01-12 基金项目：海南省财政科技计划资助项目(ZDYF2019009):国家自然科学基金资助项目(6210020684.61873299)：中央高校基本科研业务 费资助项目(00007467)：佛山市科技创新专项资金项目(BK21BF002,BK19AE034,BK20AF001)面向显微影像的多聚焦多图融合中失焦扩散效应消除 方法 印    象1,2,3)，马博渊1,2,3,4)，班晓娟1,2,3,4)，黄海友1,4,5)，王    宇6) 苣，李松岩7) 1) 北京科技大学北京材料基因工程高精尖创新中心，北京 100083    2) 北京科技大学材料领域知识工程北京市重点实验室，北京 100083    3) 北京科技大学人工智能研究院，北京 100083    4) 北京科技大学顺德研究生院，佛山 528300    5) 北京科技大学新材料技术研究院，北京 100083    6) 北京理工大学网络空间安全学院，北京 100081    7) 郑州大学医学院临床医学系，郑州 450052 苣通信作者，E-mail：hejohejo@126.com 摘    要    多聚焦图像融合是计算机视觉领域中的一个重要分支，旨在使用图像处理技术将同一场景下的聚焦不同目标的多 张图像中各自的清晰区域进行融合，最终获得全清晰图像. 随着以深度学习为代表的机器学习理论的突破，卷积神经网络被 广泛应用于多聚焦图像融合领域，但大多数方法仅关注网络结构的改进，而使用简单的两两串行融合方式，降低了多图融合 的效率，并且在融合过程中存在的失焦扩散效应也严重影响了融合结果的质量. 针对上述问题，在显微成像分析的应用场景 下，提出了一种最大特征图空间频率融合策略，通过在基于无监督学习的卷积神经网络中增加后处理模块，规避了两两串行 融合中冗余的特征提取过程，实验证明该策略显著提高了多张图像的多聚焦图像融合效率. 并且提出了一种矫正策略，在保 证融合效率的情况下可有效缓解失焦扩散效应对融合图像质量的影响. 关键词    多聚焦图像融合；失焦扩散效应；深度学习；卷积神经网路；多图融合 分类号    TP391 Defocus  spread  effect  elimination  method  in  multiple  multi-focus  image  fusion  for microscopic images YIN Xiang1,2,3) ，MA Bo-yuan1,2,3,4) ，BAN Xiao-juan1,2,3,4) ，HUANG Hai-you1,4,5) ，WANG Yu6) 苣 ，LI Song-yan7) 1) Beijing Advanced Innovation Center for Materials Genome Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science, University of Science and Technology Beijing, Beijing 100083, China 3) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 4) Shunde Graduate School, University of Science and Technology Beijing, Foshan 528300, China 5) Institute for Advanced Materials and Technology, University of Science and Technology Beijing, Beijing 100083, China 6) School of Cyberspace Science and Technology, Beijing Institute of Technology, Beijing 100081, China 7) Clinical Medicine, Zhengzhou University, Zhengzhou 450052, China 苣 Corresponding author, E-mail: hejohejo@126.com ABSTRACT    For a microscopic imaging scene, an all-in-focus image of the observation object is needed. Because of the limitation of the depth of field of the camera and the typically uneven surface of the observation object, an all-in-focus image is obtained through one shot with relative difficulty. In this case, an alternative method for obtaining the all-in-focus image is usually used, which is to fuse several  images  focusing  on  different  depths  with  the  help  of  multi-focus  image  fusion  technology.  Multi-focus  image  fusion  is  an 收稿日期: 2021−01−12 基金项目: 海南省财政科技计划资助项目（ZDYF2019009）；国家自然科学基金资助项目（6210020684，61873299）；中央高校基本科研业务 费资助项目（00007467）；佛山市科技创新专项资金项目（BK21BF002，BK19AE034，BK20AF001） 工程科学学报，第 43 卷，第 9 期：1174−1181，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1174−1181, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.002; http://cje.ustb.edu.cn