正在加载图片...
·138 工程科学学报,第43卷,第1期 essential for effective control of the material properties and performances of metals or alloys in various industrial applications. Microscopic images are often used to understand the important structures of a material,which are related to certain properties of interest. One of the key steps during material design process is the extraction of useful information from images through microscopic image processing using computational algorithms and tools.For example,image segmentation,which is a task that divides the image into several specific and unique regions,can detect and separate each microstructure to quantitatively analyze its size and shape distribution. This technique is commonly used in extracting significant information from microscopic images in material structure characterization field.With great improvement in computing power and methods,a large number of image segmentation methods based on different theories have made great progress,especially deep learning-based image segmentation method.Therefore selecting an appropriate evaluation method to assess the accuracy and applicability of segmentation results to properly select the optimal segmentation methods and their indications on the direction of future improvement is necessary.In this work,14 evaluation metrics of image segmentation were summarized and discussed.The metrics were divided into five categories:pixel,intra class coincidence,edge,clustering,and instance based.In the application of material microscopic image analysis,we collected two classical datasets (Al-La alloy and polycrystalline images)to conduct quantitative experiment.The performance of different segmentation methods and different typical noises in different evaluation metrics were then compared and discussed.Finally,we discussed the advantages and applicability of various evaluation metrics in the field of microscopic image processing. KEY WORDS computer vision:image segmentation;image processing;segmentation evaluation metrics;material microscopic image 计算机视觉是一门“教”会计算机如何去“看” 点综述了图像分割的评估方法,并讨论了不同评 世界的科学,旨在使用计算机及相关设备对生物 估方法的适用性 视觉进行模拟,进而代替眼睛对数字图像中的目 1 图像分割的定义及其在材料显微图像分 标进行处理、识别、分析和理解四图像分割是从 析中的应用 图像中提取感兴趣区域的方法,是计算机视觉的 重要组成部分四在实际应用中,对图像分割结果 图像分割是将图像分成若干个特定的、具有 的正确评估是分割方法完善的重要研究手段) 独特性质区域的技术,是计算机视觉的重要分 在材料科学领域,随着材料信息学的发展,大 支.分割结果可进一步为图像识别和图像描述等 量先进的信息学技术在材料领域获得应用,并展 图像理解相关任务提供信息支撑 现出蓬勃的生机和快速发展的态势.材料图像,特 目前,随着多学科间的深入交叉和融合,科学 别是材料显微图像,是材料组织信息的重要载体 工作者开始尝试将以图像分割为代表的计算机视 使用图像分割等计算机视觉方法可提取材料图像 觉技术运用到表面缺陷检测、金相组织分析、神 中的组织信息,是高效建立材料成分-工艺-组织- 经细胞拓扑分析等材料和生物医学领域5-如图1 性能关系的重要环节 所示为材料显微图像分割流程图,针对原始的材 本文在材料显微图像分析的应用背景下,重 料显微图像,采用图像分割方法(Image segmenta- Original Image Prediction Segmentation Target result image segmentation result evaluation (ground truth) Threshold based segmentation methods Pivel hased Gradient hased evaluation methods segmentation method水 Morphology based Microscopic images segmentation methods of al-la alloy Edge based evaluation method segmentation methods Clustering based ealu31onme山hous on methods Instance based Deep leaming based evaluation methods segmentation methods Microscopic images of polycrystalline iron 图1材料显微图像分割流程示意 Fig.I Flow chart of material microscopic image segmentationessential  for  effective  control  of  the  material  properties  and  performances  of  metals  or  alloys  in  various  industrial  applications. Microscopic images are often used to understand the important structures of a material, which are related to certain properties of interest. One  of  the  key  steps  during  material  design  process  is  the  extraction  of  useful  information  from  images  through  microscopic  image processing  using  computational  algorithms  and  tools.  For  example,  image  segmentation,  which  is  a  task  that  divides  the  image  into several specific and unique regions, can detect and separate each microstructure to quantitatively analyze its size and shape distribution. This technique is commonly used in extracting significant information from microscopic images in material structure characterization field.  With  great  improvement  in  computing  power  and  methods,  a  large  number  of  image  segmentation  methods  based  on  different theories  have  made  great  progress,  especially  deep  learning-based  image  segmentation  method.  Therefore  selecting  an  appropriate evaluation method to assess the accuracy and applicability of segmentation results to properly select the optimal segmentation methods and their indications on the direction of future improvement is necessary. In this work, 14 evaluation metrics of image segmentation were summarized and discussed. The metrics were divided into five categories: pixel, intra class coincidence, edge, clustering, and instance based. In the application of material microscopic image analysis, we collected two classical datasets (Al–La alloy and polycrystalline images) to conduct quantitative experiment. The performance of different segmentation methods and different typical noises in different evaluation  metrics  were  then  compared  and  discussed.  Finally,  we  discussed  the  advantages  and  applicability  of  various  evaluation metrics in the field of microscopic image processing. KEY WORDS    computer vision;image segmentation;image processing;segmentation evaluation metrics;material microscopic image 计算机视觉是一门“教”会计算机如何去“看” 世界的科学,旨在使用计算机及相关设备对生物 视觉进行模拟,进而代替眼睛对数字图像中的目 标进行处理、识别、分析和理解[1] . 图像分割是从 图像中提取感兴趣区域的方法,是计算机视觉的 重要组成部分[2] . 在实际应用中,对图像分割结果 的正确评估是分割方法完善的重要研究手段[3] . 在材料科学领域,随着材料信息学的发展,大 量先进的信息学技术在材料领域获得应用,并展 现出蓬勃的生机和快速发展的态势. 材料图像,特 别是材料显微图像,是材料组织信息的重要载体. 使用图像分割等计算机视觉方法可提取材料图像 中的组织信息,是高效建立材料成分–工艺–组织– 性能关系的重要环节. 本文在材料显微图像分析的应用背景下,重 点综述了图像分割的评估方法,并讨论了不同评 估方法的适用性. 1    图像分割的定义及其在材料显微图像分 析中的应用 图像分割是将图像分成若干个特定的、具有 独特性质区域的技术[4] ,是计算机视觉的重要分 支. 分割结果可进一步为图像识别和图像描述等 图像理解相关任务提供信息支撑. 目前,随着多学科间的深入交叉和融合,科学 工作者开始尝试将以图像分割为代表的计算机视 觉技术运用到表面缺陷检测、金相组织分析、神 经细胞拓扑分析等材料和生物医学领域[5−6] . 如图 1 所示为材料显微图像分割流程图,针对原始的材 料显微图像,采用图像分割方法(Image segmenta￾Original image Image segmentation Prediction result Segmentation evaluation Target result (ground truth) Image segmentation methods Threshold based segmentation methods Gradient based segmentation methods Morphology based segmentation methods Graph based segmentation methods Region growing based segmentation methods Deep learning based segmentation methods Segmentation evaluation methods Pixel based evaluation methods Intra class coincidence based evaluation methods Edge based evaluation methods Clustering based evaluation methods Instance based evaluation methods Microscopic images of al−la alloy Microscopic images of polycrystalline iron 图 1    材料显微图像分割流程示意 Fig.1    Flow chart of material microscopic image segmentation · 138 · 工程科学学报,第 43 卷,第 1 期
<<向上翻页向下翻页>>
©2008-现在 cucdc.com 高等教育资讯网 版权所有