马博渊等：图像分割评估方法在显微图像分析中的应用 139· tion methods)提取图像中科研人员感兴趣的组织 评估指标分为基于像素的评估方法、基于类内重合 结构区域m,如图1中的白色区域对应的材料组织 度的评估方法、基于边缘的评估方法、基于聚类 (枝晶和晶粒).通过定量分析材料内部的微观组 的评估方法和基于实例的评估方法等五个类别 织特征（如尺寸和形状分布等），可进一步解构材 2.1基于像素的评估方法 料微观组织特征与材料成分、制备工艺、宏观性 基于像素的评估方法主要包括像素准确率 能之间的内禀关系⑧，进而辅助材料性能的优化和 (Pixel accuracy)和平均准确率(Mean accuracy)7 新材料的研发 两个评估指标 随着计算机硬件以及以深度学习©为代表的 像素准确率统计了预测正确的像素占总像素 机器学习技术的进步，多种基于不同理论的图像分 的比例四，其定义为： 割方法如雨后春笋般涌现，如图1中基于阈值的 分割方法(Threshold based segmentation methods)u, 基于梯度的分割方法(Gradient based segmentation Pixelaccuracy (1) methods)2I、基于形态学的分割方法(Morphology based segmentation methods)l)、基于区域生长的分割 i=0j=0 方法(Region growing based segmentation methods)、 在图像分割任务中，假定有+1个类别(“+1” 基于聚类的分割方法(Clustering based segmentation 指包括背景类)，通常使用P表示真值结果为类而 methods)I吲，基于图论的分割方法(Graph based 预测结果为类的像素点总数，同理，P表示真值 segmentation methods)l和基于深度学习的分割方 结果和预测结果均为类的像素点总数，即预测正 Deep learning-based segmentation methods)7-1s 确的像素点数目 等，上述方法被广泛应用于材料显微图像分析任 平均准确率(Mean accuracy):是对像素准确率 务92训为了进一步理解各种图像分割方法的适 的改进，分别计算每个类内被正确分类像素数的 用性以及改进分割质量，本文对不同方法的分割 比例，进而对所有类求平均值.该方法可缓解当分 结果进行了系统地评估.虽然人的视觉判断是最 割任务中不同类别包含像素数目差异较大时，准 直接的判断方法，但是人的主观不确定性会导致 确率被包含像素数目较多的类别所主导的问题， 算法评估难以量化.因此，采用自动的客观的评估 其定义为： 方法成为图像分割结果评估的主流方式.当前存 在多种基于不同理论的图像分割客观评估方法 Mean accuracy (2) =0 (Segmentation evaluation methods),每种方法均从 Pij 特定的角度评估分割结果的优劣，可应用于不同 =0 目标的图像分割任务中 2.2基于类内重合度的评估方法 本文综述了14种基于不同理论的图像分割客 基于类内重合度的评估方法主要包括平均交 观评估指标，将其分成五大类方法分别展开叙述 并比(Mean intersection over union,MIoU)lm,频权 (图l):基于像素的评估方法(Pixel based evaluation 交并比(Frequency weighted intersection over union, methods)、基于类内重合度的评估方法(Intra class FWIoU)I和Dice系数(Dice score)I三个评估 coincidence based evaluation methods)、基于边界的 指标 评估方法(Edge based evaluation methods)、基于聚 平均交并比MIoU在计算每个类的交并比的 类的评估方法(Clustering based evaluation methods) 基础上求均值，可反映预测结果和真值结果的重 和基于实例的评估方法(Instance based evaluation 合度.IoU(或称为Jacarrd index)的计算方式如 methods).并在材料显微图像分析应用中，选择两种 图2(a)所示，其中P代表预测结果(Predicted 典型材料显微图像分割任务作为分析目标，对比 segmentation),T代表真值结果（也称目标结果， 采用不同分割方法和不同典型噪声下各种评估指 Target truth),其思路是计算真值结果和预测结果 标的性能，进而对不同评估方法的适用性展开讨论. 区域集合的交集和并集之比，即公式(3)所示 POTI 2图像分割评估方法 IoU= PUTI (3) 通过现有文献整理和研究，本文将图像分割 具体地，采用上述描述方法，MoU可定义为：tion methods）提取图像中科研人员感兴趣的组织 结构区域[7] ，如图 1 中的白色区域对应的材料组织 （枝晶和晶粒）. 通过定量分析材料内部的微观组 织特征（如尺寸和形状分布等），可进一步解构材 料微观组织特征与材料成分、制备工艺、宏观性 能之间的内禀关系[8] ，进而辅助材料性能的优化和 新材料的研发[9] . 随着计算机硬件以及以深度学习[10] 为代表的 机器学习技术的进步，多种基于不同理论的图像分 割方法如雨后春笋般涌现，如图 1 中基于阈值的 分割方法（Threshold based segmentation methods） [11]、 基于梯度的分割方法（Gradient based segmentation methods） [12]、基于形态学的分割方法（Morphology based segmentation methods） [13]、基于区域生长的分割 方法（Region growing based segmentation methods） [14]、 基于聚类的分割方法（Clustering based segmentation methods） [15] ，基于图论的分割方法 （ Graph  based segmentation methods） [16] 和基于深度学习的分割方 法 （ Deep  learning-based  segmentation  methods） [17−18] 等，上述方法被广泛应用于材料显微图像分析任 务[19−21] . 为了进一步理解各种图像分割方法的适 用性以及改进分割质量，本文对不同方法的分割 结果进行了系统地评估. 虽然人的视觉判断是最 直接的判断方法，但是人的主观不确定性会导致 算法评估难以量化. 因此，采用自动的客观的评估 方法成为图像分割结果评估的主流方式. 当前存 在多种基于不同理论的图像分割客观评估方法 （Segmentation evaluation methods），每种方法均从 特定的角度评估分割结果的优劣，可应用于不同 目标的图像分割任务中. 本文综述了 14 种基于不同理论的图像分割客 观评估指标，将其分成五大类方法分别展开叙述 （图 1）：基于像素的评估方法（Pixel based evaluation methods）、基于类内重合度的评估方法（Intra class coincidence based evaluation methods）、基于边界的 评估方法（Edge based evaluation methods）、基于聚 类的评估方法（Clustering based evaluation methods） 和基于实例的评估方法（ Instance based evaluation methods）. 并在材料显微图像分析应用中，选择两种 典型材料显微图像分割任务作为分析目标，对比 采用不同分割方法和不同典型噪声下各种评估指 标的性能，进而对不同评估方法的适用性展开讨论. 2    图像分割评估方法 通过现有文献整理和研究，本文将图像分割 评估指标分为基于像素的评估方法、基于类内重合 度的评估方法、基于边缘的评估方法、基于聚类 的评估方法和基于实例的评估方法等五个类别. 2.1    基于像素的评估方法 基于像素的评估方法主要包括像素准确率 （Pixel accuracy）和平均准确率（Mean accuracy） [17] 两个评估指标. 像素准确率统计了预测正确的像素占总像素 的比例[22] ，其定义为： Pixelaccuracy = ∑ k i=0 pii ∑ k i=0 ∑ k j=0 pi j （1） pi j i j pii i 在图像分割任务中，假定有 k+1 个类别（“+1” 指包括背景类），通常使用 表示真值结果为类 而 预测结果为类 的像素点总数，同理， 表示真值 结果和预测结果均为类 的像素点总数，即预测正 确的像素点数目. 平均准确率（Mean accuracy）：是对像素准确率 的改进，分别计算每个类内被正确分类像素数的 比例，进而对所有类求平均值. 该方法可缓解当分 割任务中不同类别包含像素数目差异较大时，准 确率被包含像素数目较多的类别所主导的问题， 其定义为： Mean accuracy = 1 k+1 ∑ k i=0 pii ∑ k j=0 pi j （2） 2.2    基于类内重合度的评估方法 基于类内重合度的评估方法主要包括平均交 并比（Mean intersection over union, MIoU） [17] ，频权 交并比（ Frequency weighted intersection over union, FWIoU） [17] 和 Dice 系数 （ Dice score） [23] 三个评估 指标. 平均交并比 MIoU 在计算每个类的交并比的 基础上求均值，可反映预测结果和真值结果的重 合 度 . IoU（或称 为 Jacarrd index）的计算方式如 图 2（ a） 所 示 ， 其 中 P 代 表 预 测 结 果 （ Predicted segmentation） ， T 代表真值结果（也称目标结果 ， Target truth），其思路是计算真值结果和预测结果 区域集合的交集和并集之比，即公式（3）所示. IoU = |P∩T| |P∪T| （3） 具体地，采用上述描述方法，MIoU 可定义为[17] ： 马博渊等： 图像分割评估方法在显微图像分析中的应用 · 139 ·