马博渊等：图像分割评估方法在显微图像分析中的应用 143 工作站上测试 行所示.铝镧合金枝晶组织图像在不同分割算法 多晶纯铁品粒组织图像在不同分割算法下的 下的各评估结果如表5所示，其可视化示例如图4 各评估结果如表4所示，其可视化示例如图4上两 下两行所示 表4多品纯铁品粒组织图像不同分制算法下评估结果 Table 4 Evaluation results under different segmentation algorithms for polycrystalline iron image Pixel based evaluation methods Intra class coincidence based Edge based evaluation methods Segmentation algorithm evaluation methods Pixel accuracy Mean accuracy MloU FWIoU Dice score Figure of merit Completeness Correctness OTSU 0.9443 0.7800 0.7226 0.8979 0.9696 0.6593 0.8298 0.9146 Canny 0.9145 0.6364 0.5811 0.8468 0.9540 0.4085 0.7007 0.9156 Watershed 0.9017 0.5613 0.5109 0.8236 0.9476 0.2009 0.4516 0.6537 K-means 0.5739 0.5469 0.4331 0.5307 0.5771 0.4906 0.8598 0.5796 Random walker 0.9447 0.7925 0.7293 0.8994 0.9697 0.6963 0.8445 0.9059 Unet 0.9311 0.9423 0.7510 0.8898 0.9605 0.8933 0.9784 0.8562 Edge based evaluation methods Clustering based evaluation methods Instance based evaluation methods Segmentation algorithm VI Quality RI ARI CD MAP ME SE VI OTSU 0.7361 0.7187 0.0582 4.3330 0.0218 4.3548 178.8333 0.1593 Canny 0.5482 0.1356 -0.0053 7.2893 0.0084 7.2978 199.0000 0.0333 Watershed 0.2164 0.9444 0.1552 1.7498 0.3439 2.0937 29.5667 0.1592 K-means 0.4751 0.4687 0.0273 3.8777 0.5202 4.3979 -234.8333 0.0932 Random walker 0.7477 0.7651 0.1087 3.8414 0.0262 3.8676 164.1667 0.1789 Unet 0.8450 0.9819 0.5917 0.0504 0.0722 0.1226 -33.1333 0.5465 由于多晶纯铁晶粒组织图像分割任务的目标 于目标为统计物相组成比例等的表征任务，但不 是提取并分离每个晶粒，因此，该任务可被解读为 适用于需要分析单个组织特征的尺寸或形状统计 晶粒分割或晶界提取两种不同的描述.因此，对于 等的表征任务 后者，可采用基于边界的评估方法对晶界提取的 基于边界的评估方法仅适用于基于边缘提取 准确性进行评估 的图像分割任务，其泛用性较低.同时晶界提取的 由于基于深度学习的机器学习算法可在训练 目标在于分离每个晶粒，基于边界的评估方法并 过程中自动学习到数据中适用于目标任务的强有 未考虑晶界不闭合的情况.因此，本文认为在材料 效特征，因此其分割性能远高于传统图像处理方 显微图像分析应用中，基于边界的评估方法可适 法.由图4直观比较，基于深度学习的图像分割模 用于缺陷（如裂纹）检测阿，但不适用组织结构定 型Unet在两种数据集上的可视化效果均显著超过 量表征任务 了其余经典算法.但在多晶纯铁晶粒组织图像的 基于聚类和基于实例的评估方法由于在执行 客观评估中（表4），Unet和传统方法（除Unet外的 过程中需要先使用联通区域方法对分割结果进行 其他方法)在基于像素和基于类内重合度的评估 分区操作，考虑了显微组织结构的拓扑特性，因此 方法的数值指标上相差较小.在铝镧合金枝晶组 本文认为这两类方法更适用于材料显微图像分析 织图像的客观评估中（表5），传统方法和Unet在 任务中统计尺寸和形状分布等微观组织定量表征 基于像素的评估方法的数值指标上相差较小.基 的目标. 于像素的评估方法逐像素地比较预测分割结果和 在基于聚类的评估方法中，I被证明在最差 真值分割结果的区别，而基于类内重合度的评估 情况下也难以达到最低值，造成各方法间差距过 方法逐类别的比较两者之前的差异，均未考虑材 小，如多晶纯铁晶粒图像分割结果（表4）中的 料显微组织的拓扑特性，因此，本文认为在材料显 Watershed(RI=0.9444)Unet(RI=0.9819).ARI 微图像分析及定量表征应用中，该评估方法适用 对I指标的改进，各方法间该指标的差距较大工作站上测试. 多晶纯铁晶粒组织图像在不同分割算法下的 各评估结果如表 4 所示，其可视化示例如图 4 上两 行所示. 铝镧合金枝晶组织图像在不同分割算法 下的各评估结果如表 5 所示，其可视化示例如图 4 下两行所示. 表 4 多晶纯铁晶粒组织图像不同分割算法下评估结果 Table 4   Evaluation results under different segmentation algorithms for polycrystalline iron image Segmentation algorithm Pixel based evaluation methods Intra class coincidence based evaluation methods Edge based evaluation methods Pixel accuracy Mean accuracy MIoU FWIoU Dice score Figure of merit Completeness Correctness OTSU 0.9443 0.7800 0.7226 0.8979 0.9696 0.6593 0.8298 0.9146 Canny 0.9145 0.6364 0.5811 0.8468 0.9540 0.4085 0.7007 0.9156 Watershed 0.9017 0.5613 0.5109 0.8236 0.9476 0.2009 0.4516 0.6537 K−means 0.5739 0.5469 0.4331 0.5307 0.5771 0.4906 0.8598 0.5796 Random walker 0.9447 0.7925 0.7293 0.8994 0.9697 0.6963 0.8445 0.9059 Unet 0.9311 0.9423 0.7510 0.8898 0.9605 0.8933 0.9784 0.8562 由于多晶纯铁晶粒组织图像分割任务的目标 是提取并分离每个晶粒，因此，该任务可被解读为 晶粒分割或晶界提取两种不同的描述. 因此，对于 后者，可采用基于边界的评估方法对晶界提取的 准确性进行评估. 由于基于深度学习的机器学习算法可在训练 过程中自动学习到数据中适用于目标任务的强有 效特征，因此其分割性能远高于传统图像处理方 法. 由图 4 直观比较，基于深度学习的图像分割模 型 Unet 在两种数据集上的可视化效果均显著超过 了其余经典算法. 但在多晶纯铁晶粒组织图像的 客观评估中（表 4），Unet 和传统方法（除 Unet 外的 其他方法）在基于像素和基于类内重合度的评估 方法的数值指标上相差较小. 在铝镧合金枝晶组 织图像的客观评估中（表 5），传统方法和 Unet 在 基于像素的评估方法的数值指标上相差较小. 基 于像素的评估方法逐像素地比较预测分割结果和 真值分割结果的区别，而基于类内重合度的评估 方法逐类别的比较两者之前的差异，均未考虑材 料显微组织的拓扑特性，因此，本文认为在材料显 微图像分析及定量表征应用中，该评估方法适用 于目标为统计物相组成比例等的表征任务，但不 适用于需要分析单个组织特征的尺寸或形状统计 等的表征任务. 基于边界的评估方法仅适用于基于边缘提取 的图像分割任务，其泛用性较低. 同时晶界提取的 目标在于分离每个晶粒，基于边界的评估方法并 未考虑晶界不闭合的情况. 因此，本文认为在材料 显微图像分析应用中，基于边界的评估方法可适 用于缺陷（如裂纹）检测[25] ，但不适用组织结构定 量表征任务. 基于聚类和基于实例的评估方法由于在执行 过程中需要先使用联通区域方法对分割结果进行 分区操作，考虑了显微组织结构的拓扑特性，因此 本文认为这两类方法更适用于材料显微图像分析 任务中统计尺寸和形状分布等微观组织定量表征 的目标. 在基于聚类的评估方法中，RI 被证明在最差 情况下也难以达到最低值，造成各方法间差距过 小 ，如多晶纯铁晶粒图像分割结果 （ 表 4） 中 的 Watershed(RI=0.9444) 和 Unet(RI=0.9819). ARI 是 对 RI 指标的改进，各方法间该指标的差距较大. Segmentation algorithm Edge based evaluation methods Clustering based evaluation methods Instance based evaluation methods Quality RI ARI VI CD MAP ME SE VI OTSU 0.7361 0.7187 0.0582 4.3330 0.0218 4.3548 178.8333 0.1593 Canny 0.5482 0.1356 −0.0053 7.2893 0.0084 7.2978 199.0000 0.0333 Watershed 0.2164 0.9444 0.1552 1.7498 0.3439 2.0937 29.5667 0.1592 K−means 0.4751 0.4687 0.0273 3.8777 0.5202 4.3979 −234.8333 0.0932 Random walker 0.7477 0.7651 0.1087 3.8414 0.0262 3.8676 164.1667 0.1789 Unet 0.8450 0.9819 0.5917 0.0504 0.0722 0.1226 −33.1333 0.5465 马博渊等： 图像分割评估方法在显微图像分析中的应用 · 143 ·