142 工程科学学报，第43卷，第1期 的分区的IoU大于特定的阈值.其中True positive 1 TP(t) MAP= (15) (TP)表示真实和预测结果中正确匹配的分区对数 nx TP(t)+FP(t)+FN(t) 量，False positive(FP)表示预测分割结果中未正确 CD是Waggoner等引入的一种比较分割结果 匹配的分区数量，False negative(FN)表示真值分割 中分区个数的评估指标其定义为： 结果中未正确匹配的分区数量 CD=NumT-NumP (16) 在每个阈值1上，根据预测分割的分区结果与 式中，NumT代表真实结果中的实例个数，NumP代 真值分割的分区结果比较产生的TP、FN、和 表预测结果中的实例个数，如果CD是正数，表示欠 FP的数量计算出一个精度值，并除以阈值个数获 分割，如果CD是负数，表示过分割 得均值精确率.在此基础上，对所有图像计算各 综上，各评估指标的简要信息如表2所示，其 自均值精确率再求平均，获得最终平均均值精确 中↑代表值越大性能越高，代表值越低性能越高， 率，公式如下所示： N代表图像中像素个数 表2各指标的简要概括 Table 2 Brief description of different evaluation methods Pixel based evaluation methods Intra class coincidence based Edge based evaluation methods Properties evaluation methods Pixel accuracy Mean accuracy MIoU FWIoU Dice score Figure of merit Completeness Correctness Value range [0,1] [0,1] [0,1 0 [0,1] [0,1] 0,1] [0,1] tendency 产 ↑ ↑ ↑ ↑ ↑ Edge based evaluation methods Clustering based evaluation methods Instance based evaluation methods Properties VI Quality RI ARI CD MAP ME SE 乡 Value range 0.1] 0,1]-1,1] [0,log2] [0,log2N] [0,log2N] (-n,tD） [0,1] tendency ↑ ↑ ↑ Closer to 0,the better 3 图像分割评估方法对比实验 晶图像的前景组织区域像素个数与背景区域的像 素个数相当，属于类别平衡的图像分割任务.在实 本章以两种典型材料显微图像分割任务为应 践过程中，类别不平衡的图像分割任务更加困难 用背景，定量地衡量图像分割评估方法在不同分 割算法和不同噪声下的性能.本文所有代码及示 表3材料显微图像数据集参数 例图像可开源获取，详见如下网址：https://github.com/ Table 3 Description of two material micrographic image datasets Keep-Passion/ImageSegMetrics. D Microstructure Image size Image number 3.1不同图像分割算法下的评估结果 Polycrystalline iron 1024×1024 296 为了降低图像分割算法对评估方法的影响， 2 Al-La alloy 1024×1024 50 本文选择了6种最为经典的图像分割算法进行比 较：基于阈值的图像分割算法OTSU山，基于梯度 由于本文选择基于深度学习的图像分割模型 的边缘提取算法Cannyl34,基于形态学的图像分 Unet作为不同评估指标的基线模型，而Unet需要 割算法Watershed!,基于聚类的图像分割方法K- 样本训练模型才可进一步使用.因此将数据集按 meanst36,基于图论的图像分割算法Random Walker7 照7：1：2的方式划分为训练集、验证集和测试 和基于深度学习的图像分割算法Unetls 集.为保证实验的公平性，所有图像分割算法均在 本文选择多晶纯铁(Polycrystalline iron)晶粒 测试集上进行评估.对于Unet模型，模型在训练 组织图像和铝镧合金(Al-La alloy)枝晶组织图像 集上训练，并在每轮迭代中使用验证集验证，选择 作为目标数据集，数据集参数如表3所示.两数据 验证集损失最低的网络参数在测试集上进行评 集示例如图1所示，其中多晶纯铁晶粒的前景品 估.其中，Unet网络训练参数为：Batch size为l0. 粒区域像素个数远高于背景边界区域的像素个 初始学习率为1×10，在Adam优化器下训练50轮 数，属于类别不平衡的图像分割任务，铝镧合金枝 所有实验均在装备一台Nvidia Tesla V100显卡的的分区的 IoU 大于特定的阈值. 其中 True positive （TP）表示真实和预测结果中正确匹配的分区对数 量，False positive(FP) 表示预测分割结果中未正确 匹配的分区数量，False negative（FN）表示真值分割 结果中未正确匹配的分区数量. t n 在每个阈值 上，根据预测分割的分区结果与 真值分割的分区结果比较产生 的 TP、 FN、 和 FP 的数量计算出一个精度值，并除以阈值个数获 得均值精确率. 在此基础上，对所有图像 计算各 自均值精确率再求平均，获得最终平均均值精确 率，公式如下所示： MAP = 1 n×|t| ∑ t TP(t) TP(t)+FP(t)+FN(t) （15） CD 是 Waggoner 等引入的一种比较分割结果 中分区个数的评估指标[33] ，其定义为： CD = NumT−NumP （16） NumT NumP CD CD 式中， 代表真实结果中的实例个数， 代 表预测结果中的实例个数，如果 是正数，表示欠 分割，如果 是负数，表示过分割. ↑ ↓ N 综上，各评估指标的简要信息如表 2 所示，其 中 代表值越大性能越高， 代表值越低性能越高， 代表图像中像素个数. 表 2 各指标的简要概括 Table 2   Brief description of different evaluation methods Properties Pixel based evaluation methods Intra class coincidence based evaluation methods Edge based evaluation methods Pixel accuracy Mean accuracy MIoU FWIoU Dice score Figure of merit Completeness Correctness Value range [0, 1] [0, 1] [0, 1] [0, 1] [0, 1] [0, 1] [0, 1] [0, 1] tendency ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ 3    图像分割评估方法对比实验 本章以两种典型材料显微图像分割任务为应 用背景，定量地衡量图像分割评估方法在不同分 割算法和不同噪声下的性能. 本文所有代码及示 例图像可开源获取，详见如下网址：https://github.com/ Keep-Passion/ImageSegMetrics. 3.1    不同图像分割算法下的评估结果 为了降低图像分割算法对评估方法的影响， 本文选择了 6 种最为经典的图像分割算法进行比 较：基于阈值的图像分割算法 OTSU[11] ，基于梯度 的边缘提取算法 Canny[34] ，基于形态学的图像分 割算法 Watershed[35] ，基于聚类的图像分割方法 K– means[36] ，基于图论的图像分割算法 Random Walker[37] 和基于深度学习的图像分割算法 Unet[18] . 本文选择多晶纯铁（Polycrystalline iron）晶粒 组织图像和铝镧合金 (Al–La alloy) 枝晶组织图像 作为目标数据集，数据集参数如表 3 所示. 两数据 集示例如图 1 所示，其中多晶纯铁晶粒的前景晶 粒区域像素个数远高于背景边界区域的像素个 数，属于类别不平衡的图像分割任务. 铝镧合金枝 晶图像的前景组织区域像素个数与背景区域的像 素个数相当，属于类别平衡的图像分割任务. 在实 践过程中，类别不平衡的图像分割任务更加困难. 表 3 材料显微图像数据集参数 Table 3   Description of two material micrographic image datasets ID Microstructure Image size Image number 1 Polycrystalline iron 1024×1024 296 2 Al–La alloy 1024×1024 50 由于本文选择基于深度学习的图像分割模型 Unet 作为不同评估指标的基线模型，而 Unet 需要 样本训练模型才可进一步使用. 因此将数据集按 照 7∶1∶2 的方式划分为训练集、验证集和测试 集. 为保证实验的公平性，所有图像分割算法均在 测试集上进行评估. 对于 Unet 模型，模型在训练 集上训练，并在每轮迭代中使用验证集验证，选择 验证集损失最低的网络参数在测试集上进行评 估. 其中，Unet 网络训练参数为：Batch size 为 10， 初始学习率为 1×10−4 ，在 Adam 优化器下训练 50 轮. 所有实验均在装备一台 Nvidia Tesla V100 显卡的 Properties Edge based evaluation methods Clustering based evaluation methods Instance based evaluation methods Quality RI ARI VI CD MAP ME SE VI Value range [0, 1] [0, 1] [−1, 1] [0, log2N] [0, log2N] [0, log2N] (−∞,+∞) [0, 1] tendency ↑ ↑ ↑ ↓ ↓ ↓ Closer to 0, the better ↑ · 142 · 工程科学学报，第 43 卷，第 1 期