贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1153 和F1值的平均值和标准差作为评价标准来开展 喷酸葡甲胺盐(Gd-DTPA)对比剂前、注射对比 对比实验，并在此基础上，利用T-SNE图和混淆矩 剂之后的第16,26,60和180s所采集的数据.所 阵分析模型对类别的区分能力. 有的数据由GE3.0T750W磁共振成像系统所采 集.而数据的标注工作分为标注和检验两个过 3实验及结果分析 程，标注工作由拥有10a腹部影像诊断经验的放 3.1实验数据组成及数据处理 射科主治医师完成，对标定完数据的验证工作由 本文自建了肝细胞癌病灶数据集，总共包含 拥有30a腹部影像诊断经验的放射科主任医师 60个病例，每个病例均包含2种分化程度分级标 负责 准的标签.数据来源于首都医科大学附属北京 每个病例的5个序列的图像，经过病灶区域提 友谊医院放射科，整个DCE-MRI序列总共包含 取、重建和数据扩充所得的2D原始图(Raw 平扫、动脉早期、动脉晚期、门静脉期、延迟期 data)、3D重建结果(3 D reconstruction images)和数 共5个序列的DCE-MRI数据，分别代表注射钆 据增强结果如图2所示 Unenhanced Early arterial Late arterial Portal venous images phase phase phase Delay phase 3D reconstruction images 2D raw data Portal venous phase Unenhanced images Origin 90 80 270° Random left-Transpose Transpose*Random up- right flip down filp 图25个增强序列的2D影像与3D建模、2D原始数据及数据增强结果展示 Fig.2 Five enhanced sequences of 3D reconstruction,2D raw data,and the corresponding data augmentation results 数据集按照2：1划分为训练集和测试集，针 在WHO分级标准和Edmonson分级标准上的 对数据集病例数目不足，本文采用了较为常用， 对比实验结果如表3~4所示，表中数据表示“自 的几何变换的方法，对划分好的训练集数据进行 注意力”模型和上述4个模型在三分类和四分类 扩充.几何变换的方法包括：旋转、翻转(FIp)和 任务上10次实验的准确率、召回率、精确度和 转置(Transpose),几何变换之后训练集数据的数量 F1值的平均值和标准差，而由于这2个任务都是 为原来的8倍.因此在使用数据增强方法进行扩 多分类问题，因此本文采用的是4个指标的多分 充后，数据集的体量为480例，其中增强所得的数 类计算方式，即每次把一类作为正类的时候，其他 据仅用于训练过程 类均算为负类 3.2HCC三分类和四分类对比实验 从两个表中的结果可以看出，“自注意力”模 为了验证所提出的模态“自注意力”机制及 型在两个分类任务中，4项参数均比其他4个模型 “自注意力”模型对HCC分类性能的表现，设计了 有所提升.这无疑验证了本文提出的“自注意力” 与前人工作中常用于医学影像分类任务的模型， 机制的有效性，也说明了计算和利用各个序列对 如ResNet2!m、3DSE-ResNet!2)、MCF-3 DCNNS和 分类任务的重要程度是远比各个序列的直接融合 3DSE-DenseNet!24个模型的在自建数据集上的 重要的 对比实验.评价标准如下文所述，为4项参数10次 3.3T-SNE和混淆矩阵分类性能分析 实验的平均值和标准差 为了分析模型对三分类和四分类中各个类别和 F1 值的平均值和标准差作为评价标准来开展 对比实验，并在此基础上，利用 T-SNE 图和混淆矩 阵分析模型对类别的区分能力. 3    实验及结果分析 3.1    实验数据组成及数据处理 本文自建了肝细胞癌病灶数据集，总共包含 60 个病例，每个病例均包含 2 种分化程度分级标 准的标签. 数据来源于首都医科大学附属北京 友谊医院放射科，整个 DCE-MRI 序列总共包含 平扫、动脉早期、动脉晚期、门静脉期、延迟期 共 5 个序列的 DCE-MRI 数据，分别代表注射钆 喷酸葡甲胺盐（ Gd-DTPA）对比剂前、注射对比 剂之后的第 16，26，60 和 180 s 所采集的数据. 所 有的数据由 GE 3.0T 750W 磁共振成像系统所采 集. 而数据的标注工作分为标注和检验两个过 程，标注工作由拥有 10 a 腹部影像诊断经验的放 射科主治医师完成，对标定完数据的验证工作由 拥有 30 a 腹部影像诊断经验的放射科主任医师 负责. 每个病例的 5 个序列的图像，经过病灶区域提 取 、 重 建 和 数 据 扩 充 所 得 的 2D 原 始 图 (Raw data)、3D 重建结果 (3D reconstruction images) 和数 据增强结果如图 2 所示. Unenhanced images Early arterial phase Late arterial phase Portal venous phase Delay phase 3D reconstruction images 2D raw data Portal venous phase Unenhanced images Origin Random left￾right flip Transpose Transpose* Random up￾down filp 90° 180° 270° 图 2    5 个增强序列的 2D 影像与 3D 建模、2D 原始数据及数据增强结果展示 Fig.2    Five enhanced sequences of 3D reconstruction, 2D raw data, and the corresponding data augmentation results 数据集按照 2∶1 划分为训练集和测试集，针 对数据集病例数目不足，本文采用了较为常用[11,15] 的几何变换的方法，对划分好的训练集数据进行 扩充. 几何变换的方法包括：旋转、翻转 (Flip) 和 转置 (Transpose)，几何变换之后训练集数据的数量 为原来的 8 倍. 因此在使用数据增强方法进行扩 充后，数据集的体量为 480 例，其中增强所得的数 据仅用于训练过程. 3.2    HCC 三分类和四分类对比实验 为了验证所提出的模态“自注意力”机制及 “自注意力”模型对 HCC 分类性能的表现，设计了 与前人工作中常用于医学影像分类任务的模型， 如 ResNet[22]、 3D  SE-ResNet[23]、 MCF-3DCNN[15] 和 3D SE-DenseNet[24] 4 个模型的在自建数据集上的 对比实验. 评价标准如下文所述，为 4 项参数 10 次 实验的平均值和标准差. 在 WHO 分级标准和 Edmonson 分级标准上的 对比实验结果如表 3～4 所示，表中数据表示“自 注意力”模型和上述 4 个模型在三分类和四分类 任务上 10 次实验的准确率、召回率、精确度和 F1 值的平均值和标准差，而由于这 2 个任务都是 多分类问题，因此本文采用的是 4 个指标的多分 类计算方式，即每次把一类作为正类的时候，其他 类均算为负类. 从两个表中的结果可以看出，“自注意力”模 型在两个分类任务中，4 项参数均比其他 4 个模型 有所提升. 这无疑验证了本文提出的“自注意力” 机制的有效性，也说明了计算和利用各个序列对 分类任务的重要程度是远比各个序列的直接融合 重要的. 3.3    T-SNE 和混淆矩阵分类性能分析 为了分析模型对三分类和四分类中各个类别 贾熹滨等： 自注意力指导的多序列融合肝细胞癌分化判别模型 · 1153 ·