·1150 工程科学学报，第43卷.第9期 the model was trained and tested on the clinical data set of the top three hospitals in China.The experimental results show that the self- attention-guided model proposed in this paper achieves higher classification performance than several benchmark and mainstream models.Comprehensive experiments were performed on the clinical dataset with labels annotated by professional radiologists.The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the MRI sequences.In the WHO histological classification task,the classification accuracy of the proposed model reaches 80%,the sensitivity is 82%,and the precision is 82%. KEY WORDS grading of hepatocellular carcinoma;dynamic contrast-enhanced magnetic resonance imaging:self-attention mechanism;multimodal fusion;auxiliary diagnosis 肝细胞癌(Hepatocellular carcinoma,.HCC)是一 影像，每个时刻的DCE-MRI序列具有多层切片的 种高度流行且致命的肿瘤，是全球癌症相关死亡 三维空间信息，可以清楚地反映出病灶区域周围 的第4大最常见原因-]一般来说，肝细胞癌的 组织的一些纹理、边缘和空间信息，同时其时序特 分化程度分为高分化、中分化和低分化，分化程度 征可以反映出造影剂在血管中流动过程的血流灌 越低则代表肿瘤恶性程度越高，从临床角度看，在 注信息，体现病灶随着时间发生变化的特性.因而 术前对肝细胞癌分化程度精确判别对治疗方案制 有效的利用DCE-MRI序列所提供的时空特性，建 定和预后效果估计具有至关重要作用] 立分化程度可判别的深度网络计算模型，有助于HCC 目前对肝细胞癌分化程度的病理判别的金标 分化程度无创诊断模型研究.因此本文以HC℃患 准是基于肝脏穿刺的肝脏组织活检)，而基于肝脏 者影像学检查结果DCE-MRI序列及病理金标准 穿刺的检测方法创伤性很大且存在针道转移、取 标注的临床数据为基础，研究基于多参数DCE-MRI 样误差等风险，导致患者不愿意接受肝穿治疗6刀 的3D序列融合HCC分化程度判别方法 因而无创性的影像学方法，例如超声、电子计算机 1相关工作及研究现状 断层扫描(Computed tomography,CT)、磁共振成像 (Magnetic resonance imaging,MRI)等多种影像技术 临床对肝肿瘤病灶影像分析，通常采用的 被用于肝细胞癌分化程度的定性分析 DCE-MRI序列包括平扫、动脉早期、动脉晚期、 美国放射学会所制订的肝脏影像报告及数据 门静脉期、延迟期共5个序列.医生对病灶区域病 (Liver imaging reporting and data system,LI- 变分类诊断，通常根据多个时相、序列的影像中病 RADS)通过对增强CT或动态对比增强核磁共振 灶区域特征分析决定，因此，在智能影像研究领 (Dynamic contrast-enhanced magnetic resonance 域，利用多模态数据融合进行多个序列数据协同 imaging,DCE-MRI)诊断肝细胞癌的5种主要成像 诊断亦成为主流方法 功能的描述，来规范化肝脏影像学方法的诊断流 2014年，Suk等将深度学习方法用于阿滋 程，对HCC及其他局灶性肝脏进行分类诊断，然 海默病，采用包含分层结构特征融合在内的多种 而传统影像学方法尚无法实现HCC分化程度的 特征融合方式.2016年，Wang等w则在多个序列 精准判别，因此，引入基于统计科学的深度学习方 融合的基础上，将序列3D图像的冠状面、矢状面 法以辅助医生进行HCC诊断，建立精准无创的 和水平面作为三个分支作为输入，利用多视角融 HCC分化程度判别模型，仍是亟待解决的问题 合3D图像信息，提升模型预测效果.然而，目前序 DCE-MRI所具有的高灵敏度、高清晰度和高 列融合方法未考虑序列分类诊断能力的差异性及 对比度特性，被广泛用于影像学智能诊断模型研 在判别中作用的差别.因此本文引入了“自注意 究8-在许多临床研究中，DCE-MRI已广泛用于 力”机制，在特征层融合时不仅考虑不同序列特征 无创检测，表征和治疗监测不同疾病0不仅如 间的互补性，也考虑各个序列对最终分类任务的 此，在很多使用机器学习方法和影像学检查结果 “敏感度”.通过不同序列特征的互补和对分类任 搭建分类、分割及目标检测模型用于辅助医生诊 务的“敏感度”的计算，建模医生诊断和读片过程 断的工作中，DCE-MRI已经成为一种常用的目标 对不同序列给予不同的关注度的诊断经验 序列-2 本团队前期利用增强序列实现HCC分级工作 DCE-MRI影像是通过注射了对比造影剂，在 中，Ja等提出了一种数据层时空融合的方法， 注入后的多个时刻，进行多次扫描获得各个序列 根据注入造影剂引发增强序列随时间的表象变化the model was trained and tested on the clinical data set of the top three hospitals in China. The experimental results show that the self￾attention-guided  model  proposed  in  this  paper  achieves  higher  classification  performance  than  several  benchmark  and  mainstream models.  Comprehensive  experiments  were  performed  on  the  clinical  dataset  with  labels  annotated  by  professional  radiologists.  The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the  MRI  sequences.  In  the  WHO  histological  classification  task,  the  classification  accuracy  of  the  proposed  model  reaches  80%,  the sensitivity is 82%, and the precision is 82%. KEY  WORDS    grading  of  hepatocellular  carcinoma； dynamic  contrast-enhanced  magnetic  resonance  imaging； self-attention mechanism；multimodal fusion；auxiliary diagnosis 肝细胞癌（Hepatocellular carcinoma, HCC）是一 种高度流行且致命的肿瘤，是全球癌症相关死亡 的第 4 大最常见原因[1−2] . 一般来说，肝细胞癌的 分化程度分为高分化、中分化和低分化，分化程度 越低则代表肿瘤恶性程度越高，从临床角度看，在 术前对肝细胞癌分化程度精确判别对治疗方案制 定和预后效果估计具有至关重要作用[3−4] . 目前对肝细胞癌分化程度的病理判别的金标 准是基于肝脏穿刺的肝脏组织活检[5] ，而基于肝脏 穿刺的检测方法创伤性很大且存在针道转移、取 样误差等风险，导致患者不愿意接受肝穿治疗[6−7] . 因而无创性的影像学方法，例如超声、电子计算机 断层扫描 (Computed tomography, CT)、磁共振成像 (Magnetic resonance imaging, MRI) 等多种影像技术 被用于肝细胞癌分化程度的定性分析. 美国放射学会所制订的肝脏影像报告及数据 系 统 (Liver  imaging  reporting  and  data  system， LI￾RADS) 通过对增强 CT 或动态对比增强核磁共振 成像 (Dynamic contrast-enhanced magnetic resonance imaging，DCE-MRI) 诊断肝细胞癌的 5 种主要成像 功能的描述，来规范化肝脏影像学方法的诊断流 程，对 HCC 及其他局灶性肝脏进行分类诊断，然 而传统影像学方法尚无法实现 HCC 分化程度的 精准判别，因此，引入基于统计科学的深度学习方 法以辅助医生进行 HCC 诊断，建立精准无创的 HCC 分化程度判别模型，仍是亟待解决的问题. DCE-MRI 所具有的高灵敏度、高清晰度和高 对比度特性，被广泛用于影像学智能诊断模型研 究[8−9] . 在许多临床研究中，DCE-MRI 已广泛用于 无创检测，表征和治疗监测不同疾病[10] . 不仅如 此，在很多使用机器学习方法和影像学检查结果 搭建分类、分割及目标检测模型用于辅助医生诊 断的工作中，DCE-MRI 已经成为一种常用的目标 序列[11−12] . DCE-MRI 影像是通过注射了对比造影剂，在 注入后的多个时刻，进行多次扫描获得各个序列 影像，每个时刻的 DCE-MRI 序列具有多层切片的 三维空间信息，可以清楚地反映出病灶区域周围 组织的一些纹理、边缘和空间信息，同时其时序特 征可以反映出造影剂在血管中流动过程的血流灌 注信息，体现病灶随着时间发生变化的特性. 因而 有效的利用 DCE-MRI 序列所提供的时空特性，建 立分化程度可判别的深度网络计算模型，有助于 HCC 分化程度无创诊断模型研究. 因此本文以 HCC 患 者影像学检查结果 DCE-MRI 序列及病理金标准 标注的临床数据为基础，研究基于多参数 DCE-MRI 的 3D 序列融合 HCC 分化程度判别方法. 1    相关工作及研究现状 临床对肝肿瘤病灶影像分析 ，通常采用 的 DCE-MRI 序列包括平扫、动脉早期、动脉晚期、 门静脉期、延迟期共 5 个序列. 医生对病灶区域病 变分类诊断，通常根据多个时相、序列的影像中病 灶区域特征分析决定，因此，在智能影像研究领 域，利用多模态数据融合进行多个序列数据协同 诊断亦成为主流方法. 2014 年 ，Suk 等[13] 将深度学习方法用于阿兹 海默病，采用包含分层结构特征融合在内的多种 特征融合方式. 2016 年，Wang 等[14] 则在多个序列 融合的基础上，将序列 3D 图像的冠状面、矢状面 和水平面作为三个分支作为输入，利用多视角融 合 3D 图像信息，提升模型预测效果. 然而，目前序 列融合方法未考虑序列分类诊断能力的差异性及 在判别中作用的差别. 因此本文引入了“自注意 力”机制，在特征层融合时不仅考虑不同序列特征 间的互补性，也考虑各个序列对最终分类任务的 “敏感度”. 通过不同序列特征的互补和对分类任 务的“敏感度”的计算，建模医生诊断和读片过程 对不同序列给予不同的关注度的诊断经验. 本团队前期利用增强序列实现 HCC 分级工作 中 ，Jia 等[15] 提出了一种数据层时空融合的方法， 根据注入造影剂引发增强序列随时间的表象变化 · 1150 · 工程科学学报，第 43 卷，第 9 期