工程科学学报 Chinese Journal of Engineering 自注意力指导的多序列融合肝细胞癌分化判别模型 贾熹滨孙政杨大为杨正汉 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin.SUN Zheng.YANG Da-wei.YANG Zheng-han 引用本文： 贾熹滨，孙政，杨大为，杨正汉.自注意力指导的多序列融合肝细胞癌分化判别模型.工程科学学报，2021,43(9外：1149- 1156.doi10.13374.issn2095-9389.2021.01.13.003 JIA Xi-bin,SUN Zheng,YANG Da-wei,YANG Zheng-han.Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma[J].Chinese Journal of Engineering,2021,43(9):1149-1156.doi:10.13374/j.issn2095- 9389.2021.01.13.003 在线阅读View online:https::/doi.org10.13374.issn2095-9389.2021.01.13.003 您可能感兴趣的其他文章 Articles you may be interested in 基于核磁共振的不同含水状态砂岩动态损伤规律 Dynamic damage laws of sandstone under different water bearing conditions based on nuclear magnetic resonance 工程科学学报.2018,40(2：144 https:1doi.org/10.13374j.issn2095-9389.2018.02.003 含有自校正模型的加权多模型自适应控制 Weighted multiple model adaptive control with self-tuning model 工程科学学报.2018.40(11)：1389htps:/1doi.org/10.13374斩.issn2095-9389.2018.11.013 基于融合模型的锂离子电池荷电状态在线估计 Online estimation of the state of charge of a lithium-ion battery based on the fusion model 工程科学学报.2020.42(9外：1200htps:/1doi.org10.13374.issn2095-9389.2019.09.20.001 基于周期势系统随机共振的轴承故障诊断 Bearing fault diagnosis by stochastic resonance method in periodical potential system 工程科学学报.2018.408：989 https:/1doi.org10.13374.issn2095-9389.2018.08.013
自注意力指导的多序列融合肝细胞癌分化判别模型 贾熹滨 孙政 杨大为 杨正汉 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin, SUN Zheng, YANG Da-wei, YANG Zheng-han 引用本文: 贾熹滨, 孙政, 杨大为, 杨正汉. 自注意力指导的多序列融合肝细胞癌分化判别模型[J]. 工程科学学报, 2021, 43(9): 1149- 1156. doi: 10.13374/j.issn2095-9389.2021.01.13.003 JIA Xi-bin, SUN Zheng, YANG Da-wei, YANG Zheng-han. Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma[J]. Chinese Journal of Engineering, 2021, 43(9): 1149-1156. doi: 10.13374/j.issn2095- 9389.2021.01.13.003 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003 您可能感兴趣的其他文章 Articles you may be interested in 基于核磁共振的不同含水状态砂岩动态损伤规律 Dynamic damage laws of sandstone under different water bearing conditions based on nuclear magnetic resonance 工程科学学报. 2018, 40(2): 144 https://doi.org/10.13374/j.issn2095-9389.2018.02.003 含有自校正模型的加权多模型自适应控制 Weighted multiple model adaptive control with self-tuning model 工程科学学报. 2018, 40(11): 1389 https://doi.org/10.13374/j.issn2095-9389.2018.11.013 基于融合模型的锂离子电池荷电状态在线估计 Online estimation of the state of charge of a lithium-ion battery based on the fusion model 工程科学学报. 2020, 42(9): 1200 https://doi.org/10.13374/j.issn2095-9389.2019.09.20.001 基于周期势系统随机共振的轴承故障诊断 Bearing fault diagnosis by stochastic resonance method in periodical potential system 工程科学学报. 2018, 40(8): 989 https://doi.org/10.13374/j.issn2095-9389.2018.08.013
工程科学学报.第43卷，第9期：1149-1156.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1149-1156,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003;http://cje.ustb.edu.cn 自注意力指导的多序列融合肝细胞癌分化判别模型 贾熹滨2，孙政1,2，杨大为)，杨正汉)区 1)北京工业大学信息学部.北京1001242)北京工业大学多媒体与智能软件技术北京重点实验室，北京1001243)首都医科大学附属北 京友谊医院放射科.北京100050 ☒通信作者，E-mail:yangzhenghan(@vip.l63.com 摘要结合影像学和人工智能技术对病灶进行无创性定量分析是目前智慧医疗的一个重要研究方向.针对肝细胞癌 (Hepatocellular carcinoma,HCC)分化程度的无创性定量估测方法研究，结合放射科医师的临床读片经验，提出了一种基于自 注意力指导的多序列融合肝细胞癌组织学分化程度无创判别计算模型.以动态对比增强核磁共振成像(Dynamic contrast-. enhanced magnetic resonance imaging,DCE-MRI)的多个序列为输入，学习各时序序列及各序列的多层扫描切片在分化程度判 别任务的权重，加权序列中具有的良好判别性能的时间和空间特征，以提升分化程度判别性能.模型的训练和测试在三甲医 院的临床数据集上进行，实验结果表明，本文所提出的肝细胞癌分化程度判别模型取得相比几种基准和主流模型最高的分类 计算性能，在WH0组织学分级任务中，判别准确度、灵敏度、精确度分别达到80%，82%和82% 关键词肝细胞癌分级：动态对比增强核飚共振成像：自注意力机制：多序列融合：辅助诊断 分类号TP183 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin2,SUN Zheng 2),YANG Da-wei,YANG Zheng-han 1)Faculty of Information,Beijing University of Technology,Beijing 100124,China 2)Beijing Municipal Key Laboratory of Multimedia and Intelligent Software Technology,Beijing University of Technology,Beijing 100124,China 3)Department of Radiology,Beijing Friendship Hospital,Capital Medical University,Beijing 100050,China Corresponding author,E-mail:yangzhenghan@vip.163.com ABSTRACT Hepatocellular carcinoma(HCC)is a type of primary malignant tumor and an urgent problem to be solved,particularly in China,one of the countries with the highest prevalence of HCC.In the choice of treatment methods for patients with hepatocellular carcinoma,accurate histological grading of the lesion area undoubtedly plays a vital role that helps the management and therapy of HCC patients.However,the current pathological detection as the gold standard has defects,such as invasiveness and a large sampling error. Therefore,it is an important direction of intelligent medical treatment to provide noninvasive and accurate lesion grading using imaging technology combined with artificial intelligence technology.On the basis of the radiologists'experience in reading clinical images,this paper proposed a self-attentional guidance-based histological differentiation discrimination model combined with multi-modality fusion and an attention weight calculation scheme for dynamic contrast-enhanced magnetic resonance imaging (DCE-MRI)sequences of hepatocellular carcinoma.The model combined the spatiotemporal information contained in the enhancement sequence and learned the importance of each sequence and the slice in the sequence for the classification task.It effectively used the feature information contained in the enhancement sequence in the temporal and spatial dimensions to improve the classification performance.During the experiment, 收稿日期：2021-01-13 基金项目：国家自然科学基金资助项目(61871276.U19B2039)
自注意力指导的多序列融合肝细胞癌分化判别模型 贾熹滨1,2)，孙 政1,2)，杨大为3)，杨正汉3) 苣 1) 北京工业大学信息学部，北京 100124 2) 北京工业大学多媒体与智能软件技术北京重点实验室，北京 100124 3) 首都医科大学附属北 京友谊医院放射科，北京 100050 苣通信作者，E-mail：yangzhenghan@vip.163.com 摘 要 结合影像学和人工智能技术对病灶进行无创性定量分析是目前智慧医疗的一个重要研究方向. 针对肝细胞癌 （Hepatocellular carcinoma, HCC）分化程度的无创性定量估测方法研究，结合放射科医师的临床读片经验，提出了一种基于自 注意力指导的多序列融合肝细胞癌组织学分化程度无创判别计算模型. 以动态对比增强核磁共振成像（Dynamic contrastenhanced magnetic resonance imaging, DCE-MRI）的多个序列为输入，学习各时序序列及各序列的多层扫描切片在分化程度判 别任务的权重，加权序列中具有的良好判别性能的时间和空间特征，以提升分化程度判别性能. 模型的训练和测试在三甲医 院的临床数据集上进行，实验结果表明，本文所提出的肝细胞癌分化程度判别模型取得相比几种基准和主流模型最高的分类 计算性能，在 WHO 组织学分级任务中，判别准确度、灵敏度、精确度分别达到 80%，82% 和 82%. 关键词 肝细胞癌分级；动态对比增强核磁共振成像；自注意力机制；多序列融合；辅助诊断 分类号 TP183 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin1,2) ，SUN Zheng1,2) ，YANG Da-wei3) ，YANG Zheng-han3) 苣 1) Faculty of Information, Beijing University of Technology, Beijing 100124, China 2) Beijing Municipal Key Laboratory of Multimedia and Intelligent Software Technology, Beijing University of Technology, Beijing 100124, China 3) Department of Radiology, Beijing Friendship Hospital, Capital Medical University, Beijing 100050, China 苣 Corresponding author, E-mail: yangzhenghan@vip.163.com ABSTRACT Hepatocellular carcinoma (HCC) is a type of primary malignant tumor and an urgent problem to be solved, particularly in China, one of the countries with the highest prevalence of HCC. In the choice of treatment methods for patients with hepatocellular carcinoma, accurate histological grading of the lesion area undoubtedly plays a vital role that helps the management and therapy of HCC patients. However, the current pathological detection as the gold standard has defects, such as invasiveness and a large sampling error. Therefore, it is an important direction of intelligent medical treatment to provide noninvasive and accurate lesion grading using imaging technology combined with artificial intelligence technology. On the basis of the radiologists' experience in reading clinical images, this paper proposed a self-attentional guidance-based histological differentiation discrimination model combined with multi-modality fusion and an attention weight calculation scheme for dynamic contrast-enhanced magnetic resonance imaging (DCE-MRI) sequences of hepatocellular carcinoma. The model combined the spatiotemporal information contained in the enhancement sequence and learned the importance of each sequence and the slice in the sequence for the classification task. It effectively used the feature information contained in the enhancement sequence in the temporal and spatial dimensions to improve the classification performance. During the experiment, 收稿日期: 2021−01−13 基金项目: 国家自然科学基金资助项目（61871276，U19B2039） 工程科学学报，第 43 卷，第 9 期：1149−1156，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1149−1156, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003; http://cje.ustb.edu.cn
·1150 工程科学学报，第43卷.第9期 the model was trained and tested on the clinical data set of the top three hospitals in China.The experimental results show that the self- attention-guided model proposed in this paper achieves higher classification performance than several benchmark and mainstream models.Comprehensive experiments were performed on the clinical dataset with labels annotated by professional radiologists.The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the MRI sequences.In the WHO histological classification task,the classification accuracy of the proposed model reaches 80%,the sensitivity is 82%,and the precision is 82%. KEY WORDS grading of hepatocellular carcinoma;dynamic contrast-enhanced magnetic resonance imaging:self-attention mechanism;multimodal fusion;auxiliary diagnosis 肝细胞癌(Hepatocellular carcinoma,.HCC)是一 影像，每个时刻的DCE-MRI序列具有多层切片的 种高度流行且致命的肿瘤，是全球癌症相关死亡 三维空间信息，可以清楚地反映出病灶区域周围 的第4大最常见原因-]一般来说，肝细胞癌的 组织的一些纹理、边缘和空间信息，同时其时序特 分化程度分为高分化、中分化和低分化，分化程度 征可以反映出造影剂在血管中流动过程的血流灌 越低则代表肿瘤恶性程度越高，从临床角度看，在 注信息，体现病灶随着时间发生变化的特性.因而 术前对肝细胞癌分化程度精确判别对治疗方案制 有效的利用DCE-MRI序列所提供的时空特性，建 定和预后效果估计具有至关重要作用] 立分化程度可判别的深度网络计算模型，有助于HCC 目前对肝细胞癌分化程度的病理判别的金标 分化程度无创诊断模型研究.因此本文以HC℃患 准是基于肝脏穿刺的肝脏组织活检)，而基于肝脏 者影像学检查结果DCE-MRI序列及病理金标准 穿刺的检测方法创伤性很大且存在针道转移、取 标注的临床数据为基础，研究基于多参数DCE-MRI 样误差等风险，导致患者不愿意接受肝穿治疗6刀 的3D序列融合HCC分化程度判别方法 因而无创性的影像学方法，例如超声、电子计算机 1相关工作及研究现状 断层扫描(Computed tomography,CT)、磁共振成像 (Magnetic resonance imaging,MRI)等多种影像技术 临床对肝肿瘤病灶影像分析，通常采用的 被用于肝细胞癌分化程度的定性分析 DCE-MRI序列包括平扫、动脉早期、动脉晚期、 美国放射学会所制订的肝脏影像报告及数据 门静脉期、延迟期共5个序列.医生对病灶区域病 (Liver imaging reporting and data system,LI- 变分类诊断，通常根据多个时相、序列的影像中病 RADS)通过对增强CT或动态对比增强核磁共振 灶区域特征分析决定，因此，在智能影像研究领 (Dynamic contrast-enhanced magnetic resonance 域，利用多模态数据融合进行多个序列数据协同 imaging,DCE-MRI)诊断肝细胞癌的5种主要成像 诊断亦成为主流方法 功能的描述，来规范化肝脏影像学方法的诊断流 2014年，Suk等将深度学习方法用于阿滋 程，对HCC及其他局灶性肝脏进行分类诊断，然 海默病，采用包含分层结构特征融合在内的多种 而传统影像学方法尚无法实现HCC分化程度的 特征融合方式.2016年，Wang等w则在多个序列 精准判别，因此，引入基于统计科学的深度学习方 融合的基础上，将序列3D图像的冠状面、矢状面 法以辅助医生进行HCC诊断，建立精准无创的 和水平面作为三个分支作为输入，利用多视角融 HCC分化程度判别模型，仍是亟待解决的问题 合3D图像信息，提升模型预测效果.然而，目前序 DCE-MRI所具有的高灵敏度、高清晰度和高 列融合方法未考虑序列分类诊断能力的差异性及 对比度特性，被广泛用于影像学智能诊断模型研 在判别中作用的差别.因此本文引入了“自注意 究8-在许多临床研究中，DCE-MRI已广泛用于 力”机制，在特征层融合时不仅考虑不同序列特征 无创检测，表征和治疗监测不同疾病0不仅如 间的互补性，也考虑各个序列对最终分类任务的 此，在很多使用机器学习方法和影像学检查结果 “敏感度”.通过不同序列特征的互补和对分类任 搭建分类、分割及目标检测模型用于辅助医生诊 务的“敏感度”的计算，建模医生诊断和读片过程 断的工作中，DCE-MRI已经成为一种常用的目标 对不同序列给予不同的关注度的诊断经验 序列-2 本团队前期利用增强序列实现HCC分级工作 DCE-MRI影像是通过注射了对比造影剂，在 中，Ja等提出了一种数据层时空融合的方法， 注入后的多个时刻，进行多次扫描获得各个序列 根据注入造影剂引发增强序列随时间的表象变化
the model was trained and tested on the clinical data set of the top three hospitals in China. The experimental results show that the selfattention-guided model proposed in this paper achieves higher classification performance than several benchmark and mainstream models. Comprehensive experiments were performed on the clinical dataset with labels annotated by professional radiologists. The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the MRI sequences. In the WHO histological classification task, the classification accuracy of the proposed model reaches 80%, the sensitivity is 82%, and the precision is 82%. KEY WORDS grading of hepatocellular carcinoma； dynamic contrast-enhanced magnetic resonance imaging； self-attention mechanism；multimodal fusion；auxiliary diagnosis 肝细胞癌（Hepatocellular carcinoma, HCC）是一 种高度流行且致命的肿瘤，是全球癌症相关死亡 的第 4 大最常见原因[1−2] . 一般来说，肝细胞癌的 分化程度分为高分化、中分化和低分化，分化程度 越低则代表肿瘤恶性程度越高，从临床角度看，在 术前对肝细胞癌分化程度精确判别对治疗方案制 定和预后效果估计具有至关重要作用[3−4] . 目前对肝细胞癌分化程度的病理判别的金标 准是基于肝脏穿刺的肝脏组织活检[5] ，而基于肝脏 穿刺的检测方法创伤性很大且存在针道转移、取 样误差等风险，导致患者不愿意接受肝穿治疗[6−7] . 因而无创性的影像学方法，例如超声、电子计算机 断层扫描 (Computed tomography, CT)、磁共振成像 (Magnetic resonance imaging, MRI) 等多种影像技术 被用于肝细胞癌分化程度的定性分析. 美国放射学会所制订的肝脏影像报告及数据 系 统 (Liver imaging reporting and data system， LIRADS) 通过对增强 CT 或动态对比增强核磁共振 成像 (Dynamic contrast-enhanced magnetic resonance imaging，DCE-MRI) 诊断肝细胞癌的 5 种主要成像 功能的描述，来规范化肝脏影像学方法的诊断流 程，对 HCC 及其他局灶性肝脏进行分类诊断，然 而传统影像学方法尚无法实现 HCC 分化程度的 精准判别，因此，引入基于统计科学的深度学习方 法以辅助医生进行 HCC 诊断，建立精准无创的 HCC 分化程度判别模型，仍是亟待解决的问题. DCE-MRI 所具有的高灵敏度、高清晰度和高 对比度特性，被广泛用于影像学智能诊断模型研 究[8−9] . 在许多临床研究中，DCE-MRI 已广泛用于 无创检测，表征和治疗监测不同疾病[10] . 不仅如 此，在很多使用机器学习方法和影像学检查结果 搭建分类、分割及目标检测模型用于辅助医生诊 断的工作中，DCE-MRI 已经成为一种常用的目标 序列[11−12] . DCE-MRI 影像是通过注射了对比造影剂，在 注入后的多个时刻，进行多次扫描获得各个序列 影像，每个时刻的 DCE-MRI 序列具有多层切片的 三维空间信息，可以清楚地反映出病灶区域周围 组织的一些纹理、边缘和空间信息，同时其时序特 征可以反映出造影剂在血管中流动过程的血流灌 注信息，体现病灶随着时间发生变化的特性. 因而 有效的利用 DCE-MRI 序列所提供的时空特性，建 立分化程度可判别的深度网络计算模型，有助于 HCC 分化程度无创诊断模型研究. 因此本文以 HCC 患 者影像学检查结果 DCE-MRI 序列及病理金标准 标注的临床数据为基础，研究基于多参数 DCE-MRI 的 3D 序列融合 HCC 分化程度判别方法. 1 相关工作及研究现状 临床对肝肿瘤病灶影像分析 ，通常采用 的 DCE-MRI 序列包括平扫、动脉早期、动脉晚期、 门静脉期、延迟期共 5 个序列. 医生对病灶区域病 变分类诊断，通常根据多个时相、序列的影像中病 灶区域特征分析决定，因此，在智能影像研究领 域，利用多模态数据融合进行多个序列数据协同 诊断亦成为主流方法. 2014 年 ，Suk 等[13] 将深度学习方法用于阿兹 海默病，采用包含分层结构特征融合在内的多种 特征融合方式. 2016 年，Wang 等[14] 则在多个序列 融合的基础上，将序列 3D 图像的冠状面、矢状面 和水平面作为三个分支作为输入，利用多视角融 合 3D 图像信息，提升模型预测效果. 然而，目前序 列融合方法未考虑序列分类诊断能力的差异性及 在判别中作用的差别. 因此本文引入了“自注意 力”机制，在特征层融合时不仅考虑不同序列特征 间的互补性，也考虑各个序列对最终分类任务的 “敏感度”. 通过不同序列特征的互补和对分类任 务的“敏感度”的计算，建模医生诊断和读片过程 对不同序列给予不同的关注度的诊断经验. 本团队前期利用增强序列实现 HCC 分级工作 中 ，Jia 等[15] 提出了一种数据层时空融合的方法， 根据注入造影剂引发增强序列随时间的表象变化 · 1150 · 工程科学学报，第 43 卷，第 9 期
贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1151 特点，采样2D横断层面的影像，并拼接多个时间 专业标注等因素，因此样本数量非常少且高分化 段影像，构建展现同一个2D层面随时间变化影像 样本多样性大，因此如何在训练数据有限的情况 特征的3D数据，验证DCE-MRI序列中时空融合 下，权衡模型体量和模型学习能力，获得良好的分 特征在HCC分化程度判别中的作用. 类性能，仍是亟待解决的问题 总之，现有研究表明，病灶区域及其周围组织 针对以上两个问题，本文参考自然语言处理 的DCE-MRI时间和空间信息在分类问题上非常 (Natural language processing,NLP)中常用的“自注 具有潜力6-].因此本文研究DCE-MRI多序列融 意力”机制，结合医生临床诊断中关注不同序列和 合计算方法基础上，重点探讨如何结合医生依据 不同征象的经验，提出一种基于自注意力指导的 疾病类别可能性重点关注几个特定序列和征象的 多序列特征融合提取方法，提取多参数3D序列特 临床经验，通过提出的“自注意力”计算模块，计算 征基础上，学习并计算各个序列及其各个通道特 输入的多个多通道3D数据对分类任务的“敏感 征的全局注意力，最后利用全局自注意力加权计 度”，并将其与特征提取器所提取的DCE-MRI序 算多序列融合的高层语义特征，为HCC分化程度 列的时空特征进行融合.充分利用DCE-MRI序列 判别提供可判别特征. 的时空信息同时，建立自注意力指导的多序列融 2.2“自注意力”机制及“自注意力”模型 合HCC分化判别模型. 医学影像反映器官组织在不同序列的多层横 断面扫描层的病灶征象，不同成像方式所得的多 2研究内容及方法 个序列通过不同的成像参数反映病灶区域的不同 2.1研究动机及方法概述 信息.“自注意力”机制的引入旨在建模医生影像 目前已有研究者使用肝脏CT和MRI影像进 诊断中对不同序列不同的关注度，在特征提取过 行分割、分类问题的算法研究9-20.但现有的学习 程中计算各个输入序列对最后分类任务的注意力 模型仍存在以下两个主要问题： 权值，并在特征层对特征加权后进行融合.“自注 (1)传统影像机器学习方法多从单一序列影像 意力”机制通过学习不同序列数据的注意力权值， 技术的角度进行研究.但临床经验表明，不同序列 增加对分类任务更具判别性能序列的权值，减少 的影像通常反映出不同病理特征，蕴含着支持诊 分类任务无关序列对结果的影响，以提升整体的 断分类信息所对应的不同病灶征象，因此对最后 分类效果 分类任务而言，不同序列可以提供不同角度信息. 自注意力指导HCC分化判别模型网络结构如 因此仅利用单一影像序列，无法做到多维度的全面 图1所示，该模型结合了注意力权值计算模块、特 评估，更无法关注不同序列所提供的不同的信息. 征提取模块和分类器的“自注意力”模型，输人序 (2)相对自然图像数据集而言，有标签的临床 列位于图中间，并分别输入到左侧的“自注意力” 影像数据集规模较小.而带病理金标签的HCC临 计算模块和右侧的特征提取模块，进行注意力权 床医学影像数据集，其数据规模也受限于病例数、 值计算和特征提取 ☐Input layer Fully connected layer Output layer Global average poolr Convolution layer Softma 目Category information Channel-wise product Element-wise addition 图1“自注意力”模型结构 Fig.1 Structure of the"self-attention"model “自注意力”的计算和加权主要分为4个过程. 素加(Element-wise addition),而逐元素加的结果即 第一步，对输入的各个序列的特征进行逐元 为用于计算各个序列对应通道对于分类任务的
特点，采样 2D 横断层面的影像，并拼接多个时间 段影像，构建展现同一个 2D 层面随时间变化影像 特征的 3D 数据，验证 DCE-MRI 序列中时空融合 特征在 HCC 分化程度判别中的作用. 总之，现有研究表明，病灶区域及其周围组织 的 DCE-MRI 时间和空间信息在分类问题上非常 具有潜力[16−18] . 因此本文研究 DCE-MRI 多序列融 合计算方法基础上，重点探讨如何结合医生依据 疾病类别可能性重点关注几个特定序列和征象的 临床经验，通过提出的“自注意力”计算模块，计算 输入的多个多通道 3D 数据对分类任务的“敏感 度”，并将其与特征提取器所提取的 DCE-MRI 序 列的时空特征进行融合. 充分利用 DCE-MRI 序列 的时空信息同时，建立自注意力指导的多序列融 合 HCC 分化判别模型. 2 研究内容及方法 2.1 研究动机及方法概述 目前已有研究者使用肝脏 CT 和 MRI 影像进 行分割、分类问题的算法研究[19−20] ，但现有的学习 模型仍存在以下两个主要问题： （1）传统影像机器学习方法多从单一序列影像 技术的角度进行研究. 但临床经验表明，不同序列 的影像通常反映出不同病理特征，蕴含着支持诊 断分类信息所对应的不同病灶征象，因此对最后 分类任务而言，不同序列可以提供不同角度信息. 因此仅利用单一影像序列，无法做到多维度的全面 评估，更无法关注不同序列所提供的不同的信息. （2）相对自然图像数据集而言，有标签的临床 影像数据集规模较小. 而带病理金标签的 HCC 临 床医学影像数据集，其数据规模也受限于病例数、 专业标注等因素，因此样本数量非常少且高分化 样本多样性大. 因此如何在训练数据有限的情况 下，权衡模型体量和模型学习能力，获得良好的分 类性能，仍是亟待解决的问题. 针对以上两个问题，本文参考自然语言处理 （Natural language processing, NLP）中常用的“自注 意力”机制，结合医生临床诊断中关注不同序列和 不同征象的经验，提出一种基于自注意力指导的 多序列特征融合提取方法，提取多参数 3D 序列特 征基础上，学习并计算各个序列及其各个通道特 征的全局注意力，最后利用全局自注意力加权计 算多序列融合的高层语义特征，为 HCC 分化程度 判别提供可判别特征. 2.2 “自注意力”机制及“自注意力”模型 医学影像反映器官组织在不同序列的多层横 断面扫描层的病灶征象，不同成像方式所得的多 个序列通过不同的成像参数反映病灶区域的不同 信息. “自注意力”机制的引入旨在建模医生影像 诊断中对不同序列不同的关注度，在特征提取过 程中计算各个输入序列对最后分类任务的注意力 权值，并在特征层对特征加权后进行融合. “自注 意力”机制通过学习不同序列数据的注意力权值， 增加对分类任务更具判别性能序列的权值，减少 分类任务无关序列对结果的影响，以提升整体的 分类效果. 自注意力指导 HCC 分化判别模型网络结构如 图 1 所示，该模型结合了注意力权值计算模块、特 征提取模块和分类器的“自注意力”模型，输入序 列位于图中间，并分别输入到左侧的“自注意力” 计算模块和右侧的特征提取模块，进行注意力权 值计算和特征提取. Global average pooling Softmax Input layer Fully connected layer Output layer Convolution layer Category information Channel-wise product Element-wise addition 图 1 “自注意力”模型结构 Fig.1 Structure of the "self-attention" model “自注意力”的计算和加权主要分为 4 个过程. 第一步，对输入的各个序列的特征进行逐元 素加（Element-wise addition），而逐元素加的结果即 为用于计算各个序列对应通道对于分类任务的 贾熹滨等： 自注意力指导的多序列融合肝细胞癌分化判别模型 · 1151 ·
1152 工程科学学报，第43卷，第9期 “注意力”的特征层融合特征 生组织(WHO)所制定的三分类标准和Edmonson2) 第二步，对融合的特征进行全局平均池化，即 分级标准所制订的四分类标准.本文在自建的数 将整个3D特征沿着通道压缩成一个1×1×C的特 据集中与Baseline模型22-2)、本课题组前期所提出 征，C代表整个3D特征的通道数.特征融合和全 的模型和现有的几种肝细胞癌分级模型-2在 局平均池化(Global average pooling)的具体过程如 两个分类任务进行对比实验 式(1)，其中H和W代表输入数据的尺寸，N代表 从两种分类标准来看，WHO分级标准为三分 输入的序列个数，F代表全局平均池化的输出， 类，将HCC分化程度划分为高分化、中分化和低 F,则代表各个输入序列的对应位置的灰度值 分化3种，严重程度从低到高.而Edmonson则是 N H W 将HCC分化程度划分为4个级别.分别为I、Ⅱ、Ⅱ F1= 1 F(y) (1) H. 和IV,严重程度从低到高.基于2种分类标准所划 i=l x=l y=l 分的经过数据增强所得的数据集如表1~2所示 第三步，将多模态融合特征输入全连接层，引 为了避免类别不均衡的问题影响模型分类效果， 入非线性，添加线性整流函数(Rectified linear unit,. 本文使用了过采样的方法对两个任务的训练集进 ReLU)作为激活函数，全连接层的输出为新的 行类别平衡，即对数据量较少的类别在训练过程 N个长度为C的“注意力”特征，而为了便于与各 中进行随机采样，使得这个类别的数据量与数据 个序列的各个通道进行注意力加权.具体过程如 量最多的类别的数据量相同，从一定程度上降低 式(2)，其中F2∈N×1×1×C代表输出的各个序列 了数据量类别不均衡造成的影响 的注意力权值，δ代表激活函数，W1和b代表全连 接层的参数值和偏置值. 表1基于WHO分类标准的HCC类别数据分布 F2=6(F1×W1+b) (2) Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system 最后，用“注意力”计算模块输出的权值与输 Datasets Well Moderately Poorly 入序列经过特征提取模块得到的特征进行逐通道 Training set 56 208 54 乘(Channel-wise product),得到注意力加权融合特征 Test set 32 104 26 特征提取模块分别使用权值不同的特征提取 Total 88 312 80 器提取各个序列特征.特征提取器由卷积层 (Convolution layer))、池化层(Pool layer)和全连接 表2基于Edmonson分类标准的HCC类别数据分布 层(Fully-connected layer)的组合构成，在与注意力 Table 2 Augmentation results for a dataset with HCC grading under the 权值进行逐元素乘之前，为了避免破坏输入序列 Edmonson grading system 特征中各个通道的关系且方便注意力加权，设置 Datasets 0 ⅢI IV 卷积层为2D卷积.在经过了注意力加权融合之 Training set 56 120 54 后，再引入3D卷积将所得的融合特征拉伸成一维 Test set 之 号 64 26 特征，以在保留语义信息的基础之上简化计算、减 Total 88 128 184 80 少网络参数量，便于最后的分类工作.最后，与注 意力权值融合的多模态特征在经过由3D卷积层 在损失函数方面，本文选择在分类问题中表 和全连接层组成的特征提取器后得到输出特征， 现较为优异的交叉嫡损失函数和在区分少量不同 再将输出特征送入softmax分类器，输出HCC分 类别的数据的任务中表现优异的三元组损失函 化程度判别结果 数.在使用验证集对模型的参数调整和结构参数 2.3模型优化、验证及实验设计 选择上，对训练集使用了十折交叉验证的方法来 为了优化提出的自注意力指导的学习模型， 获取一个较为鲁棒的值，同时也可以防止单独划 并验证模型的可行性，本文使用了三甲医院的肝 分出一个验证集而进一步减少本就不充足的训练 细胞癌患者的临床病例自建了肝细胞癌病灶数据 集数据 集，并由专业医师完成病灶区域的提取和标注.数 总体的测试结果，本文使用在数据集中进行 据集预处理则使用了常规的数据增强、类别均衡 十次随机采样所得的训练集和测试集进行训练和 等方法 测试，并通过十次实验中，模型在测试集上的准确 分类任务依据两大病理金标准包括两类：世界卫 率(Accuracy)、召回率(Recall))、精确度(Precision)
“注意力”的特征层融合特征. 第二步，对融合的特征进行全局平均池化，即 将整个 3D 特征沿着通道压缩成一个 1×1×C 的特 征，C 代表整个 3D 特征的通道数. 特征融合和全 局平均池化（Global average pooling）的具体过程如 式（1），其中 H 和 W 代表输入数据的尺寸，N 代表 输入的序列个数，F1 代表全局平均池化的输出， Fi 则代表各个输入序列的对应位置的灰度值. F1 = 1 H · W ∑ N i=1 ∑ H x=1 ∑ W y=1 Fi(x, y) （1） 第三步，将多模态融合特征输入全连接层，引 入非线性，添加线性整流函数（Rectified linear unit, ReLU）作为激活函数 ，全连接层的输出为新 的 N 个长度为 C 的“注意力”特征，而为了便于与各 个序列的各个通道进行注意力加权. 具体过程如 式（2），其中 F2∈ N×1×1×C 代表输出的各个序列 的注意力权值，δ 代表激活函数，W1 和 b 代表全连 接层的参数值和偏置值. F2 = δ(F1 ×W1 +b) （2） 最后，用 “注意力”计算模块输出的权值与输 入序列经过特征提取模块得到的特征进行逐通道 乘（Channel-wise product），得到注意力加权融合特征. 特征提取模块分别使用权值不同的特征提取 器提取各个序列特征 . 特征提取器由卷积 层 (Convolution layer)、池化 层 (Pool layer) 和全连接 层 (Fully-connected layer) 的组合构成，在与注意力 权值进行逐元素乘之前，为了避免破坏输入序列 特征中各个通道的关系且方便注意力加权，设置 卷积层为 2D 卷积. 在经过了注意力加权融合之 后，再引入 3D 卷积将所得的融合特征拉伸成一维 特征，以在保留语义信息的基础之上简化计算、减 少网络参数量，便于最后的分类工作. 最后，与注 意力权值融合的多模态特征在经过由 3D 卷积层 和全连接层组成的特征提取器后得到输出特征， 再将输出特征送入 softmax 分类器，输出 HCC 分 化程度判别结果. 2.3 模型优化、验证及实验设计 为了优化提出的自注意力指导的学习模型， 并验证模型的可行性，本文使用了三甲医院的肝 细胞癌患者的临床病例自建了肝细胞癌病灶数据 集，并由专业医师完成病灶区域的提取和标注. 数 据集预处理则使用了常规的数据增强、类别均衡 等方法. 分类任务依据两大病理金标准包括两类：世界卫 生组织（WHO）所制定的三分类标准和 Edmonson[21] 分级标准所制订的四分类标准. 本文在自建的数 据集中与 Baseline 模型[22−23]、本课题组前期所提出 的模型[15] 和现有的几种肝细胞癌分级模型[24−25] 在 两个分类任务进行对比实验. 从两种分类标准来看，WHO 分级标准为三分 类，将 HCC 分化程度划分为高分化、中分化和低 分化 3 种，严重程度从低到高. 而 Edmonson 则是 将 HCC 分化程度划分为 4 个级别，分别为 I、II、III 和 IV，严重程度从低到高. 基于 2 种分类标准所划 分的经过数据增强所得的数据集如表 1～2 所示. 为了避免类别不均衡的问题影响模型分类效果， 本文使用了过采样的方法对两个任务的训练集进 行类别平衡，即对数据量较少的类别在训练过程 中进行随机采样，使得这个类别的数据量与数据 量最多的类别的数据量相同，从一定程度上降低 了数据量类别不均衡造成的影响. 表 1 基于 WHO 分类标准的 HCC 类别数据分布 Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system Datasets Well Moderately Poorly Training set 56 208 54 Test set 32 104 26 Total 88 312 80 表 2 基于 Edmonson 分类标准的 HCC 类别数据分布 Table 2 Augmentation results for a dataset with HCC grading under the Edmonson grading system Datasets I II III IV Training set 56 88 120 54 Test set 32 40 64 26 Total 88 128 184 80 在损失函数方面，本文选择在分类问题中表 现较为优异的交叉熵损失函数和在区分少量不同 类别的数据的任务中表现优异的三元组损失函 数. 在使用验证集对模型的参数调整和结构参数 选择上，对训练集使用了十折交叉验证的方法来 获取一个较为鲁棒的值，同时也可以防止单独划 分出一个验证集而进一步减少本就不充足的训练 集数据. 总体的测试结果，本文使用在数据集中进行 十次随机采样所得的训练集和测试集进行训练和 测试，并通过十次实验中，模型在测试集上的准确 率（Accuracy）、召回率（Recall）、精确度（Precision） · 1152 · 工程科学学报，第 43 卷，第 9 期
贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1153 和F1值的平均值和标准差作为评价标准来开展 喷酸葡甲胺盐(Gd-DTPA)对比剂前、注射对比 对比实验，并在此基础上，利用T-SNE图和混淆矩 剂之后的第16,26,60和180s所采集的数据.所 阵分析模型对类别的区分能力. 有的数据由GE3.0T750W磁共振成像系统所采 集.而数据的标注工作分为标注和检验两个过 3实验及结果分析 程，标注工作由拥有10a腹部影像诊断经验的放 3.1实验数据组成及数据处理 射科主治医师完成，对标定完数据的验证工作由 本文自建了肝细胞癌病灶数据集，总共包含 拥有30a腹部影像诊断经验的放射科主任医师 60个病例，每个病例均包含2种分化程度分级标 负责 准的标签.数据来源于首都医科大学附属北京 每个病例的5个序列的图像，经过病灶区域提 友谊医院放射科，整个DCE-MRI序列总共包含 取、重建和数据扩充所得的2D原始图(Raw 平扫、动脉早期、动脉晚期、门静脉期、延迟期 data)、3D重建结果(3 D reconstruction images)和数 共5个序列的DCE-MRI数据，分别代表注射钆 据增强结果如图2所示 Unenhanced Early arterial Late arterial Portal venous images phase phase phase Delay phase 3D reconstruction images 2D raw data Portal venous phase Unenhanced images Origin 90 80 270° Random left-Transpose Transpose*Random up- right flip down filp 图25个增强序列的2D影像与3D建模、2D原始数据及数据增强结果展示 Fig.2 Five enhanced sequences of 3D reconstruction,2D raw data,and the corresponding data augmentation results 数据集按照2：1划分为训练集和测试集，针 在WHO分级标准和Edmonson分级标准上的 对数据集病例数目不足，本文采用了较为常用， 对比实验结果如表3~4所示，表中数据表示“自 的几何变换的方法，对划分好的训练集数据进行 注意力”模型和上述4个模型在三分类和四分类 扩充.几何变换的方法包括：旋转、翻转(FIp)和 任务上10次实验的准确率、召回率、精确度和 转置(Transpose),几何变换之后训练集数据的数量 F1值的平均值和标准差，而由于这2个任务都是 为原来的8倍.因此在使用数据增强方法进行扩 多分类问题，因此本文采用的是4个指标的多分 充后，数据集的体量为480例，其中增强所得的数 类计算方式，即每次把一类作为正类的时候，其他 据仅用于训练过程 类均算为负类 3.2HCC三分类和四分类对比实验 从两个表中的结果可以看出，“自注意力”模 为了验证所提出的模态“自注意力”机制及 型在两个分类任务中，4项参数均比其他4个模型 “自注意力”模型对HCC分类性能的表现，设计了 有所提升.这无疑验证了本文提出的“自注意力” 与前人工作中常用于医学影像分类任务的模型， 机制的有效性，也说明了计算和利用各个序列对 如ResNet2!m、3DSE-ResNet!2)、MCF-3 DCNNS和 分类任务的重要程度是远比各个序列的直接融合 3DSE-DenseNet!24个模型的在自建数据集上的 重要的 对比实验.评价标准如下文所述，为4项参数10次 3.3T-SNE和混淆矩阵分类性能分析 实验的平均值和标准差 为了分析模型对三分类和四分类中各个类别
和 F1 值的平均值和标准差作为评价标准来开展 对比实验，并在此基础上，利用 T-SNE 图和混淆矩 阵分析模型对类别的区分能力. 3 实验及结果分析 3.1 实验数据组成及数据处理 本文自建了肝细胞癌病灶数据集，总共包含 60 个病例，每个病例均包含 2 种分化程度分级标 准的标签. 数据来源于首都医科大学附属北京 友谊医院放射科，整个 DCE-MRI 序列总共包含 平扫、动脉早期、动脉晚期、门静脉期、延迟期 共 5 个序列的 DCE-MRI 数据，分别代表注射钆 喷酸葡甲胺盐（ Gd-DTPA）对比剂前、注射对比 剂之后的第 16，26，60 和 180 s 所采集的数据. 所 有的数据由 GE 3.0T 750W 磁共振成像系统所采 集. 而数据的标注工作分为标注和检验两个过 程，标注工作由拥有 10 a 腹部影像诊断经验的放 射科主治医师完成，对标定完数据的验证工作由 拥有 30 a 腹部影像诊断经验的放射科主任医师 负责. 每个病例的 5 个序列的图像，经过病灶区域提 取 、 重 建 和 数 据 扩 充 所 得 的 2D 原 始 图 (Raw data)、3D 重建结果 (3D reconstruction images) 和数 据增强结果如图 2 所示. Unenhanced images Early arterial phase Late arterial phase Portal venous phase Delay phase 3D reconstruction images 2D raw data Portal venous phase Unenhanced images Origin Random leftright flip Transpose Transpose* Random updown filp 90° 180° 270° 图 2 5 个增强序列的 2D 影像与 3D 建模、2D 原始数据及数据增强结果展示 Fig.2 Five enhanced sequences of 3D reconstruction, 2D raw data, and the corresponding data augmentation results 数据集按照 2∶1 划分为训练集和测试集，针 对数据集病例数目不足，本文采用了较为常用[11,15] 的几何变换的方法，对划分好的训练集数据进行 扩充. 几何变换的方法包括：旋转、翻转 (Flip) 和 转置 (Transpose)，几何变换之后训练集数据的数量 为原来的 8 倍. 因此在使用数据增强方法进行扩 充后，数据集的体量为 480 例，其中增强所得的数 据仅用于训练过程. 3.2 HCC 三分类和四分类对比实验 为了验证所提出的模态“自注意力”机制及 “自注意力”模型对 HCC 分类性能的表现，设计了 与前人工作中常用于医学影像分类任务的模型， 如 ResNet[22]、 3D SE-ResNet[23]、 MCF-3DCNN[15] 和 3D SE-DenseNet[24] 4 个模型的在自建数据集上的 对比实验. 评价标准如下文所述，为 4 项参数 10 次 实验的平均值和标准差. 在 WHO 分级标准和 Edmonson 分级标准上的 对比实验结果如表 3～4 所示，表中数据表示“自 注意力”模型和上述 4 个模型在三分类和四分类 任务上 10 次实验的准确率、召回率、精确度和 F1 值的平均值和标准差，而由于这 2 个任务都是 多分类问题，因此本文采用的是 4 个指标的多分 类计算方式，即每次把一类作为正类的时候，其他 类均算为负类. 从两个表中的结果可以看出，“自注意力”模 型在两个分类任务中，4 项参数均比其他 4 个模型 有所提升. 这无疑验证了本文提出的“自注意力” 机制的有效性，也说明了计算和利用各个序列对 分类任务的重要程度是远比各个序列的直接融合 重要的. 3.3 T-SNE 和混淆矩阵分类性能分析 为了分析模型对三分类和四分类中各个类别 贾熹滨等： 自注意力指导的多序列融合肝细胞癌分化判别模型 · 1153 ·
.1154 工程科学学报，第43卷，第9期 表3基于WHO分类标准的对比实验 Table 3 Detailed comparison of experimental results on the test set under the WHO grading standard Model Accuracy Recall Precision F1-score Our method 0.8021±0.0478 0.8231±0.0404 0.8215±0.0537 0.8221±0.0477 MCF-3DCNNSI 0.7188±0.0405 0.6667±0.0195 0.7874±0.0416 0.7014±0.0337 3D ResNet2 0.7312±0.0627 0.7353±0.0557 0.7762±0.0443 0.7613±0.0537 3D SE-ResNet 0.7453±0.0675 0.7342±0.0755 0.7627±0.0732 0.7665±0.0675 3D SE-DenseNet24 0.7854±0.0445 0.7923±0.0638 0.8117±0.0417 0.7913±0.0576 表4 基于Edmonson分类标准的对比实验 Table 4 Detailed comparison of experimental results on the test set under the Edmonson grading standard Model Accuracy Recall Precision F1-score Our method 0.7734±0.0318 0.7889±0.0412 0.8089±0.0416 0.7896±0.0225 MCF-3DCNN5I 0.6322±0.0522 0.5482±0.1338 0.6424±0.0657 0.6431±0.0824 3 DResNet2!四 0.7037±0.0731 0.7229±0.0442 0.7404±0.0421 0.7203±0.0336 3D SE-ResNet 0.7108±0.0644 0.7492±0.0531 0.7637±0.0788 0.7566±0.0631 3D SE-DenseNet 0.7227±0.0341 0.7762±0.0426 0.7738±0.0446 0.7876±0.0512 的区分能力，使用了模型训练前后特征空间的T 力”模型在HCC三分类和四分类任务中模型在训 SNE图和在测试集上的混淆矩阵来直观的测模型 练前后的嵌人空间的二维映射，从图中可以看出， 的分类能力，T-SNE图和混淆矩阵如图3所示，其 两个任务在训练之前，各类数据的特征点在二维 中3(a)、3(b)、3(d)和3(e)所示分别为“自注意 嵌入空间中是混杂在一起，难以找到清晰的分类 0(a .Poorly (b)●Poorly (c) Confusion matrix Numbers 2 Moderately·it& ■6U -0.1 ●Moderately .Well Well Poorly 42 22 50 0.2 -0.3 0 d 40 -0.4 Moderately 48 12 30 -0.5 -0.6 well 0 0 -0.7 0 -0.8 Poorly Moderately Well 0.3-0.2-0.10 Predicted label 0.1 0.2 0.3 -2 -1 0 2 3 Length/m Length/m 6 Confusion matrix Numbers o[(d) (e) (① 50 eⅡ 4 I 53 6 ◆Ⅲ -0. .IV 40 -0.2 参】 0 44 20 0 30 -0.3 0 0 0 即 16 20 -0.4 10 0 11 0 53 -0.5 0 IV 00.10.20.30.40.50.60.7 0 2 Predicted label Length/m Length/m 图3HCC三分类和四分类任务中“自注意力"模型的embedding space和混淆矩阵.(a)三分类任务训练前的特征空间：(b)三分类任务训练后的 特征空间：(c)三分类任务的混淆矩阵：()四分类任务训练前的特征空间：(e)四分类任务训练后的特征空间：()四分类任务的混淆矩阵 Fig.3 Feature distributions at the embedding space before and after training and the corresponding confusion matrix of the WHO and Edmonson classification tasks:(a)feature space of the model in three classification tasks before training:(b)feature space of the model in three classification tasks after training;(c)confusion matrix in three classification tasks;(d)feature space of the model in four classification tasks before training.(e)feature space of the model in four classification tasks after training;and (f)confusion matrix in four classification tasks
的区分能力，使用了模型训练前后特征空间的 TSNE 图和在测试集上的混淆矩阵来直观的测模型 的分类能力，T-SNE 图和混淆矩阵如图 3 所示，其 中 3（a）、3（b）、3（d）和 3（e）所示分别为“自注意 力”模型在 HCC 三分类和四分类任务中模型在训 练前后的嵌入空间的二维映射，从图中可以看出， 两个任务在训练之前，各类数据的特征点在二维 嵌入空间中是混杂在一起，难以找到清晰的分类 表 3 基于 WHO 分类标准的对比实验 Table 3 Detailed comparison of experimental results on the test set under the WHO grading standard Model Accuracy Recall Precision F1-score Our method 0.8021±0.0478 0.8231±0.0404 0.8215±0.0537 0.8221±0.0477 MCF-3DCNN[15] 0.7188±0.0405 0.6667±0.0195 0.7874±0.0416 0.7014±0.0337 3D ResNet[22] 0.7312±0.0627 0.7353±0.0557 0.7762±0.0443 0.7613±0.0537 3D SE-ResNet[23] 0.7453±0.0675 0.7342±0.0755 0.7627±0.0732 0.7665±0.0675 3D SE-DenseNet[24] 0.7854±0.0445 0.7923±0.0638 0.8117±0.0417 0.7913±0.0576 表 4 基于 Edmonson 分类标准的对比实验 Table 4 Detailed comparison of experimental results on the test set under the Edmonson grading standard Model Accuracy Recall Precision F1-score Our method 0.7734±0.0318 0.7889±0.0412 0.8089±0.0416 0.7896±0.0225 MCF-3DCNN[15] 0.6322±0.0522 0.5482±0.1338 0.6424±0.0657 0.6431±0.0824 3D ResNet[22] 0.7037±0.0731 0.7229±0.0442 0.7404±0.0421 0.7203±0.0336 3D SE-ResNet[23] 0.7108±0.0644 0.7492±0.0531 0.7637±0.0788 0.7566±0.0631 3D SE-DenseNet[24] 0.7227±0.0341 0.7762±0.0426 0.7738±0.0446 0.7876±0.0512 0 −0.1 −0.2 −0.3 0 −1 1 −2 2 −3 −0.3 0.3 −0.2 0.2 −0.1 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 −0.4 −0.5 −0.6 −0.7 −0.8 0 −0.1 −0.2 −0.3 −0.4 −0.5 2 0 4 −2 6 −4 −2 2 3 −1 1 0 −1 1 2 0 Length/m Length/m Length/m Length/m Length/m I II III IV Length/m Length/m Length/m (a) (b) (d) (e) (c) (f) Poorly Moderately Well Poorly Moderately Ture label Well Poorly Moderately Well Confusion matrix Numbers 60 50 40 30 20 10 0 Confusion matrix Numbers True label 50 40 30 20 10 0 Predicted label I II III IV I II III IV Predicted label 42 22 0 53 6 5 0 0 44 20 0 0 0 48 16 0 11 0 53 4 48 12 0 4 60 Poorly Moderately Well I II III IV 图 3 HCC 三分类和四分类任务中“自注意力”模型的 embedding space 和混淆矩阵. （a）三分类任务训练前的特征空间；（b）三分类任务训练后的 特征空间；（c）三分类任务的混淆矩阵；（d）四分类任务训练前的特征空间；（e）四分类任务训练后的特征空间；（f）四分类任务的混淆矩阵 Fig.3 Feature distributions at the embedding space before and after training and the corresponding confusion matrix of the WHO and Edmonson classification tasks: (a) feature space of the model in three classification tasks before training; (b) feature space of the model in three classification tasks after training; (c) confusion matrix in three classification tasks; (d) feature space of the model in four classification tasks before training; (e) feature space of the model in four classification tasks after training; and (f) confusion matrix in four classification tasks · 1154 · 工程科学学报，第 43 卷，第 9 期
贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1155 边界.而在经过模型训练之后，三分类和四分类任 EBioMedicine,2019,44:209 务中不同类别数据的特征点的平均距离明显得到 [5]Shioga T.Kondo R.Ogasawara S,et al.Usefulness of tumor tissue 了提升，这也使得分类器易于找到各个类别边界， biopsy for predicting the biological behavior of hepatocellular carcinoma.Anticancer Res,2020,40(7):4105 从而提升分类的准确性.图3(c)和3(f)则分别代 [6] Parr RL,Mills J,Harbottle A,et al.Mitochondria,prostate cancer, 表了模型在两个分类任务的测试集中测试结果的 and biopsy sampling error.Discov Med,2013,25:15(83):213 混淆矩阵.从混淆矩阵可以看出“自注意力”模型 [7]Henken K,Van Gerwen D,Dankelman J,et al.Accuracy of needle 更擅长于区分高分化与低分化、中分化的HCC, position measurements using fiber Bragg gratings.Minim Imasive 中分化(Moderately,IⅡ，II)分类效果不理想，低分 Ther Allied Technol,2012,21(6):408 化判别性能差.该结果与医生判别经验一致，临床 [8] Li J Z,Xue F,Xu X H,et al.Dynamic contrast enhanced MRI 诊断过程亦存在中分化和低分化的特异度低于高 differentiates hepatocellular carcinoma from hepatic metastasis of rectal cancer by extracting pharmacokinetic parameters and 分化的现象，因为HCC随恶性程度高，病变样本 radiomic features.Exp Ther Med,2020,20(4):3643 纹理等征象更复杂，判别难度增加 [9] Kaissis G A,Lohofer F K,Horl M,et al.Combined DCE-MRI- 总之，实验结果表明所提出模型对于样本差 and FDG-PET enable histopathological grading prediction in a rat 异大的高分化HCC更为敏感，取得相较更好的效 model of hepatocellular carcinoma.Eur J Radiol,2020,124: 果，在后续研究中，针对特征提取难点，一方面考 108848 虑提升训练数据数量级，另一方面考虑解决模型 [10]Khalifa F.Soliman A.El-Baz A,et al.Models and methods for analyzing DCE-MRI:A review.Med Plnys,2014,41(12):124301 在分类能力上具有类别偏向性的问题 [11]Yang D W,Jia X B,Xiao Y J,et al.Noninvasive evaluation of the 4结论 pathologic grade of hepatocellular carcinoma using MCF-3DCNN: A pilot study.Biomed Res Int,2019:9783106 (1)提出了一种基于DCE-MRI序列和“自注 [12]Chernyak V,Fowler K J,Kamaya A,et al.Liver imaging reporting 意力”机制的HCC分化程度判别模型，通过计算 and data system (LI-RADS)version 2018:Imaging of DCE-MRI序列中各个增强序列对最终分类任务的 hepatocellular carcinoma in at-risk patients.Radiology.2018. “注意力”并将其与特征提取器所提取的序列时空 289(3):816 [13]Suk HI,Lee S W,Shen DG.Hierarchical feature representation 特征进行特征层融合以补充语义信息.通过与 and multimodal fusion with deep leaming for AD/MCI diagnosis. 4个现有工作的对比实验，验证了所提出的“自注 Neurolmage,2014,101:569 意力”机制和“自注意力”模型的有效性 [14]Wang Q Y,Que D S.Staging of hepatocellular carcinoma using (2)本文所提出的方法提供了一种有潜力充 deep feature in contrast-enhanced MR images/nd International 分利用多序列输入所蕴含的信息的特征提取机 Conference on Computer Engineering,Information Science& 制，为多模态融合和多序列融合提供了一种潜在 Application Technology (ICCIA 2017).Wuhan,2016:186 的可行的融合机制 [15]Jia X B,Xiao Y J,Yang D W,et al.Temporal-spatial feature learning of dynamic contrast enhanced-MR images via 3D 参考文献 convolutional neural networks//Chinese Conference on Image and Graphics Technologies.Singapore,2018:380 [1]Yang J D,Hainaut P,Gores G J,et al.A global view of [16]Jia X B,Xiao Y J,Yang D W,et al.Multi-parametric MRIs based hepatocellular carcinoma:trends,risk,prevention and assessment of Hepatocellular Carcinoma Differentiation with management.Nat Rev Gastroenterol Hepatol,2019,16(10):589 Multi-scale ResNet.TIIS,2019,13(10):5179 [2]Jiang Y,Sun A H,Zhao Y,et al.Proteomics identifies new [17]Antropova N,Huynh B Q,Giger M L.A deep feature fusion therapeutic targets of early-stage hepatocellular carcinoma.Nature. methodology for breast cancer diagnosis demonstrated on three 2019,567(7747):257 imaging modality datasets.Med Plys,2017,44(10):5162 [3]Lin H X,Wei C,Wang G X,et al.Automated classification of [18]Hu Q Y,Whitney H M,Giger M L.A deep learning methodology hepatocellular carcinoma differentiation using multiphoton for improved breast cancer diagnosis using multiparametric MRI. microscopy and deep learning.J Biophoto,2019,12(7): Sci Rep,2020,10:10536 e201800435 [19]Zhang T H,Fan S L,Guo XX,et al.Intelligent medical assistant [4]Jimenez H,Wang M H,Zimmerman J W,et al.Tumour-specific diagnosis method based on data fusion.Chin/Eng,doi amplitude-modulated radiofrequency electromagnetic fields induce 10.13374f.issn2095-9389.2021.01.12.003 differentiation of hepatocellular carcinoma via targeting Ca,3.2 (张桃红，范素丽，郭徐徐，等.基于数据融合的智能医疗辅助诊 T-type voltage-gated calcium channels and Ca2 influx. 断方法.工程科学学报，doi:10.13374issn2095-9389.2021.01
边界. 而在经过模型训练之后，三分类和四分类任 务中不同类别数据的特征点的平均距离明显得到 了提升，这也使得分类器易于找到各个类别边界， 从而提升分类的准确性. 图 3（c）和 3（f）则分别代 表了模型在两个分类任务的测试集中测试结果的 混淆矩阵. 从混淆矩阵可以看出“自注意力”模型 更擅长于区分高分化与低分化、中分化的 HCC， 中分化（Moderately, II, III）分类效果不理想，低分 化判别性能差. 该结果与医生判别经验一致，临床 诊断过程亦存在中分化和低分化的特异度低于高 分化的现象，因为 HCC 随恶性程度高，病变样本 纹理等征象更复杂，判别难度增加. 总之，实验结果表明所提出模型对于样本差 异大的高分化 HCC 更为敏感，取得相较更好的效 果，在后续研究中，针对特征提取难点，一方面考 虑提升训练数据数量级，另一方面考虑解决模型 在分类能力上具有类别偏向性的问题. 4 结论 （1）提出了一种基于 DCE-MRI 序列和“自注 意力”机制的 HCC 分化程度判别模型，通过计算 DCE-MRI 序列中各个增强序列对最终分类任务的 “注意力”并将其与特征提取器所提取的序列时空 特征进行特征层融合以补充语义信息. 通过与 4 个现有工作的对比实验，验证了所提出的“自注 意力”机制和“自注意力”模型的有效性. （2）本文所提出的方法提供了一种有潜力充 分利用多序列输入所蕴含的信息的特征提取机 制，为多模态融合和多序列融合提供了一种潜在 的可行的融合机制. 参 考 文 献 Yang J D, Hainaut P, Gores G J, et al. A global view of hepatocellular carcinoma: trends, risk, prevention and management. Nat Rev Gastroenterol Hepatol, 2019, 16（10）: 589 [1] Jiang Y, Sun A H, Zhao Y, et al. Proteomics identifies new therapeutic targets of early-stage hepatocellular carcinoma. Nature, 2019, 567（7747）: 257 [2] Lin H X, Wei C, Wang G X, et al. Automated classification of hepatocellular carcinoma differentiation using multiphoton microscopy and deep learning. J Biophoto, 2019, 12（7）: e201800435 [3] Jimenez H, Wang M H, Zimmerman J W, et al. Tumour-specific amplitude-modulated radiofrequency electromagnetic fields induce differentiation of hepatocellular carcinoma via targeting Cav3.2 T-type voltage-gated calcium channels and Ca2+ influx. [4] EBioMedicine, 2019, 44: 209 Shioga T, Kondo R, Ogasawara S, et al. Usefulness of tumor tissue biopsy for predicting the biological behavior of hepatocellular carcinoma. Anticancer Res, 2020, 40（7）: 4105 [5] Parr R L, Mills J, Harbottle A, et al. Mitochondria, prostate cancer, and biopsy sampling error. Discov Med, 2013, 25;15（83）: 213 [6] Henken K, Van Gerwen D, Dankelman J, et al. Accuracy of needle position measurements using fiber Bragg gratings. Minim Invasive Ther Allied Technol, 2012, 21（6）: 408 [7] Li J Z, Xue F, Xu X H, et al. Dynamic contrast enhanced MRI differentiates hepatocellular carcinoma from hepatic metastasis of rectal cancer by extracting pharmacokinetic parameters and radiomic features. Exp Ther Med, 2020, 20（4）: 3643 [8] Kaissis G A, Lohöfer F K, Hörl M, et al. Combined DCE-MRIand FDG-PET enable histopathological grading prediction in a rat model of hepatocellular carcinoma. Eur J Radiol, 2020, 124: 108848 [9] Khalifa F, Soliman A, El-Baz A, et al. Models and methods for analyzing DCE-MRI: A review. Med Phys, 2014, 41（12）: 124301 [10] Yang D W, Jia X B, Xiao Y J, et al. Noninvasive evaluation of the pathologic grade of hepatocellular carcinoma using MCF-3DCNN: A pilot study. Biomed Res Int, 2019: 9783106 [11] Chernyak V, Fowler K J, Kamaya A, et al. Liver imaging reporting and data system (LI-RADS) version 2018: Imaging of hepatocellular carcinoma in at-risk patients. Radiology, 2018, 289（3）: 816 [12] Suk H I, Lee S W, Shen D G. Hierarchical feature representation and multimodal fusion with deep learning for AD/MCI diagnosis. NeuroImage, 2014, 101: 569 [13] Wang Q Y, Que D S. Staging of hepatocellular carcinoma using deep feature in contrast-enhanced MR images//2nd International Conference on Computer Engineering, Information Science & Application Technology (ICCIA 2017). Wuhan, 2016: 186 [14] Jia X B, Xiao Y J, Yang D W, et al. Temporal-spatial feature learning of dynamic contrast enhanced-MR images via 3D convolutional neural networks//Chinese Conference on Image and Graphics Technologies. Singapore, 2018: 380 [15] Jia X B, Xiao Y J, Yang D W, et al. Multi-parametric MRIs based assessment of Hepatocellular Carcinoma Differentiation with Multi-scale ResNet. TIIS, 2019, 13（10）: 5179 [16] Antropova N, Huynh B Q, Giger M L. A deep feature fusion methodology for breast cancer diagnosis demonstrated on three imaging modality datasets. Med Phys, 2017, 44（10）: 5162 [17] Hu Q Y, Whitney H M, Giger M L. A deep learning methodology for improved breast cancer diagnosis using multiparametric MRI. Sci Rep, 2020, 10: 10536 [18] Zhang T H, Fan S L, Guo X X, et al. Intelligent medical assistant diagnosis method based on data fusion. Chin J Eng, doi: 10.13374/j.issn2095-9389.2021.01.12.003 （ 张桃红, 范素丽, 郭徐徐, 等. 基于数据融合的智能医疗辅助诊 断方法. 工程科学学报, doi: 10.13374/j.issn2095-9389.2021.01. [19] 贾熹滨等： 自注意力指导的多序列融合肝细胞癌分化判别模型 · 1155 ·
·1156 工程科学学报，第43卷，第9期 12.003) [23]Hu J,Shen L,Sun G.Squeeze-and-excitation networks//2018 [20]Ye H,Chen Q J,Wu H M,et al.Classification of liver cancer IEEE/CVF Conference on Computer Vision and Pattern images based on deep leamning//International conference on Data Recognition.Salt Lake City,2018:7132 Science,Medicine and Bioinformatics.Singapore,2020:184 [24]Zhou Q,Zhou Z Y,Chen C M,et al.Grading of hepatocellular [21]Zhou L,Rui J G,Zhou W X,et al.Edmondson-Steiner grade:A carcinoma using 3D SE-DenseNet in dynamic enhanced MR crucial predictor of recurrence and survival in hepatocellular images.Comput Biol Med,2019,107:47 carcinoma without microvascular invasio.Pathol Res Pract,2017, [25]Yoshinobu Y,Iwamoto Y,Xianhua H A N,et al.Deep learning 213(7):824 method for content-based retrieval of focal liver lesions using [22]He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for multiphase contrast-enhanced computer tomography images/2020 image recognition/216 IEEE Conference on Computer Vision IEEE International Conference on Consumer Electronics (ICCE) and Pattern Recognition (CVPR).Las Vegas,2016:770 Las Vegas,2020:1
12.003） Ye H, Chen Q J, Wu H M, et al. Classification of liver cancer images based on deep learning//International conference on Data Science, Medicine and Bioinformatics. Singapore, 2020: 184 [20] Zhou L, Rui J G, Zhou W X, et al. Edmondson-Steiner grade: A crucial predictor of recurrence and survival in hepatocellular carcinoma without microvascular invasio. Pathol Res Pract, 2017, 213（7）: 824 [21] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, 2016: 770 [22] Hu J, Shen L, Sun G. Squeeze-and-excitation networks//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 7132 [23] Zhou Q, Zhou Z Y, Chen C M, et al. Grading of hepatocellular carcinoma using 3D SE-DenseNet in dynamic enhanced MR images. Comput Biol Med, 2019, 107: 47 [24] Yoshinobu Y, Iwamoto Y, Xianhua H A N, et al. Deep learning method for content-based retrieval of focal liver lesions using multiphase contrast-enhanced computer tomography images//2020 IEEE International Conference on Consumer Electronics (ICCE). Las Vegas, 2020: 1 [25] · 1156 · 工程科学学报，第 43 卷，第 9 期
