自注意力指导的多序列融合肝细胞癌分化判别模型.pdf_大学文库

工程科学学报.第43卷，第9期：1149-1156.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1149-1156,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003;http://cje.ustb.edu.cn 自注意力指导的多序列融合肝细胞癌分化判别模型贾熹滨2，孙政1,2，杨大为)，杨正汉)区 1)北京工业大学信息学部.北京1001242)北京工业大学多媒体与智能软件技术北京重点实验室，北京1001243)首都医科大学附属北京友谊医院放射科.北京100050 ☒通信作者，E-mail:yangzhenghan(@vip.l63.com 摘要结合影像学和人工智能技术对病灶进行无创性定量分析是目前智慧医疗的一个重要研究方向.针对肝细胞癌 (Hepatocellular carcinoma,HCC)分化程度的无创性定量估测方法研究，结合放射科医师的临床读片经验，提出了一种基于自注意力指导的多序列融合肝细胞癌组织学分化程度无创判别计算模型.以动态对比增强核磁共振成像(Dynamic contrast-. enhanced magnetic resonance imaging,DCE-MRI)的多个序列为输入，学习各时序序列及各序列的多层扫描切片在分化程度判别任务的权重，加权序列中具有的良好判别性能的时间和空间特征，以提升分化程度判别性能.模型的训练和测试在三甲医院的临床数据集上进行，实验结果表明，本文所提出的肝细胞癌分化程度判别模型取得相比几种基准和主流模型最高的分类计算性能，在WH0组织学分级任务中，判别准确度、灵敏度、精确度分别达到80%，82%和82% 关键词肝细胞癌分级：动态对比增强核飚共振成像：自注意力机制：多序列融合：辅助诊断分类号TP183 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin2,SUN Zheng 2),YANG Da-wei,YANG Zheng-han 1)Faculty of Information,Beijing University of Technology,Beijing 100124,China 2)Beijing Municipal Key Laboratory of Multimedia and Intelligent Software Technology,Beijing University of Technology,Beijing 100124,China 3)Department of Radiology,Beijing Friendship Hospital,Capital Medical University,Beijing 100050,China Corresponding author,E-mail:yangzhenghan@vip.163.com ABSTRACT Hepatocellular carcinoma(HCC)is a type of primary malignant tumor and an urgent problem to be solved,particularly in China,one of the countries with the highest prevalence of HCC.In the choice of treatment methods for patients with hepatocellular carcinoma,accurate histological grading of the lesion area undoubtedly plays a vital role that helps the management and therapy of HCC patients.However,the current pathological detection as the gold standard has defects,such as invasiveness and a large sampling error. Therefore,it is an important direction of intelligent medical treatment to provide noninvasive and accurate lesion grading using imaging technology combined with artificial intelligence technology.On the basis of the radiologists'experience in reading clinical images,this paper proposed a self-attentional guidance-based histological differentiation discrimination model combined with multi-modality fusion and an attention weight calculation scheme for dynamic contrast-enhanced magnetic resonance imaging (DCE-MRI)sequences of hepatocellular carcinoma.The model combined the spatiotemporal information contained in the enhancement sequence and learned the importance of each sequence and the slice in the sequence for the classification task.It effectively used the feature information contained in the enhancement sequence in the temporal and spatial dimensions to improve the classification performance.During the experiment, 收稿日期：2021-01-13 基金项目：国家自然科学基金资助项目(61871276.U19B2039)

自注意力指导的多序列融合肝细胞癌分化判别模型贾熹滨1,2)，孙政1,2)，杨大为3)，杨正汉3) 苣 1) 北京工业大学信息学部，北京 100124 2) 北京工业大学多媒体与智能软件技术北京重点实验室，北京 100124 3) 首都医科大学附属北京友谊医院放射科，北京 100050 苣通信作者，E-mail：yangzhenghan@vip.163.com 摘要结合影像学和人工智能技术对病灶进行无创性定量分析是目前智慧医疗的一个重要研究方向. 针对肝细胞癌（Hepatocellular carcinoma, HCC）分化程度的无创性定量估测方法研究，结合放射科医师的临床读片经验，提出了一种基于自注意力指导的多序列融合肝细胞癌组织学分化程度无创判别计算模型. 以动态对比增强核磁共振成像（Dynamic contrastenhanced magnetic resonance imaging, DCE-MRI）的多个序列为输入，学习各时序序列及各序列的多层扫描切片在分化程度判别任务的权重，加权序列中具有的良好判别性能的时间和空间特征，以提升分化程度判别性能. 模型的训练和测试在三甲医院的临床数据集上进行，实验结果表明，本文所提出的肝细胞癌分化程度判别模型取得相比几种基准和主流模型最高的分类计算性能，在 WHO 组织学分级任务中，判别准确度、灵敏度、精确度分别达到 80%，82% 和 82%. 关键词肝细胞癌分级；动态对比增强核磁共振成像；自注意力机制；多序列融合；辅助诊断分类号 TP183 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin1,2) ，SUN Zheng1,2) ，YANG Da-wei3) ，YANG Zheng-han3) 苣 1) Faculty of Information, Beijing University of Technology, Beijing 100124, China 2) Beijing Municipal Key Laboratory of Multimedia and Intelligent Software Technology, Beijing University of Technology, Beijing 100124, China 3) Department of Radiology, Beijing Friendship Hospital, Capital Medical University, Beijing 100050, China 苣 Corresponding author, E-mail: yangzhenghan@vip.163.com ABSTRACT Hepatocellular carcinoma (HCC) is a type of primary malignant tumor and an urgent problem to be solved, particularly in China, one of the countries with the highest prevalence of HCC. In the choice of treatment methods for patients with hepatocellular carcinoma, accurate histological grading of the lesion area undoubtedly plays a vital role that helps the management and therapy of HCC patients. However, the current pathological detection as the gold standard has defects, such as invasiveness and a large sampling error. Therefore, it is an important direction of intelligent medical treatment to provide noninvasive and accurate lesion grading using imaging technology combined with artificial intelligence technology. On the basis of the radiologists' experience in reading clinical images, this paper proposed a self-attentional guidance-based histological differentiation discrimination model combined with multi-modality fusion and an attention weight calculation scheme for dynamic contrast-enhanced magnetic resonance imaging (DCE-MRI) sequences of hepatocellular carcinoma. The model combined the spatiotemporal information contained in the enhancement sequence and learned the importance of each sequence and the slice in the sequence for the classification task. It effectively used the feature information contained in the enhancement sequence in the temporal and spatial dimensions to improve the classification performance. During the experiment, 收稿日期: 2021−01−13 基金项目: 国家自然科学基金资助项目（61871276，U19B2039）工程科学学报，第 43 卷，第 9 期：1149−1156，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1149−1156, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003; http://cje.ustb.edu.cn

·1150 工程科学学报，第43卷.第9期 the model was trained and tested on the clinical data set of the top three hospitals in China.The experimental results show that the self- attention-guided model proposed in this paper achieves higher classification performance than several benchmark and mainstream models.Comprehensive experiments were performed on the clinical dataset with labels annotated by professional radiologists.The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the MRI sequences.In the WHO histological classification task,the classification accuracy of the proposed model reaches 80%,the sensitivity is 82%,and the precision is 82%. KEY WORDS grading of hepatocellular carcinoma;dynamic contrast-enhanced magnetic resonance imaging:self-attention mechanism;multimodal fusion;auxiliary diagnosis 肝细胞癌(Hepatocellular carcinoma,.HCC)是一影像，每个时刻的DCE-MRI序列具有多层切片的种高度流行且致命的肿瘤，是全球癌症相关死亡三维空间信息，可以清楚地反映出病灶区域周围的第4大最常见原因-]一般来说，肝细胞癌的组织的一些纹理、边缘和空间信息，同时其时序特分化程度分为高分化、中分化和低分化，分化程度征可以反映出造影剂在血管中流动过程的血流灌越低则代表肿瘤恶性程度越高，从临床角度看，在注信息，体现病灶随着时间发生变化的特性.因而术前对肝细胞癌分化程度精确判别对治疗方案制有效的利用DCE-MRI序列所提供的时空特性，建定和预后效果估计具有至关重要作用] 立分化程度可判别的深度网络计算模型，有助于HCC 目前对肝细胞癌分化程度的病理判别的金标分化程度无创诊断模型研究.因此本文以HC℃患准是基于肝脏穿刺的肝脏组织活检)，而基于肝脏者影像学检查结果DCE-MRI序列及病理金标准穿刺的检测方法创伤性很大且存在针道转移、取标注的临床数据为基础，研究基于多参数DCE-MRI 样误差等风险，导致患者不愿意接受肝穿治疗6刀的3D序列融合HCC分化程度判别方法因而无创性的影像学方法，例如超声、电子计算机 1相关工作及研究现状断层扫描(Computed tomography,CT)、磁共振成像 (Magnetic resonance imaging,MRI)等多种影像技术临床对肝肿瘤病灶影像分析，通常采用的被用于肝细胞癌分化程度的定性分析 DCE-MRI序列包括平扫、动脉早期、动脉晚期、美国放射学会所制订的肝脏影像报告及数据门静脉期、延迟期共5个序列.医生对病灶区域病 (Liver imaging reporting and data system,LI- 变分类诊断，通常根据多个时相、序列的影像中病 RADS)通过对增强CT或动态对比增强核磁共振灶区域特征分析决定，因此，在智能影像研究领 (Dynamic contrast-enhanced magnetic resonance 域，利用多模态数据融合进行多个序列数据协同 imaging,DCE-MRI)诊断肝细胞癌的5种主要成像诊断亦成为主流方法功能的描述，来规范化肝脏影像学方法的诊断流 2014年，Suk等将深度学习方法用于阿滋程，对HCC及其他局灶性肝脏进行分类诊断，然海默病，采用包含分层结构特征融合在内的多种而传统影像学方法尚无法实现HCC分化程度的特征融合方式.2016年，Wang等w则在多个序列精准判别，因此，引入基于统计科学的深度学习方融合的基础上，将序列3D图像的冠状面、矢状面法以辅助医生进行HCC诊断，建立精准无创的和水平面作为三个分支作为输入，利用多视角融 HCC分化程度判别模型，仍是亟待解决的问题合3D图像信息，提升模型预测效果.然而，目前序 DCE-MRI所具有的高灵敏度、高清晰度和高列融合方法未考虑序列分类诊断能力的差异性及对比度特性，被广泛用于影像学智能诊断模型研在判别中作用的差别.因此本文引入了“自注意究8-在许多临床研究中，DCE-MRI已广泛用于力”机制，在特征层融合时不仅考虑不同序列特征无创检测，表征和治疗监测不同疾病0不仅如间的互补性，也考虑各个序列对最终分类任务的此，在很多使用机器学习方法和影像学检查结果 “敏感度”.通过不同序列特征的互补和对分类任搭建分类、分割及目标检测模型用于辅助医生诊务的“敏感度”的计算，建模医生诊断和读片过程断的工作中，DCE-MRI已经成为一种常用的目标对不同序列给予不同的关注度的诊断经验序列-2 本团队前期利用增强序列实现HCC分级工作 DCE-MRI影像是通过注射了对比造影剂，在中，Ja等提出了一种数据层时空融合的方法，注入后的多个时刻，进行多次扫描获得各个序列根据注入造影剂引发增强序列随时间的表象变化

the model was trained and tested on the clinical data set of the top three hospitals in China. The experimental results show that the selfattention-guided model proposed in this paper achieves higher classification performance than several benchmark and mainstream models. Comprehensive experiments were performed on the clinical dataset with labels annotated by professional radiologists. The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the MRI sequences. In the WHO histological classification task, the classification accuracy of the proposed model reaches 80%, the sensitivity is 82%, and the precision is 82%. KEY WORDS grading of hepatocellular carcinoma； dynamic contrast-enhanced magnetic resonance imaging； self-attention mechanism；multimodal fusion；auxiliary diagnosis 肝细胞癌（Hepatocellular carcinoma, HCC）是一种高度流行且致命的肿瘤，是全球癌症相关死亡的第 4 大最常见原因[1−2] . 一般来说，肝细胞癌的分化程度分为高分化、中分化和低分化，分化程度越低则代表肿瘤恶性程度越高，从临床角度看，在术前对肝细胞癌分化程度精确判别对治疗方案制定和预后效果估计具有至关重要作用[3−4] . 目前对肝细胞癌分化程度的病理判别的金标准是基于肝脏穿刺的肝脏组织活检[5] ，而基于肝脏穿刺的检测方法创伤性很大且存在针道转移、取样误差等风险，导致患者不愿意接受肝穿治疗[6−7] . 因而无创性的影像学方法，例如超声、电子计算机断层扫描 (Computed tomography, CT)、磁共振成像 (Magnetic resonance imaging, MRI) 等多种影像技术被用于肝细胞癌分化程度的定性分析. 美国放射学会所制订的肝脏影像报告及数据系统 (Liver imaging reporting and data system， LIRADS) 通过对增强 CT 或动态对比增强核磁共振成像 (Dynamic contrast-enhanced magnetic resonance imaging，DCE-MRI) 诊断肝细胞癌的 5 种主要成像功能的描述，来规范化肝脏影像学方法的诊断流程，对 HCC 及其他局灶性肝脏进行分类诊断，然而传统影像学方法尚无法实现 HCC 分化程度的精准判别，因此，引入基于统计科学的深度学习方法以辅助医生进行 HCC 诊断，建立精准无创的 HCC 分化程度判别模型，仍是亟待解决的问题. DCE-MRI 所具有的高灵敏度、高清晰度和高对比度特性，被广泛用于影像学智能诊断模型研究[8−9] . 在许多临床研究中，DCE-MRI 已广泛用于无创检测，表征和治疗监测不同疾病[10] . 不仅如此，在很多使用机器学习方法和影像学检查结果搭建分类、分割及目标检测模型用于辅助医生诊断的工作中，DCE-MRI 已经成为一种常用的目标序列[11−12] . DCE-MRI 影像是通过注射了对比造影剂，在注入后的多个时刻，进行多次扫描获得各个序列影像，每个时刻的 DCE-MRI 序列具有多层切片的三维空间信息，可以清楚地反映出病灶区域周围组织的一些纹理、边缘和空间信息，同时其时序特征可以反映出造影剂在血管中流动过程的血流灌注信息，体现病灶随着时间发生变化的特性. 因而有效的利用 DCE-MRI 序列所提供的时空特性，建立分化程度可判别的深度网络计算模型，有助于 HCC 分化程度无创诊断模型研究. 因此本文以 HCC 患者影像学检查结果 DCE-MRI 序列及病理金标准标注的临床数据为基础，研究基于多参数 DCE-MRI 的 3D 序列融合 HCC 分化程度判别方法. 1 相关工作及研究现状临床对肝肿瘤病灶影像分析，通常采用的 DCE-MRI 序列包括平扫、动脉早期、动脉晚期、门静脉期、延迟期共 5 个序列. 医生对病灶区域病变分类诊断，通常根据多个时相、序列的影像中病灶区域特征分析决定，因此，在智能影像研究领域，利用多模态数据融合进行多个序列数据协同诊断亦成为主流方法. 2014 年，Suk 等[13] 将深度学习方法用于阿兹海默病，采用包含分层结构特征融合在内的多种特征融合方式. 2016 年，Wang 等[14] 则在多个序列融合的基础上，将序列 3D 图像的冠状面、矢状面和水平面作为三个分支作为输入，利用多视角融合 3D 图像信息，提升模型预测效果. 然而，目前序列融合方法未考虑序列分类诊断能力的差异性及在判别中作用的差别. 因此本文引入了“自注意力”机制，在特征层融合时不仅考虑不同序列特征间的互补性，也考虑各个序列对最终分类任务的 “敏感度”. 通过不同序列特征的互补和对分类任务的“敏感度”的计算，建模医生诊断和读片过程对不同序列给予不同的关注度的诊断经验. 本团队前期利用增强序列实现 HCC 分级工作中，Jia 等[15] 提出了一种数据层时空融合的方法，根据注入造影剂引发增强序列随时间的表象变化 · 1150 · 工程科学学报，第 43 卷，第 9 期

贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1151 特点，采样2D横断层面的影像，并拼接多个时间专业标注等因素，因此样本数量非常少且高分化段影像，构建展现同一个2D层面随时间变化影像样本多样性大，因此如何在训练数据有限的情况特征的3D数据，验证DCE-MRI序列中时空融合下，权衡模型体量和模型学习能力，获得良好的分特征在HCC分化程度判别中的作用. 类性能，仍是亟待解决的问题总之，现有研究表明，病灶区域及其周围组织针对以上两个问题，本文参考自然语言处理的DCE-MRI时间和空间信息在分类问题上非常 (Natural language processing,NLP)中常用的“自注具有潜力6-].因此本文研究DCE-MRI多序列融意力”机制，结合医生临床诊断中关注不同序列和合计算方法基础上，重点探讨如何结合医生依据不同征象的经验，提出一种基于自注意力指导的疾病类别可能性重点关注几个特定序列和征象的多序列特征融合提取方法，提取多参数3D序列特临床经验，通过提出的“自注意力”计算模块，计算征基础上，学习并计算各个序列及其各个通道特输入的多个多通道3D数据对分类任务的“敏感征的全局注意力，最后利用全局自注意力加权计度”，并将其与特征提取器所提取的DCE-MRI序算多序列融合的高层语义特征，为HCC分化程度列的时空特征进行融合.充分利用DCE-MRI序列判别提供可判别特征. 的时空信息同时，建立自注意力指导的多序列融 2.2“自注意力”机制及“自注意力”模型合HCC分化判别模型. 医学影像反映器官组织在不同序列的多层横断面扫描层的病灶征象，不同成像方式所得的多 2研究内容及方法个序列通过不同的成像参数反映病灶区域的不同 2.1研究动机及方法概述信息.“自注意力”机制的引入旨在建模医生影像目前已有研究者使用肝脏CT和MRI影像进诊断中对不同序列不同的关注度，在特征提取过行分割、分类问题的算法研究9-20.但现有的学习程中计算各个输入序列对最后分类任务的注意力模型仍存在以下两个主要问题：权值，并在特征层对特征加权后进行融合.“自注 (1)传统影像机器学习方法多从单一序列影像意力”机制通过学习不同序列数据的注意力权值，技术的角度进行研究.但临床经验表明，不同序列增加对分类任务更具判别性能序列的权值，减少的影像通常反映出不同病理特征，蕴含着支持诊分类任务无关序列对结果的影响，以提升整体的断分类信息所对应的不同病灶征象，因此对最后分类效果分类任务而言，不同序列可以提供不同角度信息. 自注意力指导HCC分化判别模型网络结构如因此仅利用单一影像序列，无法做到多维度的全面图1所示，该模型结合了注意力权值计算模块、特评估，更无法关注不同序列所提供的不同的信息. 征提取模块和分类器的“自注意力”模型，输人序 (2)相对自然图像数据集而言，有标签的临床列位于图中间，并分别输入到左侧的“自注意力” 影像数据集规模较小.而带病理金标签的HCC临计算模块和右侧的特征提取模块，进行注意力权床医学影像数据集，其数据规模也受限于病例数、值计算和特征提取 ☐Input layer Fully connected layer Output layer Global average poolr Convolution layer Softma 目Category information Channel-wise product Element-wise addition 图1“自注意力”模型结构 Fig.1 Structure of the"self-attention"model “自注意力”的计算和加权主要分为4个过程. 素加(Element-wise addition),而逐元素加的结果即第一步，对输入的各个序列的特征进行逐元为用于计算各个序列对应通道对于分类任务的

特点，采样 2D 横断层面的影像，并拼接多个时间段影像，构建展现同一个 2D 层面随时间变化影像特征的 3D 数据，验证 DCE-MRI 序列中时空融合特征在 HCC 分化程度判别中的作用. 总之，现有研究表明，病灶区域及其周围组织的 DCE-MRI 时间和空间信息在分类问题上非常具有潜力[16−18] . 因此本文研究 DCE-MRI 多序列融合计算方法基础上，重点探讨如何结合医生依据疾病类别可能性重点关注几个特定序列和征象的临床经验，通过提出的“自注意力”计算模块，计算输入的多个多通道 3D 数据对分类任务的“敏感度”，并将其与特征提取器所提取的 DCE-MRI 序列的时空特征进行融合. 充分利用 DCE-MRI 序列的时空信息同时，建立自注意力指导的多序列融合 HCC 分化判别模型. 2 研究内容及方法 2.1 研究动机及方法概述目前已有研究者使用肝脏 CT 和 MRI 影像进行分割、分类问题的算法研究[19−20] ，但现有的学习模型仍存在以下两个主要问题：（1）传统影像机器学习方法多从单一序列影像技术的角度进行研究. 但临床经验表明，不同序列的影像通常反映出不同病理特征，蕴含着支持诊断分类信息所对应的不同病灶征象，因此对最后分类任务而言，不同序列可以提供不同角度信息. 因此仅利用单一影像序列，无法做到多维度的全面评估，更无法关注不同序列所提供的不同的信息. （2）相对自然图像数据集而言，有标签的临床影像数据集规模较小. 而带病理金标签的 HCC 临床医学影像数据集，其数据规模也受限于病例数、专业标注等因素，因此样本数量非常少且高分化样本多样性大. 因此如何在训练数据有限的情况下，权衡模型体量和模型学习能力，获得良好的分类性能，仍是亟待解决的问题. 针对以上两个问题，本文参考自然语言处理（Natural language processing, NLP）中常用的“自注意力”机制，结合医生临床诊断中关注不同序列和不同征象的经验，提出一种基于自注意力指导的多序列特征融合提取方法，提取多参数 3D 序列特征基础上，学习并计算各个序列及其各个通道特征的全局注意力，最后利用全局自注意力加权计算多序列融合的高层语义特征，为 HCC 分化程度判别提供可判别特征. 2.2 “自注意力”机制及“自注意力”模型医学影像反映器官组织在不同序列的多层横断面扫描层的病灶征象，不同成像方式所得的多个序列通过不同的成像参数反映病灶区域的不同信息. “自注意力”机制的引入旨在建模医生影像诊断中对不同序列不同的关注度，在特征提取过程中计算各个输入序列对最后分类任务的注意力权值，并在特征层对特征加权后进行融合. “自注意力”机制通过学习不同序列数据的注意力权值，增加对分类任务更具判别性能序列的权值，减少分类任务无关序列对结果的影响，以提升整体的分类效果. 自注意力指导 HCC 分化判别模型网络结构如图 1 所示，该模型结合了注意力权值计算模块、特征提取模块和分类器的“自注意力”模型，输入序列位于图中间，并分别输入到左侧的“自注意力” 计算模块和右侧的特征提取模块，进行注意力权值计算和特征提取. Global average pooling Softmax Input layer Fully connected layer Output layer Convolution layer Category information Channel-wise product Element-wise addition 图 1 “自注意力”模型结构 Fig.1 Structure of the "self-attention" model “自注意力”的计算和加权主要分为 4 个过程. 第一步，对输入的各个序列的特征进行逐元素加（Element-wise addition），而逐元素加的结果即为用于计算各个序列对应通道对于分类任务的贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 · 1151 ·

1152 工程科学学报，第43卷，第9期 “注意力”的特征层融合特征生组织(WHO)所制定的三分类标准和Edmonson2) 第二步，对融合的特征进行全局平均池化，即分级标准所制订的四分类标准.本文在自建的数将整个3D特征沿着通道压缩成一个1×1×C的特据集中与Baseline模型22-2)、本课题组前期所提出征，C代表整个3D特征的通道数.特征融合和全的模型和现有的几种肝细胞癌分级模型-2在局平均池化(Global average pooling)的具体过程如两个分类任务进行对比实验式(1)，其中H和W代表输入数据的尺寸，N代表从两种分类标准来看，WHO分级标准为三分输入的序列个数，F代表全局平均池化的输出，类，将HCC分化程度划分为高分化、中分化和低 F,则代表各个输入序列的对应位置的灰度值分化3种，严重程度从低到高.而Edmonson则是 N H W 将HCC分化程度划分为4个级别.分别为I、Ⅱ、Ⅱ F1= 1 F(y) (1) H. 和IV,严重程度从低到高.基于2种分类标准所划 i=l x=l y=l 分的经过数据增强所得的数据集如表1~2所示第三步，将多模态融合特征输入全连接层，引为了避免类别不均衡的问题影响模型分类效果，入非线性，添加线性整流函数(Rectified linear unit,. 本文使用了过采样的方法对两个任务的训练集进 ReLU)作为激活函数，全连接层的输出为新的行类别平衡，即对数据量较少的类别在训练过程 N个长度为C的“注意力”特征，而为了便于与各中进行随机采样，使得这个类别的数据量与数据个序列的各个通道进行注意力加权.具体过程如量最多的类别的数据量相同，从一定程度上降低式(2)，其中F2∈N×1×1×C代表输出的各个序列了数据量类别不均衡造成的影响的注意力权值，δ代表激活函数，W1和b代表全连接层的参数值和偏置值. 表1基于WHO分类标准的HCC类别数据分布 F2=6(F1×W1+b) (2) Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system 最后，用“注意力”计算模块输出的权值与输 Datasets Well Moderately Poorly 入序列经过特征提取模块得到的特征进行逐通道 Training set 56 208 54 乘(Channel-wise product),得到注意力加权融合特征 Test set 32 104 26 特征提取模块分别使用权值不同的特征提取 Total 88 312 80 器提取各个序列特征.特征提取器由卷积层 (Convolution layer))、池化层(Pool layer)和全连接表2基于Edmonson分类标准的HCC类别数据分布层(Fully-connected layer)的组合构成，在与注意力 Table 2 Augmentation results for a dataset with HCC grading under the 权值进行逐元素乘之前，为了避免破坏输入序列 Edmonson grading system 特征中各个通道的关系且方便注意力加权，设置 Datasets 0 ⅢI IV 卷积层为2D卷积.在经过了注意力加权融合之 Training set 56 120 54 后，再引入3D卷积将所得的融合特征拉伸成一维 Test set 之号 64 26 特征，以在保留语义信息的基础之上简化计算、减 Total 88 128 184 80 少网络参数量，便于最后的分类工作.最后，与注意力权值融合的多模态特征在经过由3D卷积层在损失函数方面，本文选择在分类问题中表和全连接层组成的特征提取器后得到输出特征，现较为优异的交叉嫡损失函数和在区分少量不同再将输出特征送入softmax分类器，输出HCC分类别的数据的任务中表现优异的三元组损失函化程度判别结果数.在使用验证集对模型的参数调整和结构参数 2.3模型优化、验证及实验设计选择上，对训练集使用了十折交叉验证的方法来为了优化提出的自注意力指导的学习模型，获取一个较为鲁棒的值，同时也可以防止单独划并验证模型的可行性，本文使用了三甲医院的肝分出一个验证集而进一步减少本就不充足的训练细胞癌患者的临床病例自建了肝细胞癌病灶数据集数据集，并由专业医师完成病灶区域的提取和标注.数总体的测试结果，本文使用在数据集中进行据集预处理则使用了常规的数据增强、类别均衡十次随机采样所得的训练集和测试集进行训练和等方法测试，并通过十次实验中，模型在测试集上的准确分类任务依据两大病理金标准包括两类：世界卫率(Accuracy)、召回率(Recall))、精确度(Precision)

“注意力”的特征层融合特征. 第二步，对融合的特征进行全局平均池化，即将整个 3D 特征沿着通道压缩成一个 1×1×C 的特征，C 代表整个 3D 特征的通道数. 特征融合和全局平均池化（Global average pooling）的具体过程如式（1），其中 H 和 W 代表输入数据的尺寸，N 代表输入的序列个数，F1 代表全局平均池化的输出， Fi 则代表各个输入序列的对应位置的灰度值. F1 = 1 H · W ∑ N i=1 ∑ H x=1 ∑ W y=1 Fi(x, y) （1）第三步，将多模态融合特征输入全连接层，引入非线性，添加线性整流函数（Rectified linear unit, ReLU）作为激活函数，全连接层的输出为新的 N 个长度为 C 的“注意力”特征，而为了便于与各个序列的各个通道进行注意力加权. 具体过程如式（2），其中 F2∈ N×1×1×C 代表输出的各个序列的注意力权值，δ 代表激活函数，W1 和 b 代表全连接层的参数值和偏置值. F2 = δ(F1 ×W1 +b) （2）最后，用 “注意力”计算模块输出的权值与输入序列经过特征提取模块得到的特征进行逐通道乘（Channel-wise product），得到注意力加权融合特征. 特征提取模块分别使用权值不同的特征提取器提取各个序列特征 . 特征提取器由卷积层 (Convolution layer)、池化层 (Pool layer) 和全连接层 (Fully-connected layer) 的组合构成，在与注意力权值进行逐元素乘之前，为了避免破坏输入序列特征中各个通道的关系且方便注意力加权，设置卷积层为 2D 卷积. 在经过了注意力加权融合之后，再引入 3D 卷积将所得的融合特征拉伸成一维特征，以在保留语义信息的基础之上简化计算、减少网络参数量，便于最后的分类工作. 最后，与注意力权值融合的多模态特征在经过由 3D 卷积层和全连接层组成的特征提取器后得到输出特征，再将输出特征送入 softmax 分类器，输出 HCC 分化程度判别结果. 2.3 模型优化、验证及实验设计为了优化提出的自注意力指导的学习模型，并验证模型的可行性，本文使用了三甲医院的肝细胞癌患者的临床病例自建了肝细胞癌病灶数据集，并由专业医师完成病灶区域的提取和标注. 数据集预处理则使用了常规的数据增强、类别均衡等方法. 分类任务依据两大病理金标准包括两类：世界卫生组织（WHO）所制定的三分类标准和 Edmonson[21] 分级标准所制订的四分类标准. 本文在自建的数据集中与 Baseline 模型[22−23]、本课题组前期所提出的模型[15] 和现有的几种肝细胞癌分级模型[24−25] 在两个分类任务进行对比实验. 从两种分类标准来看，WHO 分级标准为三分类，将 HCC 分化程度划分为高分化、中分化和低分化 3 种，严重程度从低到高. 而 Edmonson 则是将 HCC 分化程度划分为 4 个级别，分别为 I、II、III 和 IV，严重程度从低到高. 基于 2 种分类标准所划分的经过数据增强所得的数据集如表 1～2 所示. 为了避免类别不均衡的问题影响模型分类效果，本文使用了过采样的方法对两个任务的训练集进行类别平衡，即对数据量较少的类别在训练过程中进行随机采样，使得这个类别的数据量与数据量最多的类别的数据量相同，从一定程度上降低了数据量类别不均衡造成的影响. 表 1 基于 WHO 分类标准的 HCC 类别数据分布 Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system Datasets Well Moderately Poorly Training set 56 208 54 Test set 32 104 26 Total 88 312 80 表 2 基于 Edmonson 分类标准的 HCC 类别数据分布 Table 2 Augmentation results for a dataset with HCC grading under the Edmonson grading system Datasets I II III IV Training set 56 88 120 54 Test set 32 40 64 26 Total 88 128 184 80 在损失函数方面，本文选择在分类问题中表现较为优异的交叉熵损失函数和在区分少量不同类别的数据的任务中表现优异的三元组损失函数. 在使用验证集对模型的参数调整和结构参数选择上，对训练集使用了十折交叉验证的方法来获取一个较为鲁棒的值，同时也可以防止单独划分出一个验证集而进一步减少本就不充足的训练集数据. 总体的测试结果，本文使用在数据集中进行十次随机采样所得的训练集和测试集进行训练和测试，并通过十次实验中，模型在测试集上的准确率（Accuracy）、召回率（Recall）、精确度（Precision） · 1152 · 工程科学学报，第 43 卷，第 9 期

贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1153 和F1值的平均值和标准差作为评价标准来开展喷酸葡甲胺盐(Gd-DTPA)对比剂前、注射对比对比实验，并在此基础上，利用T-SNE图和混淆矩剂之后的第16,26,60和180s所采集的数据.所阵分析模型对类别的区分能力. 有的数据由GE3.0T750W磁共振成像系统所采集.而数据的标注工作分为标注和检验两个过 3实验及结果分析程，标注工作由拥有10a腹部影像诊断经验的放 3.1实验数据组成及数据处理射科主治医师完成，对标定完数据的验证工作由本文自建了肝细胞癌病灶数据集，总共包含拥有30a腹部影像诊断经验的放射科主任医师 60个病例，每个病例均包含2种分化程度分级标负责准的标签.数据来源于首都医科大学附属北京每个病例的5个序列的图像，经过病灶区域提友谊医院放射科，整个DCE-MRI序列总共包含取、重建和数据扩充所得的2D原始图(Raw 平扫、动脉早期、动脉晚期、门静脉期、延迟期 data)、3D重建结果(3 D reconstruction images)和数共5个序列的DCE-MRI数据，分别代表注射钆据增强结果如图2所示 Unenhanced Early arterial Late arterial Portal venous images phase phase phase Delay phase 3D reconstruction images 2D raw data Portal venous phase Unenhanced images Origin 90 80 270° Random left-Transpose Transpose*Random up- right flip down filp 图25个增强序列的2D影像与3D建模、2D原始数据及数据增强结果展示 Fig.2 Five enhanced sequences of 3D reconstruction,2D raw data,and the corresponding data augmentation results 数据集按照2：1划分为训练集和测试集，针在WHO分级标准和Edmonson分级标准上的对数据集病例数目不足，本文采用了较为常用，对比实验结果如表3~4所示，表中数据表示“自的几何变换的方法，对划分好的训练集数据进行注意力”模型和上述4个模型在三分类和四分类扩充.几何变换的方法包括：旋转、翻转(FIp)和任务上10次实验的准确率、召回率、精确度和转置(Transpose),几何变换之后训练集数据的数量 F1值的平均值和标准差，而由于这2个任务都是为原来的8倍.因此在使用数据增强方法进行扩多分类问题，因此本文采用的是4个指标的多分充后，数据集的体量为480例，其中增强所得的数类计算方式，即每次把一类作为正类的时候，其他据仅用于训练过程类均算为负类 3.2HCC三分类和四分类对比实验从两个表中的结果可以看出，“自注意力”模为了验证所提出的模态“自注意力”机制及型在两个分类任务中，4项参数均比其他4个模型 “自注意力”模型对HCC分类性能的表现，设计了有所提升.这无疑验证了本文提出的“自注意力” 与前人工作中常用于医学影像分类任务的模型，机制的有效性，也说明了计算和利用各个序列对如ResNet2!m、3DSE-ResNet!2)、MCF-3 DCNNS和分类任务的重要程度是远比各个序列的直接融合 3DSE-DenseNet!24个模型的在自建数据集上的重要的对比实验.评价标准如下文所述，为4项参数10次 3.3T-SNE和混淆矩阵分类性能分析实验的平均值和标准差为了分析模型对三分类和四分类中各个类别

和 F1 值的平均值和标准差作为评价标准来开展对比实验，并在此基础上，利用 T-SNE 图和混淆矩阵分析模型对类别的区分能力. 3 实验及结果分析 3.1 实验数据组成及数据处理本文自建了肝细胞癌病灶数据集，总共包含 60 个病例，每个病例均包含 2 种分化程度分级标准的标签. 数据来源于首都医科大学附属北京友谊医院放射科，整个 DCE-MRI 序列总共包含平扫、动脉早期、动脉晚期、门静脉期、延迟期共 5 个序列的 DCE-MRI 数据，分别代表注射钆喷酸葡甲胺盐（ Gd-DTPA）对比剂前、注射对比剂之后的第 16，26，60 和 180 s 所采集的数据. 所有的数据由 GE 3.0T 750W 磁共振成像系统所采集. 而数据的标注工作分为标注和检验两个过程，标注工作由拥有 10 a 腹部影像诊断经验的放射科主治医师完成，对标定完数据的验证工作由拥有 30 a 腹部影像诊断经验的放射科主任医师负责. 每个病例的 5 个序列的图像，经过病灶区域提取、重建和数据扩充所得的 2D 原始图 (Raw data)、3D 重建结果 (3D reconstruction images) 和数据增强结果如图 2 所示. Unenhanced images Early arterial phase Late arterial phase Portal venous phase Delay phase 3D reconstruction images 2D raw data Portal venous phase Unenhanced images Origin Random leftright flip Transpose Transpose* Random updown filp 90° 180° 270° 图 2 5 个增强序列的 2D 影像与 3D 建模、2D 原始数据及数据增强结果展示 Fig.2 Five enhanced sequences of 3D reconstruction, 2D raw data, and the corresponding data augmentation results 数据集按照 2∶1 划分为训练集和测试集，针对数据集病例数目不足，本文采用了较为常用[11,15] 的几何变换的方法，对划分好的训练集数据进行扩充. 几何变换的方法包括：旋转、翻转 (Flip) 和转置 (Transpose)，几何变换之后训练集数据的数量为原来的 8 倍. 因此在使用数据增强方法进行扩充后，数据集的体量为 480 例，其中增强所得的数据仅用于训练过程. 3.2 HCC 三分类和四分类对比实验为了验证所提出的模态“自注意力”机制及 “自注意力”模型对 HCC 分类性能的表现，设计了与前人工作中常用于医学影像分类任务的模型，如 ResNet[22]、 3D SE-ResNet[23]、 MCF-3DCNN[15] 和 3D SE-DenseNet[24] 4 个模型的在自建数据集上的对比实验. 评价标准如下文所述，为 4 项参数 10 次实验的平均值和标准差. 在 WHO 分级标准和 Edmonson 分级标准上的对比实验结果如表 3～4 所示，表中数据表示“自注意力”模型和上述 4 个模型在三分类和四分类任务上 10 次实验的准确率、召回率、精确度和 F1 值的平均值和标准差，而由于这 2 个任务都是多分类问题，因此本文采用的是 4 个指标的多分类计算方式，即每次把一类作为正类的时候，其他类均算为负类. 从两个表中的结果可以看出，“自注意力”模型在两个分类任务中，4 项参数均比其他 4 个模型有所提升. 这无疑验证了本文提出的“自注意力” 机制的有效性，也说明了计算和利用各个序列对分类任务的重要程度是远比各个序列的直接融合重要的. 3.3 T-SNE 和混淆矩阵分类性能分析为了分析模型对三分类和四分类中各个类别贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 · 1153 ·

.1154 工程科学学报，第43卷，第9期表3基于WHO分类标准的对比实验 Table 3 Detailed comparison of experimental results on the test set under the WHO grading standard Model Accuracy Recall Precision F1-score Our method 0.8021±0.0478 0.8231±0.0404 0.8215±0.0537 0.8221±0.0477 MCF-3DCNNSI 0.7188±0.0405 0.6667±0.0195 0.7874±0.0416 0.7014±0.0337 3D ResNet2 0.7312±0.0627 0.7353±0.0557 0.7762±0.0443 0.7613±0.0537 3D SE-ResNet 0.7453±0.0675 0.7342±0.0755 0.7627±0.0732 0.7665±0.0675 3D SE-DenseNet24 0.7854±0.0445 0.7923±0.0638 0.8117±0.0417 0.7913±0.0576 表4 基于Edmonson分类标准的对比实验 Table 4 Detailed comparison of experimental results on the test set under the Edmonson grading standard Model Accuracy Recall Precision F1-score Our method 0.7734±0.0318 0.7889±0.0412 0.8089±0.0416 0.7896±0.0225 MCF-3DCNN5I 0.6322±0.0522 0.5482±0.1338 0.6424±0.0657 0.6431±0.0824 3 DResNet2!四 0.7037±0.0731 0.7229±0.0442 0.7404±0.0421 0.7203±0.0336 3D SE-ResNet 0.7108±0.0644 0.7492±0.0531 0.7637±0.0788 0.7566±0.0631 3D SE-DenseNet 0.7227±0.0341 0.7762±0.0426 0.7738±0.0446 0.7876±0.0512 的区分能力，使用了模型训练前后特征空间的T 力”模型在HCC三分类和四分类任务中模型在训 SNE图和在测试集上的混淆矩阵来直观的测模型练前后的嵌人空间的二维映射，从图中可以看出，的分类能力，T-SNE图和混淆矩阵如图3所示，其两个任务在训练之前，各类数据的特征点在二维中3(a)、3(b)、3(d)和3(e)所示分别为“自注意嵌入空间中是混杂在一起，难以找到清晰的分类 0(a .Poorly (b)●Poorly (c) Confusion matrix Numbers 2 Moderately·it& ■6U -0.1 ●Moderately .Well Well Poorly 42 22 50 0.2 -0.3 0 d 40 -0.4 Moderately 48 12 30 -0.5 -0.6 well 0 0 -0.7 0 -0.8 Poorly Moderately Well 0.3-0.2-0.10 Predicted label 0.1 0.2 0.3 -2 -1 0 2 3 Length/m Length/m 6 Confusion matrix Numbers o[(d) (e) (① 50 eⅡ 4 I 53 6 ◆Ⅲ -0. .IV 40 -0.2 参】 0 44 20 0 30 -0.3 0 0 0 即 16 20 -0.4 10 0 11 0 53 -0.5 0 IV 00.10.20.30.40.50.60.7 0 2 Predicted label Length/m Length/m 图3HCC三分类和四分类任务中“自注意力"模型的embedding space和混淆矩阵.(a)三分类任务训练前的特征空间：(b)三分类任务训练后的特征空间：(c)三分类任务的混淆矩阵：()四分类任务训练前的特征空间：(e)四分类任务训练后的特征空间：()四分类任务的混淆矩阵 Fig.3 Feature distributions at the embedding space before and after training and the corresponding confusion matrix of the WHO and Edmonson classification tasks:(a)feature space of the model in three classification tasks before training:(b)feature space of the model in three classification tasks after training;(c)confusion matrix in three classification tasks;(d)feature space of the model in four classification tasks before training.(e)feature space of the model in four classification tasks after training;and (f)confusion matrix in four classification tasks

的区分能力，使用了模型训练前后特征空间的 TSNE 图和在测试集上的混淆矩阵来直观的测模型的分类能力，T-SNE 图和混淆矩阵如图 3 所示，其中 3（a）、3（b）、3（d）和 3（e）所示分别为“自注意力”模型在 HCC 三分类和四分类任务中模型在训练前后的嵌入空间的二维映射，从图中可以看出，两个任务在训练之前，各类数据的特征点在二维嵌入空间中是混杂在一起，难以找到清晰的分类表 3 基于 WHO 分类标准的对比实验 Table 3 Detailed comparison of experimental results on the test set under the WHO grading standard Model Accuracy Recall Precision F1-score Our method 0.8021±0.0478 0.8231±0.0404 0.8215±0.0537 0.8221±0.0477 MCF-3DCNN[15] 0.7188±0.0405 0.6667±0.0195 0.7874±0.0416 0.7014±0.0337 3D ResNet[22] 0.7312±0.0627 0.7353±0.0557 0.7762±0.0443 0.7613±0.0537 3D SE-ResNet[23] 0.7453±0.0675 0.7342±0.0755 0.7627±0.0732 0.7665±0.0675 3D SE-DenseNet[24] 0.7854±0.0445 0.7923±0.0638 0.8117±0.0417 0.7913±0.0576 表 4 基于 Edmonson 分类标准的对比实验 Table 4 Detailed comparison of experimental results on the test set under the Edmonson grading standard Model Accuracy Recall Precision F1-score Our method 0.7734±0.0318 0.7889±0.0412 0.8089±0.0416 0.7896±0.0225 MCF-3DCNN[15] 0.6322±0.0522 0.5482±0.1338 0.6424±0.0657 0.6431±0.0824 3D ResNet[22] 0.7037±0.0731 0.7229±0.0442 0.7404±0.0421 0.7203±0.0336 3D SE-ResNet[23] 0.7108±0.0644 0.7492±0.0531 0.7637±0.0788 0.7566±0.0631 3D SE-DenseNet[24] 0.7227±0.0341 0.7762±0.0426 0.7738±0.0446 0.7876±0.0512 0 −0.1 −0.2 −0.3 0 −1 1 −2 2 −3 −0.3 0.3 −0.2 0.2 −0.1 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 −0.4 −0.5 −0.6 −0.7 −0.8 0 −0.1 −0.2 −0.3 −0.4 −0.5 2 0 4 −2 6 −4 −2 2 3 −1 1 0 −1 1 2 0 Length/m Length/m Length/m Length/m Length/m I II III IV Length/m Length/m Length/m (a) (b) (d) (e) (c) (f) Poorly Moderately Well Poorly Moderately Ture label Well Poorly Moderately Well Confusion matrix Numbers 60 50 40 30 20 10 0 Confusion matrix Numbers True label 50 40 30 20 10 0 Predicted label I II III IV I II III IV Predicted label 42 22 0 53 6 5 0 0 44 20 0 0 0 48 16 0 11 0 53 4 48 12 0 4 60 Poorly Moderately Well I II III IV 图 3 HCC 三分类和四分类任务中“自注意力”模型的 embedding space 和混淆矩阵. （a）三分类任务训练前的特征空间；（b）三分类任务训练后的特征空间；（c）三分类任务的混淆矩阵；（d）四分类任务训练前的特征空间；（e）四分类任务训练后的特征空间；（f）四分类任务的混淆矩阵 Fig.3 Feature distributions at the embedding space before and after training and the corresponding confusion matrix of the WHO and Edmonson classification tasks: (a) feature space of the model in three classification tasks before training; (b) feature space of the model in three classification tasks after training; (c) confusion matrix in three classification tasks; (d) feature space of the model in four classification tasks before training; (e) feature space of the model in four classification tasks after training; and (f) confusion matrix in four classification tasks · 1154 · 工程科学学报，第 43 卷，第 9 期

贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1155 边界.而在经过模型训练之后，三分类和四分类任 EBioMedicine,2019,44:209 务中不同类别数据的特征点的平均距离明显得到 [5]Shioga T.Kondo R.Ogasawara S,et al.Usefulness of tumor tissue 了提升，这也使得分类器易于找到各个类别边界， biopsy for predicting the biological behavior of hepatocellular carcinoma.Anticancer Res,2020,40(7):4105 从而提升分类的准确性.图3(c)和3(f)则分别代 [6] Parr RL,Mills J,Harbottle A,et al.Mitochondria,prostate cancer, 表了模型在两个分类任务的测试集中测试结果的 and biopsy sampling error.Discov Med,2013,25:15(83):213 混淆矩阵.从混淆矩阵可以看出“自注意力”模型 [7]Henken K,Van Gerwen D,Dankelman J,et al.Accuracy of needle 更擅长于区分高分化与低分化、中分化的HCC, position measurements using fiber Bragg gratings.Minim Imasive 中分化(Moderately,IⅡ，II)分类效果不理想，低分 Ther Allied Technol,2012,21(6):408 化判别性能差.该结果与医生判别经验一致，临床 [8] Li J Z,Xue F,Xu X H,et al.Dynamic contrast enhanced MRI 诊断过程亦存在中分化和低分化的特异度低于高 differentiates hepatocellular carcinoma from hepatic metastasis of rectal cancer by extracting pharmacokinetic parameters and 分化的现象，因为HCC随恶性程度高，病变样本 radiomic features.Exp Ther Med,2020,20(4):3643 纹理等征象更复杂，判别难度增加 [9] Kaissis G A,Lohofer F K,Horl M,et al.Combined DCE-MRI- 总之，实验结果表明所提出模型对于样本差 and FDG-PET enable histopathological grading prediction in a rat 异大的高分化HCC更为敏感，取得相较更好的效 model of hepatocellular carcinoma.Eur J Radiol,2020,124: 果，在后续研究中，针对特征提取难点，一方面考 108848 虑提升训练数据数量级，另一方面考虑解决模型 [10]Khalifa F.Soliman A.El-Baz A,et al.Models and methods for analyzing DCE-MRI:A review.Med Plnys,2014,41(12):124301 在分类能力上具有类别偏向性的问题 [11]Yang D W,Jia X B,Xiao Y J,et al.Noninvasive evaluation of the 4结论 pathologic grade of hepatocellular carcinoma using MCF-3DCNN: A pilot study.Biomed Res Int,2019:9783106 (1)提出了一种基于DCE-MRI序列和“自注 [12]Chernyak V,Fowler K J,Kamaya A,et al.Liver imaging reporting 意力”机制的HCC分化程度判别模型，通过计算 and data system (LI-RADS)version 2018:Imaging of DCE-MRI序列中各个增强序列对最终分类任务的 hepatocellular carcinoma in at-risk patients.Radiology.2018. “注意力”并将其与特征提取器所提取的序列时空 289(3):816 [13]Suk HI,Lee S W,Shen DG.Hierarchical feature representation 特征进行特征层融合以补充语义信息.通过与 and multimodal fusion with deep leaming for AD/MCI diagnosis. 4个现有工作的对比实验，验证了所提出的“自注 Neurolmage,2014,101:569 意力”机制和“自注意力”模型的有效性 [14]Wang Q Y,Que D S.Staging of hepatocellular carcinoma using (2)本文所提出的方法提供了一种有潜力充 deep feature in contrast-enhanced MR images/nd International 分利用多序列输入所蕴含的信息的特征提取机 Conference on Computer Engineering,Information Science& 制，为多模态融合和多序列融合提供了一种潜在 Application Technology (ICCIA 2017).Wuhan,2016:186 的可行的融合机制 [15]Jia X B,Xiao Y J,Yang D W,et al.Temporal-spatial feature learning of dynamic contrast enhanced-MR images via 3D 参考文献 convolutional neural networks//Chinese Conference on Image and Graphics Technologies.Singapore,2018:380 [1]Yang J D,Hainaut P,Gores G J,et al.A global view of [16]Jia X B,Xiao Y J,Yang D W,et al.Multi-parametric MRIs based hepatocellular carcinoma:trends,risk,prevention and assessment of Hepatocellular Carcinoma Differentiation with management.Nat Rev Gastroenterol Hepatol,2019,16(10):589 Multi-scale ResNet.TIIS,2019,13(10):5179 [2]Jiang Y,Sun A H,Zhao Y,et al.Proteomics identifies new [17]Antropova N,Huynh B Q,Giger M L.A deep feature fusion therapeutic targets of early-stage hepatocellular carcinoma.Nature. methodology for breast cancer diagnosis demonstrated on three 2019,567(7747):257 imaging modality datasets.Med Plys,2017,44(10):5162 [3]Lin H X,Wei C,Wang G X,et al.Automated classification of [18]Hu Q Y,Whitney H M,Giger M L.A deep learning methodology hepatocellular carcinoma differentiation using multiphoton for improved breast cancer diagnosis using multiparametric MRI. microscopy and deep learning.J Biophoto,2019,12(7): Sci Rep,2020,10:10536 e201800435 [19]Zhang T H,Fan S L,Guo XX,et al.Intelligent medical assistant [4]Jimenez H,Wang M H,Zimmerman J W,et al.Tumour-specific diagnosis method based on data fusion.Chin/Eng,doi amplitude-modulated radiofrequency electromagnetic fields induce 10.13374f.issn2095-9389.2021.01.12.003 differentiation of hepatocellular carcinoma via targeting Ca,3.2 (张桃红，范素丽，郭徐徐，等.基于数据融合的智能医疗辅助诊 T-type voltage-gated calcium channels and Ca2 influx. 断方法.工程科学学报，doi:10.13374issn2095-9389.2021.01

边界. 而在经过模型训练之后，三分类和四分类任务中不同类别数据的特征点的平均距离明显得到了提升，这也使得分类器易于找到各个类别边界，从而提升分类的准确性. 图 3（c）和 3（f）则分别代表了模型在两个分类任务的测试集中测试结果的混淆矩阵. 从混淆矩阵可以看出“自注意力”模型更擅长于区分高分化与低分化、中分化的 HCC，中分化（Moderately, II, III）分类效果不理想，低分化判别性能差. 该结果与医生判别经验一致，临床诊断过程亦存在中分化和低分化的特异度低于高分化的现象，因为 HCC 随恶性程度高，病变样本纹理等征象更复杂，判别难度增加. 总之，实验结果表明所提出模型对于样本差异大的高分化 HCC 更为敏感，取得相较更好的效果，在后续研究中，针对特征提取难点，一方面考虑提升训练数据数量级，另一方面考虑解决模型在分类能力上具有类别偏向性的问题. 4 结论（1）提出了一种基于 DCE-MRI 序列和“自注意力”机制的 HCC 分化程度判别模型，通过计算 DCE-MRI 序列中各个增强序列对最终分类任务的 “注意力”并将其与特征提取器所提取的序列时空特征进行特征层融合以补充语义信息. 通过与 4 个现有工作的对比实验，验证了所提出的“自注意力”机制和“自注意力”模型的有效性. （2）本文所提出的方法提供了一种有潜力充分利用多序列输入所蕴含的信息的特征提取机制，为多模态融合和多序列融合提供了一种潜在的可行的融合机制. 参考文献 Yang J D, Hainaut P, Gores G J, et al. A global view of hepatocellular carcinoma: trends, risk, prevention and management. Nat Rev Gastroenterol Hepatol, 2019, 16（10）: 589 [1] Jiang Y, Sun A H, Zhao Y, et al. Proteomics identifies new therapeutic targets of early-stage hepatocellular carcinoma. Nature, 2019, 567（7747）: 257 [2] Lin H X, Wei C, Wang G X, et al. Automated classification of hepatocellular carcinoma differentiation using multiphoton microscopy and deep learning. J Biophoto, 2019, 12（7）: e201800435 [3] Jimenez H, Wang M H, Zimmerman J W, et al. Tumour-specific amplitude-modulated radiofrequency electromagnetic fields induce differentiation of hepatocellular carcinoma via targeting Cav3.2 T-type voltage-gated calcium channels and Ca2+ influx. [4] EBioMedicine, 2019, 44: 209 Shioga T, Kondo R, Ogasawara S, et al. Usefulness of tumor tissue biopsy for predicting the biological behavior of hepatocellular carcinoma. Anticancer Res, 2020, 40（7）: 4105 [5] Parr R L, Mills J, Harbottle A, et al. Mitochondria, prostate cancer, and biopsy sampling error. Discov Med, 2013, 25;15（83）: 213 [6] Henken K, Van Gerwen D, Dankelman J, et al. Accuracy of needle position measurements using fiber Bragg gratings. Minim Invasive Ther Allied Technol, 2012, 21（6）: 408 [7] Li J Z, Xue F, Xu X H, et al. Dynamic contrast enhanced MRI differentiates hepatocellular carcinoma from hepatic metastasis of rectal cancer by extracting pharmacokinetic parameters and radiomic features. Exp Ther Med, 2020, 20（4）: 3643 [8] Kaissis G A, Lohöfer F K, Hörl M, et al. Combined DCE-MRIand FDG-PET enable histopathological grading prediction in a rat model of hepatocellular carcinoma. Eur J Radiol, 2020, 124: 108848 [9] Khalifa F, Soliman A, El-Baz A, et al. Models and methods for analyzing DCE-MRI: A review. Med Phys, 2014, 41（12）: 124301 [10] Yang D W, Jia X B, Xiao Y J, et al. Noninvasive evaluation of the pathologic grade of hepatocellular carcinoma using MCF-3DCNN: A pilot study. Biomed Res Int, 2019: 9783106 [11] Chernyak V, Fowler K J, Kamaya A, et al. Liver imaging reporting and data system (LI-RADS) version 2018: Imaging of hepatocellular carcinoma in at-risk patients. Radiology, 2018, 289（3）: 816 [12] Suk H I, Lee S W, Shen D G. Hierarchical feature representation and multimodal fusion with deep learning for AD/MCI diagnosis. NeuroImage, 2014, 101: 569 [13] Wang Q Y, Que D S. Staging of hepatocellular carcinoma using deep feature in contrast-enhanced MR images//2nd International Conference on Computer Engineering, Information Science & Application Technology (ICCIA 2017). Wuhan, 2016: 186 [14] Jia X B, Xiao Y J, Yang D W, et al. Temporal-spatial feature learning of dynamic contrast enhanced-MR images via 3D convolutional neural networks//Chinese Conference on Image and Graphics Technologies. Singapore, 2018: 380 [15] Jia X B, Xiao Y J, Yang D W, et al. Multi-parametric MRIs based assessment of Hepatocellular Carcinoma Differentiation with Multi-scale ResNet. TIIS, 2019, 13（10）: 5179 [16] Antropova N, Huynh B Q, Giger M L. A deep feature fusion methodology for breast cancer diagnosis demonstrated on three imaging modality datasets. Med Phys, 2017, 44（10）: 5162 [17] Hu Q Y, Whitney H M, Giger M L. A deep learning methodology for improved breast cancer diagnosis using multiparametric MRI. Sci Rep, 2020, 10: 10536 [18] Zhang T H, Fan S L, Guo X X, et al. Intelligent medical assistant diagnosis method based on data fusion. Chin J Eng, doi: 10.13374/j.issn2095-9389.2021.01.12.003 （张桃红, 范素丽, 郭徐徐, 等. 基于数据融合的智能医疗辅助诊断方法. 工程科学学报, doi: 10.13374/j.issn2095-9389.2021.01. [19] 贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 · 1155 ·