贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1151 特点，采样2D横断层面的影像，并拼接多个时间 专业标注等因素，因此样本数量非常少且高分化 段影像，构建展现同一个2D层面随时间变化影像 样本多样性大，因此如何在训练数据有限的情况 特征的3D数据，验证DCE-MRI序列中时空融合 下，权衡模型体量和模型学习能力，获得良好的分 特征在HCC分化程度判别中的作用. 类性能，仍是亟待解决的问题 总之，现有研究表明，病灶区域及其周围组织 针对以上两个问题，本文参考自然语言处理 的DCE-MRI时间和空间信息在分类问题上非常 (Natural language processing,NLP)中常用的“自注 具有潜力6-].因此本文研究DCE-MRI多序列融 意力”机制，结合医生临床诊断中关注不同序列和 合计算方法基础上，重点探讨如何结合医生依据 不同征象的经验，提出一种基于自注意力指导的 疾病类别可能性重点关注几个特定序列和征象的 多序列特征融合提取方法，提取多参数3D序列特 临床经验，通过提出的“自注意力”计算模块，计算 征基础上，学习并计算各个序列及其各个通道特 输入的多个多通道3D数据对分类任务的“敏感 征的全局注意力，最后利用全局自注意力加权计 度”，并将其与特征提取器所提取的DCE-MRI序 算多序列融合的高层语义特征，为HCC分化程度 列的时空特征进行融合.充分利用DCE-MRI序列 判别提供可判别特征. 的时空信息同时，建立自注意力指导的多序列融 2.2“自注意力”机制及“自注意力”模型 合HCC分化判别模型. 医学影像反映器官组织在不同序列的多层横 断面扫描层的病灶征象，不同成像方式所得的多 2研究内容及方法 个序列通过不同的成像参数反映病灶区域的不同 2.1研究动机及方法概述 信息.“自注意力”机制的引入旨在建模医生影像 目前已有研究者使用肝脏CT和MRI影像进 诊断中对不同序列不同的关注度，在特征提取过 行分割、分类问题的算法研究9-20.但现有的学习 程中计算各个输入序列对最后分类任务的注意力 模型仍存在以下两个主要问题： 权值，并在特征层对特征加权后进行融合.“自注 (1)传统影像机器学习方法多从单一序列影像 意力”机制通过学习不同序列数据的注意力权值， 技术的角度进行研究.但临床经验表明，不同序列 增加对分类任务更具判别性能序列的权值，减少 的影像通常反映出不同病理特征，蕴含着支持诊 分类任务无关序列对结果的影响，以提升整体的 断分类信息所对应的不同病灶征象，因此对最后 分类效果 分类任务而言，不同序列可以提供不同角度信息. 自注意力指导HCC分化判别模型网络结构如 因此仅利用单一影像序列，无法做到多维度的全面 图1所示，该模型结合了注意力权值计算模块、特 评估，更无法关注不同序列所提供的不同的信息. 征提取模块和分类器的“自注意力”模型，输人序 (2)相对自然图像数据集而言，有标签的临床 列位于图中间，并分别输入到左侧的“自注意力” 影像数据集规模较小.而带病理金标签的HCC临 计算模块和右侧的特征提取模块，进行注意力权 床医学影像数据集，其数据规模也受限于病例数、 值计算和特征提取 ☐Input layer Fully connected layer Output layer Global average poolr Convolution layer Softma 目Category information Channel-wise product Element-wise addition 图1“自注意力”模型结构 Fig.1 Structure of the"self-attention"model “自注意力”的计算和加权主要分为4个过程. 素加(Element-wise addition),而逐元素加的结果即 第一步，对输入的各个序列的特征进行逐元 为用于计算各个序列对应通道对于分类任务的特点，采样 2D 横断层面的影像，并拼接多个时间 段影像，构建展现同一个 2D 层面随时间变化影像 特征的 3D 数据，验证 DCE-MRI 序列中时空融合 特征在 HCC 分化程度判别中的作用. 总之，现有研究表明，病灶区域及其周围组织 的 DCE-MRI 时间和空间信息在分类问题上非常 具有潜力[16−18] . 因此本文研究 DCE-MRI 多序列融 合计算方法基础上，重点探讨如何结合医生依据 疾病类别可能性重点关注几个特定序列和征象的 临床经验，通过提出的“自注意力”计算模块，计算 输入的多个多通道 3D 数据对分类任务的“敏感 度”，并将其与特征提取器所提取的 DCE-MRI 序 列的时空特征进行融合. 充分利用 DCE-MRI 序列 的时空信息同时，建立自注意力指导的多序列融 合 HCC 分化判别模型. 2    研究内容及方法 2.1    研究动机及方法概述 目前已有研究者使用肝脏 CT 和 MRI 影像进 行分割、分类问题的算法研究[19−20] ，但现有的学习 模型仍存在以下两个主要问题： （1）传统影像机器学习方法多从单一序列影像 技术的角度进行研究. 但临床经验表明，不同序列 的影像通常反映出不同病理特征，蕴含着支持诊 断分类信息所对应的不同病灶征象，因此对最后 分类任务而言，不同序列可以提供不同角度信息. 因此仅利用单一影像序列，无法做到多维度的全面 评估，更无法关注不同序列所提供的不同的信息. （2）相对自然图像数据集而言，有标签的临床 影像数据集规模较小. 而带病理金标签的 HCC 临 床医学影像数据集，其数据规模也受限于病例数、 专业标注等因素，因此样本数量非常少且高分化 样本多样性大. 因此如何在训练数据有限的情况 下，权衡模型体量和模型学习能力，获得良好的分 类性能，仍是亟待解决的问题. 针对以上两个问题，本文参考自然语言处理 （Natural language processing, NLP）中常用的“自注 意力”机制，结合医生临床诊断中关注不同序列和 不同征象的经验，提出一种基于自注意力指导的 多序列特征融合提取方法，提取多参数 3D 序列特 征基础上，学习并计算各个序列及其各个通道特 征的全局注意力，最后利用全局自注意力加权计 算多序列融合的高层语义特征，为 HCC 分化程度 判别提供可判别特征. 2.2    “自注意力”机制及“自注意力”模型 医学影像反映器官组织在不同序列的多层横 断面扫描层的病灶征象，不同成像方式所得的多 个序列通过不同的成像参数反映病灶区域的不同 信息. “自注意力”机制的引入旨在建模医生影像 诊断中对不同序列不同的关注度，在特征提取过 程中计算各个输入序列对最后分类任务的注意力 权值，并在特征层对特征加权后进行融合. “自注 意力”机制通过学习不同序列数据的注意力权值， 增加对分类任务更具判别性能序列的权值，减少 分类任务无关序列对结果的影响，以提升整体的 分类效果. 自注意力指导 HCC 分化判别模型网络结构如 图 1 所示，该模型结合了注意力权值计算模块、特 征提取模块和分类器的“自注意力”模型，输入序 列位于图中间，并分别输入到左侧的“自注意力” 计算模块和右侧的特征提取模块，进行注意力权 值计算和特征提取. Global average pooling Softmax Input layer Fully connected layer Output layer Convolution layer Category information Channel-wise product Element-wise addition 图 1    “自注意力”模型结构 Fig.1    Structure of the "self-attention" model “自注意力”的计算和加权主要分为 4 个过程. 第一步，对输入的各个序列的特征进行逐元 素加（Element-wise addition），而逐元素加的结果即 为用于计算各个序列对应通道对于分类任务的 贾熹滨等： 自注意力指导的多序列融合肝细胞癌分化判别模型 · 1151 ·