贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1155 边界.而在经过模型训练之后，三分类和四分类任 EBioMedicine,2019,44:209 务中不同类别数据的特征点的平均距离明显得到 [5]Shioga T.Kondo R.Ogasawara S,et al.Usefulness of tumor tissue 了提升，这也使得分类器易于找到各个类别边界， biopsy for predicting the biological behavior of hepatocellular carcinoma.Anticancer Res,2020,40(7):4105 从而提升分类的准确性.图3(c)和3(f)则分别代 [6] Parr RL,Mills J,Harbottle A,et al.Mitochondria,prostate cancer, 表了模型在两个分类任务的测试集中测试结果的 and biopsy sampling error.Discov Med,2013,25:15(83):213 混淆矩阵.从混淆矩阵可以看出“自注意力”模型 [7]Henken K,Van Gerwen D,Dankelman J,et al.Accuracy of needle 更擅长于区分高分化与低分化、中分化的HCC, position measurements using fiber Bragg gratings.Minim Imasive 中分化(Moderately,IⅡ，II)分类效果不理想，低分 Ther Allied Technol,2012,21(6):408 化判别性能差.该结果与医生判别经验一致，临床 [8] Li J Z,Xue F,Xu X H,et al.Dynamic contrast enhanced MRI 诊断过程亦存在中分化和低分化的特异度低于高 differentiates hepatocellular carcinoma from hepatic metastasis of rectal cancer by extracting pharmacokinetic parameters and 分化的现象，因为HCC随恶性程度高，病变样本 radiomic features.Exp Ther Med,2020,20(4):3643 纹理等征象更复杂，判别难度增加 [9] Kaissis G A,Lohofer F K,Horl M,et al.Combined DCE-MRI- 总之，实验结果表明所提出模型对于样本差 and FDG-PET enable histopathological grading prediction in a rat 异大的高分化HCC更为敏感，取得相较更好的效 model of hepatocellular carcinoma.Eur J Radiol,2020,124: 果，在后续研究中，针对特征提取难点，一方面考 108848 虑提升训练数据数量级，另一方面考虑解决模型 [10]Khalifa F.Soliman A.El-Baz A,et al.Models and methods for analyzing DCE-MRI:A review.Med Plnys,2014,41(12):124301 在分类能力上具有类别偏向性的问题 [11]Yang D W,Jia X B,Xiao Y J,et al.Noninvasive evaluation of the 4结论 pathologic grade of hepatocellular carcinoma using MCF-3DCNN: A pilot study.Biomed Res Int,2019:9783106 (1)提出了一种基于DCE-MRI序列和“自注 [12]Chernyak V,Fowler K J,Kamaya A,et al.Liver imaging reporting 意力”机制的HCC分化程度判别模型，通过计算 and data system (LI-RADS)version 2018:Imaging of DCE-MRI序列中各个增强序列对最终分类任务的 hepatocellular carcinoma in at-risk patients.Radiology.2018. “注意力”并将其与特征提取器所提取的序列时空 289(3):816 [13]Suk HI,Lee S W,Shen DG.Hierarchical feature representation 特征进行特征层融合以补充语义信息.通过与 and multimodal fusion with deep leaming for AD/MCI diagnosis. 4个现有工作的对比实验，验证了所提出的“自注 Neurolmage,2014,101:569 意力”机制和“自注意力”模型的有效性 [14]Wang Q Y,Que D S.Staging of hepatocellular carcinoma using (2)本文所提出的方法提供了一种有潜力充 deep feature in contrast-enhanced MR images/nd International 分利用多序列输入所蕴含的信息的特征提取机 Conference on Computer Engineering,Information Science& 制，为多模态融合和多序列融合提供了一种潜在 Application Technology (ICCIA 2017).Wuhan,2016:186 的可行的融合机制 [15]Jia X B,Xiao Y J,Yang D W,et al.Temporal-spatial feature learning of dynamic contrast enhanced-MR images via 3D 参考文献 convolutional neural networks//Chinese Conference on Image and Graphics Technologies.Singapore,2018:380 [1]Yang J D,Hainaut P,Gores G J,et al.A global view of [16]Jia X B,Xiao Y J,Yang D W,et al.Multi-parametric MRIs based hepatocellular carcinoma:trends,risk,prevention and assessment of Hepatocellular Carcinoma Differentiation with management.Nat Rev Gastroenterol Hepatol,2019,16(10):589 Multi-scale ResNet.TIIS,2019,13(10):5179 [2]Jiang Y,Sun A H,Zhao Y,et al.Proteomics identifies new [17]Antropova N,Huynh B Q,Giger M L.A deep feature fusion therapeutic targets of early-stage hepatocellular carcinoma.Nature. methodology for breast cancer diagnosis demonstrated on three 2019,567(7747):257 imaging modality datasets.Med Plys,2017,44(10):5162 [3]Lin H X,Wei C,Wang G X,et al.Automated classification of [18]Hu Q Y,Whitney H M,Giger M L.A deep learning methodology hepatocellular carcinoma differentiation using multiphoton for improved breast cancer diagnosis using multiparametric MRI. microscopy and deep learning.J Biophoto,2019,12(7): Sci Rep,2020,10:10536 e201800435 [19]Zhang T H,Fan S L,Guo XX,et al.Intelligent medical assistant [4]Jimenez H,Wang M H,Zimmerman J W,et al.Tumour-specific diagnosis method based on data fusion.Chin/Eng,doi amplitude-modulated radiofrequency electromagnetic fields induce 10.13374f.issn2095-9389.2021.01.12.003 differentiation of hepatocellular carcinoma via targeting Ca,3.2 (张桃红，范素丽，郭徐徐，等.基于数据融合的智能医疗辅助诊 T-type voltage-gated calcium channels and Ca2 influx. 断方法.工程科学学报，doi:10.13374issn2095-9389.2021.01.边界. 而在经过模型训练之后，三分类和四分类任 务中不同类别数据的特征点的平均距离明显得到 了提升，这也使得分类器易于找到各个类别边界， 从而提升分类的准确性. 图 3（c）和 3（f）则分别代 表了模型在两个分类任务的测试集中测试结果的 混淆矩阵. 从混淆矩阵可以看出“自注意力”模型 更擅长于区分高分化与低分化、中分化的 HCC， 中分化（Moderately, II, III）分类效果不理想，低分 化判别性能差. 该结果与医生判别经验一致，临床 诊断过程亦存在中分化和低分化的特异度低于高 分化的现象，因为 HCC 随恶性程度高，病变样本 纹理等征象更复杂，判别难度增加. 总之，实验结果表明所提出模型对于样本差 异大的高分化 HCC 更为敏感，取得相较更好的效 果，在后续研究中，针对特征提取难点，一方面考 虑提升训练数据数量级，另一方面考虑解决模型 在分类能力上具有类别偏向性的问题. 4    结论 （1）提出了一种基于 DCE-MRI 序列和“自注 意力”机制的 HCC 分化程度判别模型，通过计算 DCE-MRI 序列中各个增强序列对最终分类任务的 “注意力”并将其与特征提取器所提取的序列时空 特征进行特征层融合以补充语义信息. 通过与 4 个现有工作的对比实验，验证了所提出的“自注 意力”机制和“自注意力”模型的有效性. （2）本文所提出的方法提供了一种有潜力充 分利用多序列输入所蕴含的信息的特征提取机 制，为多模态融合和多序列融合提供了一种潜在 的可行的融合机制. 参    考    文    献 Yang  J  D,  Hainaut  P,  Gores  G  J,  et  al.  A  global  view  of hepatocellular  carcinoma:  trends,  risk,  prevention  and management. Nat Rev Gastroenterol Hepatol, 2019, 16（10）: 589 [1] Jiang  Y,  Sun  A  H,  Zhao  Y,  et  al.  Proteomics  identifies  new therapeutic targets of early-stage hepatocellular carcinoma. Nature, 2019, 567（7747）: 257 [2] Lin  H  X,  Wei  C,  Wang  G  X,  et  al.  Automated  classification  of hepatocellular  carcinoma  differentiation  using  multiphoton microscopy  and  deep  learning. J Biophoto,  2019,  12（7）: e201800435 [3] Jimenez H, Wang M H, Zimmerman J W, et al. Tumour-specific amplitude-modulated radiofrequency electromagnetic fields induce differentiation  of  hepatocellular  carcinoma  via  targeting  Cav3.2 T-type  voltage-gated  calcium  channels  and  Ca2+ influx. [4] EBioMedicine, 2019, 44: 209 Shioga T, Kondo R, Ogasawara S, et al. Usefulness of tumor tissue biopsy  for  predicting  the  biological  behavior  of  hepatocellular carcinoma. Anticancer Res, 2020, 40（7）: 4105 [5] Parr R L, Mills J, Harbottle A, et al. Mitochondria, prostate cancer, and biopsy sampling error. Discov Med, 2013, 25;15（83）: 213 [6] Henken K, Van Gerwen D, Dankelman J, et al. Accuracy of needle position measurements using fiber Bragg gratings. Minim Invasive Ther Allied Technol, 2012, 21（6）: 408 [7] Li  J  Z,  Xue  F,  Xu  X  H,  et  al.  Dynamic  contrast  enhanced  MRI differentiates hepatocellular carcinoma from hepatic metastasis of rectal  cancer  by  extracting  pharmacokinetic  parameters  and radiomic features. Exp Ther Med, 2020, 20（4）: 3643 [8] Kaissis  G  A,  Lohöfer  F  K,  Hörl  M,  et  al.  Combined  DCE-MRI￾and FDG-PET enable histopathological grading prediction in a rat model  of  hepatocellular  carcinoma. Eur J Radiol,  2020,  124: 108848 [9] Khalifa  F,  Soliman  A,  El-Baz  A,  et  al.  Models  and  methods  for analyzing DCE-MRI: A review. Med Phys, 2014, 41（12）: 124301 [10] Yang D W, Jia X B, Xiao Y J, et al. Noninvasive evaluation of the pathologic grade of hepatocellular carcinoma using MCF-3DCNN: A pilot study. Biomed Res Int, 2019: 9783106 [11] Chernyak V, Fowler K J, Kamaya A, et al. Liver imaging reporting and  data  system  (LI-RADS)  version  2018:  Imaging  of hepatocellular  carcinoma  in  at-risk  patients. Radiology,  2018, 289（3）: 816 [12] Suk H I, Lee S W, Shen D G. Hierarchical feature representation and multimodal fusion with deep learning for AD/MCI diagnosis. NeuroImage, 2014, 101: 569 [13] Wang  Q  Y,  Que  D  S.  Staging  of  hepatocellular  carcinoma  using deep  feature  in  contrast-enhanced  MR  images//2nd International Conference on Computer Engineering, Information Science & Application Technology (ICCIA 2017). Wuhan, 2016: 186 [14] Jia  X  B,  Xiao  Y  J,  Yang  D  W,  et  al.  Temporal-spatial  feature learning  of  dynamic  contrast  enhanced-MR  images via 3D convolutional neural networks//Chinese Conference on Image and Graphics Technologies. Singapore, 2018: 380 [15] Jia X B, Xiao Y J, Yang D W, et al. Multi-parametric MRIs based assessment  of  Hepatocellular  Carcinoma  Differentiation  with Multi-scale ResNet. TIIS, 2019, 13（10）: 5179 [16] Antropova  N,  Huynh  B  Q,  Giger  M  L.  A  deep  feature  fusion methodology  for  breast  cancer  diagnosis  demonstrated  on  three imaging modality datasets. Med Phys, 2017, 44（10）: 5162 [17] Hu Q Y, Whitney H M, Giger M L. A deep learning methodology for improved breast cancer diagnosis using multiparametric MRI. Sci Rep, 2020, 10: 10536 [18] Zhang T H, Fan S L, Guo X X, et al. Intelligent medical assistant diagnosis  method  based  on  data  fusion. Chin J Eng,  doi: 10.13374/j.issn2095-9389.2021.01.12.003 （ 张桃红, 范素丽, 郭徐徐, 等. 基于数据融合的智能医疗辅助诊 断方法. 工程科学学报, doi: 10.13374/j.issn2095-9389.2021.01. [19] 贾熹滨等： 自注意力指导的多序列融合肝细胞癌分化判别模型 · 1155 ·