1152 工程科学学报，第43卷，第9期 “注意力”的特征层融合特征 生组织(WHO)所制定的三分类标准和Edmonson2) 第二步，对融合的特征进行全局平均池化，即 分级标准所制订的四分类标准.本文在自建的数 将整个3D特征沿着通道压缩成一个1×1×C的特 据集中与Baseline模型22-2)、本课题组前期所提出 征，C代表整个3D特征的通道数.特征融合和全 的模型和现有的几种肝细胞癌分级模型-2在 局平均池化(Global average pooling)的具体过程如 两个分类任务进行对比实验 式(1)，其中H和W代表输入数据的尺寸，N代表 从两种分类标准来看，WHO分级标准为三分 输入的序列个数，F代表全局平均池化的输出， 类，将HCC分化程度划分为高分化、中分化和低 F,则代表各个输入序列的对应位置的灰度值 分化3种，严重程度从低到高.而Edmonson则是 N H W 将HCC分化程度划分为4个级别.分别为I、Ⅱ、Ⅱ F1= 1 F(y) (1) H. 和IV,严重程度从低到高.基于2种分类标准所划 i=l x=l y=l 分的经过数据增强所得的数据集如表1~2所示 第三步，将多模态融合特征输入全连接层，引 为了避免类别不均衡的问题影响模型分类效果， 入非线性，添加线性整流函数(Rectified linear unit,. 本文使用了过采样的方法对两个任务的训练集进 ReLU)作为激活函数，全连接层的输出为新的 行类别平衡，即对数据量较少的类别在训练过程 N个长度为C的“注意力”特征，而为了便于与各 中进行随机采样，使得这个类别的数据量与数据 个序列的各个通道进行注意力加权.具体过程如 量最多的类别的数据量相同，从一定程度上降低 式(2)，其中F2∈N×1×1×C代表输出的各个序列 了数据量类别不均衡造成的影响 的注意力权值，δ代表激活函数，W1和b代表全连 接层的参数值和偏置值. 表1基于WHO分类标准的HCC类别数据分布 F2=6(F1×W1+b) (2) Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system 最后，用“注意力”计算模块输出的权值与输 Datasets Well Moderately Poorly 入序列经过特征提取模块得到的特征进行逐通道 Training set 56 208 54 乘(Channel-wise product),得到注意力加权融合特征 Test set 32 104 26 特征提取模块分别使用权值不同的特征提取 Total 88 312 80 器提取各个序列特征.特征提取器由卷积层 (Convolution layer))、池化层(Pool layer)和全连接 表2基于Edmonson分类标准的HCC类别数据分布 层(Fully-connected layer)的组合构成，在与注意力 Table 2 Augmentation results for a dataset with HCC grading under the 权值进行逐元素乘之前，为了避免破坏输入序列 Edmonson grading system 特征中各个通道的关系且方便注意力加权，设置 Datasets 0 ⅢI IV 卷积层为2D卷积.在经过了注意力加权融合之 Training set 56 120 54 后，再引入3D卷积将所得的融合特征拉伸成一维 Test set 之 号 64 26 特征，以在保留语义信息的基础之上简化计算、减 Total 88 128 184 80 少网络参数量，便于最后的分类工作.最后，与注 意力权值融合的多模态特征在经过由3D卷积层 在损失函数方面，本文选择在分类问题中表 和全连接层组成的特征提取器后得到输出特征， 现较为优异的交叉嫡损失函数和在区分少量不同 再将输出特征送入softmax分类器，输出HCC分 类别的数据的任务中表现优异的三元组损失函 化程度判别结果 数.在使用验证集对模型的参数调整和结构参数 2.3模型优化、验证及实验设计 选择上，对训练集使用了十折交叉验证的方法来 为了优化提出的自注意力指导的学习模型， 获取一个较为鲁棒的值，同时也可以防止单独划 并验证模型的可行性，本文使用了三甲医院的肝 分出一个验证集而进一步减少本就不充足的训练 细胞癌患者的临床病例自建了肝细胞癌病灶数据 集数据 集，并由专业医师完成病灶区域的提取和标注.数 总体的测试结果，本文使用在数据集中进行 据集预处理则使用了常规的数据增强、类别均衡 十次随机采样所得的训练集和测试集进行训练和 等方法 测试，并通过十次实验中，模型在测试集上的准确 分类任务依据两大病理金标准包括两类：世界卫 率(Accuracy)、召回率(Recall))、精确度(Precision)“注意力”的特征层融合特征. 第二步，对融合的特征进行全局平均池化，即 将整个 3D 特征沿着通道压缩成一个 1×1×C 的特 征，C 代表整个 3D 特征的通道数. 特征融合和全 局平均池化（Global average pooling）的具体过程如 式（1），其中 H 和 W 代表输入数据的尺寸，N 代表 输入的序列个数，F1 代表全局平均池化的输出， Fi 则代表各个输入序列的对应位置的灰度值. F1 = 1 H · W ∑ N i=1 ∑ H x=1 ∑ W y=1 Fi(x, y) （1） 第三步，将多模态融合特征输入全连接层，引 入非线性，添加线性整流函数（Rectified linear unit, ReLU）作为激活函数 ，全连接层的输出为新 的 N 个长度为 C 的“注意力”特征，而为了便于与各 个序列的各个通道进行注意力加权. 具体过程如 式（2），其中 F2∈ N×1×1×C 代表输出的各个序列 的注意力权值，δ 代表激活函数，W1 和 b 代表全连 接层的参数值和偏置值. F2 = δ(F1 ×W1 +b) （2） 最后，用 “注意力”计算模块输出的权值与输 入序列经过特征提取模块得到的特征进行逐通道 乘（Channel-wise product），得到注意力加权融合特征. 特征提取模块分别使用权值不同的特征提取 器提取各个序列特征 . 特征提取器由卷积 层 (Convolution layer)、池化 层 (Pool layer) 和全连接 层 (Fully-connected layer) 的组合构成，在与注意力 权值进行逐元素乘之前，为了避免破坏输入序列 特征中各个通道的关系且方便注意力加权，设置 卷积层为 2D 卷积. 在经过了注意力加权融合之 后，再引入 3D 卷积将所得的融合特征拉伸成一维 特征，以在保留语义信息的基础之上简化计算、减 少网络参数量，便于最后的分类工作. 最后，与注 意力权值融合的多模态特征在经过由 3D 卷积层 和全连接层组成的特征提取器后得到输出特征， 再将输出特征送入 softmax 分类器，输出 HCC 分 化程度判别结果. 2.3    模型优化、验证及实验设计 为了优化提出的自注意力指导的学习模型， 并验证模型的可行性，本文使用了三甲医院的肝 细胞癌患者的临床病例自建了肝细胞癌病灶数据 集，并由专业医师完成病灶区域的提取和标注. 数 据集预处理则使用了常规的数据增强、类别均衡 等方法. 分类任务依据两大病理金标准包括两类：世界卫 生组织（WHO）所制定的三分类标准和 Edmonson[21] 分级标准所制订的四分类标准. 本文在自建的数 据集中与 Baseline 模型[22−23]、本课题组前期所提出 的模型[15] 和现有的几种肝细胞癌分级模型[24−25] 在 两个分类任务进行对比实验. 从两种分类标准来看，WHO 分级标准为三分 类，将 HCC 分化程度划分为高分化、中分化和低 分化 3 种，严重程度从低到高. 而 Edmonson 则是 将 HCC 分化程度划分为 4 个级别，分别为 I、II、III 和 IV，严重程度从低到高. 基于 2 种分类标准所划 分的经过数据增强所得的数据集如表 1～2 所示. 为了避免类别不均衡的问题影响模型分类效果， 本文使用了过采样的方法对两个任务的训练集进 行类别平衡，即对数据量较少的类别在训练过程 中进行随机采样，使得这个类别的数据量与数据 量最多的类别的数据量相同，从一定程度上降低 了数据量类别不均衡造成的影响. 表 1 基于 WHO 分类标准的 HCC 类别数据分布 Table 1   Augmentation results for a dataset with HCC grading under the WHO grading system Datasets Well Moderately Poorly Training set 56 208 54 Test set 32 104 26 Total 88 312 80 表 2 基于 Edmonson 分类标准的 HCC 类别数据分布 Table 2   Augmentation results for a dataset with HCC grading under the Edmonson grading system Datasets I II III IV Training set 56 88 120 54 Test set 32 40 64 26 Total 88 128 184 80 在损失函数方面，本文选择在分类问题中表 现较为优异的交叉熵损失函数和在区分少量不同 类别的数据的任务中表现优异的三元组损失函 数. 在使用验证集对模型的参数调整和结构参数 选择上，对训练集使用了十折交叉验证的方法来 获取一个较为鲁棒的值，同时也可以防止单独划 分出一个验证集而进一步减少本就不充足的训练 集数据. 总体的测试结果，本文使用在数据集中进行 十次随机采样所得的训练集和测试集进行训练和 测试，并通过十次实验中，模型在测试集上的准确 率（Accuracy）、召回率（Recall）、精确度（Precision） · 1152 · 工程科学学报，第 43 卷，第 9 期