第4期 孔伶旭，等：迁移学习特征提取的s-MRI早期轻度认知障碍分类 ·665· 带来了部分信息丢失。因此，如何在数据降维、 瓶颈层函数f无ek(),以此得到瓶颈层特征： 信息丢失以及训练时间寻找平衡将是本文主要研 F=foaneck(Wh,XT) (5) 究的一个问题。 其中F即是从ROI时间序列提取的特征值。若 目标网络的顶层()经训练后，使得X,及其对 3方法 应标签Dr满足 3.1总体框架 Dr fo two,F) (6) 本文使用rs-fMRI数据以及迁移学习的 则本迁移学习任务完成，其中w是目标网络 CNN网络来对EMCI进行诊断，方法总体框架如 的顶层输出的权重矢量。 图2所示，把患有EMCI和正常控制组(normal 图3给出了式(6)的迁移学习过程，图中预训 control,NC)的rs-fMRI数据进行配准、头动校正、 练部分通常无需在本地端完成，即使瓶颈层的权 颅骨剥离、归一化、平滑及滤波等预处理操作，然 重w。非常庞大，但由于可由第三方预先完成而获 后使用AAL对完成预处理数据提取ROI得到相 得，因此可大幅减少提取特征的训练时间。更重 应的二维时间序列，随后输入到已预训练的迁移 要的是，为保证提取瓶颈特征的有效性，训练和 网络，以此得到瓶颈(bottneck)特征，最后将该特 获取瓶颈层权重w。往往在一个非常巨大的源数 征输入到设计好的TOP层中得到分类结果，完成 据集中完成，如ImageNet数据库，因此相比单 纯无迁移的CNN,迁移网络可以解决目标数据集 疾病诊断。 不足的情形，而目前获取大规模EMCI的rs-fMRI 数据仍存在一定困难。 rs-fMRI 提取ROI 源数据集X ROI时间序列X, 迁移学习 Bottleneck特征 预训练 顶层 容限形 CNN瓶颈层 迁移至 MobileNet CNN瓶颈层 /ineck(WB.Xs) fmeck(WB:X) 分类结果 顶层 顶层 图2算法总体框架 f(·) Fig.2 Algorithm overall framework 3.2迁移学习的特征提取 输出标签Ds 输出标签D 将一个具有脑区空间和时间维度的四维s 预训练 fMRI信号直接作为分类器的输入，维度较高，可 图3迁移学习提取ROI特征 从其中提取ROI时间序列来降维，但从ROI时间 Fig.3 Transfer learning to extract ROI features 序列提取特征值，仍需训练。如前所述，SAE和 其实，图3的EMCI目标网络训练仅仅对一 CNN网络提取特征将面临权重数庞大和训练时 顶层网络进行训练，而顶层只是一个浅层神经网 间增多的问题，而采用相关法提取特征又容易丢 络，其权重w°数量并不大，因此可保证训练能在 失瞬时信息，因此本文考虑采用迁移学习方法从 短时间内完成。另外，由于瓶颈层特征F来源于 ROI提取特征值。 ROI时间序列，因此相比于求相关系数的特征值 设X,和D分别是一源数据集中的二维图像 提取方法，其瞬时特征也得到了保留。当然，虽 矢量和对应标签，将一CNN网络在该源数据集中 然ak(⊙的权重可由预训练得到，但特征F也需 进行预训练，使其满足： 通过feek(O的计算得到，因此太复杂的可迁移 Ds=fopwi,fomneck(wo.Xs) (4) CNN会增大特征提取的计算量，本文将选用一种 式中：fp)和无nek()分别是该预训练CNN网络 轻型的CNN网络来实现迁移学习。 的顶层和瓶颈层函数；w和。分别是顶层和瓶 3.3 MobileNet网络 颈层的权重矢量。 作为一种轻型的CNN网络，Mobilenet'2a使用 预训练完成后，将由四维rs-fMR数据张量Y 深度可分离卷积替代原有的传统卷积以减少计算 提取出来ROI时间序列X,输入到预训练完成的 量，本文将采用该网络来作为迁移学习函数带来了部分信息丢失。因此，如何在数据降维、 信息丢失以及训练时间寻找平衡将是本文主要研 究的一个问题。 3 方法 3.1 总体框架 本文使 用 rs-fMRI 数据以及迁移学习 的 CNN 网络来对 EMCI 进行诊断，方法总体框架如 图 2 所示，把患有 EMCI 和正常控制组 (normal control，NC) 的 rs-fMRI 数据进行配准、头动校正、 颅骨剥离、归一化、平滑及滤波等预处理操作，然 后使用 AAL 对完成预处理数据提取 ROI 得到相 应的二维时间序列，随后输入到已预训练的迁移 网络，以此得到瓶颈 (bottneck) 特征，最后将该特 征输入到设计好的 TOP 层中得到分类结果，完成 疾病诊断。 顶层 预训练 MobileNet 迁移学习 分类结果 AAL Mask 提取 ROI rs-fMRI ... Bottleneck 特征 ... 图 2 算法总体框架 Fig. 2 Algorithm overall framework 3.2 迁移学习的特征提取 将一个具有脑区空间和时间维度的四维 rs￾fMRI 信号直接作为分类器的输入，维度较高，可 从其中提取 ROI 时间序列来降维，但从 ROI 时间 序列提取特征值，仍需训练。如前所述，SAE 和 CNN 网络提取特征将面临权重数庞大和训练时 间增多的问题，而采用相关法提取特征又容易丢 失瞬时信息，因此本文考虑采用迁移学习方法从 ROI 提取特征值。 设 Xs 和 DS 分别是一源数据集中的二维图像 矢量和对应标签，将一 CNN 网络在该源数据集中 进行预训练，使其满足： DS = f S top{w S t , fbtneck(wb ,XS )} (4) f S top(·) fbtneck(·) w S t wb 式中： 和 分别是该预训练 CNN 网络 的顶层和瓶颈层函数； 和 分别是顶层和瓶 颈层的权重矢量。 Y XT 预训练完成后，将由四维 rs-fMRI 数据张量 提取出来 ROI 时间序列 ，输入到预训练完成的 瓶颈层函数 fbtneck(·) ，以此得到瓶颈层特征： F = fbtneck(wb,XT ) (5) F f O top(·) XT DT 其中 即是从 ROI 时间序列提取的特征值。若 目标网络的顶层 经训练后，使得 及其对 应标签 满足 DT = f O top{w O t ,F} (6) w O 则本迁移学习任务完成，其中 t 是目标网络 的顶层输出的权重矢量。 wb wb 图 3 给出了式 (6) 的迁移学习过程，图中预训 练部分通常无需在本地端完成，即使瓶颈层的权 重 非常庞大，但由于可由第三方预先完成而获 得，因此可大幅减少提取特征的训练时间。更重 要的是，为保证提取瓶颈特征的有效性，训练和 获取瓶颈层权重 往往在一个非常巨大的源数 据集中完成，如 ImageNet 数据库[12] ，因此相比单 纯无迁移的 CNN，迁移网络可以解决目标数据集 不足的情形，而目前获取大规模 EMCI 的 rs-fMRI 数据仍存在一定困难。 输出标签 DT CNN 瓶颈层 fbtneck(wb , XT ) 顶层 顶层 输出标签 DS 预训练 源数据集 XS 迁移至 ROI 时间序列 XT T top f (·) CNN 瓶颈层 fbtneck(wb , XS ) 图 3 迁移学习提取 ROI 特征 Fig. 3 Transfer learning to extract ROI features w O t F fbtneck(·) F fbtneck(·) 其实，图 3 的 EMCI 目标网络训练仅仅对一 顶层网络进行训练，而顶层只是一个浅层神经网 络，其权重 数量并不大，因此可保证训练能在 短时间内完成。另外，由于瓶颈层特征 来源于 ROI 时间序列，因此相比于求相关系数的特征值 提取方法，其瞬时特征也得到了保留。当然，虽 然 的权重可由预训练得到，但特征 也需 通过 的计算得到，因此太复杂的可迁移 CNN 会增大特征提取的计算量，本文将选用一种 轻型的 CNN 网络来实现迁移学习。 3.3 MobileNet 网络 作为一种轻型的 CNN 网络，Mobilenet[26] 使用 深度可分离卷积替代原有的传统卷积以减少计算 量，本文将采用该网络来作为迁移学习函数 第 4 期 孔伶旭，等：迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 ·665·