第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992tis.202007041 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210412.1113.002.html 迁移学习特征提取的rs-MRI早期轻度认知障碍分类 孔伶旭，吴海锋2，曾玉2，陆小玲，罗金玲 (1.云南民族大学电气信息工程学院，云南昆明650500：2.云南省高校智能传感网络及信息系统创新团队，云 南昆明650500) 摘要：早期轻度认知障碍(early mild cognitive impairment,.EMC)是阿尔兹海默症(Alzheimer's disease, AD)发生前的必经阶段，EMCI的准确诊断对AD早期预防和治疗都具有积极作用。通过静息态功能性磁共振 成像(rest-state functional magnetic resonance imaging,rs-fMR)来诊断EMCI的深度学习方法性能主要依赖如何提 取特征值，而传统提取方法存在特征信息易损失和训练网络时间过长等问题。针对该问题，本文采用迁移学习 的特征提取方法来对EMCI分类，首先从rs-fMRI中提取兴趣区(region of interest,ROD时间序列，以此完成源数 据的降维，然后利用MobileNet迁移网络从ROI中提取瓶颈特征，最后将该特征输入到设计的分类顶层网络以 得到最后分类结果。在实验中，采用阿尔茨海默病神经影像学数据库(Alzheimer's disease neuroimaging initi-- ative,ADNI)的数据进行测试.实验结果表明，本文的方法比传统方法的分类精度提高了约10%，而分类时间 大约只有传统方法的25%。 关键词：轻度认知障碍；rs-fMRL;迁移学习；阿尔茨海默症；MobileNet;深度学习；机器学习：兴趣区 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2021)04-0662-11 中文引用格式：孔伶旭，吴海锋，曾玉，等.迁移学习特征提取的s-MRI早期轻度认知障碍分类.智能系统学报，2021， 16(4):662-672. 英文引用格式：KONG Lingxu,WU Haifeng,ZENGYu,.etal.Transfer learning-based feature extraction method for the classifica- tion of rs-fMRI early mild cognitive impairment J.CAAI transactions on intelligent systems,2021,16(4):662-672. Transfer learning-based feature extraction method for the classification of rs-fMRI early mild cognitive impairment KONG Lingxu',WU Haifeng2,ZENG Yu2,LU Xiaoling',LUO Jinling' (1.School of Electrical and Information Technology,Yunnan Minzu University,Kunming 650500,China;2.Program for Innovative Research Team(in Science and Technology)in University of Yunnan Province,Kunming 650500,China) Abstract:Early mild cognitive impairment(EMCI)is a necessary stage before Alzheimer's disease(AD).Thus,accur- ate diagnosis of EMCI will help the early prevention and treatment of AD.The performance of the deep learning meth- od for the diagnosis of EMCI through rest-state functional magnetic resonance imaging (rs-fMRI)mainly depends on how feature values are extracted.However,traditional extraction methods have problems,such as loss of feature inform- ation and long training network time.To address these problems,this paper proposes a transfer learning-based feature extraction method for EMCI classification.First,the region of interest (ROI)time series is extracted from rs-fMRI to complete the dimensional reduction of source data.Second,bottleneck features are extracted from the ROI by using a transfer learning MobileNet.Lastly,a final classification result is obtained from those entered features into a designed top-layer net.The data of the Alzheimer's Disease Neuroimaging Initiative are tested through experiments.Experiment- al results show that compared with traditional methods,the classification accuracy of the proposed method is enhanced by around 10%,and 75%or so of classification time is saved. Keywords:EMCI;rs-fMRI;transfer learning;Alzheimer's disease;MobileNet;deep learning;machine learning;region of interest 收稿日期：2020-07-24.网络出版日期：2021-04-12. 基金项目：国家自然科学基金项目(61762093)：云南省教育厅 阿尔兹海默症(Alzheimer's disease,AD)是最 科学研究基金项目(2020Y0238,云南省重点应用和基础 常见的一种老年痴呆症，占所有痴呆症的60%~ 研究基金项目(2018FA036). 通信作者：吴海锋.E-mail:whf5469@gmail.com 70%山。AD的形成原因尚未完全研究清楚四，目
DOI: 10.11992/tis.202007041 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210412.1113.002.html 迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 孔伶旭1 ，吴海锋1,2，曾玉1,2，陆小玲1 ，罗金玲1 （1. 云南民族大学 电气信息工程学院，云南 昆明 650500; 2. 云南省高校智能传感网络及信息系统创新团队，云 南 昆明 650500） 摘 要：早期轻度认知障碍 (early mild cognitive impairment, EMCI) 是阿尔兹海默症 (Alzheimer’s disease, AD) 发生前的必经阶段，EMCI 的准确诊断对 AD 早期预防和治疗都具有积极作用。通过静息态功能性磁共振 成像 (rest-state functional magnetic resonance imaging，rs-fMRI) 来诊断 EMCI 的深度学习方法性能主要依赖如何提 取特征值，而传统提取方法存在特征信息易损失和训练网络时间过长等问题。针对该问题，本文采用迁移学习 的特征提取方法来对 EMCI 分类，首先从 rs-fMRI 中提取兴趣区 (region of interest, ROI) 时间序列，以此完成源数 据的降维，然后利用 MobileNet 迁移网络从 ROI 中提取瓶颈特征，最后将该特征输入到设计的分类顶层网络以 得到最后分类结果。在实验中，采用阿尔茨海默病神经影像学数据库 (Alzheimer’s disease neuroimaging initiative，ADNI) 的数据进行测试，实验结果表明，本文的方法比传统方法的分类精度提高了约 10%，而分类时间 大约只有传统方法的 25%。 关键词：轻度认知障碍；rs-fMRI；迁移学习；阿尔茨海默症；MobileNet；深度学习；机器学习；兴趣区 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2021)04−0662−11 中文引用格式：孔伶旭, 吴海锋, 曾玉, 等. 迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 [J]. 智能系统学报, 2021, 16(4): 662–672. 英文引用格式：KONG Lingxu, WU Haifeng, ZENG Yu, et al. Transfer learning-based feature extraction method for the classification of rs-fMRI early mild cognitive impairment[J]. CAAI transactions on intelligent systems, 2021, 16(4): 662–672. Transfer learning-based feature extraction method for the classification of rs-fMRI early mild cognitive impairment KONG Lingxu1 ，WU Haifeng1,2 ，ZENG Yu1,2 ，LU Xiaoling1 ，LUO Jinling1 (1. School of Electrical and Information Technology, Yunnan Minzu University, Kunming 650500, China; 2. Program for Innovative Research Team (in Science and Technology) in University of Yunnan Province, Kunming 650500, China) Abstract: Early mild cognitive impairment (EMCI) is a necessary stage before Alzheimer’s disease (AD). Thus, accurate diagnosis of EMCI will help the early prevention and treatment of AD. The performance of the deep learning method for the diagnosis of EMCI through rest-state functional magnetic resonance imaging (rs-fMRI) mainly depends on how feature values are extracted. However, traditional extraction methods have problems, such as loss of feature information and long training network time. To address these problems, this paper proposes a transfer learning-based feature extraction method for EMCI classification. First, the region of interest (ROI) time series is extracted from rs-fMRI to complete the dimensional reduction of source data. Second, bottleneck features are extracted from the ROI by using a transfer learning MobileNet. Lastly, a final classification result is obtained from those entered features into a designed top-layer net. The data of the Alzheimer’s Disease Neuroimaging Initiative are tested through experiments. Experimental results show that compared with traditional methods, the classification accuracy of the proposed method is enhanced by around 10%, and 75% or so of classification time is saved. Keywords: EMCI; rs-fMRI; transfer learning; Alzheimer’s disease; MobileNet; deep learning; machine learning; region of interest 阿尔兹海默症 (Alzheimer's disease，AD) 是最 常见的一种老年痴呆症，占所有痴呆症的 60%~ 70%[1]。AD 的形成原因尚未完全研究清楚[1] ，目 收稿日期：2020−07−24. 网络出版日期：2021−04−12. 基金项目：国家自然科学基金项目 (61762093)；云南省教育厅 科学研究基金项目 (2020Y0238)；云南省重点应用和基础 研究基金项目 (2018FA036). 通信作者：吴海锋. E-mail：whf5469@gmail.com. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021
第4期 孔伶旭，等：迁移学习特征提取的s-fMRI早期轻度认知障碍分类 ·663· 前还没有任何药物可以阻止或逆转其发展，只有 1相关工作 在AD早期时通过一些治疗来改善症状和干预其 进一步的恶化，从而减轻患者的病情和延长存 AD症被视为一种神经退化性疾病，疾病早 活时间。因此，AD的早期诊断对于该疾病的治 期的症状常被误认为是正常的老化，错过了最佳 疗具有非常积极的作用。在AD发病之前，患者 诊断时机。AD症的前期诊断一般通过病史收集 会经历早期轻度认知障碍(early mild cognitive 和行为观察获得，耗时又耗力。若要较为准确的 impairment,EMCI),该阶段是老年正常认知衰退 诊断，则需要进行详细的神经心理学检查才有可 和痴呆症严重认知衰退的中间阶段，此时的大脑 能判断是否存在认知障碍。随着机器学习技术 已具有轻微的认知和记忆障碍，但不会影响患者 的发展，人们发现作为一种辅助诊断方法，机器 学习可以提高诊断的效率和准确率。 的日常生活，因此在临床检测中很难被发现。已 在传统的机器学习分类技术中，支持向量机 有研究表明，患有EMCI的个体患AD的风险高 于正常人，约为正常人的10倍。因此，准确诊 (support vector machine,.SVM)是一类具有较高分 类准确率的诊断方法，但SVM的准确率依赖于 断EMCI对AD的治疗有着十分积极的作用。 提取的特征值，当特征值本身未能准确反映疾病 目前，较准确的EMCI诊断方法为生物标志 的特征，则其准确率往往会达到一个瓶颈。近年 物诊断，如通过脑脊髓液完成，然而脑脊髓液抽 来随着深度学习的兴起，出现了很多可以自动从 取属有创诊断，且诊断过程也较为复杂。另外一 分类数据中提取有效特征值的方法，如堆叠自动 种对EMCI的诊断方法是让患者完成神经心理学 编码器(stacked auto-encoders,SAE)和CNNl6 问卷四，再经神经心理学医师进行评估，但这种诊 等，这些方法均使得分类准确率得到了很大的提 断往往带有一定主观性，只能作为一种辅助诊断 高。通常，深度学习的网络较为复杂，权重数量 方式。近年来，随着神经影像技术的发展，具有 巨大，且需要海量的训练数据作支持，这都使得 无创的核磁共振成像(magnetic resonance imaging, 深度学习的训练耗时耗力。然而，公开的AD病 MRI)和功能性磁共振成像(functional magnetic 症数据非常有限，AD早期病症的数据更为稀少， resonance imaging,fMRI)）技术被越来越多的用于 因此深度学习的分类准确率将严重依赖于疾病数 AD的诊断中s。fMRI反映了受试者执行特定任 据的完备性。为了解决该问题，近年来迁移学习被 务时血氧水平依赖(blood oxygen level dependent, 提出来对AD进行诊断，例如AlexNet"和VGG16m BOLD)信号的波动情况，相比MRI数据，其不仅 等。由于迁移学习网络已在其他数据库进行了预 包含结构性信息还包含功能性信息，只是获取 训练，只需在AD数据库中只训练其顶层即可，因 fMRI数据需要设计合理的实验任务。为避免实 此可以缩短训练时间，并可减少分类对训练数据 验任务因素对MRI数据的影响，越来越多的研 的依赖。然而，迁移学习的预训练网络是否对 究o表明静息态fMRI(resting state fMRI,.rs- EMCI的诊断有效，目前仍无文献进行报道，这也 fMRI)可替代fMRI来完成EMCI的诊断。由 是本文关注的一个重点。 于在rs-fMRI数据获取时受试者不用完成任何 机器学习可以同神经影像学相结合以完成疾 特定任务，因此避免了实验任务对数据所带来的 病的诊断，常用的影像技术包括电子计算机断层 影响。 扫描(computed tomography,CT)、正电子发射型计 本文采用深度学习的分类方法，通过rs 算机断层显像(positron emission computed tomo- fMRI数据来进行EMCI分类，以辅助AD的早期 graphy,PET)、MRI和fMRIUS]等，其中又以 发现。首先将大脑划分成若干个兴趣点(region of MRI和fMRI的低辐射和无创性而得到了广泛的 interest,.RO),依照ROI从rs-fMRI数据中抽取 关注。对于MRI,其成像较为清晰，且包含信息 出时间序列来形成一个二维矩阵，再用一个二维 丰富，因此被广泛应用于对AD的诊断。通过 卷积神经网络(convolutional neural networks, 对皮质体积、皮质厚度及皮质下体积等脑部结构 CNN)从该二维矩阵中提取特征信息，以此进行 数据，MRI可以较准确预测MCI到AD的转变。 后面的分类。同时，为了提高运算速度和减少训 然而，对EMCI患者来说，其脑部结构变化并不明 练时间，CNN采用迁移学习网络，用一种轻量化 显，因此仅使用MRI数据对EMCI的检测还是具 CNN网络一拥有从ImageNet数据库中预训 有一定限制。最近有研究表明，AD还表现在某 练权重的MobileNet来提取ROI的特征信息。 些脑区功能连接的变化上0，而MRI又恰恰能反
前还没有任何药物可以阻止或逆转其发展，只有 在 AD 早期时通过一些治疗来改善症状和干预其 进一步的恶化[2] ，从而减轻患者的病情和延长存 活时间。因此，AD 的早期诊断对于该疾病的治 疗具有非常积极的作用。在 AD 发病之前，患者 会经历早期轻度认知障碍 (early mild cognitive impairment，EMCI)，该阶段是老年正常认知衰退 和痴呆症严重认知衰退的中间阶段，此时的大脑 已具有轻微的认知和记忆障碍，但不会影响患者 的日常生活，因此在临床检测中很难被发现。已 有研究表明，患有 EMCI 的个体患 AD 的风险高 于正常人，约为正常人的 10 倍 [3-5]。因此，准确诊 断 EMCI 对 AD 的治疗有着十分积极的作用。 目前，较准确的 EMCI 诊断方法为生物标志 物诊断，如通过脑脊髓液完成[6] ，然而脑脊髓液抽 取属有创诊断，且诊断过程也较为复杂。另外一 种对 EMCI 的诊断方法是让患者完成神经心理学 问卷[7] ，再经神经心理学医师进行评估，但这种诊 断往往带有一定主观性，只能作为一种辅助诊断 方式。近年来，随着神经影像技术的发展，具有 无创的核磁共振成像 (magnetic resonance imaging， MRI) 和功能性磁共振成像 (functional magnetic resonance imaging，fMRI) 技术被越来越多的用于 AD 的诊断中[8]。fMRI 反映了受试者执行特定任 务时血氧水平依赖 (blood oxygen level dependent, BOLD) 信号的波动情况，相比 MRI 数据，其不仅 包含结构性信息还包含功能性信息，只是获取 fMRI 数据需要设计合理的实验任务[9]。为避免实 验任务因素对 fMRI 数据的影响，越来越多的研 究 [ 1 0 ] 表明静息态 fMRI(resting state fMRI, rsfMRI) 可替代 fMRI 来完成 EMCI 的诊断。由 于在 rs-fMRI 数据获取时受试者不用完成任何 特定任务，因此避免了实验任务对数据所带来的 影响。 本文采用深度学习的分类方法，通 过 rsfMRI 数据来进行 EMCI 分类，以辅助 AD 的早期 发现。首先将大脑划分成若干个兴趣点 (region of interest, ROI)[11] ，依照 ROI 从 rs-fMRI 数据中抽取 出时间序列来形成一个二维矩阵，再用一个二维 卷积神经网络 (convolutional neural networks， CNN) 从该二维矩阵中提取特征信息，以此进行 后面的分类。同时，为了提高运算速度和减少训 练时间，CNN 采用迁移学习网络，用一种轻量化 CNN 网络−拥有从 ImageNet 数据库[12] 中预训 练权重的 MobileNet 来提取 ROI 的特征信息。 1 相关工作 AD 症被视为一种神经退化性疾病，疾病早 期的症状常被误认为是正常的老化，错过了最佳 诊断时机。AD 症的前期诊断一般通过病史收集 和行为观察获得，耗时又耗力。若要较为准确的 诊断，则需要进行详细的神经心理学检查才有可 能判断是否存在认知障碍[13]。随着机器学习技术 的发展，人们发现作为一种辅助诊断方法，机器 学习可以提高诊断的效率和准确率。 在传统的机器学习分类技术中，支持向量机 (support vector machine, SVM) 是一类具有较高分 类准确率的诊断方法[14] ，但 SVM 的准确率依赖于 提取的特征值，当特征值本身未能准确反映疾病 的特征，则其准确率往往会达到一个瓶颈。近年 来随着深度学习的兴起，出现了很多可以自动从 分类数据中提取有效特征值的方法，如堆叠自动 编码器 (stacked auto-encoders, SAE)[15] 和 CNN[16] 等，这些方法均使得分类准确率得到了很大的提 高。通常，深度学习的网络较为复杂，权重数量 巨大，且需要海量的训练数据作支持，这都使得 深度学习的训练耗时耗力。然而，公开的 AD 病 症数据非常有限，AD 早期病症的数据更为稀少， 因此深度学习的分类准确率将严重依赖于疾病数 据的完备性。为了解决该问题，近年来迁移学习被 提出来对 AD 进行诊断，例如 AlexNet[16] 和 VGG16[17] 等。由于迁移学习网络已在其他数据库进行了预 训练，只需在 AD 数据库中只训练其顶层即可，因 此可以缩短训练时间，并可减少分类对训练数据 的依赖。然而，迁移学习的预训练网络是否对 EMCI 的诊断有效，目前仍无文献进行报道，这也 是本文关注的一个重点。 机器学习可以同神经影像学相结合以完成疾 病的诊断，常用的影像技术包括电子计算机断层 扫描 (computed tomography, CT)、正电子发射型计 算机断层显像 (positron emission computed tomography， PET)、 MRI 和 fMRI[ 1 8 ] 等，其中又以 MRI 和 fMRI 的低辐射和无创性而得到了广泛的 关注。对于 MRI，其成像较为清晰，且包含信息 丰富，因此被广泛应用于对 AD 的诊断[19]。通过 对皮质体积、皮质厚度及皮质下体积等脑部结构 数据，MRI 可以较准确预测 MCI 到 AD 的转变。 然而，对 EMCI 患者来说，其脑部结构变化并不明 显，因此仅使用 MRI 数据对 EMCI 的检测还是具 有一定限制。最近有研究表明，AD 还表现在某 些脑区功能连接的变化上[20] ，而 fMRI 又恰恰能反 第 4 期 孔伶旭，等：迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 ·663·
·664· 智能系统学报 第16卷 映功能连接特性，因此可以使用fMRI数据来有 息，因此是一个Nr×Nx×Nr×2的四维数据，其 效诊断AD和EMCI。然而，采集fMRI通常需要 中Nr表示时间维度，Nx、Ny和N2分别表示脑区 被试者完成特定的实验任务，因此fMRI数据又 的3个空间维度。目前，常用的CNN大多是针对 往往与完成的任务有关。其实，大脑即使在不完 二维图像的分类网络，因此s-fMRI并不能直接拿 成任何特定任务时，各脑区仍然在相互作用，存 来作为输入。当然，由于AD影像数据的高维特 在一个默认的功能网络，而这种默认模式在一些 性，近年来还出现了一些三维CNN网络2，但作 认知障碍的大脑疾病中通常遭到了破坏，因此s 为四维的rs-fMRI仍然无法被直接使用，需要进 fMRI也逐渐地用在EMCI诊断中P。与fMRI数 行降维。 据相比，rs-fMRI的获取不需要被试者完成预先设 一种常用的降维方式是使用自动解剖标记 定好的实验动作，仅需要被试者保持休息状态， (automated anatomical labeling,AAL)2图谱来得到 因此避免了人为因素对数据的干扰。 一个N,×Na的二维ROI时间序列，其中Na表示 通常，rS-fMRI为一四维数据，用于深度分类 ROI的数量。此时，原来的rs-fMRI将从原来的四 网络需先降维。常用的一种降维方式是，将脑区 维降至二维，数据量得到了减少。然而，为了从 划分成一些ROL,从这些ROI中提取BOLD信号， ROI时间序列数据提取特征值，仍然需要训练， 再从这些BOLD信号提取特征值，如利用SAE2四 以SAE方法为例2，设该网络共有N个隐藏层， 或受限玻尔兹曼机(restricted Boltzmann machine, 其每层隐藏层的神经元数量分别为S,S2,…,SN, RBM)2)提取特征值，最后利用这些特征值进行 那么该网络总共的权重数量为 分类。由于输入数据的降维不可避免带来信息丢 WsAE=2 NiNASS2…SN (1) 失，而不降维又容易产生较复杂的分类网络，因 从式(1)看到，由于SAE采用的是全连接网 此，在rs-fMRI中如何解决分类网络的数据输人 络，因此其权重的数量与神经元数量和隐藏层数 是本文需要关注的另一个重点。 相关，当这两者数量增大时将不可避免使得整个 网络权重数变得庞大。当然，CNN也可以自动提 2问题提出 取特征值，目前的CNN利用卷积运算对权重进行 由于深度学习能自动提取特征值，且具有较 共享，相比全连接层可以减少权重数量。假设 高的分类准确率，因此本文将采用深度学习的方 个CNN网络共有Nc个卷积层，其中每个卷积层 法来进行EMCI的诊断。同时，由于rs-fMRI无需 分别由L1,L2,…,Lw个特征图组成，特征图的大小分 完成任何实验任务，本文也采用rs-fMRI数据来 别为F1×F1,F2×F2,…,F×F,所使用的卷积核 进行诊断。 尺寸分别为M1×M1,M2×M2,…,M×MN,若步长 将rs-fMRI应用于深度学习的EMCI诊断首 (stride)为l时，那么该网络的总共的权重数量为 先需要解决数据输入的问题，如图1所示，既要保 WaN=∑FF,L,(M,M+b) (2) 证输入到分类网络的数据降维后应包含丰富的分 类信息，又能降低分类网络的复杂性，以确保较 其中b是偏置数。式(2)的权重与其层数密切相 少的训练时间。 关，通常CNN在深度学习中的层数都较多，即使 rs-fMRI 权重实现共享但权重数依然庞大。 AAL Mask 利用脑区功能性连接网络理论来提取特征值 的方法可以进一步对数据降维20，其本质是求统 提取 求相关 函数 计相关系数，若x和y,分别为任意两个ROI在第 输入端 t时刻BOLD信号，那么其相关函数可表示为 T-1 2D或3DCNN SAE,RBM或CNN 分类网络 (3) 维度不匹配 训练时间长 仁0 瞬时信息损失 1分类器 因此，对于一个N,×Na的二维ROI时间序列 图1特征提取的相关问题 求相关以后，其维度将变为心×W,- ,相比原 2 Fig.1 Issues related to feature extraction ROI序列，数量得到了减少。然而由式(3)可知， 若用y表示一个被测试的rs-fMRI信号，则 R,是一个时间统计平均值，虽然去掉了时间维度 该信号不仅包含脑区结构像信息，还包含时间信 N,但也去掉了ROI数据的瞬时量，不可避免地
映功能连接特性，因此可以使用 fMRI 数据来有 效诊断 AD 和 EMCI。然而，采集 fMRI 通常需要 被试者完成特定的实验任务，因此 fMRI 数据又 往往与完成的任务有关。其实，大脑即使在不完 成任何特定任务时，各脑区仍然在相互作用，存 在一个默认的功能网络，而这种默认模式在一些 认知障碍的大脑疾病中通常遭到了破坏，因此 rsfMRI 也逐渐地用在 EMCI 诊断中[21]。与 fMRI 数 据相比，rs-fMRI 的获取不需要被试者完成预先设 定好的实验动作，仅需要被试者保持休息状态， 因此避免了人为因素对数据的干扰。 通常，rs-fMRI 为一四维数据，用于深度分类 网络需先降维。常用的一种降维方式是，将脑区 划分成一些 ROI，从这些 ROI 中提取 BOLD 信号， 再从这些 BOLD 信号提取特征值，如利用 SAE[22] 或受限玻尔兹曼机 (restricted Boltzmann machine， RBM)[23] 提取特征值，最后利用这些特征值进行 分类。由于输入数据的降维不可避免带来信息丢 失，而不降维又容易产生较复杂的分类网络，因 此，在 rs-fMRI 中如何解决分类网络的数据输入 是本文需要关注的另一个重点。 2 问题提出 由于深度学习能自动提取特征值，且具有较 高的分类准确率，因此本文将采用深度学习的方 法来进行 EMCI 的诊断。同时，由于 rs-fMRI 无需 完成任何实验任务，本文也采用 rs-fMRI 数据来 进行诊断。 将 rs-fMRI 应用于深度学习的 EMCI 诊断首 先需要解决数据输入的问题，如图 1 所示，既要保 证输入到分类网络的数据降维后应包含丰富的分 类信息，又能降低分类网络的复杂性，以确保较 少的训练时间。 2D 或 3D CNN SAE, RBM 或 CNN 分类网络 AAL Mask 求相关 函数 提取 ROI 维度不匹配 训练时间长 瞬时信息损失 rs-fMRI ... 输入端 分类器 图 1 特征提取的相关问题 Fig. 1 Issues related to feature extraction 若用 Y 表示一个被测试的 rs-fMRI 信号，则 该信号不仅包含脑区结构像信息，还包含时间信 NT ×NX ×NY ×NZ NT NX NY NZ 息，因此是一个 的四维数据，其 中 表示时间维度， 、 和 分别表示脑区 的 3 个空间维度。目前，常用的 CNN大多是针对 二维图像的分类网络，因此 rs-fMRI并不能直接拿 来作为输入。当然，由于 AD 影像数据的高维特 性，近年来还出现了一些三维 CNN网络[24] ，但作 为四维的 rs-fMRI 仍然无法被直接使用，需要进 行降维。 NT ×NA NA NS S 1,S 2,··· ,S N 一种常用的降维方式是使用自动解剖标记 (automated anatomical labeling，AAL)[25] 图谱来得到 一个 的二维 ROI 时间序列，其中 表示 ROI 的数量。此时，原来的 rs-fMRI 将从原来的四 维降至二维，数据量得到了减少。然而，为了从 ROI 时间序列数据提取特征值，仍然需要训练， 以 SAE 方法为例[22] , 设该网络共有 个隐藏层， 其每层隐藏层的神经元数量分别为 ， 那么该网络总共的权重数量为 WSAE=2NTNAS 1S 2 ···S Ns (1) NC L1,L2,··· ,LNc F1 × F1,F2 × F2,··· ,FNc × FNc M1 × M1, M2 × M2,··· , MNc × MNc 从式 (1) 看到，由于 SAE 采用的是全连接网 络，因此其权重的数量与神经元数量和隐藏层数 相关，当这两者数量增大时将不可避免使得整个 网络权重数变得庞大。当然，CNN 也可以自动提 取特征值，目前的 CNN 利用卷积运算对权重进行 共享，相比全连接层可以减少权重数量。假设一 个 CNN 网络共有 个卷积层，其中每个卷积层 分别由 个特征图组成，特征图的大小分 别为 ，所使用的卷积核 尺寸分别为 ，若步长 (stride) 为 1 时，那么该网络的总共的权重数量为 WCNN = ∑Nc i=1 FiFiLi(MiMi +b) (2) 其中 b 是偏置数。式 (2) 的权重与其层数密切相 关，通常 CNN 在深度学习中的层数都较多，即使 权重实现共享但权重数依然庞大。 xt yt t 利用脑区功能性连接网络理论来提取特征值 的方法可以进一步对数据降维[20] ，其本质是求统 计相关系数，若 和 分别为任意两个 ROI 在第 时刻 BOLD 信号，那么其相关函数可表示为 Rxy = 1 T ∑T−1 t=0 xtyt (3) NT ×NA NA ×(NA −1) 2 Rxy NT 因此，对于一个 的二维 ROI 时间序列 求相关以后，其维度将变为 ，相比原 ROI 序列，数量得到了减少。然而由式 (3) 可知， 是一个时间统计平均值，虽然去掉了时间维度 ，但也去掉了 ROI 数据的瞬时量，不可避免地 ·664· 智 能 系 统 学 报 第 16 卷
第4期 孔伶旭，等：迁移学习特征提取的s-MRI早期轻度认知障碍分类 ·665· 带来了部分信息丢失。因此，如何在数据降维、 瓶颈层函数f无ek(),以此得到瓶颈层特征： 信息丢失以及训练时间寻找平衡将是本文主要研 F=foaneck(Wh,XT) (5) 究的一个问题。 其中F即是从ROI时间序列提取的特征值。若 目标网络的顶层()经训练后，使得X,及其对 3方法 应标签Dr满足 3.1总体框架 Dr fo two,F) (6) 本文使用rs-fMRI数据以及迁移学习的 则本迁移学习任务完成，其中w是目标网络 CNN网络来对EMCI进行诊断，方法总体框架如 的顶层输出的权重矢量。 图2所示，把患有EMCI和正常控制组(normal 图3给出了式(6)的迁移学习过程，图中预训 control,NC)的rs-fMRI数据进行配准、头动校正、 练部分通常无需在本地端完成，即使瓶颈层的权 颅骨剥离、归一化、平滑及滤波等预处理操作，然 重w。非常庞大，但由于可由第三方预先完成而获 后使用AAL对完成预处理数据提取ROI得到相 得，因此可大幅减少提取特征的训练时间。更重 应的二维时间序列，随后输入到已预训练的迁移 要的是，为保证提取瓶颈特征的有效性，训练和 网络，以此得到瓶颈(bottneck)特征，最后将该特 获取瓶颈层权重w。往往在一个非常巨大的源数 征输入到设计好的TOP层中得到分类结果，完成 据集中完成，如ImageNet数据库，因此相比单 纯无迁移的CNN,迁移网络可以解决目标数据集 疾病诊断。 不足的情形，而目前获取大规模EMCI的rs-fMRI 数据仍存在一定困难。 rs-fMRI 提取ROI 源数据集X ROI时间序列X, 迁移学习 Bottleneck特征 预训练 顶层 容限形 CNN瓶颈层 迁移至 MobileNet CNN瓶颈层 /ineck(WB.Xs) fmeck(WB:X) 分类结果 顶层 顶层 图2算法总体框架 f(·) Fig.2 Algorithm overall framework 3.2迁移学习的特征提取 输出标签Ds 输出标签D 将一个具有脑区空间和时间维度的四维s 预训练 fMRI信号直接作为分类器的输入，维度较高，可 图3迁移学习提取ROI特征 从其中提取ROI时间序列来降维，但从ROI时间 Fig.3 Transfer learning to extract ROI features 序列提取特征值，仍需训练。如前所述，SAE和 其实，图3的EMCI目标网络训练仅仅对一 CNN网络提取特征将面临权重数庞大和训练时 顶层网络进行训练，而顶层只是一个浅层神经网 间增多的问题，而采用相关法提取特征又容易丢 络，其权重w°数量并不大，因此可保证训练能在 失瞬时信息，因此本文考虑采用迁移学习方法从 短时间内完成。另外，由于瓶颈层特征F来源于 ROI提取特征值。 ROI时间序列，因此相比于求相关系数的特征值 设X,和D分别是一源数据集中的二维图像 提取方法，其瞬时特征也得到了保留。当然，虽 矢量和对应标签，将一CNN网络在该源数据集中 然ak(⊙的权重可由预训练得到，但特征F也需 进行预训练，使其满足： 通过feek(O的计算得到，因此太复杂的可迁移 Ds=fopwi,fomneck(wo.Xs) (4) CNN会增大特征提取的计算量，本文将选用一种 式中：fp)和无nek()分别是该预训练CNN网络 轻型的CNN网络来实现迁移学习。 的顶层和瓶颈层函数；w和。分别是顶层和瓶 3.3 MobileNet网络 颈层的权重矢量。 作为一种轻型的CNN网络，Mobilenet'2a使用 预训练完成后，将由四维rs-fMR数据张量Y 深度可分离卷积替代原有的传统卷积以减少计算 提取出来ROI时间序列X,输入到预训练完成的 量，本文将采用该网络来作为迁移学习函数
带来了部分信息丢失。因此，如何在数据降维、 信息丢失以及训练时间寻找平衡将是本文主要研 究的一个问题。 3 方法 3.1 总体框架 本文使 用 rs-fMRI 数据以及迁移学习 的 CNN 网络来对 EMCI 进行诊断，方法总体框架如 图 2 所示，把患有 EMCI 和正常控制组 (normal control，NC) 的 rs-fMRI 数据进行配准、头动校正、 颅骨剥离、归一化、平滑及滤波等预处理操作，然 后使用 AAL 对完成预处理数据提取 ROI 得到相 应的二维时间序列，随后输入到已预训练的迁移 网络，以此得到瓶颈 (bottneck) 特征，最后将该特 征输入到设计好的 TOP 层中得到分类结果，完成 疾病诊断。 顶层 预训练 MobileNet 迁移学习 分类结果 AAL Mask 提取 ROI rs-fMRI ... Bottleneck 特征 ... 图 2 算法总体框架 Fig. 2 Algorithm overall framework 3.2 迁移学习的特征提取 将一个具有脑区空间和时间维度的四维 rsfMRI 信号直接作为分类器的输入，维度较高，可 从其中提取 ROI 时间序列来降维，但从 ROI 时间 序列提取特征值，仍需训练。如前所述，SAE 和 CNN 网络提取特征将面临权重数庞大和训练时 间增多的问题，而采用相关法提取特征又容易丢 失瞬时信息，因此本文考虑采用迁移学习方法从 ROI 提取特征值。 设 Xs 和 DS 分别是一源数据集中的二维图像 矢量和对应标签，将一 CNN 网络在该源数据集中 进行预训练，使其满足： DS = f S top{w S t , fbtneck(wb ,XS )} (4) f S top(·) fbtneck(·) w S t wb 式中： 和 分别是该预训练 CNN 网络 的顶层和瓶颈层函数； 和 分别是顶层和瓶 颈层的权重矢量。 Y XT 预训练完成后，将由四维 rs-fMRI 数据张量 提取出来 ROI 时间序列 ，输入到预训练完成的 瓶颈层函数 fbtneck(·) ，以此得到瓶颈层特征： F = fbtneck(wb,XT ) (5) F f O top(·) XT DT 其中 即是从 ROI 时间序列提取的特征值。若 目标网络的顶层 经训练后，使得 及其对 应标签 满足 DT = f O top{w O t ,F} (6) w O 则本迁移学习任务完成，其中 t 是目标网络 的顶层输出的权重矢量。 wb wb 图 3 给出了式 (6) 的迁移学习过程，图中预训 练部分通常无需在本地端完成，即使瓶颈层的权 重 非常庞大，但由于可由第三方预先完成而获 得，因此可大幅减少提取特征的训练时间。更重 要的是，为保证提取瓶颈特征的有效性，训练和 获取瓶颈层权重 往往在一个非常巨大的源数 据集中完成，如 ImageNet 数据库[12] ，因此相比单 纯无迁移的 CNN，迁移网络可以解决目标数据集 不足的情形，而目前获取大规模 EMCI 的 rs-fMRI 数据仍存在一定困难。 输出标签 DT CNN 瓶颈层 fbtneck(wb , XT ) 顶层 顶层 输出标签 DS 预训练 源数据集 XS 迁移至 ROI 时间序列 XT T top f (·) CNN 瓶颈层 fbtneck(wb , XS ) 图 3 迁移学习提取 ROI 特征 Fig. 3 Transfer learning to extract ROI features w O t F fbtneck(·) F fbtneck(·) 其实，图 3 的 EMCI 目标网络训练仅仅对一 顶层网络进行训练，而顶层只是一个浅层神经网 络，其权重 数量并不大，因此可保证训练能在 短时间内完成。另外，由于瓶颈层特征 来源于 ROI 时间序列，因此相比于求相关系数的特征值 提取方法，其瞬时特征也得到了保留。当然，虽 然 的权重可由预训练得到，但特征 也需 通过 的计算得到，因此太复杂的可迁移 CNN 会增大特征提取的计算量，本文将选用一种 轻型的 CNN 网络来实现迁移学习。 3.3 MobileNet 网络 作为一种轻型的 CNN 网络，Mobilenet[26] 使用 深度可分离卷积替代原有的传统卷积以减少计算 量，本文将采用该网络来作为迁移学习函数 第 4 期 孔伶旭，等：迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 ·665·
·666· 智能系统学报 第16卷 x(~)。深度可分离卷积将标准卷积分解成一个 计的顶层)就可进行分类。顶层网络)设 深度卷积和一个点卷积，如图4所示。深度卷积 计如图5所示，主要包括全局平均池化层、Dro- 将单个卷积核应用于每个输人通道，点卷积使用 pout层、全连接层和输出层，其中全局平均池化 1×1卷积核来组合输出，这种分解可大幅度地减 层可将瓶颈层特征融合，Dropout层可避免网络出 少模型大小和计算量。 现过拟合。因此，该顶层的权重数量为 ×(1-r）(12) M D N→ 式中：NGAP×NGAP为瓶颈特征经过全局平均池化 (a)标准卷积 层的融合后得到的数据维度；C:为第i层全连接 层的神经元数；m为全连接层的总层数；r为Dropout DT D M→ 层的权重丢弃率。由于在顶层中，经提取和融合 (b)深度卷积 后的瓶颈层特征维度已经降至很低，且层数m值 较小，因此式(12)的权重数不会很大，保证了较 M 少的网络训练时间。 ←-N→ (c)1×1点卷积 瓶颈特征 全局平均池化层 图4深度可分离卷积 Dropout层 Fig.4 Depth separable convolution 对于一个Nr×Na的ROI时间序列来说，设其 全连接层1 顶层 输入通道为M,经过一个标准卷积层，则将产生 全连接层2 一个N×Nr×WA的特征图，W是输出通道数。若 经过一个卷积核大小为Dx×Dx×MXN的标准卷 积层，其中Dx是卷积核维度，那么该标准卷积的 全连接层m 计算成本为 输出标签 输出层 DKXDkXMXNXNTXNA (7) 在深度可分离卷积中，先使用深度卷积为每 图5顶层设计 个输入通道应用单个滤波器，那么深度卷积的计 Fig.5 Top-level design 算成本为 另外，顶层中的一些参数设定会影响最后的 DkXDkXMXNTXNA (8) 分类结果，如全连接层层数m、Dropout.层的权重 然后使用点卷积(1×1的卷积核)来创建深度 丢弃率，和全连接层的神经元数C。如何选择合 层的输出的线性组合，其计算成本为 适的参数值可通过实验来进行实际测试，这部分 M×NXN×NA (9) 的内容将在下一节实验中作详细讨论。 所以深度可分离卷积的计算成本为 3.5算法训练 DxxDxXMXNrXN+MXNXNrXNA (10) 最后给出本文EMCI分类算法训练的步骤， 因此，深度可分离卷积的乘法次数与标准卷 如下所示： 积之比为 1)预处理：对rs-fMRI信号的观测值Y进行 Dk×Dx×M×Nr×Na+MXNXN-×NA1,1 DkXD&XMXNXNTXNA ND 配准、头动校正、颅骨剥离、归一化和平滑及滤波 (11) 等，并分成训练集和验证集； 由式(Il)可知，由MobileNet得到瓶颈层所 2)ROI提取：由AAL图谱从预处理数据中提 需计算量与相同规模网络比，可大大减少。因此 取ROI时间序列Xr; 从计算量角度，选择MboileNet作为迁移网络是 3)瓶颈特征提取：由aack(wb,Xr)获取瓶颈 一个较好的选择。 特征； 3.4顶层分类网络 4)训练：在训练集中，通过式(6)训练得到顶 将ROI时间序列经预训练的瓶颈层MobileN- 层权重w2, t就得到瓶颈特征，随后再将瓶颈特征输入到设 5)验证：由验证集，通过式(6)得到分类结
fbtneck(·) 。深度可分离卷积将标准卷积分解成一个 深度卷积和一个点卷积，如图 4 所示。深度卷积 将单个卷积核应用于每个输入通道，点卷积使用 1×1 卷积核来组合输出，这种分解可大幅度地减 少模型大小和计算量。 M M DK DK DK DK ← N→ (b) 深度卷积 1 ← → . . . . . . . . . M 1 1 ← N→ (a) 标准卷积 (c) 1×1 点卷积 图 4 深度可分离卷积 Fig. 4 Depth separable convolution NT ×NA N ×NT ×NA N DK × DK × M ×N DK 对于一个 的 ROI 时间序列来说，设其 输入通道为 M，经过一个标准卷积层，则将产生 一个 的特征图， 是输出通道数。若 经过一个卷积核大小为 的标准卷 积层，其中 是卷积核维度，那么该标准卷积的 计算成本为 DK × DK × M ×N ×NT ×NA (7) 在深度可分离卷积中，先使用深度卷积为每 个输入通道应用单个滤波器，那么深度卷积的计 算成本为 DK × DK × M ×NT ×NA (8) 然后使用点卷积 (1×1 的卷积核) 来创建深度 层的输出的线性组合，其计算成本为 M ×N ×NT ×NA (9) 所以深度可分离卷积的计算成本为 DK × DK × M ×NT ×NA+M ×N ×NT ×NA (10) 因此，深度可分离卷积的乘法次数与标准卷 积之比为 DK × DK × M ×NT ×NA+M ×N ×NT ×NA DK × DK × M ×N ×NT ×NA = 1 N + 1 D2 K (11) 由式 (11) 可知，由 MobileNet 得到瓶颈层所 需计算量与相同规模网络比，可大大减少。因此 从计算量角度，选择 MboileNet 作为迁移网络是 一个较好的选择。 3.4 顶层分类网络 将 ROI 时间序列经预训练的瓶颈层 MobileNet 就得到瓶颈特征，随后再将瓶颈特征输入到设 f O top(·) f O top 计的顶层 就可进行分类。顶层网络 (·) 设 计如图 5 所示，主要包括全局平均池化层、Dropout 层、全连接层和输出层，其中全局平均池化 层可将瓶颈层特征融合，Dropout 层可避免网络出 现过拟合。因此，该顶层的权重数量为 NGAP ×NGAP ×C1 + ∑m−1 i Ci ×Ci+1 +2Cm ×(1−r) (12) NGAP ×NGAP i m r m 式中： 为瓶颈特征经过全局平均池化 层的融合后得到的数据维度；Ci 为第 层全连接 层的神经元数； 为全连接层的总层数； 为 Dropout 层的权重丢弃率。由于在顶层中，经提取和融合 后的瓶颈层特征维度已经降至很低，且层数 值 较小，因此式 (12) 的权重数不会很大，保证了较 少的网络训练时间。 瓶颈特征 顶层 输出标签 全局平均池化层 Dropout 层 全连接层 1 全连接层 2 全连接层 m ... 输出层 图 5 顶层设计 Fig. 5 Top-level design m r 另外，顶层中的一些参数设定会影响最后的 分类结果，如全连接层层数 、Dropout 层的权重 丢弃率 和全连接层的神经元数 Ci。如何选择合 适的参数值可通过实验来进行实际测试，这部分 的内容将在下一节实验中作详细讨论。 3.5 算法训练 最后给出本文 EMCI 分类算法训练的步骤， 如下所示： 1) 预处理：对 rs-fMRI 信号的观测值 Y 进行 配准、头动校正、颅骨剥离、归一化和平滑及滤波 等，并分成训练集和验证集； XT 2)ROI 提取：由 AAL 图谱从预处理数据中提 取 ROI 时间序列 ； 3) 瓶颈特征提取：由 fbtneck(wb,XT ) 获取瓶颈 特征; w O t 4) 训练：在训练集中，通过式 (6) 训练得到顶 层权重 ; 5) 验证：由验证集，通过式 (6) 得到分类结 ·666· 智 能 系 统 学 报 第 16 卷
第4期 孔伶旭，等：迁移学习特征提取的s-MRI早期轻度认知障碍分类 ·667· 果，并计算分类准确率， 2mm或任一方向转动超过2)的头部运动； 6)重复执行步骤4)5)至分类准确率收敛。 7)进行归一化和平滑，并将所有数据都过滤 到一个频率范围(0.010.08Hz): 4实验设置及结果 8)使用AAL图谱将大脑分为116个ROL,如 4.1数据来源及预处理 图6所示，每个半脑球包含58个区域，最后得到 在本实验中，所采用的rs-fMRI数据均来源于 一个116×130的矩阵，其中列为兴趣数，行为时间 阿尔茨海默病神经影像学数据库(Alzheimer's 维度：最后根据所有被试的头动情况，图像成像 disease neuroimaging initiative,ADNI),其网址 质量以及结构和功能像的配准质量对数据进行过 为http:/adni.loni.usc.edu/。在该数据库中，我们选 滤，最终分别得到了32个EMCI和NC图像。 择了ADNI-2阶段的rs-fMRI数据，其具体参数详 见表1，从中我们分别得到了32个EMCI和正常 对照组(normal control,NC)的可用的被试数据， 且两组被试内的年龄和性别分布没有明显差异。 表1rs-fMRI数据相关参数 Table 1 rs-fMRI data related parameters 参数 描述 数据库 ADNI-2 图6大脑节点 磁场强度T 3.0 Fig.6 Top-level design 采集设备 Philip 4.2实验方法 翻转角/() 80 在实验中，采用两种方法对rs-fMRI进行降 TR/ms 300 维，一种仅通过AAL提取ROI,一种为提取 TE/ms 30 ROI后再求pearson相关系数，因为pearson相关 像素大小 系数通常用于衡量功能连接的强度2，因此也可 3.3mm×3.3mm 以使用它来衡量不同大脑区域之间的功能连接。 切片数量 48 其具体参数详见表2。在对数据降维后，采用两 TR数 140 种方法提取特征值和分类，分别采用SAE和迁移 数据预处理采用数据处理和脑成像分析(data 网络MobileNet,.具体参数也由表2列出，由此我 processing&analysis of brain imaging,DPABD）)工.具 们分别得到以下4种方法的分类结果： 箱7，具体过程如下： 1)SAE_ROI:由AAL得到ROI,再由SAE提 1)去除每个被试者前10帧图像，仅保留 取特征值后分类： 130帧图像； 2)SAE_Corr:由AAL得到ROL,再求pear- 2)以第48帧图像为基准对所有的图像进行 son相关系数，再由SAE提取pearson相关系数的 校准，使每个切片上的数据具有相同时间点； 特征值后分类。 3)对所有被试进行头动校正，将头动校正到 3)Transf Corr:由AAL得到ROI,再求pear- 同一位置，并为接下来的图像质量控制提供数据； son相关系数，再由MoblieNet提取pearson相关 4)将与rS-fMRI数据匹配的MRI数据进行颅 系数特征值后进入TOP层分类： 骨剥离，然后同功能图像进行配准，将MRI数据 4)Transf ROI:由AAL得到ROL,再由Mob- 变换到rs-fMRI数据的空间，使得rs-fMRI数据可 lieNet提取ROI特征值后进入TOP层进行分类， 以被分割成脑脊髓液、灰质和白质信号： 计算步骤也可参见表1。 5)去除一些混淆因素，将全局平均信号、脑 以上方法的分类方法都将采用k折交叉验证 脊髓液和白质信号被作为无关变量去除，且以 以防止发生过度拟合问题2，其中k取5。实验 6个头动参数（包含3个转动参数和3个平动参 中分类准确率计算过程为：将总数据样本随机分 数)去除头动带来的影响； 成5份，选择其一作为验证集，其余4个作为训练 6)评估被试者头部的旋转和平移，发现所有 集，每个子样本用作测试集一次，交叉验证重复 参与者都没有表现出过度（任一方向平移超过 5次，分类准确率就为5次分类结果的平均值
果，并计算分类准确率; 6) 重复执行步骤 4)~5) 至分类准确率收敛。 4 实验设置及结果 4.1 数据来源及预处理 在本实验中，所采用的 rs-fMRI 数据均来源于 阿尔茨海默病神经影像学数据库 (Alzheimer’s disease neuroimaging initiative，ADNI)，其网址 为 http://adni.loni.usc.edu/。在该数据库中，我们选 择了 ADNI-2 阶段的 rs-fMRI 数据，其具体参数详 见表 1，从中我们分别得到了 32 个 EMCI 和正常 对照组 (normal control, NC) 的可用的被试数据， 且两组被试内的年龄和性别分布没有明显差异。 表 1 rs-fMRI 数据相关参数 Table 1 rs-fMRI data related parameters 参数 描述 数据库 ADNI-2 磁场强度/T 3.0 采集设备 Philip 翻转角/(°) 80 TR/ms 300 TE/ms 30 像素大小 3.3 mm×3.3 mm 切片数量 48 TR数 140 数据预处理采用数据处理和脑成像分析 (data processing & analysis of brain imaging，DPABI) 工具 箱 [27] ，具体过程如下： 1) 去除每个被试者 前 10 帧图像，仅保 留 130 帧图像； 2) 以第 48 帧图像为基准对所有的图像进行 校准，使每个切片上的数据具有相同时间点； 3) 对所有被试进行头动校正，将头动校正到 同一位置，并为接下来的图像质量控制提供数据； 4) 将与 rs-fMRI 数据匹配的 MRI 数据进行颅 骨剥离，然后同功能图像进行配准，将 MRI 数据 变换到 rs-fMRI 数据的空间，使得 rs-fMRI 数据可 以被分割成脑脊髓液、灰质和白质信号； 5) 去除一些混淆因素，将全局平均信号、脑 脊髓液和白质信号被作为无关变量去除，且以 6 个头动参数 (包含 3 个转动参数和 3 个平动参 数) 去除头动带来的影响； 6) 评估被试者头部的旋转和平移，发现所有 参与者都没有表现出过度 (任一方向平移超过 2 mm 或任一方向转动超过 2°) 的头部运动； 7) 进行归一化和平滑，并将所有数据都过滤 到一个频率范围 (0.01~0.08 Hz)； × 8) 使用 AAL 图谱将大脑分为 116 个 ROI，如 图 6 所示，每个半脑球包含 58 个区域，最后得到 一个 116 130 的矩阵，其中列为兴趣数，行为时间 维度；最后根据所有被试的头动情况，图像成像 质量以及结构和功能像的配准质量对数据进行过 滤，最终分别得到了 32 个 EMCI 和 NC 图像。 L 1 6 R 图 6 大脑节点 Fig. 6 Top-level design 4.2 实验方法 在实验中，采用两种方法对 rs-fMRI 进行降 维，一种仅通 过 A AL 提 取 ROI ，一种为提 取 ROI 后再求 pearson 相关系数，因为 pearson 相关 系数通常用于衡量功能连接的强度[28] ，因此也可 以使用它来衡量不同大脑区域之间的功能连接。 其具体参数详见表 2。在对数据降维后，采用两 种方法提取特征值和分类，分别采用 SAE 和迁移 网络 MobileNet，具体参数也由表 2 列出，由此我 们分别得到以下 4 种方法的分类结果： 1)SAE_ROI：由 AAL 得到 ROI，再由 SAE 提 取特征值后分类； 2)SAE_Corr：由 AAL 得到 ROI，再求 pearson 相关系数，再由 SAE 提取 pearson 相关系数的 特征值后分类。 3)Transf_Corr：由 AAL 得到 ROI，再求 pearson 相关系数，再由 MoblieNet 提取 pearson 相关 系数特征值后进入 TOP 层分类； 4)Transf_ROI：由 AAL 得到 ROI，再由 MoblieNet 提取 ROI 特征值后进入 TOP 层进行分类， 计算步骤也可参见表 1。 k k 以上方法的分类方法都将采用 折交叉验证 以防止发生过度拟合问题[29] ，其中 取 5。实验 中分类准确率计算过程为：将总数据样本随机分 成 5 份，选择其一作为验证集，其余 4 个作为训练 集，每个子样本用作测试集一次，交叉验证重复 5 次，分类准确率就为 5 次分类结果的平均值。 第 4 期 孔伶旭，等：迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 ·667·
·668· 智能系统学报 第16卷 为了避免实验的偶然性结果，最终分类准确率结 4.3分类性能 果为重复以上实验10次后的平均值。 首先，给出各方法的分类准确率，如表3所 表2相关实验方法参数 示。从表3可以看到，SAE ROI的分类准确率为 Table 2 Related experimental method parameters 59%,其余3种方法均超过了59%，这表明利用 参数 描述 SAE提取ROI特征的方法分类准确率并不高。 图谱 AAL 在用相关系数降维的方法中，利用迁移学习提取 ROI 区域数 116 相关系数特征值的方法要优于用SAE的方法约 时间点数 130 0.17%。分类准确率最高的是利用迁移学习提取 相关特征 相关系数 ROI特征值的方法，它能使分类准确率达到约 Pearson 学习率 74%,与其余的SAE ROI、SAE_Corr和Transf 1 Corr3种方法的分类准确率相比，分别提升了近 隐藏层数 1 14.67%、10.17%和10%。该结果也表明了，利用 隐藏层激活函数 Sigm 迁移学习提取ROI特征值在分类信息的损失上 SAE 神经元数 251 要小于提取相关系数特征值，因此分类准确率也 InputZeroMaskedFraction 0.5 得到了提高。 Batchsize 2 表3分类方法的分类准确率 Numepochs 20 Table 3 Classification accuracy of classification method 迁移网络 MobileNet 分类算法 准确率% 灵敏度 特异度 预训练权重 Imagent SAE ROI 59.00 0.583 0.597 Img_width 160 SAE_Corr 63.50 0.650 0.620 MobileNet Img height 160 Transf Corr 63.67 0.703 0.570 alpha 1 Transf_ROI 73.67 0.760 0.713 Batchsize 2 表3还给出了灵敏度和特异度的实验结果。 池化层 全局平均池化 从该结果中可以发现，Transf ROI的灵敏度为 全连接层数 3 0.760,高于Transf_Corr(0.703)、SAE_Corr 全连接层激活函数 Softplus (0.650)和SAE ROI(0.583)。而Transf ROI的特异 TOP层 全连接层神经元数 20010050 度为0.713，这在所讨论的方法中也是最高的，高 输出层激活函数 Sigmoid 于Transf Corr(0.570)、SAE Corr(0.620)和 Epoch 65 SAE ROI(0.597) Dropout 0 图7给出了采用Transf ROI方法所提取的特 征值结果图，其中图7(a)是在TOP层分类网络的 除了统计分类准确率，实验还使用敏感性和 第3全连接层所提取的所有NC特征值均值， 特异性来评估分类方法的性能。灵敏度为检测出 图7(b)是相应所有EMCI特征值均值。从图中可 真阳性数与实际真阳性数比值，越大的值检测 以看到，虽然两幅特征值图的绝大部分像素值均 EMCI的性能越好。特异度为检测出真阴性数与 在50左右，但是还是存在一定的差异性。例如， 实际真阴性数比值，越大的值检测非EMCI的性 对于EMCI组，其在第13列的3、17、35和50行 能越好。 的像素值一道道200左右，而NC组相应位置仍 另外，文中所用的SAE基于DeepLearnTool- 在50左右。该结果也与表3的结果一致，表明利 box-master,.下载地址为https:/github.com/xiayuan/ 用迁移学习提取特征值在两个组别确实存在差异 DeepLearnToobox-master。.MobileNet采用tensor- 性，因而可以将两个组别的被试进行分类。 fiow平台中函数，下载地址为https:/github.com/ 图8给出了4种分类方法在10次实验中的 tensorflow/.models/treemaster/research/slim,使用的 分类准确率波动情况，整体看，其曲线由高到低 预训练权重为Imagent公开的数据，下载网址为 排列大致是Transf ROI、Transf Corr、SAE Corr https://github.com/fchollet/deep-learningmodels/re- 以及SAE ROI,.与表3中的结果一致。并且在 leases/tag/v0.6。 l0次实验中，Transf ROI方法在7次实验中都取
为了避免实验的偶然性结果，最终分类准确率结 果为重复以上实验 10 次后的平均值。 表 2 相关实验方法参数 Table 2 Related experimental method parameters 参数 描述 ROI 图谱 AAL 区域数 116 时间点数 130 相关特征 相关系数 Pearson SAE 学习率 1 隐藏层数 1 隐藏层激活函数 Sigm 神经元数 251 InputZeroMaskedFraction 0.5 Batchsize 2 Numepochs 20 MobileNet 迁移网络 MobileNet 预训练权重 Imagent Img_width 160 Img_height 160 alpha 1 Batchsize 2 TOP层 池化层 全局平均池化 全连接层数 3 全连接层激活函数 Softplus 全连接层神经元数 200 100 50 输出层激活函数 Sigmoid Epoch 65 Dropout 0 除了统计分类准确率，实验还使用敏感性和 特异性来评估分类方法的性能。灵敏度为检测出 真阳性数与实际真阳性数比值，越大的值检测 EMCI 的性能越好。特异度为检测出真阴性数与 实际真阴性数比值，越大的值检测非 EMCI 的性 能越好。 另外，文中所用的 SAE 基于 DeepLearnToolbox-master，下载地址为 https://github.com/xiayuan/ DeepLearnToobox-master。MobileNet 采用 tensorflow 平台中函数，下载地址为 https://github.com/ tensorflow/models/treemaster/research/slim，使用的 预训练权重为 Imagent 公开的数据，下载网址为 https://github.com/fchollet/deep-learningmodels/releases/tag/v0.6。 4.3 分类性能 首先，给出各方法的分类准确率，如表 3 所 示。从表 3 可以看到，SAE_ROI 的分类准确率为 59%，其余 3 种方法均超过了 59%，这表明利用 SAE 提取 ROI 特征的方法分类准确率并不高。 在用相关系数降维的方法中，利用迁移学习提取 相关系数特征值的方法要优于用 SAE 的方法约 0.17%。分类准确率最高的是利用迁移学习提取 ROI 特征值的方法，它能使分类准确率达到约 74%，与其余的 SAE_ROI、SAE_Corr 和 Transf_ Corr3 种方法的分类准确率相比，分别提升了近 14.67%、10.17% 和 10%。该结果也表明了，利用 迁移学习提取 ROI 特征值在分类信息的损失上 要小于提取相关系数特征值，因此分类准确率也 得到了提高。 表 3 分类方法的分类准确率 Table 3 Classification accuracy of classification method 分类算法 准确率/% 灵敏度 特异度 SAE_ROI 59.00 0.583 0.597 SAE_Corr 63.50 0.650 0.620 Transf_Corr 63.67 0.703 0.570 Transf_ROI 73.67 0.760 0.713 表 3 还给出了灵敏度和特异度的实验结果。 从该结果中可以发现，Transf_ROI 的灵敏度为 0.760， 高 于 Transf_Corr(0.703)、 SAE_Corr (0.650) 和 SAE_ROI(0.583)。而 Transf_ROI 的特异 度为 0.713，这在所讨论的方法中也是最高的，高 于 Transf_Corr(0.570)、SAE_Corr(0.620) 和 SAE_ROI(0.597)。 图 7 给出了采用 Transf_ROI 方法所提取的特 征值结果图，其中图 7(a) 是在 TOP 层分类网络的 第 3 全连接层所提取的所有 NC 特征值均值， 图 7(b) 是相应所有 EMCI 特征值均值。从图中可 以看到，虽然两幅特征值图的绝大部分像素值均 在 50 左右，但是还是存在一定的差异性。例如， 对于 EMCI 组，其在第 13 列的 3、17、35 和 50 行 的像素值一道道 200 左右，而 NC 组相应位置仍 在 50 左右。该结果也与表 3 的结果一致，表明利 用迁移学习提取特征值在两个组别确实存在差异 性，因而可以将两个组别的被试进行分类。 图 8 给出了 4 种分类方法在 10 次实验中的 分类准确率波动情况，整体看，其曲线由高到低 排列大致是 Transf_ROI、Transf_Corr、SAE_Corr 以及 SAE_ROI，与表 3 中的结果一致。并且在 10 次实验中，Transf_ROI 方法在 7 次实验中都取 ·668· 智 能 系 统 学 报 第 16 卷
第4期 孔伶旭，等：迁移学习特征提取的s-MRI早期轻度认知障碍分类 ·669· 得了最高的分类准确率，这也表明，不仅在平均 (graphics processing unit,GPU)。表4给出了在不 值上Transf ROI方法分类准确率较高，而且对于 同模型和不同数据输入时的提特征取和分类时 单次实验，Transf ROI的方法的分类准确率也大 间，从表中可以看出，与SAE方法相比，Transf方 概率高于其他方法。同时，在10次实验中， 法在特征提取时所用的时间减少了近80%，且所 Transf ROI和Transf Corr的分类准确率分别稳定 用的分类时间也都有减少，网络总运行时间减少了约 在70%~80%和60%~75%，而SAEC0rr和 60%。这都表明在相同的环境下，使用迁移学习 SAE ROI的分类准确率在10次实验中的波动较 对EMCI进行分类所耗费的时间少于SAE的方法， 大，可能是由于数据量不足。 其原因也在于迁移学习其实具有更少的权重数量。 0 1250 表4模型性能指标 10 200 Table 4 Model performance indicators 150 分类算法 特征提取时间 分类时间 总时间 100 50 SAE ROI 60.05 27.92 87.97 0 SAE Corr 25.71 12.66 38.37 10 1520 被试者编号 Transf Corr 5.42 8.78 14.20 (a)NC 0 5.56 8.81 14.37 250 Transf ROI 10 200 150 4.5顶层网络参数设置 100 本文主要分析Transf ROI的顶层网络的全连 40 50 接层数对分类性能的影响，其最终参数在表2列 0 10 1520 25 30 出。在这里，给出不同的顶层网络参数设置对最 被试者编号 终分类结果带来的不同影响。图9分别给出了采 (b)EMCI 用Transf_ROI中池化层所提取的NC组和 图7 Transf ROI中第3层全连接层中提取的特征值 EMCI组特征值的结果图，从图中可以看到，两个 Fig.7 Feature values extracted from the 3rd fully connec- ted layer in Transf ROI 组别的大部分像素值均在50左右，当然，存在一 部分像素值超过了150，但其所在两个组别的位 100 号% 置也没有存在明显差异性。该结果表明，仅靠池 化层提取的特征还不能将两组进行区分，需要加 入全连接层。 足 608 0 1250 50 e-SAE ROI 200 200 -SAE Corr 40 400 米Transf ROI 150 -Transf Corr 600 100 30 23 45678910 800 50 实验组数 1000 05101520 15 30 图810次实验中的分类准确率 被试者编号 Fig.8 Classification accuracy in ten experiments (a)NC 4.4分类时间 0 1250 给出在不同数据输入及不同模型的条件下提 200 200 取特征时间和分类时间，其中提取特征时间为分 400 150 600 100 别从时间序列数据及相关系数数据中提取特征以 800 供分类网络所占用的时间：分类时间是对全部的 1000 被试者，将其从时间序列数据及相关系数数据中 10 0 1520 30 被试者编号 提取到的特征，送人分类网络获得分类结果所用 (b)EMCI 的时间。所有实验方法均在Inter(R)Core(TM)i5- 图9 Transf ROI中池化层中提取的特征值 6300HQ(4核)的中央处理单元(central processing Fig.9 Feature values extracted from the pooling layer in unit,CPU)环境下运行，未采用任何图形处理器 Transf ROI
得了最高的分类准确率，这也表明，不仅在平均 值上 Transf_ROI 方法分类准确率较高，而且对于 单次实验，Transf_ROI 的方法的分类准确率也大 概率高于其他方法。同时， 在 1 0 次实验中， Transf_ROI 和 Transf_Corr 的分类准确率分别稳定 在 70%~80% 和 60%~75%， 而 SAE_Corr 和 SAE_ROI 的分类准确率在 10 次实验中的波动较 大，可能是由于数据量不足。 (a) NC 5 10 15 20 25 30 被试者编号 10 20 30 40 50 特征值 5 10 15 20 25 30 被试者编号 10 20 30 40 50 特征值 0 50 100 150 200 250 0 50 100 150 200 250 (b) EMCI 0 0 0 0 图 7 Transf_ROI 中第 3 层全连接层中提取的特征值 Fig. 7 Feature values extracted from the 3rd fully connected layer in Transf_ROI 1 2 3 4 5 6 7 8 9 10 实验组数 30 40 50 60 70 80 90 100 SAE_ROI SAE_Corr Transf_ROI Transf_Corr 准确率/% 图 8 10 次实验中的分类准确率 Fig. 8 Classification accuracy in ten experiments 4.4 分类时间 给出在不同数据输入及不同模型的条件下提 取特征时间和分类时间，其中提取特征时间为分 别从时间序列数据及相关系数数据中提取特征以 供分类网络所占用的时间；分类时间是对全部的 被试者，将其从时间序列数据及相关系数数据中 提取到的特征，送入分类网络获得分类结果所用 的时间。所有实验方法均在 Inter(R) Core(TM) i5- 6300HQ(4 核) 的中央处理单元 (central processing unit, CPU) 环境下运行，未采用任何图形处理器 (graphics processing unit, GPU)。表 4 给出了在不 同模型和不同数据输入时的提特征取和分类时 间，从表中可以看出，与 SAE 方法相比，Transf 方 法在特征提取时所用的时间减少了近 80%，且所 用的分类时间也都有减少，网络总运行时间减少了约 60%。这都表明在相同的环境下，使用迁移学习 对 EMCI 进行分类所耗费的时间少于 SAE 的方法， 其原因也在于迁移学习其实具有更少的权重数量。 表 4 模型性能指标 Table 4 Model performance indicators s 分类算法 特征提取时间 分类时间 总时间 SAE_ROI 60.05 27.92 87.97 SAE_Corr 25.71 12.66 38.37 Transf_Corr 5.42 8.78 14.20 Transf_ROI 5.56 8.81 14.37 4.5 顶层网络参数设置 本文主要分析 Transf_ROI 的顶层网络的全连 接层数对分类性能的影响，其最终参数在表 2 列 出。在这里，给出不同的顶层网络参数设置对最 终分类结果带来的不同影响。图 9 分别给出了采 用 Transf_RO I 中池化层所提取 的 N C 组 和 EMCI 组特征值的结果图，从图中可以看到，两个 组别的大部分像素值均在 50 左右，当然，存在一 部分像素值超过了 150，但其所在两个组别的位 置也没有存在明显差异性。该结果表明，仅靠池 化层提取的特征还不能将两组进行区分，需要加 入全连接层。 0 50 100 150 200 250 0 50 100 150 200 250 (a) NC 5 10 15 20 25 30 被试者编号 200 400 600 800 1 000 特征值 5 10 15 20 25 30 被试者编号 200 400 600 800 1 000 特征值 (b) EMCI 0 0 0 0 图 9 Transf_ROI 中池化层中提取的特征值 Fig. 9 Feature values extracted from the pooling layer in Transf_ROI 第 4 期 孔伶旭，等：迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 ·669·
·670· 智能系统学报 第16卷 全连接层的层数也会对实验结果产生影响， 实验中，本文方法的分类准确率为73.67%， 图10和图11分别给出了在1~4层全连接层时的 虽然比其他几种传统方法高，但低于文献22]给 分类准确率和运行时所用的迭代次数。从图10 出的86%的分类结果，该文献采用SAE来提取 中可以看出，在使用3层全连接层时，分类准确率 Pearson相关系数的特征，其主要原因在于，所使 最高，且在10组实验中，有6次是最高值。如图7 用的数据集较小，被试者数为64，而文献[22]所 所示的第3层全连接层中提取的特征值的组间差 用被试数为170。虽然本文所采用的ADNI-2数 异性明显大于如图9所示的池化层中提取的特征 据库中，有关EMCI的rs-fMRI数据确实较多，但 值的组间差异性，因此加入全连接层是十分有必 与其对应的MRI数据却相对较少。没有对应 要的。 MRI数据将无法进行良好配准，这会导致一些混 80 淆变量不能有效去除，如脑脊液和白质等，而该 混淆变量又会影响分类结果。因此，最后能够满 76 足实验条件的rs-fMRI数据量就较小。当然，实 验中的所采用方法无论是迁移学习还是传统方 0 法，面向的数据集是相同的，即本文方法的性能 ©1层全连接层 2层全连接层 提升是在同样数据条件下所获得的。在未来的工 6 *3层全连接层 作中，我们将会尝试更多的可用数据，以进一步 4层全连接层 60 来验证本文的研究。 3 4567 8910 实验组数 另外，在顶层参数设置的实验中，仅给出了全 图10T0P层具有1、2、3和4个全连接层时的测试精度 连接层数的实验结果，而未对其他参数作进一步 Fig.10 Test accuracy when TOP layer has 1,2,3 and 4 讨论，这主要是因为相对于其他参数，全连接层 fully connected layers 数对分类结果的影响比较大。对于激活函数，我 而在图11中可以看出，随着全连接层层数的 们也尝试了一些常用的函数，如ReLu、Softplus等0 增多，迭代次数在相应地减少，但减少的程度在 但发现这些函数的分类结果并没有较大差别，因 降低。根据图10和图11综合考虑分类准确率和 此选择了较为常见的Softplus。当然，还有一些参 迭代次数后，我们的实验选用了3层全连接层的 数对顶层性能也非常重要，例如全连接层节点 设置。 数。节点数量可以根据经验确定，若节点数太 160 小，网络将无法适应复杂分类，若节点数太大，会 1409 增加训练时间且可能产生过拟合。在本文的顶层 120 层连接层。 网络中，将3个全连接层的节点数分别设置为200 ®-2层全连接层 100 *3层全连接层 100和50。最后还有一个重要的顶层参数是Dro- 801 4层全连接是 pout层的神经元丢弃率，将其值设为大于0时，会 降低分类网络对训练数据的拟合程度，从而得到 40 较低的分类准确率，因此最后将其设置为0。 45678910 6结束语 实验组数 图11TOP层具有1,2,3和4个全连接层时的Epoch 针对通过rs-fMRI信号来诊断EMCI问题，本 Fig.11 Epoch when TOP layer has 1,2,3 and 4 fully con- 文提出了一种采用MobileNet的迁移网络来提取 nected layers ROI时间序列特征的方法。对于4D的rs-fMRI 5讨论 信号，采用迁移学习来提取特征值可以使网络的 训练时间大幅度下降，并能减少瞬时信息的丢失。 针对rs-fMRI数据的EMCI分类问题，本文采 本文在实验中，采用了ADNI-2的rs-fMRI数据 用迁移学习MoblieNet网络对ROI时间序列进行 并用DPABI工具箱对这些数据进行预处理，将本 特征提取，再进入到分类网络进行分类。实验结 文算法与从相关系数提取特征值的方法进行了对 果表明，本文的方法较传统方法的分类准确率有 比，结果显示本文算法的分类准确率比传统的相 所提升，且运行时间也有较大程度的减少，但还 关系数方法提高了约10%，而网络的分类时间大 有以下几点需要进一步进行讨论。 约只有用SAE提取相关系数特征方法的25%
全连接层的层数也会对实验结果产生影响， 图 10 和图 11 分别给出了在 1~4 层全连接层时的 分类准确率和运行时所用的迭代次数。从图 10 中可以看出，在使用 3 层全连接层时，分类准确率 最高，且在 10 组实验中，有 6 次是最高值。如图 7 所示的第 3 层全连接层中提取的特征值的组间差 异性明显大于如图 9 所示的池化层中提取的特征 值的组间差异性，因此加入全连接层是十分有必 要的。 1 2 3 4 5 6 7 8 9 10 实验组数 60 62 64 66 68 70 72 74 76 78 80 1 层全连接层 2 层全连接层 3 层全连接层 4 层全连接层 准确率/% 图 10 TOP 层具有 1、2、3 和 4 个全连接层时的测试精度 Fig. 10 Test accuracy when TOP layer has 1, 2, 3 and 4 fully connected layers 而在图 11 中可以看出，随着全连接层层数的 增多，迭代次数在相应地减少，但减少的程度在 降低。根据图 10 和图 11 综合考虑分类准确率和 迭代次数后，我们的实验选用了 3 层全连接层的 设置。 1 2 3 4 5 6 7 8 9 10 实验组数 1 层全连接层 2 层全连接层 3 层全连接层 20 40 60 80 100 120 140 160 迭代次数 4 层全连接层 图 11 TOP 层具有 1,2,3 和 4 个全连接层时的 Epoch Fig. 11 Epoch when TOP layer has 1, 2, 3 and 4 fully connected layers 5 讨论 针对 rs-fMRI 数据的 EMCI 分类问题，本文采 用迁移学习 MoblieNet 网络对 ROI 时间序列进行 特征提取，再进入到分类网络进行分类。实验结 果表明，本文的方法较传统方法的分类准确率有 所提升，且运行时间也有较大程度的减少，但还 有以下几点需要进一步进行讨论。 实验中，本文方法的分类准确率为 73.67%， 虽然比其他几种传统方法高，但低于文献 [22] 给 出的 86% 的分类结果，该文献采用 SAE 来提取 Pearson 相关系数的特征，其主要原因在于，所使 用的数据集较小，被试者数为 64，而文献 [22] 所 用被试数为 170。虽然本文所采用的 ADNI-2 数 据库中，有关 EMCI 的 rs-fMRI 数据确实较多，但 与其对应的 MRI 数据却相对较少。没有对应 MRI 数据将无法进行良好配准，这会导致一些混 淆变量不能有效去除，如脑脊液和白质等，而该 混淆变量又会影响分类结果。因此，最后能够满 足实验条件的 rs-fMRI 数据量就较小。当然，实 验中的所采用方法无论是迁移学习还是传统方 法，面向的数据集是相同的，即本文方法的性能 提升是在同样数据条件下所获得的。在未来的工 作中，我们将会尝试更多的可用数据，以进一步 来验证本文的研究。 另外，在顶层参数设置的实验中，仅给出了全 连接层数的实验结果，而未对其他参数作进一步 讨论，这主要是因为相对于其他参数，全连接层 数对分类结果的影响比较大。对于激活函数，我 们也尝试了一些常用的函数，如 ReLu、Softplus 等 [30] ， 但发现这些函数的分类结果并没有较大差别，因 此选择了较为常见的 Softplus。当然，还有一些参 数对顶层性能也非常重要，例如全连接层节点 数。节点数量可以根据经验确定，若节点数太 小，网络将无法适应复杂分类，若节点数太大，会 增加训练时间且可能产生过拟合。在本文的顶层 网络中，将 3 个全连接层的节点数分别设置为 200、 100 和 50。最后还有一个重要的顶层参数是 Dropout 层的神经元丢弃率，将其值设为大于 0 时，会 降低分类网络对训练数据的拟合程度，从而得到 较低的分类准确率，因此最后将其设置为 0。 6 结束语 针对通过 rs-fMRI 信号来诊断 EMCI 问题，本 文提出了一种采用 MobileNet 的迁移网络来提取 ROI 时间序列特征的方法。对于 4D 的 rs-fMRI 信号，采用迁移学习来提取特征值可以使网络的 训练时间大幅度下降，并能减少瞬时信息的丢失。 本文在实验中，采用了 ADNI-2 的 rs-fMRI 数据， 并用 DPABI 工具箱对这些数据进行预处理，将本 文算法与从相关系数提取特征值的方法进行了对 比，结果显示本文算法的分类准确率比传统的相 关系数方法提高了约 10%，而网络的分类时间大 约只有用 SAE 提取相关系数特征方法的 25%。 ·670· 智 能 系 统 学 报 第 16 卷
第4期 孔伶旭，等：迁移学习特征提取的s-MRI早期轻度认知障碍分类 ·671· 该结果说明，ImageNet数据库中预训练的迁移网 [12]RUSSAKOVSKY O,DENG J,SU H,et al.ImageNet 络从ROI提取特征的分类准确率要高于从脑区网 large scale visual recognition challenge[J].International 络的功能性连接提取特征的方法，并且这种方法 Journal of Computer Vision,2015,115(3):211-252. 还可减少特征提取的时间和分类网络运行时间。 [13]BACKMAN L,JONES S,BERGER A K,et al.Multiple 参考文献： cognitive deficits during the transition to Alzheimer's dis- ease[J].Journal of internal medicine,2004,256(3): [1]BURNS A.ILIFFE S.Alzheimer's disease[J].British med- 195-204 ical journal,.2009,338(7692):467-471 [14]WEE C Y,YAP P T,DENNY K,et al.Resting-state [2]Alzheimer's Association.2018 Alzheimer's disease facts multi-spectrum functional connectivity networks for iden- and figures[J].Alzheimer's dementia,2018,14(3): tification of MCI patients[J].PLoS One,2012,7(5) 367-429. e37828. [3]DAVATZIKOS C.Baseline and longitudinal patterns of [15]GEHRING J,MIAO Y J,METZE F,et al.Extracting brain atrophy in MCI patients and their use in prediction of deep bottleneck features using stacked auto- short-term conversion to Alzheimer's disease:results from encoders[C]//Proceedings of 2013 IEEE International ADNI[J].Alzheimer's dementia,2009,5(4S):P21-P22. Conference on Acoustics,Speech and Signal Processing [4]GRUNDMAN M,PETERSEN R C,FERRIS S H.Mild Vancouver,BC,Canada,2013:3377-3381 cognitive impairment can be distinguished from Alzheimer [16]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Im- disease and normal aging for clinical trials[J].Archives of ageNet classification with deep convolutional neural net- neurology,2004,61(1):59-66. works[J].Communications of the ACM,2017,60(6): [5]BISCHKOPF J.BUSSE A.ANGERMEYER M C.Mild 84-90. cognitive impairment-a review of prevalence,incidence [17]HON M.KHAN N M.Towards Alzheimer's disease clas- and outcome according to current approaches[J].Acta psy- sification through transfer learning[C]//Proceedings of chiatrica scandinavica.2002.106(6):403-414. 2017 IEEE International Conference on Bioinformatics [6]SHARMA N,SINGH A N.Exploring biomarkers for and Biomedicine.Kansas City,MO,USA,2017: Alzheimer's disease[J].Journal of clinical and diagnostic 1166-1169. research,2016,10(7):KE01-KE06. [18]JOHNSON K A,FOX N C,SPERLING R A,et al.Brain [7]MCKAHNN G.Clinical diagnosis of Alzheimer's disease: Imaging in Alzheimer Disease[J].Cold spring harbor per- report of the NINCDS-ADRDA Work Group*under the spectives in medicine,2012,2(4):a006213. auspices of department of health and human services task [19]CUINGNET R.GERARDIN E.TESSIERAS J.et al force on Alzheimer's disease[J].Neurology,1984,34(7): Automatic classification of patients with Alzheimer's dis- 939. ease from structural MRI:a comparison of ten methods [8]SCHROETER ML.STEIN T.MASLOWSKI N.et al. using the ADNI database[J].Neuroimage,2011,56(2): Neural correlates of Alzheimer's disease and mild cognit- 766-781」 ive impairment:a systematic and quantitative meta-analys- [20]BARKHOF F,HALLER S,ROMBOUTS S A R B.Rest- is involving 1351 patients[J].Neurolmage,2009,47(4): ing-state functional MR imaging:a new window to the 1196-1206 brain[J].Radiology,2014,272(1):29-49. [9]HALLER S,BARTSCH A J.Pitfalls in fMRI[J].European [21]MACHULDA MM,WARD H A,BOROWSKI B,et al. radiology,.2009,1911)2689-2706. Comparison of memory fMRI response among Normal [10]BRIER M R,THOMAS J B,SNYDER A Z,et al.Loss of MCI,and Alzheimer's patients[J].Neurology,2003, intranetwork and internetwork resting state functional 61(4:500-506 connections with Alzheimer's disease progression[J]. [22]JU Ronghui,HU Chenhui,ZHOU Pan,et al.Early dia- Journal of neuroscience,2012,32(26):8890-8899 gnosis of Alzheimer's disease based on resting-state brain [11]STANLEY ML.MOUSSA MN.PAOLINI B M.et al. networks and deep learning[J].IEEE/ACM Transactions Defining nodes in complex brain networks[J].Frontiers in on Computational Biology and Bioinformatics,2019, computational neuroscience,2013,7:169 16(1244-257
该结果说明，ImageNet 数据库中预训练的迁移网 络从 ROI 提取特征的分类准确率要高于从脑区网 络的功能性连接提取特征的方法，并且这种方法 还可减少特征提取的时间和分类网络运行时间。 参考文献： BURNS A, ILIFFE S. Alzheimer’s disease[J]. British medical journal, 2009, 338(7692): 467–471. [1] Alzheimer’s Association. 2018 Alzheimer’s disease facts and figures[J]. Alzheimer’s & dementia, 2018, 14(3): 367–429. [2] DAVATZIKOS C. Baseline and longitudinal patterns of brain atrophy in MCI patients and their use in prediction of short-term conversion to Alzheimer’s disease: results from ADNI[J]. Alzheimer’s & dementia, 2009, 5(4S): P21–P22. [3] GRUNDMAN M, PETERSEN R C, FERRIS S H. Mild cognitive impairment can be distinguished from Alzheimer disease and normal aging for clinical trials[J]. Archives of neurology, 2004, 61(1): 59–66. [4] BISCHKOPF J, BUSSE A, ANGERMEYER M C. Mild cognitive impairment-a review of prevalence, incidence and outcome according to current approaches[J]. Acta psychiatrica scandinavica, 2002, 106(6): 403–414. [5] SHARMA N, SINGH A N. Exploring biomarkers for Alzheimer's disease[J]. Journal of clinical and diagnostic research, 2016, 10(7): KE01–KE06. [6] MCKAHNN G. Clinical diagnosis of Alzheimer's disease: report of the NINCDS-ADRDA Work Group* under the auspices of department of health and human services task force on Alzheimer's disease[J]. Neurology, 1984, 34(7): 939. [7] SCHROETER M L, STEIN T, MASLOWSKI N, et al. Neural correlates of Alzheimer’s disease and mild cognitive impairment: a systematic and quantitative meta-analysis involving 1351 patients[J]. NeuroImage, 2009, 47(4): 1196–1206. [8] HALLER S, BARTSCH A J. Pitfalls in fMRI[J]. European radiology, 2009, 19(11): 2689–2706. [9] BRIER M R, THOMAS J B, SNYDER A Z, et al. Loss of intranetwork and internetwork resting state functional connections with Alzheimer’s disease progression[J]. Journal of neuroscience, 2012, 32(26): 8890–8899. [10] STANLEY M L, MOUSSA M N, PAOLINI B M, et al. Defining nodes in complex brain networks[J]. Frontiers in computational neuroscience, 2013, 7: 169. [11] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211–252. [12] BÄCKMAN L, JONES S, BERGER A K, et al. Multiple cognitive deficits during the transition to Alzheimer's disease[J]. Journal of internal medicine, 2004, 256(3): 195–204. [13] WEE C Y, YAP P T, DENNY K, et al. Resting-state multi-spectrum functional connectivity networks for identification of MCI patients[J]. PLoS One, 2012, 7(5): e37828. [14] GEHRING J, MIAO Y J, METZE F, et al. Extracting deep bottleneck features using stacked autoencoders[C]//Proceedings of 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. Vancouver, BC, Canada, 2013: 3377−3381. [15] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84–90. [16] HON M, KHAN N M. Towards Alzheimer's disease classification through transfer learning[C]//Proceedings of 2017 IEEE International Conference on Bioinformatics and Biomedicine. Kansas City, MO, USA, 2017: 1166−1169. [17] JOHNSON K A, FOX N C, SPERLING R A, et al. Brain Imaging in Alzheimer Disease[J]. Cold spring harbor perspectives in medicine, 2012, 2(4): a006213. [18] CUINGNET R, GERARDIN E, TESSIERAS J, et al. Automatic classification of patients with Alzheimer’s disease from structural MRI: a comparison of ten methods using the ADNI database[J]. Neuroimage, 2011, 56(2): 766–781. [19] BARKHOF F, HALLER S, ROMBOUTS S A R B. Resting-state functional MR imaging: a new window to the brain[J]. Radiology, 2014, 272(1): 29–49. [20] MACHULDA M M, WARD H A, BOROWSKI B, et al. Comparison of memory fMRI response among Normal, MCI, and Alzheimer's patients[J]. Neurology, 2003, 61(4): 500–506. [21] JU Ronghui, HU Chenhui, ZHOU Pan, et al. Early diagnosis of Alzheimer’s disease based on resting-state brain networks and deep learning[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2019, 16(1): 244–257. [22] 第 4 期 孔伶旭，等：迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 ·671·