第16卷第6期 智能系统学报 Vol.16 No.6 2021年11月 CAAI Transactions on Intelligent Systems Now.2021 D0:10.11992/tis.202009022 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.tp.20210330.1640.004html 4D卷积神经网络的自闭症功能磁共振图像分类 郭磊'，王骏2，丁维昌2，潘祥，邓赵红，施俊2，王士同 (1.江南大学人工智能与计算机学院，江苏无锡214122：2.上海大学通信与信息工程学院，上海200444) 摘要：静息态功能磁共振图像是随着时间变化的一系列三维图像。己有的3D卷积过程本质上是对三维图像 数据或二维图像+时间维数据进行处理，无法有效地融合静息态功能磁共振图像的时间轴信息。为此，本文提 出了新型的4D卷积神经网络识别模型。具体而言，通过对输入的MRI使用四维卷积核执行四维卷积，在自 闭症患者的功能磁共振图像中，从空间和时间上提取特征，从而捕获图像在时间序列上的变化信息。所开发的 模型从输入图像中生成多个信息通道，最终的特征表示结合了所有通道的信息。实验结果表明，在保证模型泛 化性能的前提下，该方法融合了功能像的全局信息，并且采集了功能像随时间变化的趋势信息，进而解决了用 卷积神经网络处理三维图像随时间变化的分类问题。 关键词：深度学习：卷积神经网络：自闭症：4D卷积；功能磁共振成像：特征提取；特征融合；图像分类 中图分类号：TP391文献标志码：A文章编号：1673-4785(2021)06-1021-09 中文引用格式：郭磊，王骏，丁维昌，等.4D卷积神经网络的自闭症功能磁共振图像分类.智能系统学报，2021,16(6)： 1021-1029. 英文引用格式：GUO Lei,WANG Jun,,DING Weichang,.ctal.Classification of the functional magnetic resonance image of autism based on 4D convolutional neural network J.CAAI transactions on intelligent systems,2021,16(6):1021-1029. Classification of the functional magnetic resonance image of autism based on 4D convolutional neural network GUO Lei,WANG Jun',DING Weichang,PAN Xiang', DENG Zhaohong',SHI Jun',WANG Shitong' (1.School of Artificial Intelligence and Computer,Jiangnan University,Wuxi 214122,China;2.School of Communication and In- formation Engineering,Shanghai University,Shanghai 200444,China) Abstract:Resting-state functional magnetic resonance images are a series of three-dimensional(3D)images that change over time.The existing 3D convolution processes 3D image data or two-dimensional image and time-dimensional data, but it cannot effectively fuse the time axis information of a resting-state functional magnetic resonance image.To re- solve this,a new four-dimensional (4D)convolutional neural network(CNN)recognition model is proposed in this pa- per.Specifically,by performing a 4D convolution using a 4D convolution kernel on the input functional magnetic reson- ance imaging,features are spatially and temporally extracted from the functional magnetic resonance image of a patient with autism,thereby capturing information about the changes in the image's time series.The developed model generates multiple information channels from the input image,and the final feature representation combines information from all channels.The experimental results show that to ensure the generalization performance of the model,the method fuses the global information of the functional image and collects its trend information over time,consequently solving the classification problem of 3D image changes with time using a CNN. Keywords:deep learning;convolutional neural network;autism;4D convolution;functional magnetic resonance ima- ging;feature extraction;feature fusion;image classification 自闭症(autism spectrum disorder,.ASD)是一种 分发病于儿童时期并伴随一生。其主要症状表现 广泛性发展障碍类疾病，也是一种具有生物基础 在社会交流障碍、语言交流障碍、情感缺陷等方 的发育障碍类疾病。该病症发病时间不等，大部 面。这就导致了患者在日常的生活、交流和学习 收稿日期：2020-09-16.网络出版日期：2021-03-31. 中有很大的障碍。因此，自闭症的预测分类研究 基金项目：江苏省自然科学基金项目(BK20181339). 一直备受广大研究者的关注。研究者已经发现 通信作者：王骏.E-mail:wangjun_shu@shu.edu.cn AsD患者与正常人(typically developing individu-
DOI: 10.11992/tis.202009022 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.tp.20210330.1640.004.html 4D 卷积神经网络的自闭症功能磁共振图像分类 郭磊1 ，王骏2 ，丁维昌2 ，潘祥1 ，邓赵红1 ，施俊2 ，王士同1 （1. 江南大学 人工智能与计算机学院，江苏 无锡 214122; 2. 上海大学 通信与信息工程学院，上海 200444） 摘 要：静息态功能磁共振图像是随着时间变化的一系列三维图像。已有的 3D 卷积过程本质上是对三维图像 数据或二维图像+时间维数据进行处理，无法有效地融合静息态功能磁共振图像的时间轴信息。为此，本文提 出了新型的 4D 卷积神经网络识别模型。具体而言，通过对输入的 fMRI 使用四维卷积核执行四维卷积，在自 闭症患者的功能磁共振图像中，从空间和时间上提取特征，从而捕获图像在时间序列上的变化信息。所开发的 模型从输入图像中生成多个信息通道，最终的特征表示结合了所有通道的信息。实验结果表明，在保证模型泛 化性能的前提下，该方法融合了功能像的全局信息，并且采集了功能像随时间变化的趋势信息，进而解决了用 卷积神经网络处理三维图像随时间变化的分类问题。 关键词：深度学习；卷积神经网络；自闭症；4D 卷积；功能磁共振成像；特征提取；特征融合；图像分类 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2021)06−1021−09 中文引用格式：郭磊, 王骏, 丁维昌, 等. 4D 卷积神经网络的自闭症功能磁共振图像分类 [J]. 智能系统学报, 2021, 16(6): 1021–1029. 英文引用格式：GUO Lei, WANG Jun, DING Weichang, et al. Classification of the functional magnetic resonance image of autism based on 4D convolutional neural network[J]. CAAI transactions on intelligent systems, 2021, 16(6): 1021–1029. Classification of the functional magnetic resonance image of autism based on 4D convolutional neural network GUO Lei1 ，WANG Jun2 ，DING Weichang2 ，PAN Xiang1 ， DENG Zhaohong1 ，SHI Jun2 ，WANG Shitong1 (1. School of Artificial Intelligence and Computer, Jiangnan University, Wuxi 214122, China; 2. School of Communication and Information Engineering, Shanghai University, Shanghai 200444, China) Abstract: Resting-state functional magnetic resonance images are a series of three-dimensional (3D) images that change over time. The existing 3D convolution processes 3D image data or two-dimensional image and time-dimensional data, but it cannot effectively fuse the time axis information of a resting-state functional magnetic resonance image. To resolve this, a new four-dimensional (4D) convolutional neural network (CNN) recognition model is proposed in this paper. Specifically, by performing a 4D convolution using a 4D convolution kernel on the input functional magnetic resonance imaging, features are spatially and temporally extracted from the functional magnetic resonance image of a patient with autism, thereby capturing information about the changes in the image's time series. The developed model generates multiple information channels from the input image, and the final feature representation combines information from all channels. The experimental results show that to ensure the generalization performance of the model, the method fuses the global information of the functional image and collects its trend information over time, consequently solving the classification problem of 3D image changes with time using a CNN. Keywords: deep learning; convolutional neural network; autism; 4D convolution; functional magnetic resonance imaging; feature extraction; feature fusion; image classification 自闭症 (autism spectrum disorder, ASD) 是一种 广泛性发展障碍类疾病，也是一种具有生物基础 的发育障碍类疾病。该病症发病时间不等，大部 分发病于儿童时期并伴随一生。其主要症状表现 在社会交流障碍、语言交流障碍、情感缺陷等方 面。这就导致了患者在日常的生活、交流和学习 中有很大的障碍。因此，自闭症的预测分类研究 一直备受广大研究者的关注。研究者已经发现 ASD 患者与正常人 (typically developing individu- 收稿日期：2020−09−16. 网络出版日期：2021−03−31. 基金项目：江苏省自然科学基金项目 (BK20181339). 通信作者：王骏. E-mail：wangjun_shu@shu.edu.cn. 第 16 卷第 6 期 智 能 系 统 学 报 Vol.16 No.6 2021 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2021
·1022· 智能系统学报 第16卷 as,TD)在大脑的功能连接上有明显的差异山。 中，但是这种处理会增加大量的参数，忽略静息 静息态功能磁共振成像(resting state function- 态功能像随时间变化的趋势信息，并且性能表现 al magnetic resonance image,.rs-fMR)）通过在静息 不佳。总而言之，有必要寻找一种有效的方法从sMR 状态下采集血氧水平依赖信号，对信号去噪回后 的时间和空间信息中提取特征。 使用多层同时扫描技术)对功能磁共振全脑影像 本文提出了4D卷积神经网络，通过rS-fMRI 快速采集，以此来获得时间分辨率和空间分辨率 对ASD进行分类，所提出的4D卷积操作从功能 较高的图像，获得s-fMRI后，关键问题是如何从 磁共振图像中提取空间和时间上的特征，可以得 中有效提取特征。对于传统的特征提取方法，以 到功能磁共振图像随时间变化的信息。与几个流 相关分析法为例，即选取ROI种子点并计算它的 行的网络相比，例如AlexNeti1、3D-CNNII 平均时间序列，然后与全脑所有体素的时间序列 2CC3Dm、T3D,所提出的网络能够有效地从功 进行计算，或者两个脑区之间的平均时间序列计算， 能磁共振图像中提取与ASD密切相关的时间空 得到相关系数，以此来反映不同脑区神经活动模 间特征，较之以往的3D卷积神经网络，4D-CNN 式之间的时间相关性，。作为图像的预处理阶 对含有时空特性的数据具有更好的适应性，可以 段，该方法对ROI异常敏感，种子点选取的位置、 实现更好的分类效果。 大小差异都可能导致较大的数据分析结果差异。 近年来，卷积神经网络(convolutional neural 1卷积神经网络概述 networks,CNN)在医学图像分类任务中取得了非 深度学习是一类通过多层处理，逐渐将初始 常好的效果，随着结构的不断优化，诞生了多种 的低层特征表示转化为高层特征表示的特征学习 成熟的网络模型。2017年，Dvornek等使用具 方法。这样的方法可以被训练用于监督或无监督 有Long Short-Term Memory的递归神经网络直接 学习，由此产生的复杂模型已经被广泛用于视觉 从静态fMRI的时间序列上对具有ASD的个体进 物体识别、人类行为识别、自然语言处理、音频分 行分类。但是，从fMRI的感兴趣区域中提取平 类、脑机交互、人体跟踪、图像恢复、去噪、分割 均时间序列作为输入数据无法兼顾全局信息，易 造成信息缺失；2018年，Yu等6开发了一种全自 等任务。卷积神经网络是一种深度模型，在这种 动的3D卷积神经网络框架，用以识别和分类不 模型中，输入层、隐藏层和输出层组成基本的网 同类型的功能性脑网络。但是，脑网络在训练前 络结构，其中隐藏层通常包括卷积层、池化层和 需要花费大量的时间进行手动标记，不可避免地 全连接层。卷积层中卷积核相当于特征提取器， 每个卷积核对整幅图像数据进行有规律地扫描 会出现人工标签错误和标签间的差异；2018年， Li等)为了在fMRI中同时利用空间和时间信 并依次计算各局部区域的特征值以匹配某种模 息，研究了使用滑动窗口随时间测量时间统计量 式；池化层对卷积层结果进行特征选择和信息过 (均值和标准差)以及使用3D卷积神经网络 滤，实现一定程度的平滑压缩；全连接层通常搭 (CNN)捕获空间特征的潜在好处。模型虽然在高 建在隐藏层的最后，对卷积层和池化层的结果进 维数据上获得了良好的空间识别性能，但是在时 行分类。 间维度上的表现并不明显；2019年，Khosla等劉 1998年，纽约大学的Lecun等1正式提出了 提出了一种新颖的3D卷积神经网络(CNN)方法 卷积神经网络LeNet-5,确立了CNN的现代结构， 来实现集成学习策略，提出的CNN方法利用了 并在图像处理领域获得了极大成功。之后研究人 rs-fMRI数据的全分辨率3D空间结构，并拟合了 员发现当神经网络饱和之后模型会产生过拟合现 非线性预测模型。但是，将rs-MRI预处理后的 象，直到2012年，Krizhevsky等Io,1在提出的 多通道3D图像作为CNN的输入忽视了隐含在时 Alexnet中采用Dropout和数据增强的方法来防止 间轴上的信息。对于以上提出的深度学习方法，网 网络过拟合，并使用非线性激活函数ReLU(recti- 络只能处理维数小于或等于3的灰度或RGB图 fied linear unit)提高网络收敛速度。2014年，Si- 像，并且在对图像进行预处理过程中，很可能会 monyan等采用小卷积堆叠的方式搭建VGGNet, 丢失部分信息，使得出的结果不具有全局性。对 证明了更深的网络能更好地提取特征，值得一提 于功能磁共振图像而言，如果将每个时间点上的 的是，虽然VGGNet比AlexNet的参数多，但只需 3D图像视为一个通道进行3D卷积，那么根据预 要更少的迭代次数就能收敛。此外，在设计网络 处理后的数据集特性，网络生成的通道数目会随 结构时，除了考虑网络的深度，还会考虑网络的 着时间的推移而增多，从而使得网络宽度过大， 宽度。同年，Szegedy等l提出的Inception vl网 可能会造成传播过程中信息丢失，影响网络的表 络，通过改变传统的卷积层设计思路，在加大网 达能力四。另一方面，可以将每个样本多个时间点 络深度和宽度的同时减少了参数量，并且增加了 上的3D图像视为一个图像立方体输入到3D-CNN 网络对尺度的适应性。随后，通过对Inception
als, TD) 在大脑的功能连接上有明显的差异[1]。 静息态功能磁共振成像 (resting state functional magnetic resonance image，rs-fMRI) 通过在静息 状态下采集血氧水平依赖信号, 对信号去噪[2] 后， 使用多层同时扫描技术[3] 对功能磁共振全脑影像 快速采集，以此来获得时间分辨率和空间分辨率 较高的图像，获得 rs-fMRI 后，关键问题是如何从 中有效提取特征。对于传统的特征提取方法，以 相关分析法为例，即选取 ROI 种子点并计算它的 平均时间序列，然后与全脑所有体素的时间序列 进行计算，或者两个脑区之间的平均时间序列计算， 得到相关系数，以此来反映不同脑区神经活动模 式之间的时间相关性[4]。作为图像的预处理阶 段，该方法对 ROI 异常敏感，种子点选取的位置、 大小差异都可能导致较大的数据分析结果差异。 近年来，卷积神经网络 (convolutional neural networks, CNN) 在医学图像分类任务中取得了非 常好的效果，随着结构的不断优化，诞生了多种 成熟的网络模型。2017 年，Dvornek 等 [5] 使用具 有 Long Short-Term Memory 的递归神经网络直接 从静态 fMRI 的时间序列上对具有 ASD 的个体进 行分类。但是，从 fMRI 的感兴趣区域中提取平 均时间序列作为输入数据无法兼顾全局信息，易 造成信息缺失；2018 年，Yu 等 [6] 开发了一种全自 动的 3D 卷积神经网络框架，用以识别和分类不 同类型的功能性脑网络。但是，脑网络在训练前 需要花费大量的时间进行手动标记，不可避免地 会出现人工标签错误和标签间的差异；2018 年， Li 等 [7] 为了在 fMRI 中同时利用空间和时间信 息，研究了使用滑动窗口随时间测量时间统计量 (均值和标准差 ) 以及使 用 3D 卷积神经网 络 (CNN) 捕获空间特征的潜在好处。模型虽然在高 维数据上获得了良好的空间识别性能，但是在时 间维度上的表现并不明显；2019 年，Khosla 等 [8] 提出了一种新颖的 3D 卷积神经网络 (CNN) 方法 来实现集成学习策略，提出的 CNN 方法利用了 rs-fMRI 数据的全分辨率 3D 空间结构，并拟合了 非线性预测模型。但是，将 rs-fMRI 预处理后的 多通道 3D 图像作为 CNN 的输入忽视了隐含在时 间轴上的信息。对于以上提出的深度学习方法，网 络只能处理维数小于或等于 3 的灰度或 RGB 图 像，并且在对图像进行预处理过程中，很可能会 丢失部分信息，使得出的结果不具有全局性。对 于功能磁共振图像而言，如果将每个时间点上的 3D 图像视为一个通道进行 3D 卷积，那么根据预 处理后的数据集特性，网络生成的通道数目会随 着时间的推移而增多，从而使得网络宽度过大， 可能会造成传播过程中信息丢失，影响网络的表 达能力[9]。另一方面，可以将每个样本多个时间点 上的 3D 图像视为一个图像立方体输入到 3D-CNN 中，但是这种处理会增加大量的参数，忽略静息 态功能像随时间变化的趋势信息，并且性能表现 不佳。总而言之，有必要寻找一种有效的方法从rs-fMRI 的时间和空间信息中提取特征。 本文提出了 4D 卷积神经网络，通过 rs-fMRI 对 ASD 进行分类，所提出的 4D 卷积操作从功能 磁共振图像中提取空间和时间上的特征，可以得 到功能磁共振图像随时间变化的信息。与几个流 行的网络相比，例如 AlexNet[ 1 0 ] 、3D-CNN[ 1 1 ] 、 2CC3D[7] 、T3D[12] ，所提出的网络能够有效地从功 能磁共振图像中提取与 ASD 密切相关的时间空 间特征，较之以往的 3D 卷积神经网络，4D-CNN 对含有时空特性的数据具有更好的适应性，可以 实现更好的分类效果。 1 卷积神经网络概述 深度学习是一类通过多层处理，逐渐将初始 的低层特征表示转化为高层特征表示的特征学习 方法。这样的方法可以被训练用于监督或无监督 学习，由此产生的复杂模型已经被广泛用于视觉 物体识别、人类行为识别、自然语言处理、音频分 类、脑机交互、人体跟踪、图像恢复、去噪、分割 等任务。卷积神经网络是一种深度模型，在这种 模型中，输入层、隐藏层和输出层组成基本的网 络结构，其中隐藏层通常包括卷积层、池化层和 全连接层。卷积层中卷积核相当于特征提取器， 每个卷积核对整幅图像数据进行有规律地扫描 并依次计算各局部区域的特征值以匹配某种模 式；池化层对卷积层结果进行特征选择和信息过 滤，实现一定程度的平滑压缩；全连接层通常搭 建在隐藏层的最后，对卷积层和池化层的结果进 行分类。 1998 年，纽约大学的 Lecun 等 [13] 正式提出了 卷积神经网络 LeNet-5，确立了 CNN 的现代结构， 并在图像处理领域获得了极大成功。之后研究人 员发现当神经网络饱和之后模型会产生过拟合现 象，直到 2012 年 ，Krizhevsky 等 [10, 14] 在提出的 Alexnet 中采用 Dropout 和数据增强的方法来防止 网络过拟合，并使用非线性激活函数 ReLU(rectified linear unit) 提高网络收敛速度。2014 年，Simonyan 等 [15] 采用小卷积堆叠的方式搭建 VGGNet， 证明了更深的网络能更好地提取特征，值得一提 的是，虽然 VGGNet 比 AlexNet 的参数多，但只需 要更少的迭代次数就能收敛。此外，在设计网络 结构时，除了考虑网络的深度，还会考虑网络的 宽度。同年，Szegedy 等 [16] 提出的 Inception v1 网 络，通过改变传统的卷积层设计思路，在加大网 络深度和宽度的同时减少了参数量，并且增加了 网络对尺度的适应性。随后，通过对 Inception ·1022· 智 能 系 统 学 报 第 16 卷
第6期 郭磊，等：4D卷积神经网络的自闭症功能磁共振图像分类 ·1023· vl网络结构的不断改进，诞生了Inception v2叨 积层中每个卷积核在对输入图像进行扫描时，仅 Inception v3)、Inception v.4uy。在VGG网络中， 处理其投影在图像上的感受野的数据，且卷积核 当网络深度达到一定界限的时候，就会产生梯度 权重保持不变，此即为卷积核的局部连接性与权 消失现象，2016年，He等2o在提出的ResNet中引 值共享性。由于卷积核的局部连接特性，模型可 入了跳跃连接结构来解决梯度消失的问题，进而 以计算区域特征，充分利用局部区域内的空间信 可以进一步加大网络深度。2017年，Huang等2u 息：由于卷积核的权值共享特性，在模型训练时 受ResNet和Inception的影响，提出了DenseNet, 卷积层所需参数要远小于全连接层。因此 不同于ResNet的是，DenseNet模型建立的是前面 CNN适用于特征维度较大、具有位置信息的图像 所有层与后面层的密集连接，通过特征重用和旁 数据的分析。 路设置，既缓解了梯度消失问题，又大幅度减少 本文研究了4D-CNN在医学图像分类任务中 了网铬的参数量，实现了比ResNet更优的性能。 对自闭症的功能核磁共振图像进行分类的应用， 根据卷积核结构的不同，CNN可分为一维卷 通过用4D卷积核将多个连续的三维图像堆叠在 积、二维卷积与三维卷积。一维卷积通常用于序 一起，可实现4D卷积。在降采样层中，通过在上 列数据分析，如从rs-fMRI的感兴趣区域中提取 层特征图上的局部领域上合并来降低特征图的 时间序列矩阵并输入到一维卷积神经网络中对自 分辨率，从而去除冗余信息，提高网络效率。最 闭症进行分类；二维卷积被广泛用于计算机视 后通过全连接层将特征映射到样本标记空间实现 觉的图像数据分析，如具有代表性的网络LeNet- 分类任务。 5识别手写数字图片)：而三维卷积则可用于时 2基于MRI数据的4D卷积神经网络 空数据的分析，如3D-CNN识别视频中的人类动 作。CNN的卷积层通过卷积操作提取输入的 本文的技术路线如图1所示，其中涉及原始 特征，低层卷积提取低级特征，随着网络结构的 数据的预处理、数据增强、模型训练和使用训练 加深，更高层的卷积层提取更高级的特征。在卷 好的模型进行测试。 原始数据 预处理 测试数据 数据增强 训练数据 3×3×3× 3x5x5x5 4×4x4 3×7×8×7 4D卷积 最大池化 4D卷积 迭代训练 参数 C1: S2. C3: S4: C5: 68@59x71×59 68@30×36×30 66@26×32×26 66@7×8×7 64@1×1×1 图1用于自闭症辅助诊断的4D-CNN流程 Fig.1 4D-CNN procedure for the auxiliary diagnosis of autism
v1 网络结构的不断改进，诞生了 Inception v2[17] 、 Inception v3[18] 、Inception v4[19]。在 VGG 网络中， 当网络深度达到一定界限的时候，就会产生梯度 消失现象，2016 年，He 等 [20] 在提出的 ResNet 中引 入了跳跃连接结构来解决梯度消失的问题，进而 可以进一步加大网络深度。2017 年，Huang 等 [21] 受 ResNet 和 Inception 的影响，提出了 DenseNet， 不同于 ResNet 的是，DenseNet 模型建立的是前面 所有层与后面层的密集连接，通过特征重用和旁 路设置，既缓解了梯度消失问题，又大幅度减少 了网络的参数量，实现了比 ResNet 更优的性能。 根据卷积核结构的不同，CNN 可分为一维卷 积、二维卷积与三维卷积。一维卷积通常用于序 列数据分析，如从 rs-fMRI 的感兴趣区域中提取 时间序列矩阵并输入到一维卷积神经网络中对自 闭症进行分类[22] ；二维卷积被广泛用于计算机视 觉的图像数据分析,如具有代表性的网络 LeNet- 5 识别手写数字图片[13] ；而三维卷积则可用于时 空数据的分析，如 3D-CNN 识别视频中的人类动 作 [11]。CNN 的卷积层通过卷积操作提取输入的 特征，低层卷积提取低级特征，随着网络结构的 加深，更高层的卷积层提取更高级的特征。在卷 积层中每个卷积核在对输入图像进行扫描时，仅 处理其投影在图像上的感受野的数据，且卷积核 权重保持不变，此即为卷积核的局部连接性与权 值共享性。由于卷积核的局部连接特性，模型可 以计算区域特征，充分利用局部区域内的空间信 息；由于卷积核的权值共享特性，在模型训练时 卷积层所需参数要远小于全连接层。因 此 CNN 适用于特征维度较大、具有位置信息的图像 数据的分析。 本文研究了 4D-CNN 在医学图像分类任务中 对自闭症的功能核磁共振图像进行分类的应用， 通过用 4D 卷积核将多个连续的三维图像堆叠在 一起，可实现 4D 卷积。在降采样层中，通过在上 一层特征图上的局部领域上合并来降低特征图的 分辨率，从而去除冗余信息，提高网络效率。最 后通过全连接层将特征映射到样本标记空间实现 分类任务。 2 基于 fMRI 数据的 4D 卷积神经网络 本文的技术路线如图 1 所示，其中涉及原始 数据的预处理、数据增强、模型训练和使用训练 好的模型进行测试。 C1: 68@59×71×59 3×3×3×3 4D 卷积 迭代训练 参数 原始数据 预处理 数据增强 训练数据 测试数据 ASD 正常对照 S2: 68@30×36×30 C3: 66@26×32×26 S4: 66@7×8×7 C5: 64@1×1×1 3×7×8×7 4D 卷积 1×4×4×4 最大池化 3×5×5×5 4D 卷积 1×2×2×2 最大池化 图 1 用于自闭症辅助诊断的 4D-CNN 流程 Fig. 1 4D-CNN procedure for the auxiliary diagnosis of autism 第 6 期 郭磊，等：4D 卷积神经网络的自闭症功能磁共振图像分类 ·1023·
·1024· 智能系统学报 第16卷 2.1数据预处理 集应用数据增强策略。具体而言，针对每个被试 本文实验基于ABIDE(autism brain imaging 的s-fMRI,在保证时间序列的前提下，对时间点 data exchange)数据库，其中包括来自多个数据中 上的图像进行随机选取。为了保证数据的有效性 心的1112名ASD患者和TD的rs-fMRI数据。 和一致性，选取70个时间点上的图像作为一个时 在本文中，考虑从ABIDE的NYU、UM1和 间序列，每个被试随机生成5组，并标上相应的标 USM这3个成像中心中获得rs-fMRI,其中各个 签。通过把所有被试原始训练集中的rs-fMRI经 数据中心的ASD组和TD组样本数如表1所示。 过上述过程的处理，得到了一个新的训练集。 使用DPARSF2对rS-MRI数据进行预处理。具 2.34D卷积神经网络分类模型 体而言，将每个受试者的前10个获得的rs-fMRI 在三维卷积神经网络中，当应用于时间序列 丢弃。然后，执行时间层校正(slice timing)和头 上连续的二维特征图时，三维卷积从空间和时间 部运动校正(realign)。每个人的大脑尺寸大小、 两个维度计算特征，通过将1个三维核与多个相 形状和位置差异较大，无法将结果按照统一的标 邻二维图叠加而成的立方体进行卷积来实现的， 准进行分析，因此需要把不同人的大脑影射在同 在这种构造中，卷积层中的特征图被连接到前一 一空间内，本文使用EPI(echo-planar image)模板 层中的多个相邻图像，从而获得二维特征图的连 将数据统一到蒙特利尔神经学研究所(montreal 续信息。在功能磁共振图像数据中，时间序列上 neurological institute,.MN)）制定的标准空间中，从 呈现的是三维空间结构，本文应用四维卷积核与 而完成对功能性进行空间标准化(normalize)处 多个相邻的三维图叠加而成的四维特征进行卷 理。为了提高配准效果和增大图像的信噪比，需 积，用于处理在时间序列上呈现三维空间结构的 要对图像进行空间平滑(smooth)。经过预处理 数据，从而在空间和时间两个维度上计算特征。 后，本文得到了每个被试在单个时间点上尺寸大 四维卷积过程如图2所示。其中，卷积核在时间 小为61×73×61的rs-fMRI数据。为了验证模型的 维度上的大小为3，连接采用颜色编码，相同的颜 泛化能力，在数据预处理后将其分为训练集和测 色权重共享。将相同的4D内核应用于连续的 试集，在不同成像中心下的具体数据分布如表2 3D立方块中，通过移动步长提取前一层整个时间 所示。 序列上的特征。 表13个成像中心的样本分布 Table 1 Sample distribution of the three imaging centers 数据集 ASD 正常对照 总数 NYU 79 105 184 UM I 55 55 110 USM 43 58 101 表23个成像中心训练和测试的样本数量 Table 2 Sample size for training and testing at the three 图24D卷积过程 imaging centers Fig.2 4D convolution process 训练 测试 图1给出了用于rs-fMRI的4D-CNN结构，它 数据集 总数 ASD 正常对照 ASD 正常对照 由1个输入层、3个卷积层、1个全连接层和1个 NYU 53 70 26 35 184 输出层组成。最后使用softmax函数将输出结果 UM I 37 37 18 18 110 转换为概率表示，以便更好地实现分类。每个卷 USM 29 39 14 19 101 积层由1个大小为P×Q×R×T(空间维度为Px Q×R,时间维度为T)的四维过滤器内核，1个激 总计 119 146 58 72 395 活单元和1个池化单元组成。卷积操作通过在输 2.2数据增强 入图像或前一层卷积层的输出中对内核进行卷积 由于每个被试采集的图像具有不同的时间长 来生成特征图，并设置RLU作为激励函数拟合 度，同时，也为了扩大数据集的规模，避免因训练 网络的非线性映射，防止网络梯度消失和加快训 样本过少而引发的模型过拟合问题，本文对训练 练速度。池化单元起到二次提取特征的作用，经
2.1 数据预处理 61×73×61 本文实验基于 ABIDE(autism brain imaging data exchange) 数据库，其中包括来自多个数据中 心的 1 112 名 ASD 患者和 TD 的 rs-fMRI 数据。 在本文中，考虑从 ABIDE 的 NYU、 UM_1 和 USM 这 3 个成像中心中获得 rs-fMRI，其中各个 数据中心的 ASD 组和 TD 组样本数如表 1 所示。 使用 DPARSF[23] 对 rs-fMRI 数据进行预处理。具 体而言，将每个受试者的前 10 个获得的 rs-fMRI 丢弃。然后，执行时间层校正 (slice timing) 和头 部运动校正 (realign)。每个人的大脑尺寸大小、 形状和位置差异较大，无法将结果按照统一的标 准进行分析，因此需要把不同人的大脑影射在同 一空间内，本文使用 EPI(echo-planar image) 模板 将数据统一到蒙特利尔神经学研究所 (montreal neurological institute,MNI) 制定的标准空间中，从 而完成对功能性进行空间标准化 (normalize) 处 理。为了提高配准效果和增大图像的信噪比，需 要对图像进行空间平滑 (smooth)。经过预处理 后，本文得到了每个被试在单个时间点上尺寸大 小为 的 rs-fMRI 数据。为了验证模型的 泛化能力，在数据预处理后将其分为训练集和测 试集，在不同成像中心下的具体数据分布如表 2 所示。 表 1 3 个成像中心的样本分布 Table 1 Sample distribution of the three imaging centers 数据集 ASD 正常对照 总数 NYU 79 105 184 UM_1 55 55 110 USM 43 58 101 表 2 3 个成像中心训练和测试的样本数量 Table 2 Sample size for training and testing at the three imaging centers 数据集 训练 测试 总数 ASD 正常对照 ASD 正常对照 NYU 53 70 26 35 184 UM_1 37 37 18 18 110 USM 29 39 14 19 101 总计 119 146 58 72 395 2.2 数据增强 由于每个被试采集的图像具有不同的时间长 度，同时，也为了扩大数据集的规模，避免因训练 样本过少而引发的模型过拟合问题，本文对训练 集应用数据增强策略。具体而言，针对每个被试 的 rs-fMRI，在保证时间序列的前提下，对时间点 上的图像进行随机选取。为了保证数据的有效性 和一致性，选取 70 个时间点上的图像作为一个时 间序列，每个被试随机生成 5 组，并标上相应的标 签。通过把所有被试原始训练集中的 rs-fMRI 经 过上述过程的处理，得到了一个新的训练集。 2.3 4D 卷积神经网络分类模型 在三维卷积神经网络中，当应用于时间序列 上连续的二维特征图时，三维卷积从空间和时间 两个维度计算特征，通过将 1 个三维核与多个相 邻二维图叠加而成的立方体进行卷积来实现的， 在这种构造中，卷积层中的特征图被连接到前一 层中的多个相邻图像，从而获得二维特征图的连 续信息。在功能磁共振图像数据中，时间序列上 呈现的是三维空间结构，本文应用四维卷积核与 多个相邻的三维图叠加而成的四维特征进行卷 积，用于处理在时间序列上呈现三维空间结构的 数据，从而在空间和时间两个维度上计算特征。 四维卷积过程如图 2 所示。其中，卷积核在时间 维度上的大小为 3，连接采用颜色编码，相同的颜 色权重共享。将相同的 4D 内核应用于连续的 3D 立方块中，通过移动步长提取前一层整个时间 序列上的特征。 时序 图 2 4D 卷积过程 Fig. 2 4D convolution process P× Q×R×T P× Q×R T 图 1 给出了用于 rs-fMRI 的 4D-CNN 结构，它 由 1 个输入层、3 个卷积层、1 个全连接层和 1 个 输出层组成。最后使用 softmax 函数将输出结果 转换为概率表示，以便更好地实现分类。每个卷 积层由 1 个大小为 (空间维度为 ，时间维度为 ) 的四维过滤器内核，1 个激 活单元和 1 个池化单元组成。卷积操作通过在输 入图像或前一层卷积层的输出中对内核进行卷积 来生成特征图，并设置 ReLU 作为激励函数拟合 网络的非线性映射，防止网络梯度消失和加快训 练速度。池化单元起到二次提取特征的作用，经 ·1024· 智 能 系 统 学 报 第 16 卷
第6期 郭磊，等：4D卷积神经网络的自闭症功能磁共振图像分类 ·1025· 过最大池化采样，将高维特征转换成低维代表性 异性(SPE)作为实验的性能指标。表3和式(1) 特征，有利于在连续多层的网络中进行更深层次 (3)用于计算相应的性能指标： 的表示。最后，通过反向传播算法四，使来自损失 ACC= TP+TN (1) 函数的信息通过网络传递，计算梯度来训练网络。 TP+FP+TN+FN TP 具体而言，由于数据集中每个样本采集图像 SEN= (2) TP+FN 的时间长短有所差异，为了获得相同的输入规 TN SPE=TN+FP (3) 模，本文将统一选取每个被试的前M个时间点， 每一个时间点上特征图大小为XxYxZ的fMRI 表3混淆矩阵中的元素 作为特征输入到4D-CNN中。该网络由6层结构 Table 3 Elements in the confusion matrix 组成，每层都包括可训练的参数。输入层包含M 预测结果 真实情况 个通道，每个通道大小为X×Y×Z的四维fMRI数 ASD 正常对照 据。对输入层应用大小为3×3×3×3（空间维度 ASD TP(真正例) FN(假反例) 为3×3×3，时间维度为3)的核进行4D卷积，卷 正常对照 FP(假正例) TN(真反例) 积完成后得到M个特征图，每个特征图大小为 X1×Y×Z。S2层是由M1个大小为X2×Y2×Z2的 3.1 超参数寻优 特征图组成的降采样层，由C1层经过2×2×2×1 在本节中，通过4D-CNN来执行ASD诊断， 的最大池化得到。卷积层C3是用大小为5×5× 将预处理后的rs-fMRI作为网络的输人数据。本 5×3(空间维度为5×5×5，时间维度为3)的4D卷 文将ASD组标记为1，将健康对照组标记为0，将 积核对S2层进行卷积得到，规模为X2×Y2×Z× ASD诊断视为二分类问题。为了找到适合ASD M2(空间维度为X2×Y2×Z,时间维度为M2)。 诊断的4D-CNN的最佳架构，本文进行了架构搜 S4层是由M2个大小为X3×Y3×Z3的特征图组成 索2策略，即探索基于4D-CNN架构的最佳超参 的降采样层，由C3层经过4×4×4×1的最大池化 数配置。 得到。根据S4层数据规模，采用7×8×7×3（空间 对于卷积神经网络，输入帧序列的时间深度 维度为7×8×7，时间维度为3)的卷积核对S4层 在活动识别任务中起着关键作用四，为了实现新 进行卷积，得到了C5层，规模为X×Y×Z×M3 架构的最佳配置，本文对网络输入数据的时间深 (空间维度为X×Y4×Z,时间维度为M)。输出层 度进行了一系列测试，表4列出了在不同时间深 由与分类任务类别数量相同的特征组成，每个特 度下模型的测试性能。为寻求4D-CNN的最佳配 征都与C5层中的X×Y×Z×M3个特征完全连 置，基于上述研究的结果进行了实验，并采用4D 接。通过多层卷积和池化，将一个被试在时间序 卷积核（多个连续的三维权值矩阵）在卷积层之 列上连续的功能磁共振图像转换为一个X×Y4× 间建立更有效的时空连接，便于最大限度地从MR! Z×M3维的特征向量。相比较以往处理功能磁共 中传递与自闭症相关的时间、空间特征，以此改 振图像的方法，在卷积的过程中，蕴含着连续的 善网络提取特征的能力。其中，为了选取使4D- 时间信息。在本设计中，本文最终在X×Y×Z×M CNN具有最佳性能的卷积核，本文对4D卷积核 维特征向量上应用一个线性分类器进行分类。本 在时间维度上的深度进行了验证。根据前一层特 文设计并评估了其他在不同阶段结合多个信息通 征图的规模，选取不同尺寸的参数矩阵作为单个 道的4D-CNN架构，结果表明该架构的性能最佳。 时间点上的权值矩阵，并默认卷积过程中卷积核 3实验与分析 的平移步长为1，表5列出了在不同卷积核规模 下4D-CNN的测试性能。 在本节中，在ASD数据集上验证本文提出的 表4不同时间深度下4D-CNN模型的评估结果 4D-CNN模型，通过对影响模型性能的超参数进 Table 4 Evaluation results of the 4D-CNN models at dif- 行寻优，来获得最佳的网络结构。为了验证4D ferent time depths CNN在ASD分类上的优越性，进一步在ASD的 时间深度 ACC 多个成像中心上比较了多种对比方法。 35 0.5832 为了体现测试数据集上分类模型的有效性， 70 0.6201 选取精确度(ACC)、AUC值、敏感度(SEN)和特
过最大池化采样，将高维特征转换成低维代表性 特征，有利于在连续多层的网络中进行更深层次 的表示。最后，通过反向传播算法[24] ，使来自损失 函数的信息通过网络传递，计算梯度来训练网络。 M X ×Y ×Z M X ×Y ×Z 3×3×3×3 3×3×3 M1 X1 ×Y1 ×Z1 M1 X2 ×Y2 ×Z2 2×2×2×1 5×5× 5×3 5×5×5 X2 ×Y2 ×Z2× M2 X2 ×Y2 ×Z2 M2 M2 X3 ×Y3 ×Z3 4×4×4×1 7×8×7×3 7×8×7 X4 ×Y4 ×Z4 × M3 X4 ×Y4 ×Z4 M3 X4 ×Y4 ×Z4 × M3 X4 ×Y4× Z4 × M3 X4 ×Y4 ×Z4 × M3 具体而言，由于数据集中每个样本采集图像 的时间长短有所差异，为了获得相同的输入规 模，本文将统一选取每个被试的前 个时间点， 每一个时间点上特征图大小为 的 fMRI 作为特征输入到 4D-CNN 中。该网络由 6 层结构 组成，每层都包括可训练的参数。输入层包含 个通道，每个通道大小为 的四维 fMRI 数 据。对输入层应用大小为 (空间维度 为 ，时间维度为 3) 的核进行 4D 卷积，卷 积完成后得到 个特征图，每个特征图大小为 。S2 层是由 个大小为 的 特征图组成的降采样层，由 C1 层经过 的最大池化得到。卷积层 C3 是用大小为 (空间维度为 ，时间维度为 3) 的 4D 卷 积核对 S2 层进行卷积得到，规模为 (空间维度为 ，时间维度为 )。 S4 层是由 个大小为 的特征图组成 的降采样层，由 C3 层经过 的最大池化 得到。根据 S4 层数据规模，采用 (空间 维度为 ，时间维度为 3) 的卷积核对 S4 层 进行卷积，得到了 C5 层，规模为 (空间维度为 ，时间维度为 )。输出层 由与分类任务类别数量相同的特征组成，每个特 征都与 C5 层中的 个特征完全连 接。通过多层卷积和池化，将一个被试在时间序 列上连续的功能磁共振图像转换为一个 维的特征向量。相比较以往处理功能磁共 振图像的方法，在卷积的过程中，蕴含着连续的 时间信息。在本设计中，本文最终在 维特征向量上应用一个线性分类器进行分类。本 文设计并评估了其他在不同阶段结合多个信息通 道的 4D-CNN 架构，结果表明该架构的性能最佳。 3 实验与分析 在本节中，在 ASD 数据集上验证本文提出的 4D-CNN 模型，通过对影响模型性能的超参数进 行寻优，来获得最佳的网络结构。为了验证 4DCNN 在 ASD 分类上的优越性，进一步在 ASD 的 多个成像中心上比较了多种对比方法。 为了体现测试数据集上分类模型的有效性， 选取精确度 (ACC)、AUC 值、敏感度 (SEN) 和特 异性 (SPE) 作为实验的性能指标。表 3 和式 (1)~ (3) 用于计算相应的性能指标： ACC = TP+TN TP+FP+TN+FN (1) SEN = TP TP+FN (2) SPE = TN TN+FP (3) 表 3 混淆矩阵中的元素 Table 3 Elements in the confusion matrix 真实情况 预测结果 ASD 正常对照 ASD TP(真正例) FN(假反例) 正常对照 FP(假正例) TN(真反例) 3.1 超参数寻优 在本节中，通过 4D-CNN 来执行 ASD 诊断， 将预处理后的 rs-fMRI 作为网络的输入数据。本 文将 ASD 组标记为 1，将健康对照组标记为 0，将 ASD 诊断视为二分类问题。为了找到适合 ASD 诊断的 4D-CNN 的最佳架构，本文进行了架构搜 索 [25] 策略，即探索基于 4D-CNN 架构的最佳超参 数配置。 对于卷积神经网络，输入帧序列的时间深度 在活动识别任务中起着关键作用[12] ，为了实现新 架构的最佳配置，本文对网络输入数据的时间深 度进行了一系列测试，表 4 列出了在不同时间深 度下模型的测试性能。为寻求 4D-CNN 的最佳配 置，基于上述研究的结果进行了实验，并采用 4D 卷积核 (多个连续的三维权值矩阵) 在卷积层之 间建立更有效的时空连接，便于最大限度地从 fMRI 中传递与自闭症相关的时间、空间特征，以此改 善网络提取特征的能力。其中，为了选取使 4DCNN 具有最佳性能的卷积核，本文对 4D 卷积核 在时间维度上的深度进行了验证。根据前一层特 征图的规模，选取不同尺寸的参数矩阵作为单个 时间点上的权值矩阵，并默认卷积过程中卷积核 的平移步长为 1，表 5 列出了在不同卷积核规模 下 4D-CNN 的测试性能。 表 4 不同时间深度下 4D-CNN 模型的评估结果 Table 4 Evaluation results of the 4D-CNN models at different time depths 时间深度 ACC 35 0.583 2 70 0.620 1 第 6 期 郭磊，等：4D 卷积神经网络的自闭症功能磁共振图像分类 ·1025·
·1026· 智能系统学报 第16卷 表5不同卷积核规模下4D-CNN模型的评估结果 本文所用的数据集具有四维特性，无法直接 Table 5 Evaluation results of the 4D-CNN models under 将数据集用于比较的三维卷积神经网络方法中， different convolution kernel scales 因此采用系统抽样的方式对数据集进行处理，以 卷积核 ACC 便对比方法能更好地适用于本文中的数据集。具 1 0.5774 体而言，对每个被试的功能磁共振图像在时间轴 2 0.6369 上进行等距划分，即从第一个时间点开始，每连 3 0.6820 续10个时间点上的图像为一组，故前50个时间 在训练阶段，使用随机梯度下降(SGD)进行 点上的图像随之分为5组，然后每组随机选出一 误差反向传播更新参数，经过验证，将学习率设 个时间点上的图像作为卷积网络的输入，以此， 置为0.01，可避免在训练过程中收敛速度过慢或 每个被试选出5个图像分别进行3D卷积处理， 陷入局部最优。此外，将最大迭代次数设置为150。 输出5个分类结果，并将结果中占比高的类别作 结果显示，卷积核规模过小，只能提取单个时 为本次输出结果。 间点或单个时间段上的特征；随着卷积核时间维 3.3分类结果及分析 度加深，网络需要训练的参数量呈指数上升，迭 表7、8、9分别展示了提出的4D-CNN与其他 代更新参数速度减缓，并出现过拟合现象，带来 方法在NYU、UM1和USM数据集上的分类结 的后果就是网络的泛化能力大大降低。所以，本 果。可以看出，4D-CNN使用四维卷积核对自闭 文选取时间维度上深度为3的卷积核作为4D-CNN 症的功能磁共振图像进行时空特征学习，可以取 架构的特征提取器。 得比T3D、AlexNet、2CC3D及3D-CNN等经典的 3.2方法比较 三维卷积神经网络更好的性能。表7的实验结果 将提出的网络与基于ROI(regions of interest) 表明提出的4D-CNN在NYU数据集上的表现明 构建脑功能网络(ROI-net)方法进行ASD分类性 显优于其他方法，分类精度达到了70.49%，并且 能比较，此外，几个经典的网络对本文中用到的 呈现出良好的敏感性和特异性。归结原因在于， 数据集进行诊断，包括T3D、AlexNet、2CC3D、 本文所提出的4D卷积神经网络结构直接从预处 3D-CNN以验证4D-CNN的有效性。表6将对比 理后的功能磁共振图像中提取时空特征，既充分 方法进行了介绍。 保留了图像的全局信息，又很好地避免了图像经 表6用于比较的方法 传统方法预处理后带来的误差和冗余信息。进一 Table 6 Methods used for comparison 步验证了从MRI中提取四维特征对自闭症分类 方法 概述 任务的有效性。在多个数据集上的实验结果说明 用标准模板将预处理后的fMRI划分为若干个 了本文所提的网络对含有时间和空间特性的数据 ROI-net26] 脑区，提取出各个脑区的时间序列.计算任意 具有适用性。 两个脑区时间序列的相关性，形成相关矩阵 表7不同方法在自闭症分类中的性能比较(NYU) 在DenseNet2的基础上增加时间过渡层，提高 Table 7 Comparison of the performances of different T3D2☒ 特征提取能力，并将在二维网络中预训练的权 methods for autism classification (NYU) 重迁移到三维网络中，以此减小训练难度 方法 ACC AUC SEN SPE AlexNet使用层叠的卷积层来提取图像的特征. ROI-net 0.5738 0.6052 0.5385 0.6000 AlexNet o]并使用Dropout和数据增强策略抑制深层网络 T3D 0.5902 0.6429 0.6154 0.5714 带来的过拟合问题 对输入的fMRI数据使用滑动窗口创建了2通道 AlexNet 0.6557 0.7071 0.6923 0.6286 2CC3D)图像，并将这些图像作为3D卷积神经网络的输 3D-CNN 0.6066 0.6571 0.5769 0.6286 入，最终输出与ASD相关的fMRI空间特征 2CC3D 0.6230 0.6258 0.6538 0.6000 3D.CNN山从输入视频的连续顿中提取每帧画面的二维图 4D-CNN 0.7049 0.7846 0.7307 0.6857 像特征和相邻帧之间的时间轴特征 提出的4D-CNN方法直接对功能磁共振图像进 此外，用ROC曲线来更加直观地鉴别模型 4D-CNN行特征提取，充分利用时间空间特征，更好地 优劣，ROC曲线能很容易地查出任意界限值时模 保留了全局信息 型对疾病的识别能力，图3、4、5分别显示了在
表 5 不同卷积核规模下 4D-CNN 模型的评估结果 Table 5 Evaluation results of the 4D-CNN models under different convolution kernel scales 卷积核 ACC 1 0.577 4 2 0.636 9 3 0.682 0 在训练阶段，使用随机梯度下降 (SGD) 进行 误差反向传播更新参数，经过验证，将学习率设 置为 0.01，可避免在训练过程中收敛速度过慢或 陷入局部最优。此外，将最大迭代次数设置为 150。 结果显示，卷积核规模过小，只能提取单个时 间点或单个时间段上的特征；随着卷积核时间维 度加深，网络需要训练的参数量呈指数上升，迭 代更新参数速度减缓，并出现过拟合现象，带来 的后果就是网络的泛化能力大大降低。所以，本 文选取时间维度上深度为 3 的卷积核作为 4D-CNN 架构的特征提取器。 3.2 方法比较 将提出的网络与基于 ROI(regions of interest) 构建脑功能网络 (ROI-net) 方法进行 ASD 分类性 能比较，此外，几个经典的网络对本文中用到的 数据集进行诊断，包括 T3D、AlexNet、2CC3D、 3D-CNN 以验证 4D-CNN 的有效性。表 6 将对比 方法进行了介绍。 表 6 用于比较的方法 Table 6 Methods used for comparison 方法 概述 ROI-net[26] 用标准模板将预处理后的fMRI划分为若干个 脑区，提取出各个脑区的时间序列，计算任意 两个脑区时间序列的相关性，形成相关矩阵 T3D[12] 在DenseNet[21]的基础上增加时间过渡层，提高 特征提取能力，并将在二维网络中预训练的权 重迁移到三维网络中，以此减小训练难度 AlexNet[10] AlexNet使用层叠的卷积层来提取图像的特征， 并使用Dropout和数据增强策略抑制深层网络 带来的过拟合问题 2CC3D[7] 对输入的fMRI数据使用滑动窗口创建了2通道 图像，并将这些图像作为3D卷积神经网络的输 入，最终输出与ASD相关的fMRI空间特征 3D-CNN[11] 从输入视频的连续帧中提取每帧画面的二维图 像特征和相邻帧之间的时间轴特征 4D-CNN 提出的4D-CNN方法直接对功能磁共振图像进 行特征提取，充分利用时间空间特征，更好地 保留了全局信息 本文所用的数据集具有四维特性，无法直接 将数据集用于比较的三维卷积神经网络方法中， 因此采用系统抽样的方式对数据集进行处理，以 便对比方法能更好地适用于本文中的数据集。具 体而言，对每个被试的功能磁共振图像在时间轴 上进行等距划分，即从第一个时间点开始，每连 续 10 个时间点上的图像为一组，故前 50 个时间 点上的图像随之分为 5 组，然后每组随机选出一 个时间点上的图像作为卷积网络的输入，以此， 每个被试选出 5 个图像分别进行 3D 卷积处理， 输出 5 个分类结果，并将结果中占比高的类别作 为本次输出结果。 3.3 分类结果及分析 表 7、8、9 分别展示了提出的 4D-CNN 与其他 方法在 NYU、UM_1 和 USM 数据集上的分类结 果。可以看出，4D-CNN 使用四维卷积核对自闭 症的功能磁共振图像进行时空特征学习，可以取 得比 T3D、AlexNet、2CC3D 及 3D-CNN 等经典的 三维卷积神经网络更好的性能。表 7 的实验结果 表明提出的 4D-CNN 在 NYU 数据集上的表现明 显优于其他方法，分类精度达到了 70.49%，并且 呈现出良好的敏感性和特异性。归结原因在于， 本文所提出的 4D 卷积神经网络结构直接从预处 理后的功能磁共振图像中提取时空特征，既充分 保留了图像的全局信息，又很好地避免了图像经 传统方法预处理后带来的误差和冗余信息。进一 步验证了从 fMRI 中提取四维特征对自闭症分类 任务的有效性。在多个数据集上的实验结果说明 了本文所提的网络对含有时间和空间特性的数据 具有适用性。 表 7 不同方法在自闭症分类中的性能比较 (NYU) Table 7 Comparison of the performances of different methods for autism classification (NYU) 方法 ACC AUC SEN SPE ROI-net 0.573 8 0.605 2 0.538 5 0.6000 T3D 0.590 2 0.642 9 0.615 4 0.5714 AlexNet 0.655 7 0.707 1 0.692 3 0.6286 3D-CNN 0.606 6 0.657 1 0.576 9 0.6286 2CC3D 0.623 0 0.625 8 0.653 8 0.6000 4D-CNN 0.704 9 0.784 6 0.730 7 0.6857 此外，用 ROC 曲线来更加直观地鉴别模型 优劣，ROC 曲线能很容易地查出任意界限值时模 型对疾病的识别能力，图 3、4、5 分别显示了在 ·1026· 智 能 系 统 学 报 第 16 卷
第6期 郭磊，等：4D卷积神经网络的自闭症功能磁共振图像分类 ·1027· NYU、UM1和USM这3个数据集上不同方法所 T3D(AUC=0.6204) 1.0r。-4D-CNN(AUC=0.7160) 获得的ROC曲线。可以看出，4D-CNN的 08 ROC曲线在整体上优于其他方法，说明本文的方 法对自闭症有更好的识别能力。ROC曲线下的 面积即为AUC值，AUC值能很好地描述模型整 0.4 ￥2CC3D(AUC=0.5617) 体性能的高低，从图3可以看出，在NYU数据集 02 3D-CNN (AUC=0.571 0) Alex (AUC=0.635 8) 上4D-CNN的AUC值为0.7846，明显高于其他方 0.2 0.40.6 0.81.0 法。在图4、5中，4D-CNN的AUC值也高于大多 假阳性率(FPR) 数方法。 图4不同方法的ROC曲线UM1) Fig.4 ROC curve of different methods(UM 1) 表8不同方法在自闭症分类中的性能比较(UM1) Table 8 Comparison of the performances of different 1.0 -T3D(AUC=0.5376) methods for autism classification (UM 1) 0.8 4D-CNN (AUC-0.6692 方法 ACC AUC SEN SPE 0.6 ROI-net 0.5833 0.5826 0.7222 0.4444 0.4 2CC3D(AUC=0.6729) T3D 0.6389 0.6204 0.5000 0.7778 0.2 BD-CNN(AUC- 0.6203 --Alex(AUC=0.6053) AlexNet 0.6389 0.6358 0.5556 0.7222 02 0.40.6 0.81.0 假阳性率(FPR) 3D-CNN 0.5556 0.5710 0.6111 0.5000 图5不同方法的ROC曲线USM) 2CC3D 0.5833 0.5617 0.6111 0.5556 Fig.5 ROC curve of different methods(USM) 4D-CNN 0.6944 0.7160 0.6667 0.7222 结束语 表9不同方法在自闭症分类中的性能比较(US 本文提出了一个四维的卷积神经网络对自闭 Table 9 Comparison of the performances of different 症的功能磁共振图像进行分类。具体来说，首先 methods for autism classification (USM) 对所有的fMRI进行预处理，然后通过提出的模 方法 ACC AUC SEN SPE 型直接对图像进行训练。根据不断的迭代更新参 ROI-net 0.5758 0.5935 0.5000 0.6316 数，得到了一个具有显著识别能力的4D-CNN。 在提出的网络中，训练过程完全保留了受试者的 T3D 0.5152 0.5376 0.4286 0.5789 全局特征和连续的时间特征，从而获得了较好的 AlexNet 0.5758 0.6053 0.6429 0.5263 实验结果。对来自不同数据集的受试者实验表 3D-CNN 0.6061 0.6203 0.5714 0.6316 明，所提出的4D-CNN方法可以使用MRI数据有 效地对脑疾病进行诊断。 2CC3D 0.6364 0.6729 0.7857 0.5263 参考文献： 4D-CNN 0.6970 0.6692 0.7143 0.6842 [1]张芬，王穗苹，杨娟华，等.自闭症谱系障碍者异常的大 +-T3D(AUC=0.6429) 脑功能连接).心理科学进展，2015,23(7八：1196-1204 1.0r4D-CNN(AUC=0.7846) ZHANG Fen,WANG Suiping,YANG Juanhua,et al. 0.8 Atypical brain functional connectivity in autism spectrum 0.6 disorders[J].Advances in psychological science,2015, 23(7):1196-1204 0.4 -2CC3D(AUC=0.6258) [2]CABALLERO-GAUDES C.REYNOLDS R C.Methods 0.2 3D-CNN(AUC-=0.6571) .A1ex(AUC=0.7071) for cleaning the BOLD fMRI signal[J].Neuroimage,2017, 0.2 0.40.60.81.0 154:128-149 假阳性率(FPR) [3]MOELLER S,YACOUB E,OLMAN C A,et al.Mult- 图3不同方法的ROC曲线NYU) iband multislice GE-EPI at 7 tesla,with 16-fold accelera- Fig.3 ROC curve of different methods(NYU) tion using partial parallel imaging with application to high
NYU、UM_1 和 USM 这 3 个数据集上不同方法所 获 得 的 R O C 曲线。可以看出， 4D-CN N 的 ROC 曲线在整体上优于其他方法，说明本文的方 法对自闭症有更好的识别能力。ROC 曲线下的 面积即为 AUC 值，AUC 值能很好地描述模型整 体性能的高低，从图 3 可以看出，在 NYU 数据集 上 4D-CNN 的 AUC 值为 0.784 6，明显高于其他方 法。在图 4、5 中，4D-CNN 的 AUC 值也高于大多 数方法。 表 8 不同方法在自闭症分类中的性能比较 (UM_1) Table 8 Comparison of the performances of different methods for autism classification (UM_1) 方法 ACC AUC SEN SPE ROI-net 0.583 3 0.582 6 0.722 2 0.4444 T3D 0.638 9 0.620 4 0.500 0 0.7778 AlexNet 0.638 9 0.635 8 0.555 6 0.7222 3D-CNN 0.555 6 0.571 0 0.611 1 0.5000 2CC3D 0.583 3 0.561 7 0.611 1 0.5556 4D-CNN 0.694 4 0.716 0 0.666 7 0.7222 表 9 不同方法在自闭症分类中的性能比较 (USM) Table 9 Comparison of the performances of different methods for autism classification (USM) 方法 ACC AUC SEN SPE ROI-net 0.575 8 0.593 5 0.500 0 0.6316 T3D 0.515 2 0.537 6 0.428 6 0.5789 AlexNet 0.575 8 0.605 3 0.642 9 0.5263 3D-CNN 0.606 1 0.620 3 0.571 4 0.6316 2CC3D 0.636 4 0.672 9 0.785 7 0.5263 4D-CNN 0.697 0 0.669 2 0.714 3 0.6842 1.0 0.8 0.6 真阳性率 (TPR) 假阳性率 (FPR) 0.4 0.2 0 0.2 0.4 0.6 2CC3D (AUC=0.625 8) 3D−CNN (AUC=0.657 1) Alex (AUC=0.707 1) 0.8 1.0 T3D (AUC=0.642 9) 4D−CNN (AUC=0.784 6) 图 3 不同方法的 ROC 曲线 (NYU) Fig. 3 ROC curve of different methods (NYU) 1.0 0.8 0.6 真阳性率 (TPR) 假阳性率 (FPR) 0.4 0.2 0 0.2 0.4 0.6 2CC3D (AUC=0.561 7) 3D−CNN (AUC=0.571 0) Alex (AUC=0.635 8) 0.8 1.0 T3D (AUC=0.620 4) 4D−CNN (AUC=0.716 0) 图 4 不同方法的 ROC 曲线 (UM_1) Fig. 4 ROC curve of different methods(UM_1) 1.0 0.8 0.6 真阳性率 (TPR) 假阳性率 (FPR) 0.4 0.2 0 0.2 0.4 0.6 2CC3D (AUC=0.672 9) 3D−CNN (AUC=0.620 3) Alex (AUC=0.605 3) 0.8 1.0 T3D (AUC=0.537 6) 4D−CNN (AUC=0.669 2) 图 5 不同方法的 ROC 曲线 (USM) Fig. 5 ROC curve of different methods (USM) 4 结束语 本文提出了一个四维的卷积神经网络对自闭 症的功能磁共振图像进行分类。具体来说，首先 对所有的 fMRI 进行预处理，然后通过提出的模 型直接对图像进行训练。根据不断的迭代更新参 数，得到了一个具有显著识别能力的 4D-CNN。 在提出的网络中，训练过程完全保留了受试者的 全局特征和连续的时间特征，从而获得了较好的 实验结果。对来自不同数据集的受试者实验表 明，所提出的 4D-CNN 方法可以使用 fMRI 数据有 效地对脑疾病进行诊断。 参考文献： 张芬, 王穗苹, 杨娟华, 等. 自闭症谱系障碍者异常的大 脑功能连接 [J]. 心理科学进展, 2015, 23(7): 1196–1204. ZHANG Fen, WANG Suiping, YANG Juanhua, et al. Atypical brain functional connectivity in autism spectrum disorders[J]. Advances in psychological science, 2015, 23(7): 1196–1204. [1] CABALLERO-GAUDES C, REYNOLDS R C. Methods for cleaning the BOLD fMRI signal[J]. Neuroimage, 2017, 154: 128–149. [2] MOELLER S, YACOUB E, OLMAN C A, et al. Multiband multislice GE-EPI at 7 tesla, with 16-fold acceleration using partial parallel imaging with application to high [3] 第 6 期 郭磊，等：4D 卷积神经网络的自闭症功能磁共振图像分类 ·1027·
·1028· 智能系统学报 第16卷 spatial and temporal whole-brain FMRI[J].Magnetic res. al.Improving neural networks by preventing co-adapta- onance in medicine,2010,63(5):1144-1153. tion of feature detectors[].Computer science,2012,3(4): [4]常春云.基于静息态功能磁共振成像的自闭症预测研究 212-223. [D].北京：北京交通大学，2017. [15]SIMONYAN K,ZISSERMAN A.Very deep convolu- CHANG Chunyun.Research on prediction of autism spec- tional networks for large-scale image recognition trum disorder based on resting-state fMRI[D].Beijing: [EB/OL]//(2018-8-16)[2019-4-26]https://arxiv.org/abs/ Beijing Jiaotong University,2017. 1808.05377v1. [5]DVORNEK N C,VENTOLA P,PELPHREY K A,et al. [16]SZEGEDY C,LIU Wei,JIA Yangqing,et al.Going deep- Identifying autism from resting-state fMRI using long er with convolutions[C]//2015 IEEE Conference on Com- short-term memory networks[M]//WANG Qian,SHI puter Vision and Pattern Recognition(CVPR).Boston, Yinghuan,SUK H I,et al.Machine Learning in Medical USA.2014:1-9. Imaging.Cham:Springer,2017:362-370. [17]IOFFE S.SZEGEDY C.Batch normalization:accelerat- [6]ZHAO Yu,DONG Qinglin,ZHANG Shu,et al.Automat- ing deep network training by reducing internal covariate ic recognition of fMRI-derived functional networks using shift[C]//Proceedings of the 32nd International Confer- 3-D convolutional neural networks[J].IEEE transactions ence on International Conference on Machine Learning. on biomedical engineering,2018,65(9):1975-1984. Lile,France,,2015:448-456. [7]LI Xiaoxiao,DVORNEK N C,PAPADEMETRIS X,et al. [18]SZEGEDY C.VANHOUCKE V,IOFFE S,et al.Re- 2-Channel convolutional 3D deep neural network(2CC3D) thinking the inception architecture for computer for fMRI analysis:ASD classification and feature vision[C]//2016 IEEE Conference on Computer Vision learning[C]/2018 IEEE 15th International Symposium on and Pattern Recognition(CVPR).Las Vegas,USA,2016: Biomedical Imaging(ISBI 2018).Washington,USA,2018: 2818-2826 1252-1255. [19]SZEGEDY C,IOFFE S,VANHOUCKE V,et al.Incep- [8]KHOSLA M,JAMISON K,KUCEYESKI A,et al.En- tion-v4,inception-ResNet and the impact of residual con- semble learning with 3D convolutional neural networks for nections on learning[C]//Proceedings of the Thirty-First functional connectome-based prediction[J].Neurolmage, AAAI Conference on Artificial Intelligence.San Fran- 2019.199:651-662. cisc0,USA,2017:4278-4284. [9]LU Zhou,PU Hongming,WANG Feicheng,et al.The ex- [20]HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al. pressive power of neural networks:a view from the width[C]//Proceedings of the 31st International Confer- Deep residual learning for image recognition[C]//2016 ence on Neural Information Processing Systems.Long IEEE Conference on Computer Vision and Pattern Recog- Beach,USA,2017:6232-6240. nition(CVPR).Las Vegas,USA,2016:770-778. [10]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Im- [21]HUANG Gao,LIU Zhuang,VAN DER MAATEN L,et al ageNet classification with deep convolutional neural net- Densely connected convolutional networks[C]//2017 works[C]//Proceedings of the 25th International Confer- IEEE Conference on Computer Vision and Pattern Recog- ence on Neural Information Processing Systems.Lake nition(CVPR).Honolulu,USA,2017:2261-2269 Tahoe,Nevada,2012:1097-1105. [22]EL GAZZAR A,CERLIANI L,VAN WINGEN G,et al. [11]JI Shuiwang,XU Wei,YANG Ming,et al.3D Convolu- Simple 1-D convolutional networks for resting-state fMRI tional neural networks for human action recognition[]]. based classification in autism[C]//2019 International Joint IEEE transactions on pattern analysis and machine intelli- Conference on Neural Networks (IJCNN).Budapest, gence,2013,35(1y221-231. Hungary,2019:1-6. [12]DIBA A,FAYYAZ M.SHARMA V,et al.Temporal 3D [23]YAN Chaogan,WANG Xindi,ZUO Xinian,et al.DP- convnets:new architecture and transfer learning for video ABI:data processing&analysis for(resting-state)brain classification[EB/OL].(2017-11-22)[2020-9-20] imaging[J].Neuroinformatics,2016,14(3):339-351. https://arxiv.org/abs/1711.08200. [24]HECHT-NIELSEN.Theory of the backpropagation neur- [13]LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient- al network[Cl//International 1989 Joint Conference on based learning applied to document recognition[.Pro- Neural Networks.Washington,USA,1989:593-605. ceedings of the IEEE,1998,86(11):2278-2324. [25]ELSKEN T,METZEN J H,HUTTER F.Neural archi- [14]HINTON G E,SRIVASTAVA N,KRIZHEVSKY A,et tecture search:A survey[EB/OL].(2018-8-16)[2020-9-
spatial and temporal whole-brain FMRI[J]. Magnetic resonance in medicine, 2010, 63(5): 1144–1153. 常春云. 基于静息态功能磁共振成像的自闭症预测研究 [D]. 北京: 北京交通大学, 2017. CHANG Chunyun. Research on prediction of autism spectrum disorder based on resting-state fMRI[D]. Beijing: Beijing Jiaotong University, 2017. [4] DVORNEK N C, VENTOLA P, PELPHREY K A, et al. Identifying autism from resting-state fMRI using long short-term memory networks[M]//WANG Qian, SHI Yinghuan, SUK H I, et al. Machine Learning in Medical Imaging. Cham: Springer, 2017: 362−370. [5] ZHAO Yu, DONG Qinglin, ZHANG Shu, et al. Automatic recognition of fMRI-derived functional networks using 3-D convolutional neural networks[J]. IEEE transactions on biomedical engineering, 2018, 65(9): 1975–1984. [6] LI Xiaoxiao, DVORNEK N C, PAPADEMETRIS X, et al. 2-Channel convolutional 3D deep neural network (2CC3D) for fMRI analysis: ASD classification and feature learning[C]//2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018). Washington, USA, 2018: 1252−1255. [7] KHOSLA M, JAMISON K, KUCEYESKI A, et al. Ensemble learning with 3D convolutional neural networks for functional connectome-based prediction[J]. NeuroImage, 2019, 199: 651–662. [8] LU Zhou, PU Hongming, WANG Feicheng, et al. The expressive power of neural networks: a view from the width[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA, 2017: 6232−6240. [9] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada, 2012: 1097−1105. [10] JI Shuiwang, XU Wei, YANG Ming, et al. 3D Convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(1): 221–231. [11] DIBA A, FAYYAZ M, SHARMA V, et al. Temporal 3D convnets: new architecture and transfer learning for video classification [EB/OL].(2017-11-22)[2020-9-20] https:// arxiv. org/ abs/1711.08200. [12] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradientbased learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278–2324. [13] [14] HINTON G E , SRIVASTAVA N , KRIZHEVSKY A , et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer science, 2012, 3(4): 212–223. SIMONYAN K , ZISSERMAN A . Very deep convolutional networks for large-scale image recognition [EB/OL]// (2018-8-16)[2019-4-26]https://arxiv.org/abs/ 1808.05377v1. [15] SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA, 2014: 1−9. [16] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning. Lille, France, 2015: 448−456. [17] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA, 2016: 2818−2826. [18] SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco, USA, 2017: 4278−4284. [19] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA, 2016: 770−778. [20] HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA, 2017: 2261−2269. [21] EL GAZZAR A, CERLIANI L, VAN WINGEN G, et al. Simple 1-D convolutional networks for resting-state fMRI based classification in autism[C]//2019 International Joint Conference on Neural Networks (IJCNN). Budapest, Hungary, 2019: 1−6. [22] YAN Chaogan, WANG Xindi, ZUO Xinian, et al. DPABI: data processing & analysis for (resting-state) brain imaging[J]. Neuroinformatics, 2016, 14(3): 339–351. [23] HECHT-NIELSEN. Theory of the backpropagation neural network[C]//International 1989 Joint Conference on Neural Networks. Washington, USA, 1989: 593−605. [24] ELSKEN T , METZEN J H , HUTTER F . Neural architecture search: A survey[EB/OL]. (2018-8-16)[2020-9- [25] ·1028· 智 能 系 统 学 报 第 16 卷
第6期 郭磊，等：4D卷积神经网络的自闭症功能磁共振图像分类 ·1029· 20]https://arxiv.org/abs/1808.05377v1 王骏，副教授，博土，主要研究方 向为机器学习、模糊系统、医学影像分 [26]SALVADOR R,SUCKLING J,COLEMAN M R,et al. 析。主持国家自然科学基金项目 Neurophysiological architecture of functional magnetic 1项，江苏省自然科学基金项目1项。 resonance images of human brain[J].Cerebral cortex, 2016年获江苏省高校科研成果自然科 2005,15(9:1332-1342. 学一等奖。获得国家发明专利5项， 作者简介： 发表学术论文50余篇。 郭磊，硕士研究生，主要研究方向 王士同.教授，博士，主要研究方 为深度习与医学图像处理。 向为模式识别、人工智能。曾获教育 部、中船总公司、湖南省等省部级科技 进步奖10项。获国务院政府特殊津 贴，省部级有突出贡献的中青年专 家。发表学术论文百余篇。 第七届EEE云计算与智能系统国际会议 2021年11月7日至8日，由中国人工智能学会与EEE北京分会联合主办，西安电子科技大学与西安国 家民用航天基地管理委员会共同承办，复旦大学、北京邮电大学、华中科技大学协办的2021年第七届 EEE云计算与智能系统国际会议将在线举办。 院士专家坐镇，打造国际化权威学术平台 不论是学术研究者、企业决策者，或是技术执行者和专业学习者，这场会议绝对值得关注。 一方面，大会由国家一级学会和国际组织EEE共同主办，奠定了大会的规格和量级；另一方面，大会邀 请CAAI名誉理事长李德毅院士、中国科学院黄维院士、英国皇家工程院郭毅可院士、西安电子科技大学副 校长石光明教授四位顶尖人工智能学者担任主席，确保了大会的专业度和权威性。 主论坛部分，中国科学院徐宗本院士、西安电子科技大学副校长石光明教授、CAAI副秘书长白翔教授、 微博COO王巍先生将分别做主题报告。分组讨论部分，专家学者们将围绕大数据模型与数据挖掘、计算 智能、计算机视觉、深度学习、机器学习、混合智能与复杂系统、神经网络应用，进行分组讨论分享最新研究 成果。 精选优秀论文，活跃学术氛围促进成果交流 优秀论文征集和评选收录是大会的重要板块，是大会学术成果沉淀的关键部分，对活跃学术创新范围， 促进相关学科研究成果交流与传播具有极大的作用。 大会面向全球征集学术论文，投稿文章经由程序委员会严格审核，所有录用论文将收录至会议论文集， 并提交EEE Xplore在线数据库检索，挑选出的优秀论文扩充内容后可推荐至检索期刊。 时隔两年，云计算与人工智能领域极具权威性的学术会议在金秋时节如约而至，关于云计算、人工智能 的核心技术和课题将在这里集中探讨。了解前沿趋势，把握学术动态，第七届EEE云计算与智能系统国际 会议不容错过
20]https://arxiv. org/abs/1808.05377v1. SALVADOR R, SUCKLING J, COLEMAN M R, et al. Neurophysiological architecture of functional magnetic resonance images of human brain[J]. Cerebral cortex, 2005, 15(9): 1332–1342. [26] 作者简介： 郭磊，硕士研究生，主要研究方向 为深度习与医学图像处理。 王骏，副教授，博士，主要研究方 向为机器学习、模糊系统、医学影像分 析。主持国家自然科学基金项 目 1 项，江苏省自然科学基金项目 1 项。 2016 年获江苏省高校科研成果自然科 学一等奖。获得国家发明专利 5 项， 发表学术论文 50 余篇。 王士同，教授，博士，主要研究方 向为模式识别、人工智能。曾获教育 部、中船总公司、湖南省等省部级科技 进步奖 10 项。获国务院政府特殊津 贴，省部级有突出贡献的中青年专 家。发表学术论文百余篇。 第七届 IEEE 云计算与智能系统国际会议 2021 年 11 月 7 日至 8 日，由中国人工智能学会与 IEEE 北京分会联合主办，西安电子科技大学与西安国 家民用航天基地管理委员会共同承办，复旦大学、北京邮电大学、华中科技大学协办的 2021 年第七届 IEEE 云计算与智能系统国际会议将在线举办。 院士专家坐镇，打造国际化权威学术平台 不论是学术研究者、企业决策者，或是技术执行者和专业学习者，这场会议绝对值得关注。 一方面，大会由国家一级学会和国际组织 IEEE 共同主办，奠定了大会的规格和量级；另一方面，大会邀 请 CAAI 名誉理事长李德毅院士、中国科学院黄维院士、英国皇家工程院郭毅可院士、西安电子科技大学副 校长石光明教授四位顶尖人工智能学者担任主席，确保了大会的专业度和权威性。 主论坛部分，中国科学院徐宗本院士、西安电子科技大学副校长石光明教授、CAAI 副秘书长白翔教授、 微博 COO 王巍先生将分别做主题报告。分组讨论部分，专家学者们将围绕大数据模型与数据挖掘、计算 智能、计算机视觉、深度学习、机器学习、混合智能与复杂系统、神经网络应用，进行分组讨论分享最新研究 成果。 精选优秀论文，活跃学术氛围促进成果交流 优秀论文征集和评选收录是大会的重要板块，是大会学术成果沉淀的关键部分，对活跃学术创新范围， 促进相关学科研究成果交流与传播具有极大的作用。 大会面向全球征集学术论文，投稿文章经由程序委员会严格审核，所有录用论文将收录至会议论文集， 并提交 IEEE Xplore 在线数据库检索，挑选出的优秀论文扩充内容后可推荐至检索期刊。 时隔两年，云计算与人工智能领域极具权威性的学术会议在金秋时节如约而至，关于云计算、人工智能 的核心技术和课题将在这里集中探讨。了解前沿趋势，把握学术动态，第七届 IEEE 云计算与智能系统国际 会议不容错过。 第 6 期 郭磊，等：4D 卷积神经网络的自闭症功能磁共振图像分类 ·1029·
