·1022· 智能系统学报 第16卷 as,TD)在大脑的功能连接上有明显的差异山。 中，但是这种处理会增加大量的参数，忽略静息 静息态功能磁共振成像(resting state function- 态功能像随时间变化的趋势信息，并且性能表现 al magnetic resonance image,.rs-fMR)）通过在静息 不佳。总而言之，有必要寻找一种有效的方法从sMR 状态下采集血氧水平依赖信号，对信号去噪回后 的时间和空间信息中提取特征。 使用多层同时扫描技术)对功能磁共振全脑影像 本文提出了4D卷积神经网络，通过rS-fMRI 快速采集，以此来获得时间分辨率和空间分辨率 对ASD进行分类，所提出的4D卷积操作从功能 较高的图像，获得s-fMRI后，关键问题是如何从 磁共振图像中提取空间和时间上的特征，可以得 中有效提取特征。对于传统的特征提取方法，以 到功能磁共振图像随时间变化的信息。与几个流 相关分析法为例，即选取ROI种子点并计算它的 行的网络相比，例如AlexNeti1、3D-CNNII 平均时间序列，然后与全脑所有体素的时间序列 2CC3Dm、T3D,所提出的网络能够有效地从功 进行计算，或者两个脑区之间的平均时间序列计算， 能磁共振图像中提取与ASD密切相关的时间空 得到相关系数，以此来反映不同脑区神经活动模 间特征，较之以往的3D卷积神经网络，4D-CNN 式之间的时间相关性，。作为图像的预处理阶 对含有时空特性的数据具有更好的适应性，可以 段，该方法对ROI异常敏感，种子点选取的位置、 实现更好的分类效果。 大小差异都可能导致较大的数据分析结果差异。 近年来，卷积神经网络(convolutional neural 1卷积神经网络概述 networks,CNN)在医学图像分类任务中取得了非 深度学习是一类通过多层处理，逐渐将初始 常好的效果，随着结构的不断优化，诞生了多种 的低层特征表示转化为高层特征表示的特征学习 成熟的网络模型。2017年，Dvornek等使用具 方法。这样的方法可以被训练用于监督或无监督 有Long Short-Term Memory的递归神经网络直接 学习，由此产生的复杂模型已经被广泛用于视觉 从静态fMRI的时间序列上对具有ASD的个体进 物体识别、人类行为识别、自然语言处理、音频分 行分类。但是，从fMRI的感兴趣区域中提取平 类、脑机交互、人体跟踪、图像恢复、去噪、分割 均时间序列作为输入数据无法兼顾全局信息，易 造成信息缺失；2018年，Yu等6开发了一种全自 等任务。卷积神经网络是一种深度模型，在这种 动的3D卷积神经网络框架，用以识别和分类不 模型中，输入层、隐藏层和输出层组成基本的网 同类型的功能性脑网络。但是，脑网络在训练前 络结构，其中隐藏层通常包括卷积层、池化层和 需要花费大量的时间进行手动标记，不可避免地 全连接层。卷积层中卷积核相当于特征提取器， 每个卷积核对整幅图像数据进行有规律地扫描 会出现人工标签错误和标签间的差异；2018年， Li等)为了在fMRI中同时利用空间和时间信 并依次计算各局部区域的特征值以匹配某种模 息，研究了使用滑动窗口随时间测量时间统计量 式；池化层对卷积层结果进行特征选择和信息过 (均值和标准差)以及使用3D卷积神经网络 滤，实现一定程度的平滑压缩；全连接层通常搭 (CNN)捕获空间特征的潜在好处。模型虽然在高 建在隐藏层的最后，对卷积层和池化层的结果进 维数据上获得了良好的空间识别性能，但是在时 行分类。 间维度上的表现并不明显；2019年，Khosla等劉 1998年，纽约大学的Lecun等1正式提出了 提出了一种新颖的3D卷积神经网络(CNN)方法 卷积神经网络LeNet-5,确立了CNN的现代结构， 来实现集成学习策略，提出的CNN方法利用了 并在图像处理领域获得了极大成功。之后研究人 rs-fMRI数据的全分辨率3D空间结构，并拟合了 员发现当神经网络饱和之后模型会产生过拟合现 非线性预测模型。但是，将rs-MRI预处理后的 象，直到2012年，Krizhevsky等Io,1在提出的 多通道3D图像作为CNN的输入忽视了隐含在时 Alexnet中采用Dropout和数据增强的方法来防止 间轴上的信息。对于以上提出的深度学习方法，网 网络过拟合，并使用非线性激活函数ReLU(recti- 络只能处理维数小于或等于3的灰度或RGB图 fied linear unit)提高网络收敛速度。2014年，Si- 像，并且在对图像进行预处理过程中，很可能会 monyan等采用小卷积堆叠的方式搭建VGGNet, 丢失部分信息，使得出的结果不具有全局性。对 证明了更深的网络能更好地提取特征，值得一提 于功能磁共振图像而言，如果将每个时间点上的 的是，虽然VGGNet比AlexNet的参数多，但只需 3D图像视为一个通道进行3D卷积，那么根据预 要更少的迭代次数就能收敛。此外，在设计网络 处理后的数据集特性，网络生成的通道数目会随 结构时，除了考虑网络的深度，还会考虑网络的 着时间的推移而增多，从而使得网络宽度过大， 宽度。同年，Szegedy等l提出的Inception vl网 可能会造成传播过程中信息丢失，影响网络的表 络，通过改变传统的卷积层设计思路，在加大网 达能力四。另一方面，可以将每个样本多个时间点 络深度和宽度的同时减少了参数量，并且增加了 上的3D图像视为一个图像立方体输入到3D-CNN 网络对尺度的适应性。随后，通过对Inceptionals, TD) 在大脑的功能连接上有明显的差异[1]。 静息态功能磁共振成像 (resting state function￾al magnetic resonance image，rs-fMRI) 通过在静息 状态下采集血氧水平依赖信号, 对信号去噪[2] 后， 使用多层同时扫描技术[3] 对功能磁共振全脑影像 快速采集，以此来获得时间分辨率和空间分辨率 较高的图像，获得 rs-fMRI 后，关键问题是如何从 中有效提取特征。对于传统的特征提取方法，以 相关分析法为例，即选取 ROI 种子点并计算它的 平均时间序列，然后与全脑所有体素的时间序列 进行计算，或者两个脑区之间的平均时间序列计算， 得到相关系数，以此来反映不同脑区神经活动模 式之间的时间相关性[4]。作为图像的预处理阶 段，该方法对 ROI 异常敏感，种子点选取的位置、 大小差异都可能导致较大的数据分析结果差异。 近年来，卷积神经网络 (convolutional neural networks, CNN) 在医学图像分类任务中取得了非 常好的效果，随着结构的不断优化，诞生了多种 成熟的网络模型。2017 年，Dvornek 等 [5] 使用具 有 Long Short-Term Memory 的递归神经网络直接 从静态 fMRI 的时间序列上对具有 ASD 的个体进 行分类。但是，从 fMRI 的感兴趣区域中提取平 均时间序列作为输入数据无法兼顾全局信息，易 造成信息缺失；2018 年，Yu 等 [6] 开发了一种全自 动的 3D 卷积神经网络框架，用以识别和分类不 同类型的功能性脑网络。但是，脑网络在训练前 需要花费大量的时间进行手动标记，不可避免地 会出现人工标签错误和标签间的差异；2018 年， Li 等 [7] 为了在 fMRI 中同时利用空间和时间信 息，研究了使用滑动窗口随时间测量时间统计量 (均值和标准差 ) 以及使 用 3D 卷积神经网 络 (CNN) 捕获空间特征的潜在好处。模型虽然在高 维数据上获得了良好的空间识别性能，但是在时 间维度上的表现并不明显；2019 年，Khosla 等 [8] 提出了一种新颖的 3D 卷积神经网络 (CNN) 方法 来实现集成学习策略，提出的 CNN 方法利用了 rs-fMRI 数据的全分辨率 3D 空间结构，并拟合了 非线性预测模型。但是，将 rs-fMRI 预处理后的 多通道 3D 图像作为 CNN 的输入忽视了隐含在时 间轴上的信息。对于以上提出的深度学习方法，网 络只能处理维数小于或等于 3 的灰度或 RGB 图 像，并且在对图像进行预处理过程中，很可能会 丢失部分信息，使得出的结果不具有全局性。对 于功能磁共振图像而言，如果将每个时间点上的 3D 图像视为一个通道进行 3D 卷积，那么根据预 处理后的数据集特性，网络生成的通道数目会随 着时间的推移而增多，从而使得网络宽度过大， 可能会造成传播过程中信息丢失，影响网络的表 达能力[9]。另一方面，可以将每个样本多个时间点 上的 3D 图像视为一个图像立方体输入到 3D-CNN 中，但是这种处理会增加大量的参数，忽略静息 态功能像随时间变化的趋势信息，并且性能表现 不佳。总而言之，有必要寻找一种有效的方法从rs-fMRI 的时间和空间信息中提取特征。 本文提出了 4D 卷积神经网络，通过 rs-fMRI 对 ASD 进行分类，所提出的 4D 卷积操作从功能 磁共振图像中提取空间和时间上的特征，可以得 到功能磁共振图像随时间变化的信息。与几个流 行的网络相比，例如 AlexNet[ 1 0 ] 、3D-CNN[ 1 1 ] 、 2CC3D[7] 、T3D[12] ，所提出的网络能够有效地从功 能磁共振图像中提取与 ASD 密切相关的时间空 间特征，较之以往的 3D 卷积神经网络，4D-CNN 对含有时空特性的数据具有更好的适应性，可以 实现更好的分类效果。 1 卷积神经网络概述 深度学习是一类通过多层处理，逐渐将初始 的低层特征表示转化为高层特征表示的特征学习 方法。这样的方法可以被训练用于监督或无监督 学习，由此产生的复杂模型已经被广泛用于视觉 物体识别、人类行为识别、自然语言处理、音频分 类、脑机交互、人体跟踪、图像恢复、去噪、分割 等任务。卷积神经网络是一种深度模型，在这种 模型中，输入层、隐藏层和输出层组成基本的网 络结构，其中隐藏层通常包括卷积层、池化层和 全连接层。卷积层中卷积核相当于特征提取器， 每个卷积核对整幅图像数据进行有规律地扫描 并依次计算各局部区域的特征值以匹配某种模 式；池化层对卷积层结果进行特征选择和信息过 滤，实现一定程度的平滑压缩；全连接层通常搭 建在隐藏层的最后，对卷积层和池化层的结果进 行分类。 1998 年，纽约大学的 Lecun 等 [13] 正式提出了 卷积神经网络 LeNet-5，确立了 CNN 的现代结构， 并在图像处理领域获得了极大成功。之后研究人 员发现当神经网络饱和之后模型会产生过拟合现 象，直到 2012 年 ，Krizhevsky 等 [10, 14] 在提出的 Alexnet 中采用 Dropout 和数据增强的方法来防止 网络过拟合，并使用非线性激活函数 ReLU(recti￾fied linear unit) 提高网络收敛速度。2014 年，Si￾monyan 等 [15] 采用小卷积堆叠的方式搭建 VGGNet， 证明了更深的网络能更好地提取特征，值得一提 的是，虽然 VGGNet 比 AlexNet 的参数多，但只需 要更少的迭代次数就能收敛。此外，在设计网络 结构时，除了考虑网络的深度，还会考虑网络的 宽度。同年，Szegedy 等 [16] 提出的 Inception v1 网 络，通过改变传统的卷积层设计思路，在加大网 络深度和宽度的同时减少了参数量，并且增加了 网络对尺度的适应性。随后，通过对 Inception ·1022· 智 能 系 统 学 报 第 16 卷