第16卷第6期 智能系统学报 Vol.16 No.6 2021年11月 CAAI Transactions on Intelligent Systems Now.2021 D0:10.11992/tis.202009022 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.tp.20210330.1640.004html 4D卷积神经网络的自闭症功能磁共振图像分类 郭磊'，王骏2，丁维昌2，潘祥，邓赵红，施俊2，王士同 (1.江南大学人工智能与计算机学院，江苏无锡214122：2.上海大学通信与信息工程学院，上海200444) 摘要：静息态功能磁共振图像是随着时间变化的一系列三维图像。己有的3D卷积过程本质上是对三维图像 数据或二维图像+时间维数据进行处理，无法有效地融合静息态功能磁共振图像的时间轴信息。为此，本文提 出了新型的4D卷积神经网络识别模型。具体而言，通过对输入的MRI使用四维卷积核执行四维卷积，在自 闭症患者的功能磁共振图像中，从空间和时间上提取特征，从而捕获图像在时间序列上的变化信息。所开发的 模型从输入图像中生成多个信息通道，最终的特征表示结合了所有通道的信息。实验结果表明，在保证模型泛 化性能的前提下，该方法融合了功能像的全局信息，并且采集了功能像随时间变化的趋势信息，进而解决了用 卷积神经网络处理三维图像随时间变化的分类问题。 关键词：深度学习：卷积神经网络：自闭症：4D卷积；功能磁共振成像：特征提取；特征融合；图像分类 中图分类号：TP391文献标志码：A文章编号：1673-4785(2021)06-1021-09 中文引用格式：郭磊，王骏，丁维昌，等.4D卷积神经网络的自闭症功能磁共振图像分类.智能系统学报，2021,16(6)： 1021-1029. 英文引用格式：GUO Lei,WANG Jun,,DING Weichang,.ctal.Classification of the functional magnetic resonance image of autism based on 4D convolutional neural network J.CAAI transactions on intelligent systems,2021,16(6):1021-1029. Classification of the functional magnetic resonance image of autism based on 4D convolutional neural network GUO Lei,WANG Jun',DING Weichang,PAN Xiang', DENG Zhaohong',SHI Jun',WANG Shitong' (1.School of Artificial Intelligence and Computer,Jiangnan University,Wuxi 214122,China;2.School of Communication and In- formation Engineering,Shanghai University,Shanghai 200444,China) Abstract:Resting-state functional magnetic resonance images are a series of three-dimensional(3D)images that change over time.The existing 3D convolution processes 3D image data or two-dimensional image and time-dimensional data, but it cannot effectively fuse the time axis information of a resting-state functional magnetic resonance image.To re- solve this,a new four-dimensional (4D)convolutional neural network(CNN)recognition model is proposed in this pa- per.Specifically,by performing a 4D convolution using a 4D convolution kernel on the input functional magnetic reson- ance imaging,features are spatially and temporally extracted from the functional magnetic resonance image of a patient with autism,thereby capturing information about the changes in the image's time series.The developed model generates multiple information channels from the input image,and the final feature representation combines information from all channels.The experimental results show that to ensure the generalization performance of the model,the method fuses the global information of the functional image and collects its trend information over time,consequently solving the classification problem of 3D image changes with time using a CNN. Keywords:deep learning;convolutional neural network;autism;4D convolution;functional magnetic resonance ima- ging;feature extraction;feature fusion;image classification 自闭症(autism spectrum disorder,.ASD)是一种 分发病于儿童时期并伴随一生。其主要症状表现 广泛性发展障碍类疾病，也是一种具有生物基础 在社会交流障碍、语言交流障碍、情感缺陷等方 的发育障碍类疾病。该病症发病时间不等，大部 面。这就导致了患者在日常的生活、交流和学习 收稿日期：2020-09-16.网络出版日期：2021-03-31. 中有很大的障碍。因此，自闭症的预测分类研究 基金项目：江苏省自然科学基金项目(BK20181339). 一直备受广大研究者的关注。研究者已经发现 通信作者：王骏.E-mail:wangjun_shu@shu.edu.cn AsD患者与正常人(typically developing individu-DOI: 10.11992/tis.202009022 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.tp.20210330.1640.004.html 4D 卷积神经网络的自闭症功能磁共振图像分类 郭磊1 ，王骏2 ，丁维昌2 ，潘祥1 ，邓赵红1 ，施俊2 ，王士同1 （1. 江南大学 人工智能与计算机学院，江苏 无锡 214122; 2. 上海大学 通信与信息工程学院，上海 200444） 摘 要：静息态功能磁共振图像是随着时间变化的一系列三维图像。已有的 3D 卷积过程本质上是对三维图像 数据或二维图像+时间维数据进行处理，无法有效地融合静息态功能磁共振图像的时间轴信息。为此，本文提 出了新型的 4D 卷积神经网络识别模型。具体而言，通过对输入的 fMRI 使用四维卷积核执行四维卷积，在自 闭症患者的功能磁共振图像中，从空间和时间上提取特征，从而捕获图像在时间序列上的变化信息。所开发的 模型从输入图像中生成多个信息通道，最终的特征表示结合了所有通道的信息。实验结果表明，在保证模型泛 化性能的前提下，该方法融合了功能像的全局信息，并且采集了功能像随时间变化的趋势信息，进而解决了用 卷积神经网络处理三维图像随时间变化的分类问题。 关键词：深度学习；卷积神经网络；自闭症；4D 卷积；功能磁共振成像；特征提取；特征融合；图像分类 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2021)06−1021−09 中文引用格式：郭磊, 王骏, 丁维昌, 等. 4D 卷积神经网络的自闭症功能磁共振图像分类 [J]. 智能系统学报, 2021, 16(6): 1021–1029. 英文引用格式：GUO Lei, WANG Jun, DING Weichang, et al. Classification of the functional magnetic resonance image of autism based on 4D convolutional neural network[J]. CAAI transactions on intelligent systems, 2021, 16(6): 1021–1029. Classification of the functional magnetic resonance image of autism based on 4D convolutional neural network GUO Lei1 ，WANG Jun2 ，DING Weichang2 ，PAN Xiang1 ， DENG Zhaohong1 ，SHI Jun2 ，WANG Shitong1 (1. School of Artificial Intelligence and Computer, Jiangnan University, Wuxi 214122, China; 2. School of Communication and In￾formation Engineering, Shanghai University, Shanghai 200444, China) Abstract: Resting-state functional magnetic resonance images are a series of three-dimensional (3D) images that change over time. The existing 3D convolution processes 3D image data or two-dimensional image and time-dimensional data, but it cannot effectively fuse the time axis information of a resting-state functional magnetic resonance image. To re￾solve this, a new four-dimensional (4D) convolutional neural network (CNN) recognition model is proposed in this pa￾per. Specifically, by performing a 4D convolution using a 4D convolution kernel on the input functional magnetic reson￾ance imaging, features are spatially and temporally extracted from the functional magnetic resonance image of a patient with autism, thereby capturing information about the changes in the image's time series. The developed model generates multiple information channels from the input image, and the final feature representation combines information from all channels. The experimental results show that to ensure the generalization performance of the model, the method fuses the global information of the functional image and collects its trend information over time, consequently solving the classification problem of 3D image changes with time using a CNN. Keywords: deep learning; convolutional neural network; autism; 4D convolution; functional magnetic resonance ima￾ging; feature extraction; feature fusion; image classification 自闭症 (autism spectrum disorder, ASD) 是一种 广泛性发展障碍类疾病，也是一种具有生物基础 的发育障碍类疾病。该病症发病时间不等，大部 分发病于儿童时期并伴随一生。其主要症状表现 在社会交流障碍、语言交流障碍、情感缺陷等方 面。这就导致了患者在日常的生活、交流和学习 中有很大的障碍。因此，自闭症的预测分类研究 一直备受广大研究者的关注。研究者已经发现 ASD 患者与正常人 (typically developing individu- 收稿日期：2020−09−16. 网络出版日期：2021−03−31. 基金项目：江苏省自然科学基金项目 (BK20181339). 通信作者：王骏. E-mail：wangjun_shu@shu.edu.cn. 第 16 卷第 6 期 智 能 系 统 学 报 Vol.16 No.6 2021 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2021