第13卷第6期 智能系统学报 Vol.13 No.6 2018年12月 CAAI Transactions on Intelligent Systems Dec.2018 D0:10.11992/tis.201806012 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180703.1243.004html 利用多模态U形网络的CT图像前列腺分割 凌形，杨琬琪，杨明 (南京师范大学计算机科学与技术学院，江苏南京210023) 摘要：计算机断层扫描(computed tomography,CT)可应用于前列腺癌的检查诊断，但是它对软组织结构对比 度不高，因此很难从中分割病变；而核磁共振成像(nuclear magnetic resonance imaging,MRI)具有较高的对比度， 能为病变提供丰富的影像信息。为了提升CT图像的前列腺分割精度，本文提出一种新的基于深度学习的多模 态U形网络图像分割模型MM-unet,充分运用MRI图像与CT图像间信息互补的特点。具体地，首先运用迁移 学习思想分别训练MRI与CT图像的初始分割模型，然后通过设计一种新型的多模态损失函数MM-Loss,建立 不同模态分割模型之间的联系，联合训练基于MRI与CT图像的MM-unet。为验证所提模型MM-unet的有效 性，我们在某合作医院提供的Prostate数据集上进行了实验，实验结果表明，与U-net方法相比，MM-unet能够获 得高出3个百分点Dice的CT图像分割精度。 关键词：计算机断层扫描图像；核磁共振成像；深度学习；多模态U形网络；单模态U形网络；迁移学习；损失函 数：前列腺分割 中图分类号：TP18;R318文献标志码：A文章编号：1673-4785(2018)06-0981-08 中文引用格式：凌彤，杨琬琪，杨明.利用多模态U形网络的CT图像前列腺分割智能系统学报，2018,136)：981-988。 英文引用格式：LING Tong,YANG Wanqi,,YANG Ming.Prostate segmentation in CT images with multimodal U-net,.CAAI transactions on intelligent systems,2018,13(6):981-988. Prostate segmentation in CT images with multimodal U-net LING Tong,YANG Wanqi,YANG Ming (School of Computer Science and Technology,Nanjing Normal University,Nanjing 210023,China) Abstract:Computed tomography(CT)can be applied to prostate cancer diagnosis;however,it is not effective for the visualization of soft tissues structures because of the resulting low contrast,and thus,it is difficult to perform accurate prostate segmentation in CT images.Contrarily,nuclear magnetic resonance imaging(MRI)provides a relatively high contrast to soft tissues,which can provide rich image information for prostate segmentation.To improve the accuracy of prostate segmentation in CT images,a novel multimodal U-net(MM-unet)is proposed based on deep learning,which fully utilizes the complementary information between MRI and CT images.A transfer learning method is first applied to train the initial segmentation model parameters for segmenting MRI and CT images,and then a novel multimodal loss function MM-Loss is proposed to connect the segmentation models between different modalities,jointly training the proposed MM-unet in paired MRI and CT images.To validate the effectiveness of the proposed MM-unet,we carried out experiments on the prostate dataset provided by our allied hospital.The experimental results show that MM-unet can achieve 3%higher Dice than U-net for prostate segmentation in CT images. Keywords:CT;MRI;deep learning;multimodal U-net;single modal U-net;transfer learning;loss function;prostate segmentation 前列腺癌在欧美等国家是最常见的泌尿系恶 收稿日期：2018-06-06.网络出版日期：2018-07-05. 基金项目：国家自然科学基金项目(61603193,61432008)：江苏 性肿瘤，在所有直接导致死亡原因的肿瘤中排在 省自然科学基金面上项目(BK20I71479):江苏省博 士后科学基金(1701157B). 第2位，随着我国人口老龄化，前列腺癌的发生率 通信作者：杨琬琪.E-mail:yangwq(@njnu.edu.cn. 也越来越高口。对前列腺癌进行影像引导放射治
DOI: 10.11992/tis.201806012 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180703.1243.004.html 利用多模态 U 形网络的 CT 图像前列腺分割 凌彤，杨琬琪，杨明 （南京师范大学 计算机科学与技术学院，江苏 南京 210023） 摘 要：计算机断层扫描 (computed tomography，CT) 可应用于前列腺癌的检查诊断，但是它对软组织结构对比 度不高，因此很难从中分割病变；而核磁共振成像 (nuclear magnetic resonance imaging，MRI) 具有较高的对比度， 能为病变提供丰富的影像信息。为了提升 CT 图像的前列腺分割精度，本文提出一种新的基于深度学习的多模 态 U 形网络图像分割模型 MM-unet，充分运用 MRI 图像与 CT 图像间信息互补的特点。具体地，首先运用迁移 学习思想分别训练 MRI 与 CT 图像的初始分割模型，然后通过设计一种新型的多模态损失函数 MM-Loss，建立 不同模态分割模型之间的联系，联合训练基于 MRI 与 CT 图像的 MM-unet。为验证所提模型 MM-unet 的有效 性，我们在某合作医院提供的 Prostate 数据集上进行了实验，实验结果表明，与 U-net 方法相比，MM-unet 能够获 得高出 3 个百分点 Dice 的 CT 图像分割精度。 关键词：计算机断层扫描图像；核磁共振成像；深度学习；多模态 U 形网络；单模态 U 形网络；迁移学习；损失函 数；前列腺分割 中图分类号：TP18；R318 文献标志码：A 文章编号：1673−4785(2018)06−0981−08 中文引用格式：凌彤, 杨琬琪, 杨明. 利用多模态 U 形网络的 CT 图像前列腺分割[J]. 智能系统学报, 2018, 13(6): 981–988. 英文引用格式：LING Tong, YANG Wanqi, YANG Ming. Prostate segmentation in CT images with multimodal U-net[J]. CAAI transactions on intelligent systems, 2018, 13(6): 981–988. Prostate segmentation in CT images with multimodal U-net LING Tong，YANG Wanqi，YANG Ming (School of Computer Science and Technology, Nanjing Normal University, Nanjing 210023, China) Abstract: Computed tomography (CT) can be applied to prostate cancer diagnosis; however, it is not effective for the visualization of soft tissues structures because of the resulting low contrast, and thus, it is difficult to perform accurate prostate segmentation in CT images. Contrarily, nuclear magnetic resonance imaging (MRI) provides a relatively high contrast to soft tissues, which can provide rich image information for prostate segmentation. To improve the accuracy of prostate segmentation in CT images, a novel multimodal U-net (MM-unet) is proposed based on deep learning, which fully utilizes the complementary information between MRI and CT images. A transfer learning method is first applied to train the initial segmentation model parameters for segmenting MRI and CT images, and then a novel multimodal loss function MM-Loss is proposed to connect the segmentation models between different modalities, jointly training the proposed MM-unet in paired MRI and CT images. To validate the effectiveness of the proposed MM-unet, we carried out experiments on the prostate dataset provided by our allied hospital. The experimental results show that MM-unet can achieve 3% higher Dice than U-net for prostate segmentation in CT images. Keywords: CT; MRI; deep learning; multimodal U-net; single modal U-net; transfer learning; loss function; prostate segmentation 前列腺癌在欧美等国家是最常见的泌尿系恶 性肿瘤，在所有直接导致死亡原因的肿瘤中排在 第 2 位，随着我国人口老龄化，前列腺癌的发生率 也越来越高[1]。对前列腺癌进行影像引导放射治 收稿日期：2018−06−06. 网络出版日期：2018−07−05. 基金项目：国家自然科学基金项目 (61603193, 61432008)；江苏 省自然科学基金面上项目 (BK20171479)；江苏省博 士后科学基金 (1701157B). 通信作者：杨琬琪. E-mail：yangwq@njnu.edu.cn . 第 13 卷第 6 期 智 能 系 统 学 报 Vol.13 No.6 2018 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2018
·982· 智能系统学报 第13卷 疗是诊治该疾病的关键步骤之一。 单模态，是使用一种成像设备得到的图像；而 影像引导放射治疗前列腺，通常是对患者进 多模态图像是使用两种以上成像设备得到。不同 行CT等影像检查后，由医生手动分割影像图像 模态的图像有着各自的成像特点，能为同一组织 前列腺癌病变部分。但是手动分割病变需要耗费 结构提供不尽相同的影像信息；而使用多模态图 一定的时间与精力，且不同的医生依据自己的工 像能够结合不同模态的影像信息以帮助更全面的 作经验对病变分割的结果存在一定的差异性，在 疾病诊断。如文献[6]提出的多模态堆叠深度多 某种程度上会影响分割的精度，进而影响对病症 项式网络通过融合与学习多个模态的特征表示来 的诊断。因此，准确地自动分割对前列腺癌的诊 诊断阿尔茨海默病：文献「7]提出的变换深度卷积 断是十分重要的。 网络通过融合不同模态的图像特征对椎体识别更 CT检查具有快速、薄层、大范围扫描等优 加有效。这两种方法与本文所提方法均是基于深 势，且检查时间较短，但是由于图像的低对比度， 度学习的方法。 使得前列腺与周围组织结构显像并不清晰，给图 深度学习具有强大的特征学习与表达能力， 像的自动分割造成了一定的困难。而MRI检查 其概念起源于2006年Hinton等在Neural Compu- 软组织分辨率高，图像对比度好，在显示肿瘤本 tation发表的文献[8]，但真正引起学术界广泛关 身以及前列腺包膜、周围组织等方面较CT更有 注的是2012年Krizhevsky等提出的深度卷积神 优势。为了提高CT图像的分割精度，对CT图 经网络Alexnet模型。在那之后，深度学习迅猛 像进行更有效地自动分割，我们提出利用MRI的 发展，且多用于语音识别、图像分类检测、目标追 高分辨率特点去帮助CT图像分割前列腺癌的病 踪等领域。此外，深度学习方法在医学图像分割 变部分。 针对这一想法，本文提出一种新的基于深度 中的应用也是十分广泛，如文献[10]提出的基于 学习的多模态U形网络图像分割模型MM-unet: 三维卷积神经网络分割椎体MRI图像，文献[11] 1)运用深度学习迁移的思想，借用其他MRI数据 提出的基于递归神经网络分割肌束膜病理图像， 集（即PROMISE12)辅助训练MRI图像的初始分 文献[12]提出的基于多尺度特征融合的深度三维 割模型，进而将训练好的MRI图像初始分割模型 卷积编码网络分割多发性硬化症病变等。 进行迁移到CT图像的初始分割模型中；2)通过 由于深度学习的模型训练往往需要大量的数 设计一种新型的多模态损失函数MM-Loss,衡量 据储备，为提升其模型精度且防止过拟合问题， MRI与CT不同模态分割模型间的一致性，并建 研究者们运用迁移学习，将预训练好的其他网络 立它们之间的联系；联合训练基于MRI与CT图 模型迁移到目标模型中，如文献[13]提出使用基 像的MM-unet,使用监督学习的方式让两个模态 础数据集训练深度卷积神经网络学习模型，使用 互相学习，使CT图像能够借助MRI提供的影像 目标数据集微调该模型中学习到的特征，分别通 信息来提高自身的分割精度。 过选择性迁移与直接迁移来训练目标模型，以提 高其模型的泛化能力：文献[14]提出的级联深度 1相关工作 自适应(CDDA)模型通过使用医生手工标注的掩 医学图像不同于一般的图像，具有一定的复 模在具有不同掩膜比的原始CT图像上叠加来构 杂性、多样性、不规则性等特点，因此很多用于处 建多个连续源域，并将这些源域上学习到的特征 理一般图像的分割方法不能直接用于医学图像处 迁移到目标域中。 理。而CT图像由于软组织结构对比度低的特 2卷积神经网络学习模型 点，使得其分割难度加大。为解决这一问题，近 年来有不少研究者提出若干CT前列腺图像分割 2.1网络结构常用层 方法，如文献[3]提出基于特征学习的框架实现精 卷积层(convolution layer,.Conv),是卷积神 准定位的分割方法，文献[4提出从之前分割好的 经网络的核心层，通常使用卷积核与输入的特征 训练图像中建立可变形的器官模型实现自动分割 图进行卷积操作以实现特征的提取；池化层 的方法，文献[5]提出基于稀疏表示的分类器分割 (pooling layer),通常是对卷积层输出的特征图进 的方法等。上述方法都是利用单模态图像信息 行下采样操作以降低维度并保留有用的信息，有 对CT图像实现分割，而本文提出的多模态U形 效地防止过拟合，常见的方法有最大池化、均值池 网络分割方法是充分利用多模态图像信息。 化等；修正线性单元I(rectified linear unit,.ReLU)
疗是诊治该疾病的关键步骤之一。 影像引导放射治疗前列腺，通常是对患者进 行 CT 等影像检查后，由医生手动分割影像图像 前列腺癌病变部分。但是手动分割病变需要耗费 一定的时间与精力，且不同的医生依据自己的工 作经验对病变分割的结果存在一定的差异性，在 某种程度上会影响分割的精度，进而影响对病症 的诊断。因此，准确地自动分割对前列腺癌的诊 断是十分重要的。 CT 检查具有快速、薄层、大范围扫描等优 势，且检查时间较短，但是由于图像的低对比度， 使得前列腺与周围组织结构显像并不清晰，给图 像的自动分割造成了一定的困难。而 MRI 检查 软组织分辨率高，图像对比度好，在显示肿瘤本 身以及前列腺包膜、周围组织等方面较 CT 更有 优势[2]。为了提高 CT 图像的分割精度，对 CT 图 像进行更有效地自动分割，我们提出利用 MRI 的 高分辨率特点去帮助 CT 图像分割前列腺癌的病 变部分。 针对这一想法，本文提出一种新的基于深度 学习的多模态 U 形网络图像分割模型 MM-unet： 1) 运用深度学习迁移的思想，借用其他 MRI 数据 集 (即 PROMISE12) 辅助训练 MRI 图像的初始分 割模型，进而将训练好的 MRI 图像初始分割模型 进行迁移到 CT 图像的初始分割模型中；2) 通过 设计一种新型的多模态损失函数 MM-Loss，衡量 MRI 与 CT 不同模态分割模型间的一致性，并建 立它们之间的联系；联合训练基于 MRI 与 CT 图 像的 MM-unet，使用监督学习的方式让两个模态 互相学习，使 CT 图像能够借助 MRI 提供的影像 信息来提高自身的分割精度。 1 相关工作 医学图像不同于一般的图像，具有一定的复 杂性、多样性、不规则性等特点，因此很多用于处 理一般图像的分割方法不能直接用于医学图像处 理。而 CT 图像由于软组织结构对比度低的特 点，使得其分割难度加大。为解决这一问题，近 年来有不少研究者提出若干 CT 前列腺图像分割 方法，如文献[3]提出基于特征学习的框架实现精 准定位的分割方法，文献[4]提出从之前分割好的 训练图像中建立可变形的器官模型实现自动分割 的方法，文献[5]提出基于稀疏表示的分类器分割 的方法等。上述方法都是利用单模态图像信息 对 CT 图像实现分割，而本文提出的多模态 U 形 网络分割方法是充分利用多模态图像信息。 单模态，是使用一种成像设备得到的图像；而 多模态图像是使用两种以上成像设备得到。不同 模态的图像有着各自的成像特点，能为同一组织 结构提供不尽相同的影像信息；而使用多模态图 像能够结合不同模态的影像信息以帮助更全面的 疾病诊断。如文献[6]提出的多模态堆叠深度多 项式网络通过融合与学习多个模态的特征表示来 诊断阿尔茨海默病；文献[7]提出的变换深度卷积 网络通过融合不同模态的图像特征对椎体识别更 加有效。这两种方法与本文所提方法均是基于深 度学习的方法。 深度学习具有强大的特征学习与表达能力， 其概念起源于 2006 年 Hinton 等在 Neural Computation 发表的文献[8]，但真正引起学术界广泛关 注的是 2012 年 Krizhevsky 等提出的深度卷积神 经网络 Alexnet 模型[9]。在那之后，深度学习迅猛 发展，且多用于语音识别、图像分类检测、目标追 踪等领域。此外，深度学习方法在医学图像分割 中的应用也是十分广泛，如文献[10]提出的基于 三维卷积神经网络分割椎体 MRI 图像，文献[11] 提出的基于递归神经网络分割肌束膜病理图像， 文献[12]提出的基于多尺度特征融合的深度三维 卷积编码网络分割多发性硬化症病变等。 由于深度学习的模型训练往往需要大量的数 据储备，为提升其模型精度且防止过拟合问题， 研究者们运用迁移学习，将预训练好的其他网络 模型迁移到目标模型中，如文献[13]提出使用基 础数据集训练深度卷积神经网络学习模型，使用 目标数据集微调该模型中学习到的特征，分别通 过选择性迁移与直接迁移来训练目标模型，以提 高其模型的泛化能力；文献[14]提出的级联深度 自适应 (CDDA) 模型通过使用医生手工标注的掩 模在具有不同掩膜比的原始 CT 图像上叠加来构 建多个连续源域，并将这些源域上学习到的特征 迁移到目标域中。 2 卷积神经网络学习模型 2.1 网络结构常用层 卷积层[15] (convolution layer，Conv)，是卷积神 经网络的核心层，通常使用卷积核与输入的特征 图进行卷积操作以实现特征的提取；池化 层 (pooling layer)，通常是对卷积层输出的特征图进 行下采样操作以降低维度并保留有用的信息，有 效地防止过拟合,常见的方法有最大池化、均值池 化等；修正线性单元[16] (rectified linear unit, ReLU)， ·982· 智 能 系 统 学 报 第 13 卷
第6期 凌彤，等：利用多模态U形网络的CT图像前列腺分割 ·983· 是一种激活函数，用于加快网络训练的收敛速 题，并将卷积层填充参数设为1，去掉原始的裁 度；反卷积层7(deconvolution layer,,Deconv),可以 剪层，以确保输入、输出的图像大小保持一致，便 看作是卷积层的逆操作，用于图像分割中对输入 于图像的处理。调整后的模型称为单模态U形 特征图的重构。 网络。 2.2单模态U形网络 本文训练的CT图像单模态U形网络结构 医学图像具有复杂多样化、线条不规律等特 如图1所示。我们将两层3×3大小的卷积层，每 点，分割时对于图像中的组织结构等细节信息需 层后加上一层修正线性单元与批处理归一化 要进行精准定位，才能有效地提高分割精度。而 (ReLU+BN)称为一个块结构(Block)。在左边的 文献[I8]提出的全卷积神经网络U-net模型有效 收缩路径中，输入的CT图像经过3次块结构与 地解决了这一问题，在医学图像分割中取得了好 步长为2的2×2大小最大池化层(Pooling)的下采 的表现。 样操作，且每次下采样时都加倍通道数；之后经 U-net模型是由两个路径呈对称状组成，一个 过一个块结构后进入扩展路径，再经过3次块结 收缩路径用于获得图像信息，一个扩展路径用于 构与步长为2的2×2大小反卷积层(Deconv)的上 实现精确定位。本文中，我们使用了U-net模型 采样操作，每次上采样时减半通道数：最后通过 并作了一些调整，除最后一层卷积层外，每层卷 一层1×1大小的卷积层21映射到目标的类别，使 积层后都增加了一层批处理归一化(batch nor- 用交叉嫡损失函数计算输出的特征图与标记图像 malization,BN),用来优化反向传播中的梯度问 的像素值距离，得到输出图像。 输出图像 256×256 输人CT图像 256×256 卷积核1×口 块结构 块结构口 块结构 池化层口 反卷积层 卷积核3x3,修正线性单元 块结构 块结构 批处理归一化层 池化层 反卷积层] 卷积核3×3，修正线性单元 块结构 ■块结构 批处理归一化层 池化层☐→块结构☐→反卷积层】 (a)块结构 (b)单模态U形网络 图1训练CT图像的单模态U形网络(CT-unet) Fig.1 Singlemodal U-net for training CT images(CT-unet) 3方法 说，使用同一标记图像的数据集训练时，MRI的 分割结果会优于CT图像，但由于训练样本有限， 本节详细介绍所提出的CT图像分割方法， MRI模型的分割精度会受影响。所以在利用 主要考虑3个方面：1)充分利用MRI模态的信息 MRI图像特点帮助CT图像分割时，应当尽可能 指导CT图像分割；2)构造MRI与CT之间的中 地提高MRI模型的分割精度，有效地防止过拟 间模态图像，以缩小与CT模态图像的差异；3)设 合，才能指导CT图像更好地分割。因此，本文运 计多模态损失函数MM-Loss,衡量MRI与CT模 用迁移学习的思想，首先充分利用其他前列腺图 态间的相关性，通过联合学习训练MM-unet模型。 像的MRI数据集训练单模态U形网铬，得到的参 3.1单模态MRI模型指导CT图像分割 数模型去初始化训练与CT图像配准的MRI数据 MRI前列腺图像具有分辨率高、对比度好的 集，以期望获得分割精度较高的MRI模型，然后 特点，与CT图像相比，显像更为清晰。一般来 再将MRI模型参数作为初始模型参数，精化训练
是一种激活函数，用于加快网络训练的收敛速 度；反卷积层[17] (deconvolution layer，Deconv)，可以 看作是卷积层的逆操作，用于图像分割中对输入 特征图的重构。 2.2 单模态 U 形网络 医学图像具有复杂多样化、线条不规律等特 点，分割时对于图像中的组织结构等细节信息需 要进行精准定位，才能有效地提高分割精度。而 文献[18]提出的全卷积神经网络 U-net 模型有效 地解决了这一问题，在医学图像分割中取得了好 的表现。 U-net 模型是由两个路径呈对称状组成，一个 收缩路径用于获得图像信息，一个扩展路径用于 实现精确定位。本文中，我们使用了 U-net 模型 并作了一些调整，除最后一层卷积层外，每层卷 积层后都增加了一层批处理归一化[19] (batch normalization，BN)，用来优化反向传播中的梯度问 题，并将卷积层填充参数设为 1，去掉原始的裁 剪层，以确保输入、输出的图像大小保持一致，便 于图像的处理。调整后的模型称为单模态 U 形 网络。 本文训练的 CT 图像单模态 U 形网络结构 如图 1 所示。我们将两层 3×3 大小的卷积层，每 层后加上一层修正线性单元与批处理归一化 (ReLU+BN) 称为一个块结构 (Block)。在左边的 收缩路径中，输入的 CT 图像经过 3 次块结构与 步长为 2 的 2×2 大小最大池化层(Pooling) 的下采 样操作，且每次下采样时都加倍通道数；之后经 过一个块结构后进入扩展路径，再经过 3 次块结 构与步长为 2 的 2×2 大小反卷积层 (Deconv) 的上 采样操作，每次上采样时减半通道数：最后通过 一层 1×1 大小的卷积层[20]映射到目标的类别，使 用交叉熵损失函数计算输出的特征图与标记图像 的像素值距离，得到输出图像。 3 方法 本节详细介绍所提出的 CT 图像分割方法， 主要考虑 3 个方面：1) 充分利用 MRI 模态的信息 指导 CT 图像分割；2) 构造 MRI 与 CT 之间的中 间模态图像，以缩小与 CT 模态图像的差异；3) 设 计多模态损失函数 MM-Loss，衡量 MRI 与 CT 模 态间的相关性，通过联合学习训练 MM-unet 模型。 3.1 单模态 MRI 模型指导 CT 图像分割 MRI 前列腺图像具有分辨率高、对比度好的 特点，与 CT 图像相比，显像更为清晰。一般来 说，使用同一标记图像的数据集训练时，MRI 的 分割结果会优于 CT 图像，但由于训练样本有限， MRI 模型的分割精度会受影响。所以在利用 MRI 图像特点帮助 CT 图像分割时，应当尽可能 地提高 MRI 模型的分割精度，有效地防止过拟 合，才能指导 CT 图像更好地分割。因此，本文运 用迁移学习的思想，首先充分利用其他前列腺图 像的 MRI 数据集训练单模态 U 形网络，得到的参 数模型去初始化训练与 CT 图像配准的 MRI 数据 集，以期望获得分割精度较高的 MRI 模型，然后 再将 MRI 模型参数作为初始模型参数，精化训练 (a) 块结构 (b) 单模态 U 形网络 块结构 卷积核3×3，修正线性单元 卷积核3×3，修正线性单元 批处理归一化层 批处理归一化层 输入 CT 图像 256×256 输出图像 256×256 块结构 块结构 块结构 块结构 块结构 块结构 池化层 池化层 块结构 池化层 反卷积层 卷积核1×1 反卷积层 反卷积层 图 1 训练 CT 图像的单模态 U 形网络 (CT-unet) Fig. 1 Singlemodal U-net for training CT images (CT-unet) 第 6 期 凌彤，等：利用多模态 U 形网络的 CT 图像前列腺分割 ·983·
·984· 智能系统学报 第13卷 CT单模态U形网络(CT-unet),帮助提高CT图像 的特点。 的分割精度。 我们使用具有4次下采样、上采样操作的单 不同于CT图像分割的单模态U形网络，由 模态U形网络模型训练CT-MRI图像(CT-MRI- 于MRI图像展示的细节信息丰富且清晰，我们使 unet)。首先利用MRI模型参数作为初始模型，精 用具有4次下采样、上采样操作的单模态U形网 化训练CT-MRI模型，进而将训练好的CT- 络模型(MRI-unet)来训练，以便在模型最底层能 MRI模型进行迁移训练CT-unet模型，帮助提高 够更精确地捕获MRI的图像信息。 CT图像的分割精度。 3.2单模态CT-MRI模型指导CT图像分割 3.3基于多模态U形网络的CT图像分割 MRI与CT两个模态图像因为成像原理不 由于不同的模态图像有各自的特点，提供的 同，图像外观存在明显的差异性，可能会使模态 影像信息不完全相同，如果将多模态图像提供的 之间的学习受到一些影响。为减小这种影响，需 信息结合起来，充分利用其互补性，则有利于提 要减小MRI与CT图像外观的差异性。对此，本 高单模态图像的分割精度。因此，本文提出基于 文将对应同一标记已经配准的MRI与CT图像 多模态U形网络(MM-unet)的CT图像分割方 都进行归一化处理，再对它们使用取均值操作 法，如图2所示，由MRI-unet与CT-unet构成的， 构造出新的CT-MRI图像。从外观的表现来看， 使用了一个MM-Loss损失函数用以建立MRI与 CT-MRI图像既有CT图像的特点，又有MRI图像 CT两个单模态U形模型之间的联系。 输出图像 256×256 输人CT图像 输人MRI图像 256×256 256×256 卷积核，1×多模态损失函数卷积核，1×] 4 块结构☐ 块结构 块结构 块结构☐ 市 池化层☐ 反卷积层 反卷积层 池化层☐ 4 块结构口 块结构☐ 块结构☐ 块结构☐ t 池化层 反卷积层 反卷积层] 池化层☐ 块结构■ 块结构 块结构 块结构☐ 池化层 块结构。反卷积层 反卷积层 池化层☐ 4 块结构 块结构☐ 反卷积层块结构☐池化层☐ 图2MM-unet模型 Fig.2 Multimodal U-unet model 两个单模态U形网络同时训练各自的模态图 能接近；对标记图像的背景部分，促使它们成为 像，通过收缩路径获取底层图像信息，扩展路径 分割目标的概率值尽可能地小。以此使两个模态图 实现高层信息的提取，在最后一层卷积层使用 像的分割模型能够对于分割目标进行互相学习。 MM-Loss损失函数对MRI与CT图像进行相似性 3.4算法流程 度量。MM-Loss损失函数的定义如下： 本文方法的整个流程如图3所示。数据集经 L=d立a-bg+立a-yIa+bE 1 过预处理工作后分为训练集与测试集，在训练阶 () 段，使用训练集训练分割模型，算法如图3虚线框 式中：a、b,为输入的MRI与CT图像对应的分割 部分，其操作步骤如下： 结果概率图，N、C、H、W为输人图像的数量、通 1)使用PROMISE12数据集21预训练得到的 道、高度、宽度，y为标记图像。 P-MRI-unet模型（详见4.5节实验1），进行迁移训 输人MRI与CT图像，对于它们共同对应的 练MRL-unet模型； 标记图像的分割部分，约束它们相似的部分尽可 2)构造CT-MRI图像，将1)中得到的MRI-
CT 单模态 U 形网络 (CT-unet)，帮助提高 CT 图像 的分割精度。 不同于 CT 图像分割的单模态 U 形网络，由 于 MRI 图像展示的细节信息丰富且清晰，我们使 用具有 4 次下采样、上采样操作的单模态 U 形网 络模型 (MRI-unet) 来训练，以便在模型最底层能 够更精确地捕获 MRI 的图像信息。 3.2 单模态 CT-MRI 模型指导 CT 图像分割 MRI 与 CT 两个模态图像因为成像原理不 同，图像外观存在明显的差异性，可能会使模态 之间的学习受到一些影响。为减小这种影响，需 要减小 MRI 与 CT 图像外观的差异性。对此，本 文将对应同一标记已经配准的 MRI 与 CT 图像 都进行归一化处理，再对它们使用取均值操作 构造出新的 CT-MRI 图像。从外观的表现来看， CT-MRI 图像既有 CT 图像的特点，又有 MRI 图像 的特点。 我们使用具有 4 次下采样、上采样操作的单 模态 U 形网络模型训练 CT-MRI 图像 (CT-MRIunet)。首先利用 MRI 模型参数作为初始模型，精 化 训 练 CT-MRI 模型，进而将训练好 的 CTMRI 模型进行迁移训练 CT-unet 模型，帮助提高 CT 图像的分割精度。 3.3 基于多模态 U 形网络的 CT 图像分割 由于不同的模态图像有各自的特点，提供的 影像信息不完全相同，如果将多模态图像提供的 信息结合起来，充分利用其互补性，则有利于提 高单模态图像的分割精度。因此，本文提出基于 多模态 U 形网络 (MM-unet) 的 CT 图像分割方 法，如图 2 所示，由 MRI-unet 与 CT-unet 构成的， 使用了一个 MM-Loss 损失函数用以建立 MRI 与 CT 两个单模态 U 形模型之间的联系。 两个单模态 U 形网络同时训练各自的模态图 像，通过收缩路径获取底层图像信息，扩展路径 实现高层信息的提取，在最后一层卷积层使用 MM-Loss 损失函数对 MRI 与 CT 图像进行相似性 度量。MM-Loss 损失函数的定义如下： L = 1 2NCHW ∑N i=1 y||ai − bi ||2 2 + ∑N i=1 (1−y)||ai + bi ||2 2 (1) 式中：ai、bi 为输入的 MRI 与 CT 图像对应的分割 结果概率图，N、C、H、W 为输入图像的数量、通 道、高度、宽度，y 为标记图像。 输入 MRI 与 CT 图像，对于它们共同对应的 标记图像的分割部分，约束它们相似的部分尽可 能接近；对标记图像的背景部分，促使它们成为 分割目标的概率值尽可能地小。以此使两个模态图 像的分割模型能够对于分割目标进行互相学习。 3.4 算法流程 本文方法的整个流程如图 3 所示。数据集经 过预处理工作后分为训练集与测试集，在训练阶 段，使用训练集训练分割模型，算法如图 3 虚线框 部分，其操作步骤如下： 1) 使用 PROMISE12 数据集[21]预训练得到的 P-MRI-unet 模型 (详见 4.5 节实验 1)，进行迁移训 练 MRI-unet 模型； 2) 构造 CT-MRI 图像，将 1) 中得到的 MRI- 块结构 输入 CT 图像 256×256 输入 MRI 图像 256×256 输出图像 256×256 块结构 块结构 块结构 块结构 块结构 块结构 块结构 块结构 块结构 池化层 池化层 块结构 池化层 块结构 池化层 块结构 池化层 块结构 池化层 块结构 池化层 块结构 反卷积层 卷积核，1×1 卷积核，1×1 反卷积层 反卷积层 反卷积层 反卷积层 反卷积层 反卷积层 多模态损失函数 图 2 MM-unet 模型 Fig. 2 Multimodal U-unet model ·984· 智 能 系 统 学 报 第 13 卷
第6期 凌彤，等：利用多模态U形网络的CT图像前列腺分割 ·985· unet模型进行迁移训练CT-MRI-unet模型； 的CT-unet模型进行迁移训练MM-unet模型。 3)将2)中得到的CT-MRI-unet模型进行迁移 在测试阶段，使用训练阶段最终得到的MM 训练CT-unet模型； unet模型对测试集里的CT图像进行分割，得到 4)将1)中得到的MRI-unet模型与3)中得到 CT图像的分割结果图。 单张图像分割结果 预处理 测试 (调整大小、归一化)】 测试集 深度学习模型 (4) MM-unet (4) 训练 训练集 CT-MRI MRI-unet (2) (3) unet CT-unet ↑) P-MRI-unet 图3基于深度学习模型的前列腺CT图像分割流程图 Fig.3 The flowchart of deep learning model for prostate segmentation in CT images 4实验 验。在模型的训练阶段批处理参数设置为2，测 4.1数据集 试阶段的批处理设置为1，使用随机梯度下降2] 求解器与09的动量参数，固定策略的学习率，大 我们使用的前列腺数据集有两个，一个是网 上公开的PROMISE12数据集2，一个是某合作医 小为10，权重衰减为0.005。 院提供的Prostate数据集。PROMISE122数据集含 4.4评价标准 有50个患者的MRI图像与相对应的手工标记图 我们使用常用的重合率(Dice)、查准率(Preci- 像，图像大小不一。删去无病变的MRI图像与标 sion)、查全率(Recal)指标来度量自动分割图像 记图像，并将其余的癌病变图像大小统一调整到 与手工标记图像之间的差异，以用于评价实验 256×256,共得到778张MRI图像与778张标记 结果。 图；使用前40个患者的样本作为训练集，后10个 定义公式如下： 患者的样本作为验证集训练模型。Prostate Dice= 2×IASOMSI ×100% IASI+MSI (3) 数据集含有22个患者的CT、MR与相对应的病 变标记图像，已经过配准处理，大小为153×193。 Precision= IASOMSI ×100% (4) 为便于训练，我们将图像大小统一调整到 IASI IASOM 256×256,共得到658张CT、658张MRI与658张 Recall= -×100% IASI (5) 标记图；采用二折交叉验证的方式，第一折使用 式中：AS为自动分割图像，MS为医生手工标记 前11个患者的样本作为训练集，后11个患者的 图像。 样本作为测试集进行测试；第二折使用后11个患 4.5 者的样本作为训练集，前11个患者的样本作为测 实验与结果 试集进行测试。 本节通过3个实验来验证我们的方法的有效性。 4.2预处理工作 实验1为评估MRI模型指导CT图像分割 为加快模型的训练速度，优化训练过程，我们 的精度，我们使用PROMISE12数据集训练MRI- 对数据集进行了归一化处理。归一化操作定义为 unet,获得的模型作为初始模型用于训练Pro- I=X-H state数据集里的MRI图像，训练后得到MRI参数 (2) 模型。将MRI参数模型进行迁移学习得到CT 式中：X为图像像素，4为图像像素值的均值，σ为 unet模型，用于对CT测试图像进行分割，该方法 图像像素值的标准差。 记作MRI→CT-unet; 4.3实验设置 实验2为评估CT-MRI模型指导CT图像分 本文是在深度学习框架Caffel2上进行的实 割的精度，我们使用Prostate数据集里的MRI与
unet 模型进行迁移训练 CT-MRI-unet 模型； 3) 将 2) 中得到的 CT-MRI-unet 模型进行迁移 训练 CT- unet 模型； 4) 将 1) 中得到的 MRI-unet 模型与 3) 中得到 的 CT-unet 模型进行迁移训练 MM-unet 模型。 在测试阶段，使用训练阶段最终得到的 MMunet 模型对测试集里的 CT 图像进行分割，得到 CT 图像的分割结果图。 4 实验 4.1 数据集 我们使用的前列腺数据集有两个，一个是网 上公开的 PROMISE12 数据集[21] ，一个是某合作医 院提供的 Prostate 数据集。PROMISE12 数据集含 有 50 个患者的 MRI 图像与相对应的手工标记图 像，图像大小不一。删去无病变的 MRI 图像与标 记图像，并将其余的癌病变图像大小统一调整到 256×256，共得到 778 张 MRI 图像与 778 张标记 图；使用前 40 个患者的样本作为训练集，后 10 个 患者的样本作为验证集训练模型。 Prostate 数据集含有 22 个患者的 CT、MRI 与相对应的病 变标记图像，已经过配准处理，大小为 153×193。 为便于训练，我们将图像大小统一调整 到 256×256，共得到 658 张 CT、658 张 MRI 与 658 张 标记图；采用二折交叉验证的方式，第一折使用 前 11 个患者的样本作为训练集，后 11 个患者的 样本作为测试集进行测试；第二折使用后 11 个患 者的样本作为训练集，前 11 个患者的样本作为测 试集进行测试。 4.2 预处理工作 为加快模型的训练速度，优化训练过程，我们 对数据集进行了归一化处理。归一化操作定义为 I = X −µ σ (2) 式中：X 为图像像素，μ 为图像像素值的均值，σ 为 图像像素值的标准差。 4.3 实验设置 本文是在深度学习框架 Caffe[22]上进行的实 验。在模型的训练阶段批处理参数设置为 2，测 试阶段的批处理设置为 1，使用随机梯度下降[23] 求解器与 0.9 的动量参数，固定策略的学习率，大 小为 10-6，权重衰减为 0.005。 4.4 评价标准 我们使用常用的重合率 (Dice)、查准率 (Precision)、查全率 (Recall) 指标[24]来度量自动分割图像 与手工标记图像之间的差异，以用于评价实验 结果。 定义公式如下： Dice = 2× |AS∩MS| |AS|+|MS| ×100% (3) Precision = |AS∩MS| |AS| ×100% (4) Recall = |AS∩MS| |AS| ×100% (5) 式中：AS 为自动分割图像，MS 为医生手工标记 图像。 4.5 实验与结果 本节通过 3 个实验来验证我们的方法的有效性。 实验 1 为评估 MRI 模型指导 CT 图像分割 的精度，我们使用 PROMISE12 数据集训练 MRIunet，获得的模型作为初始模型用于训练 Prostate 数据集里的 MRI 图像，训练后得到 MRI 参数 模型。将 MRI 参数模型进行迁移学习得到 CTunet 模型，用于对 CT 测试图像进行分割，该方法 记作 MRI→CT-unet； 实验 2 为评估 CT-MRI 模型指导 CT 图像分 割的精度，我们使用 Prostate 数据集里的 MRI 与 预处理 （调整大小、归一化） 测试集 深度学习模型 单张图像分割结果 测试 训练集 训练 MRI-unet P-MRI-unet CT-MRIunet CT-unet (4) (4) (1) (2) (3) MM-unet 图 3 基于深度学习模型的前列腺 CT 图像分割流程图 Fig. 3 The flowchart of deep learning model for prostate segmentation in CT images 第 6 期 凌彤，等：利用多模态 U 形网络的 CT 图像前列腺分割 ·985·
·986· 智能系统学报 第13卷 CT图像构造CT-MRI图像，使用实验1里的 明MM-unet显著地优于其他方法。 MRI参数模型作为初始模型训练CT-MRI图像， 4.6比较实验 得到的CT-MRI模型再迁移到用于CT图像分割 本节将我们的方法（即上述实验中表现最好 的CT-unet中，用于对CT测试图像进行分割，该 的MM-unet方法)与U-net模型方法II、CDDA模 方法记作CT-MRI-→CT-unet: 型4l方法、无初参的MM-unet模型方法作比较， 实验3为评估并验证文中提出的MM-un- 评价分割结果如表2所示。 et模型的有效性，我们使用实验1的MRI参数模 表2不同模型的实验结果对比 型、实验2中通过CT-MRI参数模型迁移学习后 Table 2 Comparisons of experimental results on different 的CT参数模型，分别作为MM-unet模型的 models % MRI部分与CT部分的初始模型进行训练，得到 Method Dice Precision Recall 的多模态参数模型用于对CT测试图像进行分 U-net 86.28 88.25 86.24 割，该方法记作MM-unet。 CDDA-CNN 88.60 3个实验的CT图像分割结果如表1所示。 CDDA-FCN 88.80 从表格中可看出，第2个方法因为构造的CT-MRI 图像减少了MRI与CT图像的外观差异，使其指 MM-unet(non-w) 89.07 89.79 89.80 导CT图像分割的重合率、查准率、查全率均高于 MM-unet 89.59 88.73 91.85 第一个方法；相比前两个方法，第3个方法的重合 为进一步展示所提方法的分割优势，部分图 率、查全率最高。 像可视化结果如图4所示，红色方框为医生手工 表1CT图像分割实验结果 Table 1 Experimental results of CT segmentation 标注的前列腺癌病变部分。第1排图像绿色方 框为U-net模型分割的病变部分，第2排图像蓝 Method Dice Precision Recall 色方框为迁移学习的MM-unet模型分割病变的 MRI-CT-unet 87.62 88.43 88.56 部分。 CT-MRI→CT-unet 88.94 90.25 89.06 通过表2与图4显示，与U-net模型相比，我 MM-unet 89.59 88.73 91.85 们的MM-unet模型方法分割效果有明显优势， 使用统计性t检验对MM-unet模型方法与其 重合率、查准率、查全率分别提升了3.31%、0.48%、 他方法的重合率Dice进行比较，P值小于0.05，说 5.61%,分割边界更接近于由医生标注的真实标记。 图4两个模型分割CT图像的可视化结果 Fig.4 Visual results of two models for CT segmentation 5结束语 点，构建基于MRI与CT图像的多模态深度学习 模型指导CT图像学习前列腺癌分割。实验结果 本文中，我们提出了基于多模态U形网络实 表明，我们的方法可以有效地提高CT图像分割 现CT图像前列腺癌分割的方法。该方法利用了 精度。本文提出的多模态U形模型分割CT图像 MRI图像高分辨率与多模态图像信息互补的特 的方法适用于CT/MRI已进行配准匹配的前列腺
CT 图像构造 CT-MRI 图像，使用实验 1 里的 MRI 参数模型作为初始模型训练 CT-MRI 图像， 得到的 CT-MRI 模型再迁移到用于 CT 图像分割 的 CT-unet 中，用于对 CT 测试图像进行分割，该 方法记作 CT-MRI→CT-unet； 实验 3 为评估并验证文中提出的 MM-unet 模型的有效性，我们使用实验 1 的 MRI 参数模 型、实验 2 中通过 CT-MRI 参数模型迁移学习后 的 CT 参数模型，分别作 为 MM-une t 模 型 的 MRI 部分与 CT 部分的初始模型进行训练，得到 的多模态参数模型用于对 CT 测试图像进行分 割，该方法记作 MM-unet。 3 个实验的 CT 图像分割结果如表 1 所示。 从表格中可看出，第 2 个方法因为构造的 CT-MRI 图像减少了 MRI 与 CT 图像的外观差异，使其指 导 CT 图像分割的重合率、查准率、查全率均高于 第一个方法；相比前两个方法，第 3 个方法的重合 率、查全率最高。 使用统计性 t 检验对 MM-unet 模型方法与其 他方法的重合率 Dice 进行比较，P 值小于 0.05，说 明 MM-unet 显著地优于其他方法。 4.6 比较实验 本节将我们的方法 (即上述实验中表现最好 的 MM-unet 方法) 与 U-net 模型方法[18] 、CDDA 模 型 [14]方法、无初参的 MM-unet 模型方法作比较， 评价分割结果如表 2 所示。 表 2 不同模型的实验结果对比 Table 2 Comparisons of experimental results on different models % Method Dice Precision Recall U-net 86.28 88.25 86.24 CDDA-CNN 88.60 — — CDDA-FCN 88.80 — — MM-unet(non-w) 89.07 89.79 89.80 MM-unet 89.59 88.73 91.85 为进一步展示所提方法的分割优势，部分图 像可视化结果如图 4 所示，红色方框为医生手工 标注的前列腺癌病变部分。第 1 排图像绿色方 框为 U-net 模型分割的病变部分，第 2 排图像蓝 色方框为迁移学习的 MM-unet 模型分割病变的 部分。 通过表 2 与图 4 显示，与 U-net 模型相比，我 们的 MM-unet 模型方法分割效果有明显优势， 重合率、查准率、查全率分别提升了 3.31%、0.48%、 5.61%，分割边界更接近于由医生标注的真实标记。 5 结束语 本文中，我们提出了基于多模态 U 形网络实 现 CT 图像前列腺癌分割的方法。该方法利用了 MRI 图像高分辨率与多模态图像信息互补的特 点，构建基于 MRI 与 CT 图像的多模态深度学习 模型指导 CT 图像学习前列腺癌分割。实验结果 表明，我们的方法可以有效地提高 CT 图像分割 精度。本文提出的多模态 U 形模型分割 CT 图像 的方法适用于 CT/MRI 已进行配准匹配的前列腺 表 1 CT 图像分割实验结果 Table 1 Experimental results of CT segmentation % Method Dice Precision Recall MRI→CT-unet 87.62 88.43 88.56 CT-MRI→CT-unet 88.94 90.25 89.06 MM-unet 89.59 88.73 91.85 图 4 两个模型分割 CT 图像的可视化结果 Fig. 4 Visual results of two models for CT segmentation ·986· 智 能 系 统 学 报 第 13 卷
第6期 凌彤，等：利用多模态U形网络的CT图像前列腺分割 ·987· 癌数据集，对于未进行配准的数据集和其他非前 [11]XIE Yuanpu,ZHANG Zizhao,SAPKOTA M,et al.Spa- 列腺癌的数据集有待进一步验证。 tial clockwork recurrent neural network for muscle per- imysium segmentation[Cl//Proceedings of the 19th Inter- 参考文献： national Conference on Medical Image Computing and [1]黄高贤.前列腺癌中CT、MR诊断的研究进展[).吉林 Computer-assisted Intervention.Athens,Greece,2016: 医学，2010,31(4)：529-531. 185-193. HUANG Gaoxian.Progress in diagnosis of CT and MR in [12]BROSCH T,TANG L Y W,YOO Y,et al.Deep 3D con- prostate cancer[J].Jilin medical journal,2010,31(4): volutional encoder networks with shortcuts for multiscale 529-531 feature integration applied to multiple sclerosis lesion seg- [2]陈识，宋曼.MRI与CT诊断不同病理分期前列腺癌患 mentation[J].IEEE transactions on medical imaging, 者的准确率比较观察[J】.中国老年保健医学，2016， 2016,35(5:1229-1239. 14(6):85-87 [13]YOSINSKI J,CLUNE J,BENGIO Y,et al.How transfer- CHEN Shi,SONG Man.MRI and CT diagnosis of differ- able are features in deep neural networks?[J]. ent pathological stages of prostate cancer patients'accur- arXiv:1411.1792,2014. acy rate comparison[J].Chinese journal of geriatric care, [14]SHI Yinghuan,YANG Wanqi,GAO Yang,et al.Does 2016.146:85-87. manual delineation only provide the side information in [3]LIAO Shu,SHEN Dinggang.A feature-based learning CT prostate segmentation?[Cl//Proceedings of the 20th framework for accurate prostate localization in CT International Conference on Medical Image Computing images[J].IEEE transactions on image processing,2012, and Computer-Assisted Intervention.Quebec City, 21(8):3546-3559. Canada,2017:692-700. [4]CHEN Siqi,LOVELOCK D M,RADKE R J.Segmenting [15]KOUSHIK J.Understanding convolutional neural net- the prostate and rectum in CT imagery using anatomical works[J.arXiv:1605.09081,2016 constraints[J].Medical image analysis,2011,15(1):1-11. [16]XU Bing,WANG Naiyan,CHEN Tianqi,et al.Empirical [5]GAO Yaozong,LIAO Shu,SHEN Dinggang.Prostate seg- evaluation of rectified activations in convolutional net- mentation by sparse representation based classification[J]. work[J].arXiv:1505:00853,2015. Medical physics,2012,39(10:6372-6387 [17]ZEILER M D,TAYLOR G W,FERGUS R.Adaptive de- [6]SHI Jun,ZHENG Xiao,LI Yan,et al.Multimodal convolutional networks for mid and high level feature neuroimaging feature learning with multimodal stacked learning[C]//Proceedings of the 2011 International Con- deep polynomial networks for diagnosis of Alzheimer's ference on Computer Vision.Barcelona,Spain,2011: disease[J].IEEE journal of biomedical and health inform- 2018-2025 atics,2018.22(1):173-183. [18]RONNEBERGER O.FISCHER P,BROX T.U-Net:con- [7]CAI Yunliang,LANDIS M,LAIDLEY D T,et al.Multi- volutional networks for biomedical image segmentation[C]// modal vertebrae recognition using transformed deep con- Proceedings of the 18th International Conference on Med- volution network[J].Computerized medical imaging and ical Image Computing and Computer-Assisted Interven- graphics,.2016,51:1l-19. tion.Munich,Germany,2015:234-241. [8]HINTON G E,OSINDERO S,THE Y W.A fast learning [19]IOFFE S,SZEGEDY C.Batch normalization:accelerat- algorithm for deep belief nets[J].Neural computation, ing deep network training by reducing internal covariate 2006,18(7):1527-1554. shift[J].arXiv:1502.03167,2015. [9]KRIZHEVSKY A,SUTSKEVER I.HINTON G E.Im- [20]LIN Min,CHEN Qiang.YAN Shuicheng.Network in ageNet classification with deep convolutional neural net- network[.arXiv:1312.4400,2013. works[C]//Proceedings of the 25th International Confer- [21]FRANCE N.MICCAI grand challenge:prostate MR im- ence on Neural Information Processing Systems.Lake age segmentation 2012[EB/OL].[2012-10-01].https:// Tahoe.Nevada.2012:1097-1105. promise12.grand-challenge.org/home/. [10]KOREZ R,LIKAR B,PERNUS F,et al.Model-based [22]JIA Yangqing,SHELHAMER E,DONAHUE J,et al. segmentation of vertebral bodies from MR images with Caffe:convolutional architecture for fast feature embed- 3D CNNs[Cl//Proceedings of the 19th International Con- ding[C]//Proceedings of the 22nd ACM International ference on Medical Image Computing and Computer-As- Conference on Multimedia.Florida,USA,2014: sisted Intervention.Athens,Greece,2016:433-441. 675-678
癌数据集，对于未进行配准的数据集和其他非前 列腺癌的数据集有待进一步验证。 参考文献： 黄高贤. 前列腺癌中 CT、MR 诊断的研究进展[J]. 吉林 医学, 2010, 31(4): 529–531. HUANG Gaoxian. Progress in diagnosis of CT and MR in prostate cancer[J]. Jilin medical journal, 2010, 31(4): 529–531. [1] 陈识, 宋曼. MRI 与 CT 诊断不同病理分期前列腺癌患 者的准确率比较观察[J]. 中国老年保健医学, 2016, 14(6): 85–87. CHEN Shi, SONG Man. MRI and CT diagnosis of different pathological stages of prostate cancer patients' accuracy rate comparison[J]. Chinese journal of geriatric care, 2016, 14(6): 85–87. [2] LIAO Shu, SHEN Dinggang. A feature-based learning framework for accurate prostate localization in CT images[J]. IEEE transactions on image processing, 2012, 21(8): 3546–3559. [3] CHEN Siqi, LOVELOCK D M, RADKE R J. Segmenting the prostate and rectum in CT imagery using anatomical constraints[J]. Medical image analysis, 2011, 15(1): 1–11. [4] GAO Yaozong, LIAO Shu, SHEN Dinggang. Prostate segmentation by sparse representation based classification[J]. Medical physics, 2012, 39(10): 6372–6387. [5] SHI Jun, ZHENG Xiao, LI Yan, et al. Multimodal neuroimaging feature learning with multimodal stacked deep polynomial networks for diagnosis of Alzheimer's disease[J]. IEEE journal of biomedical and health informatics, 2018, 22(1): 173–183. [6] CAI Yunliang, LANDIS M, LAIDLEY D T, et al. Multimodal vertebrae recognition using transformed deep convolution network[J]. Computerized medical imaging and graphics, 2016, 51: 11–19. [7] HINTON G E, OSINDERO S, THE Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527–1554. [8] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada, 2012: 1097–1105. [9] KOREZ R, LIKAR B, PERNUŠ F, et al. Model-based segmentation of vertebral bodies from MR images with 3D CNNs[C]//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens, Greece, 2016: 433–441. [10] XIE Yuanpu, ZHANG Zizhao, SAPKOTA M, et al. Spatial clockwork recurrent neural network for muscle perimysium segmentation[C]//Proceedings of the 19th International Conference on Medical Image Computing and Computer-assisted Intervention. Athens, Greece, 2016: 185–193. [11] BROSCH T, TANG L Y W, YOO Y, et al. Deep 3D convolutional encoder networks with shortcuts for multiscale feature integration applied to multiple sclerosis lesion segmentation[J]. IEEE transactions on medical imaging, 2016, 35(5): 1229–1239. [12] YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[J]. arXiv:1411.1792, 2014. [13] SHI Yinghuan, YANG Wanqi, GAO Yang, et al. Does manual delineation only provide the side information in CT prostate segmentation?[C]//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City, Canada, 2017: 692–700. [14] KOUSHIK J. Understanding convolutional neural networks[J]. arXiv: 1605.09081, 2016. [15] XU Bing, WANG Naiyan, CHEN Tianqi, et al. Empirical evaluation of rectified activations in convolutional network[J]. arXiv: 1505:00853, 2015. [16] ZEILER M D, TAYLOR G W, FERGUS R. Adaptive deconvolutional networks for mid and high level feature learning[C]//Proceedings of the 2011 International Conference on Computer Vision. Barcelona, Spain, 2011: 2018–2025. [17] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]// Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany, 2015: 234–241. [18] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[J]. arXiv: 1502.03167, 2015. [19] LIN Min, CHEN Qiang, YAN Shuicheng. Network in network[J]. arXiv: 1312.4400, 2013. [20] FRANCE N. MICCAI grand challenge: prostate MR image segmentation 2012[EB/OL]. [2012-10-01]. https:// promise12.grand-challenge.org/home/. [21] JIA Yangqing, SHELHAMER E, DONAHUE J, et al. Caffe: convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM International Conference on Multimedia. Florida, USA, 2014: 675–678. [22] 第 6 期 凌彤，等：利用多模态 U 形网络的 CT 图像前列腺分割 ·987·
·988· 智能系统学报 第13卷 [23]KETKAR N.Stochastic gradient descent[M]//KETKAR 杨琬琪.女，1988年生，讲师，主 要研究方向为机器学习、模式识别、计 N.Deep Learning with Python.Berkeley:Apress,2017. 算机视觉。近年来在IEEE TNNLS [24]TAHA AA.HANBURY A.Metrics for evaluating 3D EEE TCyb、CVIU、IJCAI、ACM MM medical image segmentation:analysis,selection,and MICCAI等国际学术期刊和学术会议 tool[J].BMC medical imaging,2015,15:29. 上发表论文16篇，均被SCI、EI检索。 作者简介： 凌彤，女，1994年生，硕士研究 杨明，男，1964年生，教授，博士 生，主要研究方向为深度学习、医学图 生导师，主要研究方向为数据库技术 像分割。 与数据挖掘技术、模式识别、机器学 习。授权国家发明专利3项。发表学 术论文100余篇，其中被SCI、EI ISTP检索60余篇。 2019计算机视觉国际会议 International Conference on Computer Vision (ICCV 2019) ICCV 2019 will take place at the COEX Convention Center from October 27 to November 3.2019 in Seoul.Korea. ICCV is the premier international computer vision event comprising the main conference and several co-located workshops and tutorials.With its high quality and low cost,it provides an exceptional value for students,academics and industry researchers. Call for Papers Papers in the main technical program must describe high-quality,original research.Topics of interest include all as- pects of computer vision and pattern recognition including,but not limited to ·3 D Computer Vision ·Action Recognition Big data and Large Scale Methods Biometrics,face and gesture Biomedical image analysis Computational photography,photometry,shape from X ·Deep Learning Low-level vision and Image Processing ·Motion and Tracking Optimization methods .Recognition:detection,categorization,indexing and matching ·Robot Vision Segmentation,grouping and shape representation Statistical learning Video:events,activities and surveillance ·Vision for X All submissions will be handled electronically.In addition to the main technical program,the conference will in- clude Tutorials,Workshops,Demonstrations,and Exhibits.Submit proposals to the appropriate chair. Important dates: Paper Submission Deadline:March,2019 Rebuttal Due:May,2019 Area Chair Meeting Notification of Acceptance:June,2019 Camera-Ready Deadline:July,2019 Main Conference:October 27.2019-November 3.2019
KETKAR N. Stochastic gradient descent[M]//KETKAR N. Deep Learning with Python. Berkeley: Apress, 2017. [23] TAHA A A, HANBURY A. Metrics for evaluating 3D medical image segmentation: analysis, selection, and tool[J]. BMC medical imaging, 2015, 15: 29. [24] 作者简介： 凌彤，女，1994 年生，硕士研究 生，主要研究方向为深度学习、医学图 像分割。 杨琬琪，女，1988 年生，讲师，主 要研究方向为机器学习、模式识别、计 算机视觉。近年来在 IEEE TNNLS、 IEEE TCyb、CVIU、IJCAI、ACM MM、 MICCAI 等国际学术期刊和学术会议 上发表论文 16 篇，均被 SCI、EI 检索。 杨明，男，1964 年生，教授，博士 生导师，主要研究方向为数据库技术 与数据挖掘技术、模式识别、机器学 习。授权国家发明专利 3 项。发表学 术论文 100 余篇，其中被 SCI、EI、 ISTP 检索 60 余篇。 2019 计算机视觉国际会议 International Conference on Computer Vision (ICCV 2019) ICCV 2019 will take place at the COEX Convention Center from October 27 to November 3, 2019 in Seoul, Korea. ICCV is the premier international computer vision event comprising the main conference and several co-located workshops and tutorials. With its high quality and low cost, it provides an exceptional value for students, academics and industry researchers. Call for Papers Papers in the main technical program must describe high-quality, original research. Topics of interest include all aspects of computer vision and pattern recognition including, but not limited to • 3D Computer Vision • Action Recognition • Big data and Large Scale Methods • Biometrics, face and gesture • Biomedical image analysis • Computational photography, photometry, shape from X • Deep Learning • Low-level vision and Image Processing • Motion and Tracking • Optimization methods • Recognition: detection, categorization, indexing and matching • Robot Vision • Segmentation, grouping and shape representation • Statistical learning • Video: events, activities and surveillance • Vision for X All submissions will be handled electronically. In addition to the main technical program, the conference will include Tutorials, Workshops, Demonstrations, and Exhibits. Submit proposals to the appropriate chair. Important dates: Paper Submission Deadline：March, 2019 Rebuttal Due: May, 2019 Area Chair Meeting Notification of Acceptance:June, 2019 Camera-Ready Deadline:July, 2019 Main Conference:October 27, 2019—November 3, 2019 ·988· 智 能 系 统 学 报 第 13 卷