工程科学学报 Chinese Journal of Engineering 基于监督学习的前列腺MR/TRUS图像分割和配准方法 丛明吴童刘冬杨德勇杜宇 Prostate MR/TRUS image segmentation and registration methods based on supervised learning CONG Ming.WU Tong,LIU Dong.YANG De-yong.DU Yu 引用本文： 丛明，吴童，刘冬，杨德勇，杜宇.基于监督学习的前列腺MR/TRUS图像分割和配准方法.工程科学学报，2020,42(10)： 1362-1371.doi:10.13374.issn2095-9389.2019.10.10.006 CONG Ming.WU Tong,LIU Dong.YANG De-yong.DU Yu.Prostate MR/TRUS image segmentation and registration methods based on supervised learning[J].Chinese Journal of Engineering,2020,42(10):1362-1371.doi:10.13374/j.issn2095- 9389.2019.10.10.006 在线阅读View online:https::/doi.org10.13374.issn2095-9389.2019.10.10.006 您可能感兴趣的其他文章 Articles you may be interested in 一种改进的非刚性图像配准算法 An improved non-rigid image registration approach 工程科学学报.2019,41(7)：955 https:1doi.org/10.13374j.issn2095-9389.2019.07.015 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报.2017,3911)：1735htps:1doi.org10.13374.issn2095-9389.2017.11.017 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报.2017,3912：1866 https:/1doi.org10.13374.issn2095-9389.2017.12.013 基于椭圆对称方向矩的可见光与红外图像配准算法 Registration of visual-infrared images based on ellipse symmetrical orientation moment 工程科学学报.2017,397)：1107htps:1doi.org/10.13374j.issn2095-9389.2017.07.018 基于图像混合核的列生成PM,预测 Column-generation PM25 prediction based on image mixture kernel 工程科学学报.2020,42(7)：922htps:/doi.org/10.13374j.issn2095-9389.2019.07.15.002 一种提高图像对比度和视觉质量的新型区域背光算法 A novel local dimming algorithm to improve image contrast and visual quality 工程科学学报.2017,39(12：1888htps:/doi.org/10.13374j.issn2095-9389.2017.12.016
基于监督学习的前列腺MR/TRUS图像分割和配准方法 丛明 吴童 刘冬 杨德勇 杜宇 Prostate MR/TRUS image segmentation and registration methods based on supervised learning CONG Ming, WU Tong, LIU Dong, YANG De-yong, DU Yu 引用本文: 丛明, 吴童, 刘冬, 杨德勇, 杜宇. 基于监督学习的前列腺MR/TRUS图像分割和配准方法[J]. 工程科学学报, 2020, 42(10): 1362-1371. doi: 10.13374/j.issn2095-9389.2019.10.10.006 CONG Ming, WU Tong, LIU Dong, YANG De-yong, DU Yu. Prostate MR/TRUS image segmentation and registration methods based on supervised learning[J]. Chinese Journal of Engineering, 2020, 42(10): 1362-1371. doi: 10.13374/j.issn2095- 9389.2019.10.10.006 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006 您可能感兴趣的其他文章 Articles you may be interested in 一种改进的非刚性图像配准算法 An improved non-rigid image registration approach 工程科学学报. 2019, 41(7): 955 https://doi.org/10.13374/j.issn2095-9389.2019.07.015 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报. 2017, 39(11): 1735 https://doi.org/10.13374/j.issn2095-9389.2017.11.017 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报. 2017, 39(12): 1866 https://doi.org/10.13374/j.issn2095-9389.2017.12.013 基于椭圆对称方向矩的可见光与红外图像配准算法 Registration of visual-infrared images based on ellipse symmetrical orientation moment 工程科学学报. 2017, 39(7): 1107 https://doi.org/10.13374/j.issn2095-9389.2017.07.018 基于图像混合核的列生成PM2.5预测 Column-generation PM2.5 prediction based on image mixture kernel 工程科学学报. 2020, 42(7): 922 https://doi.org/10.13374/j.issn2095-9389.2019.07.15.002 一种提高图像对比度和视觉质量的新型区域背光算法 A novel local dimming algorithm to improve image contrast and visual quality 工程科学学报. 2017, 39(12): 1888 https://doi.org/10.13374/j.issn2095-9389.2017.12.016
工程科学学报.第42卷，第10期：1362-1371.2020年10月 Chinese Journal of Engineering,Vol.42,No.10:1362-1371,October 2020 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006;http://cje.ustb.edu.cn 基于监督学习的前列腺MR/TRUS图像分割和配准方法 丛 明，吴童)，刘冬)四，杨德勇，杜宇) 1)大连理工大学机械工程学院，大连1160242)大连医科大学附属第一医院泌尿外科，大连1160243)大连大华中天科技有限公司，大 连116024 ☒通信作者，E-mail:liud@dlut.edu.cn 摘要前列腺核磁超声图像配准融合有助于实现前列腺肿瘤的靶向穿刺.传统的配准方法主要是针对手动分割的前列腺 核磁(Magnetic resonance,.MR)和经直肠超声(Trans-rectal ultrasound,.TRUS)图像上对应的生理特征点作为参考点，进行刚体或 非刚体配准.针对超声图像因成像质量低导致手动分割配准效率低下的问题，提出一种基于监督学习的前列腺MR/TRUS图 像自动分割方法，与术前核磁图像进行非刚体配准.首先，针对图像分割任务训练前列腺超声图像的活动表观模型(Active appearance model,AAM),并基于随机森林建立边界驱动的数学模型，实现超声图像自动分割.接着，提取术前分割的核磁图 像与自动分割的超声图像建立轮廓的形状特征矢量，进行特征匹配与图像配准.实验结果表明，本文方法能准确实现前列腺 超声图像自动分割与配准融合，9组配准结果的戴斯相似性系数(Dice similarity coefficient,DSC)均大于0.98，同时尿道口处特 征点的平均定位精度达1.64mm,相比传统方法具有更高的配准精度 关键词前列腺：图像配准：图像分割：随机森林：活动表观模型 分类号TP391.7 Prostate MR/TRUS image segmentation and registration methods based on supervised learning CONG Ming",WU Tong,LIU Dong,YANG De-yong?,DU Yu 1)School of Mechanical Engineering,Dalian University of Technology,Dalian 116024,China 2)Urology Department,First Affiliated Hospital of Dalian Medical University,Dalian 116024,China 3)Dalian Dahuazhongtian Technology Co.,Ltd,Dalian 116024,China Corresponding author,E-mail:liud@dlut.edu.cn ABSTRACT At present,the diagnosis of prostate cancer mainly relies on the level of prostate-specific antigen (PSA)followed by a prostate biopsy.The technology,transrectal ultrasound (TRUS),has been the most popular method for diagnosing prostate cancer because of its advantages,such as real-time,low cost,easy operation.However,the low imaging quality of ultrasound equipment makes it difficult to distinguish regions of malignant tumors from those of healthy tissues from low-quality images,which results in missing diagnoses or overtreating conditions.In contrast,magnetic resonance (MR)images of the prostate can quickly locate the position of malignant tumors.It is crucial to register the annotated MR images and the corresponding TRUS image to perform a targeted biopsy of the prostate tumor.The registration fusion of prostate magnetic resonance and transrectal ultrasound images helps to improve the accuracy of the prostate lesions targeted biopsy.Traditional registration methods that are usually manually selected,specific anatomical landmarks in segmented areas used as a reference,and performed rigid or nonrigid registration,which is inefficient because of the low quality of prostate TRUS images and the substantial differences in pixel intensity of the prostate between MR and TRUS images.This 收稿日期：2019-10-10 基金项目：国家自然科学基金资助项目(51575078,51705063)
基于监督学习的前列腺 MR/TRUS 图像分割和配准方法 丛 明1)，吴 童1)，刘 冬1) 苣，杨德勇2)，杜 宇3) 1) 大连理工大学机械工程学院，大连 116024 2) 大连医科大学附属第一医院泌尿外科，大连 116024 3) 大连大华中天科技有限公司，大 连 116024 苣通信作者，E-mail：liud@dlut.edu.cn 摘 要 前列腺核磁超声图像配准融合有助于实现前列腺肿瘤的靶向穿刺. 传统的配准方法主要是针对手动分割的前列腺 核磁（Magnetic resonance, MR）和经直肠超声（Trans-rectal ultrasound, TRUS）图像上对应的生理特征点作为参考点，进行刚体或 非刚体配准. 针对超声图像因成像质量低导致手动分割配准效率低下的问题，提出一种基于监督学习的前列腺 MR/TRUS 图 像自动分割方法，与术前核磁图像进行非刚体配准. 首先，针对图像分割任务训练前列腺超声图像的活动表观模型（Active appearance model, AAM），并基于随机森林建立边界驱动的数学模型，实现超声图像自动分割. 接着，提取术前分割的核磁图 像与自动分割的超声图像建立轮廓的形状特征矢量，进行特征匹配与图像配准. 实验结果表明，本文方法能准确实现前列腺 超声图像自动分割与配准融合，9 组配准结果的戴斯相似性系数（Dice similarity coefficient, DSC）均大于 0.98，同时尿道口处特 征点的平均定位精度达 1.64 mm，相比传统方法具有更高的配准精度. 关键词 前列腺；图像配准；图像分割；随机森林；活动表观模型 分类号 TP391.7 Prostate MR/TRUS image segmentation and registration methods based on supervised learning CONG Ming1) ，WU Tong1) ，LIU Dong1) 苣 ，YANG De-yong2) ，DU Yu3) 1) School of Mechanical Engineering, Dalian University of Technology, Dalian 116024, China 2) Urology Department, First Affiliated Hospital of Dalian Medical University, Dalian 116024, China 3) Dalian Dahuazhongtian Technology Co., Ltd, Dalian 116024, China 苣 Corresponding author, E-mail: liud@dlut.edu.cn ABSTRACT At present, the diagnosis of prostate cancer mainly relies on the level of prostate-specific antigen (PSA) followed by a prostate biopsy. The technology, transrectal ultrasound (TRUS), has been the most popular method for diagnosing prostate cancer because of its advantages, such as real-time, low cost, easy operation. However, the low imaging quality of ultrasound equipment makes it difficult to distinguish regions of malignant tumors from those of healthy tissues from low-quality images, which results in missing diagnoses or overtreating conditions. In contrast, magnetic resonance (MR) images of the prostate can quickly locate the position of malignant tumors. It is crucial to register the annotated MR images and the corresponding TRUS image to perform a targeted biopsy of the prostate tumor. The registration fusion of prostate magnetic resonance and transrectal ultrasound images helps to improve the accuracy of the prostate lesions targeted biopsy. Traditional registration methods that are usually manually selected, specific anatomical landmarks in segmented areas used as a reference, and performed rigid or nonrigid registration, which is inefficient because of the low quality of prostate TRUS images and the substantial differences in pixel intensity of the prostate between MR and TRUS images. This 收稿日期: 2019−10−10 基金项目: 国家自然科学基金资助项目（51575078, 51705063） 工程科学学报，第 42 卷，第 10 期：1362−1371，2020 年 10 月 Chinese Journal of Engineering, Vol. 42, No. 10: 1362−1371, October 2020 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006; http://cje.ustb.edu.cn
丛明等：基于监督学习的前列腺MR/TRUS图像分割和配准方法 ·1363· paper proposed a novel prostate MR/TRUS image segmentation and the automatic registration method was based on a supervised learning framework.First,the prostate active appearance model was trained to be applied in the prostate TRUS images segmentation task,and the random forest classifier was used for building a boundary-driven mathematical model to realize automatic segmentation of TRUS images.Then,some sets of MR/TRUS images contour landmarks were computed by matching the corresponding shape descriptors used for registration.The method was validated by comparing the automatic contour segmentation results with standard results,and the registration results with a traditional registration method.Results showed that our method could accurately realize the automatic segmentation and registration of prostate TRUS and MR images.The DSC (Dice similarity coefficient,DSC)accuracy of nine sets of registration results is higher than 0.98,whereas the average location accuracy of the urethral opening is 1.64 mm,which displays a better registration performance. KEY WORDS prostate;image registration;image segmentation;random forest;active appearance model 目前，前列腺癌的诊断主要依靠前列腺特异 手动或半自动的方式对前列腺MR/TRUS图像进 性抗原(Prostate specific antigen,PSA),并继以穿刺 行分割，并基于手动放置或特殊的生理特征点进 活检，由于PSA特异性较差，故临床上将穿刺活检 行刚体或非刚体配准0-川 作为确诊前列腺癌的金标准经直肠超声引导下 为了充分发挥前列腺MR/TRUS图像在肿瘤 的前列腺穿刺活检因实时性、低成本、易操作等 诊断、引导穿刺过程中的优势，对前列腺病人术前 优点，成为了临床上最为普遍的诊断前列腺癌的 的MR图像进行手动分割并标记穿刺区域，在前 方法.然而，由于直肠超声图像低的成像质量，因 列腺TRUS图像实时引导穿刺的过程中，将术前 此很难从图像上准确定位恶性肿瘤区域.经直肠 标注的MR图像信息配准到TRUS图像上2I,即采 超声引导下前列腺6针法穿刺活检的假阴性率高 用术前MR图像手动分割的前列腺区域到术中 达30%四另一方面，多参数核磁共振图像(Muli- TRUS图像自动分割的前列腺区域的配准方式进 parametric magnetic resonance imaging,mpMRI) 行图像融合引导穿刺.考虑到前列腺TRUS图像 前公认的诊断前列腺癌的最佳影像技术，可精确 在分割过程中形状尺寸的变化及纹理灰度的影 定位可疑病灶区，从而达到靶向穿刺的目的)为 响，采用基于形状和灰度变化的混合方法建立前 了提高前列腺癌的检出率，核磁/超声(MR/TRUS) 列腺TRUS图像的活动表观模型，用于图像的自 融合引导靶向穿刺技术应运而生，它旨在对术 动分割，同时采用薄板样条(Thin plate spline,.TPS) 前MR图像和实时TRUS图像进行配准融合从而 对前列腺R/TRUS图像上对应的轮廓区域进行 提高穿刺精度.然而，由于MR扫描过程中线圈或 配准融合 直肠内气体的膨胀、病人的呼吸和不自觉的运 本文针对活动表观模型对轮廓进行自动分割 动、超声探头在直肠中对前列腺腺体的挤压，使得 时姿态参数的初始化问题，提出一种基于监督学 术前MR与实时TRUS下前列腺的形态并不一致. 习的超声图像自动分割方法，并基于随机森林1 为了补偿形状变化的影响，通常需要对MR/TRUS 的分类结果建立了姿态参数边界驱动的数学模 图像进行变形配准 型.在配准过程中，针对Kuhn-Munkres(KM)算法 由于超声图像低的信噪比及MR/TRUS图像 进行改进以降低局部匹配代价，同时引入轮廓特 上复杂的灰度变化关系，仅依据图像灰度特征很 征点的定位误差作为薄板样条的正则因子进行 难对MR/TRUS图像上对应的结构特征进行定位 图像配准.最后，本文将分割结果和标准轮廓进行 配准，因此前列腺R/TRUS的配准融合通常是基 对比，同时与其他方法比较了配准精度 于已分割的前列腺表面进行变形配准.现有的配 1 准方法主要有基于灰度的配准方法刀和基于分 基于监督学习的图像分割方法 割表面I⑧-9的配准方法.前者主要针对MR/TRUS 应用活动表观模型进行前列腺轮廓分割的过 图像复杂的灰度变化下构造区域相似性的度量标 程中，需要解决姿态参数的初始化问题，考虑基于 准，后者则在于对MR/TRUS图像进行分割，并通 随机森林实现姿态参数的自动估计，以完成前列 过特定的标记点或直接对整个前列腺切片，进行 腺超声图像的自动分割 配准融合.然而，由于前列腺的自动分割是一项极 1.1前列腺活动表观模型 具挑战的任务，因此现有的融合方法主要是基于 活动表观模型是一种由形状模型和灰度模型
paper proposed a novel prostate MR/TRUS image segmentation and the automatic registration method was based on a supervised learning framework. First, the prostate active appearance model was trained to be applied in the prostate TRUS images segmentation task, and the random forest classifier was used for building a boundary-driven mathematical model to realize automatic segmentation of TRUS images. Then, some sets of MR/TRUS images contour landmarks were computed by matching the corresponding shape descriptors used for registration. The method was validated by comparing the automatic contour segmentation results with standard results, and the registration results with a traditional registration method. Results showed that our method could accurately realize the automatic segmentation and registration of prostate TRUS and MR images. The DSC (Dice similarity coefficient, DSC) accuracy of nine sets of registration results is higher than 0.98, whereas the average location accuracy of the urethral opening is 1.64 mm, which displays a better registration performance. KEY WORDS prostate；image registration；image segmentation；random forest；active appearance model 目前，前列腺癌的诊断主要依靠前列腺特异 性抗原（Prostate specific antigen, PSA），并继以穿刺 活检，由于 PSA 特异性较差，故临床上将穿刺活检 作为确诊前列腺癌的金标准[1] . 经直肠超声引导下 的前列腺穿刺活检因实时性、低成本、易操作等 优点，成为了临床上最为普遍的诊断前列腺癌的 方法. 然而，由于直肠超声图像低的成像质量，因 此很难从图像上准确定位恶性肿瘤区域. 经直肠 超声引导下前列腺 6 针法穿刺活检的假阴性率高 达 30% [2] . 另一方面，多参数核磁共振图像（Multiparametric magnetic resonance imaging, mpMRI）是目 前公认的诊断前列腺癌的最佳影像技术，可精确 定位可疑病灶区，从而达到靶向穿刺的目的[3] . 为 了提高前列腺癌的检出率，核磁/超声（MR/TRUS） 融合引导靶向穿刺技术应运而生[4−5] ，它旨在对术 前 MR 图像和实时 TRUS 图像进行配准融合从而 提高穿刺精度. 然而，由于 MR 扫描过程中线圈或 直肠内气体的膨胀、病人的呼吸和不自觉的运 动、超声探头在直肠中对前列腺腺体的挤压，使得 术前 MR 与实时 TRUS 下前列腺的形态并不一致. 为了补偿形状变化的影响，通常需要对 MR/TRUS 图像进行变形配准. 由于超声图像低的信噪比及 MR/TRUS 图像 上复杂的灰度变化关系，仅依据图像灰度特征很 难对 MR/TRUS 图像上对应的结构特征进行定位 配准，因此前列腺 MR/TRUS 的配准融合通常是基 于已分割的前列腺表面进行变形配准. 现有的配 准方法主要有基于灰度的配准方法[6−7] 和基于分 割表面[8−9] 的配准方法. 前者主要针对 MR/TRUS 图像复杂的灰度变化下构造区域相似性的度量标 准，后者则在于对 MR/TRUS 图像进行分割，并通 过特定的标记点或直接对整个前列腺切片，进行 配准融合. 然而，由于前列腺的自动分割是一项极 具挑战的任务，因此现有的融合方法主要是基于 手动或半自动的方式对前列腺 MR/TRUS 图像进 行分割，并基于手动放置或特殊的生理特征点进 行刚体或非刚体配准[10−11] . 为了充分发挥前列腺 MR/TRUS 图像在肿瘤 诊断、引导穿刺过程中的优势，对前列腺病人术前 的 MR 图像进行手动分割并标记穿刺区域，在前 列腺 TRUS 图像实时引导穿刺的过程中，将术前 标注的 MR 图像信息配准到 TRUS 图像上[12] ，即采 用术前 MR 图像手动分割的前列腺区域到术中 TRUS 图像自动分割的前列腺区域的配准方式进 行图像融合引导穿刺. 考虑到前列腺 TRUS 图像 在分割过程中形状尺寸的变化及纹理灰度的影 响，采用基于形状和灰度变化的混合方法建立前 列腺 TRUS 图像的活动表观模型[13] ，用于图像的自 动分割，同时采用薄板样条（Thin plate spline, TPS） [14] 对前列腺 MR/TRUS 图像上对应的轮廓区域进行 配准融合. 本文针对活动表观模型对轮廓进行自动分割 时姿态参数的初始化问题，提出一种基于监督学 习的超声图像自动分割方法，并基于随机森林[15] 的分类结果建立了姿态参数边界驱动的数学模 型. 在配准过程中，针对 Kuhn-Munkres（KM）算法 进行改进以降低局部匹配代价，同时引入轮廓特 征点的定位误差[16] 作为薄板样条的正则因子进行 图像配准. 最后，本文将分割结果和标准轮廓进行 对比，同时与其他方法比较了配准精度. 1 基于监督学习的图像分割方法 应用活动表观模型进行前列腺轮廓分割的过 程中，需要解决姿态参数的初始化问题，考虑基于 随机森林实现姿态参数的自动估计，以完成前列 腺超声图像的自动分割. 1.1 前列腺活动表观模型 活动表观模型是一种由形状模型和灰度模型 丛 明等： 基于监督学习的前列腺 MR/TRUS 图像分割和配准方法 · 1363 ·
·1364 工程科学学报，第42卷，第10期 建立的组合模型，用于对可变形状进行数学描述 (a) (b) 本文采用多幅前列腺超声图像轮廓上的40个 轮廓标签点训练前列腺活动表观模型，建立形状 模型和灰度模型： XmodXmod +Psbs,Gmod Gmod +Pabg (1) (c) (d) 式中：mod和Gmod表示训练集上前列腺轮廓的均 值形状和前列腺区域上的均值灰度.P和P是前 列腺形状模型和灰度模型的主特征向量矩阵，b和 b分别为形状和灰度特征对应的权重参数，通过更 (e) () 新bs和bg得到新的模型(Xmod,Gmod),其中Xmod表示 前列腺形状，Gmod表示区域灰度 引入b的权重项W、,建立组合模型如下： Wsbs WPT(Xmod-mod)）/Qs PT(Gmod-Gmod） ΓQs c=Qc 图1初始姿态Tm对收敛结果的影响.(a~d)初始姿态参数过大无 (2) 法收敛：(e~f)初始姿态满足收敛条件 X mod =Xmod+PsWsQsc,Gmod =Gmod+Pgegc (3) Fig.I Effect of the initial position parameter Tin on the results of convergence:(a-d)large initial position parameter resulted error 式中，c为模型的组合参数，矩阵Q为组合参数的主 convergence:(e)initial position parameter met convergence conditions 特征向量矩阵，可分解成形状参数和灰度参数的 前列腺图像的预分割.在图像数据的训练过程中， 主特征向量矩阵Q和Qg 为了减轻超声图像姿态变化和不同病人图像的灰 对于一幅新的超声图像来说，采用活动表观 度差异的影响，采用增强系数(Enhanced correlation 模型进行分割的过程即是求解图像Xmod和Gmod过 coefficient,.ECC)算法I7对所有的超声图像进行通 程，因此需要估计式(3)中对应的组合参数c.在估 道对齐，同时进行像素灰度的归一化，区间值为 计组合参数c的过程中，Cootes建立了多元线性回 [0,1.对每一张训练图像提取特征标签P=(X,V, 归模型，如式(4)，认为在前后两次迭代更新的 其中X=(Xima:Vima)表示像素点的图像坐标，V= 过程中，组合参数的更新量△c与灰度变化量△G呈 (d,d2,a1,…,ag)表示以X为中心的3×3邻域的均值 线性关系： d1、标准差d2和邻域灰度值(a1,·,a9. △c=A(Gcr-Gias)=A△G (4) 对训练数据集有放回的随机抽样，并随机选 式中，Gs和Gur分别表示纹理模型前后两次迭代 择特征子集，以信息增益作为特征的选择指标生 过程中的灰度值，△c和△G分别表示下一次纹理参 产每一棵子树，当信息增益达到最小值或者达到 数的更新量和当前的灰度变化量，矩阵A是线性模 最大指定深度时停止生长.在随机森林中，每一棵 型的系数，在图像训练过程中计算得到 子树的结构都是不同的，因此在分类过程中，每一 线性迭代模型的收敛条件是形状模型的初始 个测试样本都会在不同的子树中得到不同分类结 姿态参数Tini(xo,yo,o,Ro(x,y表示平移坐标、0表示 果，统计出现次数最多的决策结果作为随机森林 旋转、R表示缩放比例)接近目标轮廓姿态Tm, 的最终分类结果.前列腺随机森林模型的训练和 此时AT=Tmi-Tml→0.图1(a)~(d)分别展示 预测过程如图2所示，对于一张新的超声图像，随 当初始姿态参数过大而无法正常收敛的情况，其 机森林分类器将输出前列腺区域预测结果的二值 中蓝色轮廓标签点为当前图像的目标轮廓姿态， 图像 黄色轮廓为初始姿态，此时模型均无法实现收敛. 1.3估计形状模型的姿态参数 图l(e)~(f)是初始姿态Timi满足收敛条件时的收 如图3所示，将前列腺形状模型下的均值形状 敛结果 mod的质心对齐到图像坐标系的原点，此时mod 12前列腺超声图像随机森林模型 可表示为：mod=1,1,2,2,…,mabmab (mab=40), 为了准确的估计一张新的超声图像上前列腺 (b,mb）表示蓝色标签轮廓点的图像坐标值，mb 区的姿态参数，建立前列腺超声图像的随机森林 是标签点的数量，当前的姿态参数To=(0,0,0,1) 模型，对图像上的灰度特征进行二分类，从而实现 以预分割的二值图像前列腺区域的边界轮廓作为
建立的组合模型，用于对可变形状进行数学描述. 本文采用多幅前列腺超声图像轮廓上的 40 个 轮廓标签点训练前列腺活动表观模型，建立形状 模型和灰度模型： Xmod = X¯mod + Psbs ,Gmod = G¯ mod + Pg bg （1） X¯mod G¯ mod Ps Pg bs bg bs bg (Xmod,Gmod) Xmod Gmod 式中： 和 表示训练集上前列腺轮廓的均 值形状和前列腺区域上的均值灰度. 和 是前 列腺形状模型和灰度模型的主特征向量矩阵， 和 分别为形状和灰度特征对应的权重参数，通过更 新 和 得到新的模型 ，其中 表示 前列腺形状， 表示区域灰度. 引入 bs的权重项 Ws，建立组合模型如下： b= ( Wsbs bs ) = WsP T s (Xmod − X¯mod) P T s (Gmod −G¯ mod) = ( Qs Qs ) c = Qc （2） X mod = X¯mod + PsWsQsc,Gmod = G¯ mod + PgQg c （3） c Q Qs Qg 式中， 为模型的组合参数，矩阵 为组合参数的主 特征向量矩阵，可分解成形状参数和灰度参数的 主特征向量矩阵 和 . Xmod Gmod c c ∆c ∆G 对于一幅新的超声图像来说，采用活动表观 模型进行分割的过程即是求解图像 和 过 程，因此需要估计式（3）中对应的组合参数 . 在估 计组合参数 的过程中，Cootes 建立了多元线性回 归模型[13] ，如式（4），认为在前后两次迭代更新的 过程中，组合参数的更新量 与灰度变化量 呈 线性关系： ∆c = A(Gcur −Glas) = A∆G （4） Glas Gcur ∆c ∆G A 式中， 和 分别表示纹理模型前后两次迭代 过程中的灰度值， 和 分别表示下一次纹理参 数的更新量和当前的灰度变化量，矩阵 是线性模 型的系数，在图像训练过程中计算得到. Tini(x0, y0, θ0,R0) x, y θ R Tfin ∆T = ∥Tini −Tfin∥ → 0 Tini 线性迭代模型的收敛条件是形状模型的初始 姿态参数 （ 表示平移坐标、 表示 旋转、 表示缩放比例）接近目标轮廓姿态[13] ， 此时 . 图 1（a）～（d）分别展示 当初始姿态参数过大而无法正常收敛的情况，其 中蓝色轮廓标签点为当前图像的目标轮廓姿态， 黄色轮廓为初始姿态，此时模型均无法实现收敛. 图 1（e）～（f）是初始姿态 满足收敛条件时的收 敛结果. 1.2 前列腺超声图像随机森林模型 为了准确的估计一张新的超声图像上前列腺 区的姿态参数，建立前列腺超声图像的随机森林 模型，对图像上的灰度特征进行二分类，从而实现 P= (X,V) X= (xima,yima) V = (d1,d2,a1,··· ,a9) X 3×3 d1 d2 (a1,··· ,a9) 前列腺图像的预分割. 在图像数据的训练过程中， 为了减轻超声图像姿态变化和不同病人图像的灰 度差异的影响，采用增强系数（Enhanced correlation coefficient, ECC）算法[17] 对所有的超声图像进行通 道对齐，同时进行像素灰度的归一化，区间值为 [0,1]. 对每一张训练图像提取特征标签 ， 其 中 表示像素点的图像坐标 ， 表示以 为中心的 邻域的均值 、标准差 和邻域灰度值 . 对训练数据集有放回的随机抽样，并随机选 择特征子集，以信息增益作为特征的选择指标生 产每一棵子树，当信息增益达到最小值或者达到 最大指定深度时停止生长. 在随机森林中，每一棵 子树的结构都是不同的，因此在分类过程中，每一 个测试样本都会在不同的子树中得到不同分类结 果，统计出现次数最多的决策结果作为随机森林 的最终分类结果. 前列腺随机森林模型的训练和 预测过程如图 2 所示，对于一张新的超声图像，随 机森林分类器将输出前列腺区域预测结果的二值 图像. 1.3 估计形状模型的姿态参数 X¯mod X¯mod X¯mod = [ x¯1, y¯1, x¯2, y¯2,··· , x¯nlab , y¯nlab ] (nlab = 40) ( x¯nlab , y¯nlab ) nlab T0 = (0,0,0,1) 如图 3 所示，将前列腺形状模型下的均值形状 的质心对齐到图像坐标系的原点，此时 可表示为： ， 表示蓝色标签轮廓点的图像坐标值， 是标签点的数量，当前的姿态参数 . 以预分割的二值图像前列腺区域的边界轮廓作为 (a) (b) (c) (d) (e) (f) 图 Tini 1 初始姿态 对收敛结果的影响. （a～d）初始姿态参数过大无 法收敛；（e～f）初始姿态满足收敛条件 Fig.1 Tini Effect of the initial position parameter on the results of convergence: (a−d) large initial position parameter resulted error convergence; (e−f) initial position parameter met convergence conditions · 1364 · 工程科学学报，第 42 卷，第 10 期
丛明等：基于监督学习的前列腺MR/TRUS图像分割和配准方法 ·1365. Emodk=X modZ(0k).Rx+(.c.Vk.c) (7) 1 (8) D TRUS images 式中：Z(0)= cos0 sin Prostate masks -sin&cos0 (kc,kc)为姿态Tk Extract feature 下的均值轮廓形状mdk的质心坐标，旋转角，以 Q Random 轴顺时针方向旋转为正，其坐标变换关系如图4 forest 所示. nDU Output 图2前列腺随机森林模型的训练和预测过程 Fig.2 Training and prediction of the prostate random forest model -Mean shape under To 图4姿态T,下的坐标变化关系 Label points Fig.4 Coordinate transformation relationship at position T 由上述建立的数学模型可知，当T发生变化 -D 时，边界函数ou的值域会在[-255,0]进行波动，仅 当u→-255时，轮廓将迭代至最优解，此时 mo将与前列腺预分割的二值图像轮廓最大程度 Pre-segmentation region 重合.以轮廓在状态k下姿态参数Tk=(,,R) 图3均值形状的初始姿态 作为优化目标参数，建立边界驱动函数为优化目 Fig.3 Initial position parameters of the mean shape model 标的数学模型： 丞mod的目标姿态，建立边界驱动方程： min foou (xz,yg,0,Rg) xp-20≤≤xp+20 1 (5) mab= s.t p-20≤%≤p+20 (9) a-4"≤≤a+4 P:=0:-l (6) S-03≤s0k≤s+0.3 式中，mab表示均值形状的轮廓点数量，P:表示第 式中：、p、α、s可由和预分割的二值图像的最 ii=1,2,·,mb)处边界轮廓点上沿法向的边界梯 小外接矩形参数计算得到，如图5所示 度差值，ΣO和1，分别表示当前轮廓点在法线上背 向质心和朝向质心的像素值总和 为了建立边界驱动式fou与均值形状亚moa的数 学模型，定义丞md在姿态Tk(k表示k姿态状态)下 的形状星mod=[玉11,2,2，…，mbmb其转 换关系可用式(7)计算.以姿态T下任一轮廓点为 中心，沿法线取长度为2D的线段，如图3，记 5第ii=1,2…,nab)处均值边界轮廓点(，)的法 线上-D到+D的像素灰度值，其图像坐标记为 Pre-segmentation region contour (M)和(xoyo式(6)中0，和，可由式(8)计 图5生成最小外接矩形 算得到： Fig.5 Generation of the minimum enclosing rectangle
X¯mod 的目标姿态，建立边界驱动方程： fbou = 1 nlab ∑nlab i=1 Pi （5） Pi = ΣOi −ΣIi （6） nlab Pi i(i = 1,2,··· ,nlab) ΣOi ΣIi 式中， 表示均值形状的轮廓点数量， 表示第 处边界轮廓点上沿法向的边界梯 度差值， 和 分别表示当前轮廓点在法线上背 向质心和朝向质心的像素值总和. fbou X¯mod X¯mod Tk X¯modk = [ x¯k1, y¯k1, x¯k2, y¯k2,··· , x¯knlab , y¯knlab ] Tk εi j i(i = 1,2,··· ,nlab) ( ¯xi , y¯i) ( xIi j , yIi j) ( xOi j , yOi j) ΣOi ΣIi 为了建立边界驱动式 与均值形状 的数 学模型，定义 在姿态 （k 表示 k 姿态状态）下 的形状 ，其转 换关系可用式（7）计算. 以姿态 下任一轮廓点为 中心 ，沿法线取长度 为 2D 的线段 ，如 图 3， 记 第 处均值边界轮廓点 的法 线上−D 到+D 的像素灰度值 ，其图像坐标记为 和 ，式（6）中 和 可由式（8）计 算得到： X¯ mod ,k = X¯ mod · Z(θk)·Rk + ( x¯k,c, y¯k,c ) （7） ΣIi = 1 D ∑−1 j=−D εi j,ΣOi = 1 D ∑ D j=1 εi j （8） Z(θk) = [ cos θk sinθk −sinθk cos θk ] ( x¯k,c, y¯k,c ) Tk X¯mod,k θk x 式中： ， 为姿态 下的均值轮廓形状 的质心坐标，旋转角 以 轴顺时针方向旋转为正，其坐标变换关系如图 4 所示. Tk fbou fbou → −255 X¯mod Tk = (xk, yk, θk,Rk) 由上述建立的数学模型可知，当 发生变化 时，边界函数 的值域会在 [−255,0] 进行波动，仅 当 时 ， 轮 廓 将 迭 代 至 最 优 解 ， 此 时 将与前列腺预分割的二值图像轮廓最大程度 重合. 以轮廓在状态 k 下姿态参数 作为优化目标参数，建立边界驱动函数为优化目 标的数学模型： min fbou (xk, yk, θk,Rk) s.t xp −20 ⩽ xk ⩽ xp +20 yp −20 ⩽ yk ⩽ yp +20 α−4 ∗ ⩽ θk ⩽ α+4 s−0.3 ⩽ sck ⩽ s+0.3 （9） 式中： xp、yp、α、s 可由x¯和预分割的二值图像的最 小外接矩形参数计算得到，如图 5 所示. TRUS images Prostate masks Extract feature Random forest Input Output … 图 2 前列腺随机森林模型的训练和预测过程 Fig.2 Training and prediction of the prostate random forest model Pre-segmentation region Outside Inside o x y Mean shape Xmod under T0 Label points −D +D 图 3 均值形状的初始姿态 Fig.3 Initial position parameters of the mean shape model x y y′ x′ o (xk,c , yk,c ) Xmod Xmod,k θk 图 4 姿态 Tk下的坐标变化关系 Fig.4 Coordinate transformation relationship at position Tk x y Pre-segmentation region contour w1 h1 o h w2 α (xp , yp ) y′ x′ 2 图 5 生成最小外接矩形 Fig.5 Generation of the minimum enclosing rectangle 丛 明等： 基于监督学习的前列腺 MR/TRUS 图像分割和配准方法 · 1365 ·
·1366 工程科学学报，第42卷，第10期 图5中(p,)表示预分割轮廓质心的图像坐 2基于形状特征的图像配准方法 标，w1、、w2、h2分别表示最小外接矩形的宽度和 w2h 将由第一部分自动分割的TRUS图像与术前 长度，s= ,α表示外接矩形的旋转角.将式(5~ wih 分割的MR图像在引入定位误差的TPS框架下进 8)代入到式(9)中，采用遗传算法进行求解，其结 行融合配准，为了自动提取特征点的配对信息，构 果如图6所示 造了形状特征算法，并基于改进的KM算法实现 (a) (b) 求解 2.1提取轮廓形状特征点 图7为一组待配准的前列腺MR/TRUS图像， 其中前列腺MR图像轮廓为术前手动分割，前列 腺TRUS图像轮廓由第1部分方法自动分割，为了 c) (d) 提取轮廓的ShapeContext特征2o,需要对轮廓离散 采样，并建立每一点的ShapeContext描述子作为轮 廓点的特征矢量 (a) 图6前列腺超声图像的自动分割过程.(a)前列腺TRUS图像： (b)参数寻优结果：(c)图像分割结果：(d)分割对比结果 Fig6 Automatic segmentation process of prostate TRUS images: (a)prostate TRUS image;(b)parameters optimization result,(c)seg- mentation result;(d)image segmentation comparison results 采用遗传算法8-1进行参数寻优后的结果如 图7待配准的前列腺MR/TRUS图像.(a)MR图像轮廓点； (b)TRUS图像轮廓点 图6(b)所示，白色区域是前列腺随机森林模型的 Fig.7 Prostate MR/TRUS images to be registered:(a)contour points on 预分割结果，其中蓝色轮廓是T=(pp,a,S)时的轮 MR image;(b)contour points on TRUS image 廓姿态，红色轮廓为遗传算法优化后结果.将优化 记点pR和点9Us(i,j=1,2,…,mab)汾别表示 后的姿态参数作为前列腺活动表观模型的初值， 前列腺MR和TRUS图像上第i、j个轮廓点，对 其收敛后的结果如图6(c)所示，图中的粉色轮廓 应的ShapeContext描述矢量为h,和h;.采用推 是活动表观模型收敛后的最终解，图6(d)显示了 荐值将特征描述符划分为N=5×12=60个子 前列腺超声图像轮廓的自动分割过程，其中的黑 区间，记子空间kuv={(p,B)lp1≤p≤p2,B1≤B≤B2, 色轮廓为影像专家分割的标准轮廓. 其中： ={10-2345=0学u=12A=4 0,u=1 6w=1,212) 以轮廓上任一点为圆心建立极坐标系下的特 通常采用KM算法求解上述指派问题，由 征描述符，如图8所示，P、B分别表示极坐标半径 于KM算法是针对完备匹配问题进行求解，因此 和极角，统计第u个圆弧内第v个子空间kv上的 部分奇异的轮廓点会“误匹配”，从而产生较大的 轮廓点数量，记为N,则h=[N,l,N1,2,…,Ns,12l 局部误差.本文对KM算法进行改进，即仅考虑待 记点pMR和点qRUs的匹配代价C满足Po: 匹配点的最优和次优解的增广路径，如下所示，并 1 [h:(k)-( 对改进前后的算法的匹配结果进行对比，如图9 h,()+h( 所示，改进后的KM算法消除了部分轮廓奇异点， 式中：h(k)为矩阵h的第k列元素 提高了匹配点对的局部精度 定义排列π(qRUS),使得点集总代价Hπ)满足： Input:Two sets of points pti and qtj(i,j=1, Hm=min∑c(pR,πgRus) 2,…,pt (10) Output:Matching result of pr;and qtj
( xp, yp ) w1 h1 w2 h2 s = w2h2 w1h1 α 图 5 中 表示预分割轮廓质心的图像坐 标， 、 、 、 分别表示最小外接矩形的宽度和 长度， ， 表示外接矩形的旋转角. 将式（5～ 8）代入到式（9）中，采用遗传算法进行求解，其结 果如图 6 所示. T = ( xp, yp,α,s ) 采用遗传算法[18−19] 进行参数寻优后的结果如 图 6（b）所示，白色区域是前列腺随机森林模型的 预分割结果，其中蓝色轮廓是 时的轮 廓姿态，红色轮廓为遗传算法优化后结果. 将优化 后的姿态参数作为前列腺活动表观模型的初值， 其收敛后的结果如图 6（c）所示，图中的粉色轮廓 是活动表观模型收敛后的最终解，图 6（d）显示了 前列腺超声图像轮廓的自动分割过程，其中的黑 色轮廓为影像专家分割的标准轮廓. 2 基于形状特征的图像配准方法 将由第一部分自动分割的 TRUS 图像与术前 分割的 MR 图像在引入定位误差的 TPS 框架下进 行融合配准，为了自动提取特征点的配对信息，构 造了形状特征算法，并基于改进的 KM 算法实现 求解. 2.1 提取轮廓形状特征点 图 7 为一组待配准的前列腺 MR/TRUS 图像， 其中前列腺 MR 图像轮廓为术前手动分割，前列 腺 TRUS 图像轮廓由第 1 部分方法自动分割，为了 提取轮廓的 ShapeContext 特征[20] ，需要对轮廓离散 采样，并建立每一点的 ShapeContext 描述子作为轮 廓点的特征矢量. (a) (b) 图 7 待 配 准 的 前 列 腺 MR/TRUS 图 像 . （ a） MR 图 像 轮 廓 点 ； （b）TRUS 图像轮廓点 Fig.7 Prostate MR/TRUS images to be registered: (a) contour points on MR image; (b) contour points on TRUS image p MR i q TRUS j (i, j = 1,2,··· ,nlab) hi hj N = 5×12 = 60 ku,v = {(ρ, β)|ρ1 ⩽ ρ ⩽ ρ2, β1 ⩽ β ⩽ β2} 记点 和点 分别表示 前列腺 MR 和 TRUS 图像上第 i、 j 个轮廓点，对 应 的 ShapeContext 描述矢量为 和 . 采用推 荐值将特征描述符划分为 个 子 区间，记子空间 ， 其中： ρ1 = 0,u = 1 10u−6 4 ,u = 2,3,4,5 , ρ2 = 10 u−5 4 (u = 1,2,··· ,5), β1 = (v−1)π 6 , β2 = vπ 6 (v = 1,2,···12) ρ β ku,v Nu,v h = [N1,1,N1,2,··· ,N5,12] 以轮廓上任一点为圆心建立极坐标系下的特 征描述符，如图 8 所示， 、 分别表示极坐标半径 和极角，统计第 u 个圆弧内第 v 个子空间 上的 轮廓点数量，记为 ，则 . p MR i q TRUS j 记点 和点 的匹配代价 Ci j 满足[20] ： Ci j = C ( p MR i ,q TRUS j ) = 1 2 ∑ N k=1 [ hi(k)− hj(k) ]2 hi(k)+ hj(k) 式中： h(k) 为矩阵 h 的第 k 列元素. π(q TRUS j 定义排列 ) ，使得点集总代价 H(π) 满足： H(π) = min∑nlab i=1 C ( p MR i ,π ( q TRUS j )) （10） 通常采用 KM 算法[21] 求解上述指派问题，由 于 KM 算法是针对完备匹配问题进行求解，因此 部分奇异的轮廓点会“误匹配”，从而产生较大的 局部误差. 本文对 KM 算法进行改进，即仅考虑待 匹配点的最优和次优解的增广路径，如下所示，并 对改进前后的算法的匹配结果进行对比，如图 9 所示，改进后的 KM 算法消除了部分轮廓奇异点， 提高了匹配点对的局部精度. pti qtj(i, j = 1, 2,··· ,npt) Input: Two sets of points and pti qt Output: Matching result of and j (a) (b) (c) (d) 图 6 前列腺超声图像的自动分割过程. （a）前列腺 TRUS 图像； （b）参数寻优结果；（c）图像分割结果；（d）分割对比结果 Fig.6 Automatic segmentation process of prostate TRUS images: (a) prostate TRUS image; (b) parameters optimization result; (c) segmentation result; (d) image segmentation comparison results · 1366 · 工程科学学报，第 42 卷，第 10 期
丛明等：基于监督学习的前列腺MR/TRUS图像分割和配准方法 1367· 式中：m表示特征点为中心的邻域像素，2为高斯 核的方差.对邻域m上的像素计算高斯第一阶导 数，记作g=（g,gn)i=1,2,…,m,且Cg满足： C,=∑gm3'lgm8 (12) ● 8 取推荐值m=25,6=5,定义E和E分别表示 浮动图像和参考图像在第i组特征点上的定位误 009 差，记总误差E:=E+Eu 图8形状描述符的建立 记R为浮动图像上任意一点，其坐标为 Fig.8 Construction of the shape descriptor (pp)且有p=1,2,…n,引入薄板样条函数g,() 0.8-- The result of KM agorithm 0.7 对f分R进行插值，可以计算出参考图像上对应点 -一一The result of improved K3 A algoritm 0.6 tUs-(o1分R,p2分且有： 0.5 )uwU(us) 0.3 02 (13) 0.1 式中：U)=rg,表示计算欧式距离，a 0上 0 5 10152025303540 wm(w=1,2;i=1,…,m;j=1,2,3)是薄板样条待求解 Matches 的权重参数 图9改进KM算法的对比结果 将点对，(i=1,2,…,n)代入式用以替换点f分MR Fig.9 Results compared with the improved KM algorithm 和点RUS,同时引入权重约束和定位误差约束式： Step 1:For any point pti,compute Cij=C(pti.qtj) (14) (i=1,....npr)and mark the minimum cost and the w-0=0s=0 i=l second-smallest cost point respectively denoted as ptai and qtbj +ETPS =0 (15) Step 2:Search corresponding matching point for E qtj and the objects considered are only ptai and qtbj 式中：A为薄板样条正则因子，ETPs是薄板样条变形 where ptai has higher priority than qtbj.If the 产生的弯曲能量.取=0.05，引入定位误差薄板样 augmented paths produced from ptai and ;have been 条函数g(x)的参数av和wn可以基于文献[22]提出 considered,give up the matching of current point qtj. 的方法进行求解。对浮动图像的前列腺区域像素 Step 3:Output the remaining answers of matching 点使用配准方程进行配准变换，并对缺省值采用最近 of qti(j=1,…,npm. 邻进行插值)，图7的配准融合结果如图10所示 2.2引入各向异性误差薄板样条配准方法 (a) (b) 薄板样条作为一种常用于生物图像变形配准 的插值工具，在医学图像配准方面有着广泛的应 用.使用薄板样条对变形场进行估计时，需要指定 多组配对特征点进行约束.考虑到轮廓分割中产 生的人为误差，引入配对特征点基于图像梯度的 各向异性误差作为正则因子，进行图像配准 图10图像配准融合结果.(a)MR图像的变换结果：(b)MR/TRUS图 记fMR=(x,y),tRUs=(x,w)(i=1,2,m)是分 像融合结果 别来自前列腺核磁图像（浮动图像）和超声图像 Fig.10 Registration results:(a)transformation result of MR image; (参考图像)上的n组匹配点.定义图像上特征点 (b)registration result of MR/TRUS images 在邻域m上的定位误差E满2四： 3实验结果 E-Cr (11) 为了验证所提方法在超声图像自动分割、MR/
pti Ci j = C ( pti ,qtj ) (i = 1,··· ,npt) ptai qtb j Step 1: For any point , compute and mark the minimum cost and the second-smallest cost point respectively denoted as and . qtj ptai qtb j ptai qtb j ptai qtb j qtj Step 2: Search corresponding matching point for and the objects considered are only and where has higher priority than . If the augmented paths produced from and have been considered, give up the matching of current point . qtj(j = 1,··· ,npt) Step 3: Output the remaining answers of matching of . 2.2 引入各向异性误差薄板样条配准方法 薄板样条作为一种常用于生物图像变形配准 的插值工具，在医学图像配准方面有着广泛的应 用. 使用薄板样条对变形场进行估计时，需要指定 多组配对特征点进行约束. 考虑到轮廓分割中产 生的人为误差，引入配对特征点基于图像梯度的 各向异性误差作为正则因子，进行图像配准. f MR i = (xfi , yfi), t TRUS i = (xti 记 , yti)(i = 1,2,···n) 是分 别来自前列腺核磁图像（浮动图像）和超声图像 （参考图像）上的 n 组匹配点. 定义图像上特征点 在邻域 m 上的定位误差 E 满[22] ： E = δ 2 m C −1 g （11） δ 2 gi = ( gxi,gyi) (i = 1,2,··· ,m) Cg 式中：m 表示特征点为中心的邻域像素， 为高斯 核的方差. 对邻域 m 上的像素计算高斯第一阶导 数，记作 ，且 满足： Cg = ∑m i [ gxi,gyi]T [ gxi,gyi] （12） m = 25 δ = 5 Efi Eti Ei = Efi + Eti 取推荐值 ， ，定义 和 分别表示 浮动图像和参考图像在第 i 组特征点上的定位误 差，记总误差 . f MR p ( xf p, yf p ) p = 1,2,···n φv(x) f MR p t TRUS p = ( φ1(f MR p ),φ2(f MR p ) ) 记 为浮动图像上任意一点 ，其坐标为 ，且有 ,引入薄板样条函数 对 进行插值，可以计算出参考图像上对应点 ，且有： φv(f MR p ) = av1 +av2 xf p +av3yf p + ∑n i=1 wivU(t TRUS i − f MR p ) （13） U(r) = ∥r∥ 2 lg∥r∥ 2 ∥·∥ av j, wiv(v = 1,2;i = 1,··· ,n; j = 1,2,3) 式中： ， 表示计算欧式距离， 是薄板样条待求解 的权重参数. fi , ti(i = 1,2,··· ,n) f MR p t TRUS p 将点对 代入式用以替换点 和点 ，同时引入权重约束和定位误差约束式： ∑n i=1 wiv = 0, ∑n i=1 wiv f MR i = 0, ∑n i=1 wiv t TRUS i = 0 （14） 1 n ∑n i=1 f TRUS i −φv(f TRUS i ) 2 E 2 i +λETPS = 0 （15） λ ETPS λ = 0.05 φv(x) av j wiv 式中： 为薄板样条正则因子， 是薄板样条变形 产生的弯曲能量. 取 ，引入定位误差薄板样 条函数 的参数 和 可以基于文献 [22] 提出 的方法进行求解. 对浮动图像的前列腺区域像素 点使用配准方程进行配准变换，并对缺省值采用最近 邻进行插值[23] ，图 7 的配准融合结果如图 10 所示. 3 实验结果 为了验证所提方法在超声图像自动分割、MR/ ρ β ku,v 图 8 形状描述符的建立 Fig.8 Construction of the shape descriptor 0 5 10 15 20 25 30 35 40 Matches Cost The result of KM algorithm Theoretical optimal solution The result of improved KM algorithm 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 图 9 改进 KM 算法的对比结果 Fig.9 Results compared with the improved KM algorithm (a) (b) 图 10 图像配准融合结果. （a）MR 图像的变换结果；（b）MR/TRUS 图 像融合结果 Fig.10 Registration results: (a) transformation result of MR image; (b) registration result of MR/TRUS images 丛 明等： 基于监督学习的前列腺 MR/TRUS 图像分割和配准方法 · 1367 ·
·1368 工程科学学报，第42卷，第10期 TRUS图像配准方面的精度，进行了两组对比实 轮廓标出.从图11(b1~bs)可以看出预分割的轮 验.第一组实验采用监督学习的初始化方法并基 廓边界比较粗糙，但能初步定位前列腺的区域 于前列腺活动表观模型完成图像分割，并与影像 图I1(c1~cs)表示预分割轮廓基于遗传算法的优 专家分割的前列腺轮廓进行对比，同时计算轮廓 化结果逐步收敛的过程.其中蓝色轮廓表示前列 之间豪斯多夫距离4(Hausdorff distance,.HD).第 腺形状均值模型的基于预分割图像的初始姿态， 二组实验对比分析基于形状轮廓配准方法与传统 红色轮廓是采用遗传算法进行姿态优化后的结 方法的实验结果，比较的指标包括配准结果的区 果，粉色轮廓是基于活动表观模型的收敛结果，黑 域重叠戴斯系数DSC2及尿道特征点的配准定位 色轮廓为手动绘制的标准轮廓.从图11(c1~cs)的 精度(Target error,.TE).实验图像取自美国影像引 分割结果可以看出，轮廓的最终收敛结果与标准 导治疗中心提供的数据集：https://zenodo.org/record/ 轮廓具有高的轮廓相似度，其HD均值分别为 16396#.XPJ6 GaIzZdh,收集了前列腺患者的MR/TRUS 1.20,1.04,2.48,1.40,1.57,可以得出分割轮廓与标 影像图片 准轮廓之间的豪斯多夫距离的均值较低为1.54， 3.1图像分割实验 证明了分割方法的有效性 模型的数据标签借助T.F.Cootes的工具箱完 3.2图像配准实验 成，图像的训练和收敛过程借助OpenCV视觉库， 在评估配准方法精度的过程中，使用超声图 采用C+语言实现，遗传算法的优化工作借助了 像标准轮廓区域与术前核磁图像轮廓区域进行配 Python下的Geatpy包完成. 准.实验选取前列腺病人9组MR/TRUS影像进行 训练采用的数据集为3例前列腺病人中层切 图像配准，同时，与文献方法进行对比，并评估 片的MR/TRUS影像图片，其中I8张作为训练集， 配准区域重叠度DSC系数，其结果如图12和图13 5张作为测试集，图像的分割结果如图11所示，其 所示 中图11(a1~a5)为待分割的超声图像，图11(b1~ 图12第1行和第2行分别为前列腺核磁和超 bs)为随机森林的预分割结果，图I1(c1~cs)为轮 声图像，第3行和第4行是本文方法计算出来的配 廓收敛的迭代过程.采用豪斯多夫距离对轮廓相 准结果和融合结果，第5行和第6行是采用文献方 似度进行评估 法得出的配准和融合结果.图13对比了两种配 在算法的实现过程中，首先基于随机森林模 准结果的区域重叠度DSC,结果表明本文方法具 型对测试图像进行预分割，如图11(b1~b5),其中 有良好的配准精度 预分割的区域用蓝色轮廓标出，标准区域用黑色 为了进一步验证配准方法的目标定位精度， 图11前列腺超声图像分割结果.(a1~a5)待分割的TRUS图像：(b1~b;)随机森林预分割结果：(c1~c)轮廓分割收敛过程 Fig.11 Segmentation results of prostate US images:(a-as)initial TRUS images;(b-bs)pre-segmentation results of random forest;(c-cs)convergence processes of contour segmentation
TRUS 图像配准方面的精度，进行了两组对比实 验. 第一组实验采用监督学习的初始化方法并基 于前列腺活动表观模型完成图像分割，并与影像 专家分割的前列腺轮廓进行对比，同时计算轮廓 之间豪斯多夫距离[24] （Hausdorff distance, HD）. 第 二组实验对比分析基于形状轮廓配准方法与传统 方法的实验结果，比较的指标包括配准结果的区 域重叠戴斯系数 DSC[25] 及尿道特征点的配准定位 精度（Target error, TE）. 实验图像取自美国影像引 导治疗中心提供的数据集：https://zenodo.org/record/ 16396#.XPJ6GaIzZdh，收集了前列腺患者的MR/TRUS 影像图片. 3.1 图像分割实验 模型的数据标签借助 T.F.Cootes 的工具箱完 成，图像的训练和收敛过程借助 OpenCV 视觉库， 采用 C++语言实现，遗传算法的优化工作借助了 Python 下的 Geatpy 包完成. 训练采用的数据集为 3 例前列腺病人中层切 片的 MR/TRUS 影像图片，其中 18 张作为训练集， 5 张作为测试集，图像的分割结果如图 11 所示，其 中图 11（a1～a5）为待分割的超声图像，图 11（b1～ b5）为随机森林的预分割结果，图 11（c1～c5）为轮 廓收敛的迭代过程. 采用豪斯多夫距离对轮廓相 似度进行评估. 在算法的实现过程中，首先基于随机森林模 型对测试图像进行预分割，如图 11（b1～b5），其中 预分割的区域用蓝色轮廓标出，标准区域用黑色 轮廓标出. 从图 11（b1～b5）可以看出预分割的轮 廓边界比较粗糙，但能初步定位前列腺的区域. 图 11（c1～c5）表示预分割轮廓基于遗传算法的优 化结果逐步收敛的过程. 其中蓝色轮廓表示前列 腺形状均值模型的基于预分割图像的初始姿态， 红色轮廓是采用遗传算法进行姿态优化后的结 果，粉色轮廓是基于活动表观模型的收敛结果，黑 色轮廓为手动绘制的标准轮廓. 从图 11（c1～c5）的 分割结果可以看出，轮廓的最终收敛结果与标准 轮廓具有高的轮廓相似度 ， 其 HD 均值分别 为 1.20，1.04，2.48，1.40, 1.57，可以得出分割轮廓与标 准轮廓之间的豪斯多夫距离的均值较低为 1.54， 证明了分割方法的有效性. 3.2 图像配准实验 在评估配准方法精度的过程中，使用超声图 像标准轮廓区域与术前核磁图像轮廓区域进行配 准. 实验选取前列腺病人 9 组 MR/TRUS 影像进行 图像配准，同时，与文献方法[26] 进行对比，并评估 配准区域重叠度 DSC 系数，其结果如图 12 和图 13 所示. 图 12 第 1 行和第 2 行分别为前列腺核磁和超 声图像，第 3 行和第 4 行是本文方法计算出来的配 准结果和融合结果，第 5 行和第 6 行是采用文献方 法[26] 得出的配准和融合结果. 图 13 对比了两种配 准结果的区域重叠度 DSC，结果表明本文方法具 有良好的配准精度. 为了进一步验证配准方法的目标定位精度， a1 b1 c1 a2 b2 c2 a3 b3 c3 a4 b4 c4 a5 b5 c5 图 11 前列腺超声图像分割结果. （a1～a5）待分割的 TRUS 图像；（b1～b5）随机森林预分割结果；（c1～c5）轮廓分割收敛过程 Fig.11 Segmentation results of prostate US images: (a1‒a5 ) initial TRUS images; (b1‒b5 ) pre-segmentation results of random forest; (c1‒c5 ) convergence processes of contour segmentation · 1368 · 工程科学学报，第 42 卷，第 10 期
丛明等：基于监督学习的前列腺MR/TRUS图像分割和配准方法 ·1369 因12核磁超声图像配准结果对比 Fig.12 Results of MR/TRUS images registration 1.00 即核磁超声图像上对应特征点之间的配准精度， 选择5组前列腺MR/TRUS切片，以尿道口作为参 0.98 考点进行评估，其结果如图14所示，图像红色点 0.96 表示尿道口处对应特征点，蓝色点和黄色点分别 0.94 为本文方法和传统方法定位结果.使用软件3 Dslicer 0.92 --Method proposed 测量尿道口配准定位误差，并进行对比平均定位 -----Tradition method 精度Ap和标准差d2,结果如表1. 0.90L 从表1中可以看出，本文方法针对尿道特征点 123456789 Index 的定位精度为1.59牡0.23mm,临床对可疑肿瘤区域 图13本文方法与传统方法对比结果 的穿刺误差在3mm以内均可视为有效穿刺，认为 Fig.13 Results compared with the traditional method 配准结果可以满足临床需求 图14尿道特征点定位结果 Fig.14 Location results of urethral points
d2 即核磁超声图像上对应特征点之间的配准精度， 选择 5 组前列腺 MR/TRUS 切片，以尿道口作为参 考点进行评估，其结果如图 14 所示，图像红色点 表示尿道口处对应特征点，蓝色点和黄色点分别 为本文方法和传统方法定位结果. 使用软件 3Dslicer 测量尿道口配准定位误差，并进行对比平均定位 精度 AP 和标准差 ，结果如表 1. 从表 1 中可以看出，本文方法针对尿道特征点 的定位精度为 1.59±0.23 mm，临床对可疑肿瘤区域 的穿刺误差在 3 mm 以内均可视为有效穿刺，认为 配准结果可以满足临床需求. 图 12 核磁超声图像配准结果对比 Fig.12 Results of MR/TRUS images registration Method proposed Tradition method 1 2 3 4 5 6 7 8 9 Index DSC 1.00 0.98 0.96 0.94 0.92 0.90 图 13 本文方法与传统方法对比结果 Fig.13 Results compared with the traditional method 图 14 尿道特征点定位结果 Fig.14 Location results of urethral points 丛 明等： 基于监督学习的前列腺 MR/TRUS 图像分割和配准方法 · 1369 ·
·1370 工程科学学报，第42卷，第10期 表1尿道特征点定位结果对比 MRI/TRUS融合成像引导靶向前列腺穿刺中的诊断价值.中华 男科学杂志，2016,22(9)：782) Table 1 Comparison of location results of urethral points [5]Schlenker B.Apfelbeck M,Buchner A,et al.MRI-TRUS fusion Method proposed Literature method Sample biopsy of the prostate:quality of image fusion in a clinical setting. DSC TE/mm DSC TE/mm Clin Hemorheol Microcirculat,2018,70(4):433 1 0.9938 1.76 0.9939 1.93 [6] Mitra J,Marti R,Oliver A,et al.Prostate multimodality image 3 0.9873 1.24 0.9816 3.84 registration based on B-splines and quadrature local energy.Int/ 0.9897 1.92 0.9893 1.27 Comput Assisted Radiol Surg,2012,7(3):445 [7] 0.9906 1.58 Sun Y,Yuan J,Qiu W,et al.Three-dimensional nonrigid MR 0.9872 2.55 TRUS registration using dual optimization.IEEE Trans Med Imag, 0.9871 1.47 0.9884 1.42 2015,34(5):1085 s 0.9897 1.59 0.9880 2.20 [8] Moradi M,Janoos F,Fedorov A,et al.Two solutions for d 0.0024 0.23 0.0039 0.93 registration of ultrasound to MRI for image-guided prostate interventions /2012 Annual International Conference of the IEEE 4结论 Engineering in Medicine and Biology Society.San Diego,2012: 1129 (1)针对前列腺核磁超声融合引导穿刺手术 [9]Fedorov A,Khallaghi S.Sanchez C A,et al.Open-source image 中前列腺的变形配准问题，提出一种基于监督学 registration for MRI-TRUS fusion-guided prostate interventions. 习的超声图像自动分割方法，并与术前核磁图像 Int J Comput Assisted Radiol Surg,2015,10(6):925 进行图像配准 [10]Ni D,Wu H L.MRI-TRUS multi-modality image fusion for (2)新方法通过引入随机森林分类器建立了 targeted prostate biopsy.J Shenhen Univ Sci Eng,2016,33(2): 边界驱动的姿态估计模型，实现前列腺超声图像 111 的自动分割，与专家轮廓对比具有高的精度 (倪东，吴海浪.基于核磁-超声融合的前列腺靶向穿刺系统.深 圳大学学报：理工版，2016,33(2)：111) (3)在图像配准方面，使用了形状矢量来构建 [11]Wang WR.Research on Prostate Puncture Assisted by MR and 薄板样条的配对特征点同时引入各向异性误差作 TRUS Image[Dissertation].Harbin:Harbin Institute of 为正则因子，配准结果表明，与传统方法相比，新 Technology,2018 方法在图像的配准方面具有较高的精度，在前列 (王炜荣.MR与TRUS图像辅助前列腺穿刺技术研究学位论 腺核磁超声图像融合引导方面具有临床应用价 文]哈尔滨：哈尔滨工业大学，2018) 值，是一种准确、稳定的图像配准方法 [12]Du C.MR and TRUS Image Denoising and Segmentation Methods in Prostate Puncture Guidance[Dissertation].Harbin:Harbin 参考文献 Institute of Technology,2019 (杜超.前列腺穿刺引导中的MR和TRUS图像去噪与分割方法 [1]Deng Y S,He Y H,Zhou X F.Development of prostate targeted [学位论文].哈尔滨：哈尔滨工业大学，2019) puncture technology.J Mimimally Imvasive Urology,2018,7(6): [13]Cootes T F,Edwards G J,Taylor C J.Active appearance models. 428 IEEE Trans Pattern Anal Mach Intellig,2001,23(6):681 (邓益森，何宇辉，周晓峰.前列腺靶向穿刺技术发展概况.微创 [14]Bookstein F L.Principal warps:thin-plate splines and the 泌尿外科杂志，2018,7(6)：428) decomposition of deformations.IEEE Trans Pattern Anal Mach [2]Guichard G,Larre,Gallina A,et al.Extended 21-sample needle Intellig,1989,11(6):567 biopsy protocol for diagnosis of prostate cancer in 1000 [15]Svetnik V,Liaw A,Tong C,et al.Random forest:a classification consecutive patients.Eur Urol,2007.52(2):430 and regression tool for compound classification and QSAR [3]Zhou Z E,Yan W G,Zhou Y,et al.Recent progress in MRI- modeling.JChem Inf Comput Sci,003,43(6):1947 ultrasound fusion for guidance of targeted prostate biopsy.ChinJ [16]Rohr K,Forefett M,Stiehl H S.Spline-based elastic image Srg,2016,54(10):792 registration:integration of landmark errors and orientation (周智恩，严维刚，周毅，等.MRI超声融合引导下前列腺靶向穿 attributes.Comput Vision Image Understand,2003,9(2):153 刺活检的最新进展.中华外科杂志，2016,54(10)：792) [17]Evangelidis G D,Psarakis E Z.Parametric image alignment using [4]Qu H W,Liu H,Cui Z L,et al.Focusing on MRI-suspected lesions enhanced correlation coefficient maximization./EEE Trans in targeted transrectal prostate biopsy guided by MRI-TRUS Pattern Anal Mach Intellig,2008,30(10):1858 fusion imaging for the diagnosis of prostate cancer.Natl JAndrol, [18]Ghosh P,Mitchell M,Tanyi J A,et al.Incorporating priors for 2016,22(9):782 medical image segmentation using a genetic algorithm. (曲华伟，刘辉，崔子连，等.重点穿刺MR可疑病灶区域在 Neurocomputing,2016,195:181
4 结论 （1）针对前列腺核磁超声融合引导穿刺手术 中前列腺的变形配准问题，提出一种基于监督学 习的超声图像自动分割方法，并与术前核磁图像 进行图像配准. （2）新方法通过引入随机森林分类器建立了 边界驱动的姿态估计模型，实现前列腺超声图像 的自动分割，与专家轮廓对比具有高的精度. （3）在图像配准方面，使用了形状矢量来构建 薄板样条的配对特征点同时引入各向异性误差作 为正则因子，配准结果表明，与传统方法相比，新 方法在图像的配准方面具有较高的精度，在前列 腺核磁超声图像融合引导方面具有临床应用价 值，是一种准确、稳定的图像配准方法. 参 考 文 献 Deng Y S, He Y H, Zhou X F. Development of prostate targeted puncture technology. J Mimimally Invasive Urology, 2018, 7（6）: 428 （邓益森, 何宇辉, 周晓峰. 前列腺靶向穿刺技术发展概况. 微创 泌尿外科杂志, 2018, 7（6）：428） [1] Guichard G, Larré, Gallina A, et al. Extended 21-sample needle biopsy protocol for diagnosis of prostate cancer in 1000 consecutive patients. Eur Urol, 2007, 52（2）: 430 [2] Zhou Z E, Yan W G, Zhou Y, et al. Recent progress in MRIultrasound fusion for guidance of targeted prostate biopsy. Chin J Surg, 2016, 54（10）: 792 （周智恩, 严维刚, 周毅, 等. MRI-超声融合引导下前列腺靶向穿 刺活检的最新进展. 中华外科杂志, 2016, 54（10）：792） [3] Qu H W, Liu H, Cui Z L, et al. Focusing on MRI-suspected lesions in targeted transrectal prostate biopsy guided by MRI-TRUS fusion imaging for the diagnosis of prostate cancer. Natl J Androl, 2016, 22（9）: 782 （曲华伟, 刘辉, 崔子连, 等. 重点穿刺MRI可疑病灶区域在 [4] MRI/TRUS融合成像引导靶向前列腺穿刺中的诊断价值. 中华 男科学杂志, 2016, 22（9）：782） Schlenker B, Apfelbeck M, Buchner A, et al. MRI-TRUS fusion biopsy of the prostate: quality of image fusion in a clinical setting. Clin Hemorheol Microcirculat, 2018, 70（4）: 433 [5] Mitra J, Martí R, Oliver A, et al. Prostate multimodality image registration based on B-splines and quadrature local energy. Int J Comput Assisted Radiol Surg, 2012, 7（3）: 445 [6] Sun Y, Yuan J, Qiu W, et al. Three-dimensional nonrigid MRTRUS registration using dual optimization. IEEE Trans Med Imag, 2015, 34（5）: 1085 [7] Moradi M, Janoos F, Fedorov A, et al. Two solutions for registration of ultrasound to MRI for image-guided prostate interventions // 2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego, 2012: 1129 [8] Fedorov A, Khallaghi S, Sánchez C A, et al. Open-source image registration for MRI-TRUS fusion-guided prostate interventions. Int J Comput Assisted Radiol Surg, 2015, 10（6）: 925 [9] Ni D, Wu H L. MRI-TRUS multi-modality image fusion for targeted prostate biopsy. J Shenzhen Univ Sci Eng, 2016, 33（2）: 111 （倪东, 吴海浪. 基于核磁-超声融合的前列腺靶向穿刺系统. 深 圳大学学报: 理工版, 2016, 33（2）：111） [10] Wang W R. Research on Prostate Puncture Assisted by MR and TRUS Image[Dissertation]. Harbin: Harbin Institute of Technology, 2018 （王炜荣. MR与TRUS图像辅助前列腺穿刺技术研究[学位论 文]. 哈尔滨: 哈尔滨工业大学, 2018） [11] Du C. MR and TRUS Image Denoising and Segmentation Methods in Prostate Puncture Guidance[Dissertation]. Harbin: Harbin Institute of Technology, 2019 （杜超. 前列腺穿刺引导中的MR和TRUS图像去噪与分割方法 [学位论文]. 哈尔滨: 哈尔滨工业大学, 2019） [12] Cootes T F, Edwards G J, Taylor C J. Active appearance models. IEEE Trans Pattern Anal Mach Intellig, 2001, 23（6）: 681 [13] Bookstein F L. Principal warps: thin-plate splines and the decomposition of deformations. IEEE Trans Pattern Anal Mach Intellig, 1989, 11（6）: 567 [14] Svetnik V, Liaw A, Tong C, et al. Random forest: a classification and regression tool for compound classification and QSAR modeling. J Chem Inf Comput Sci, 2003, 43（6）: 1947 [15] Rohr K, Fornefett M, Stiehl H S. Spline-based elastic image registration: integration of landmark errors and orientation attributes. Comput Vision Image Understand, 2003, 90（2）: 153 [16] Evangelidis G D, Psarakis E Z. Parametric image alignment using enhanced correlation coefficient maximization. IEEE Trans Pattern Anal Mach Intellig, 2008, 30（10）: 1858 [17] Ghosh P, Mitchell M, Tanyi J A, et al. Incorporating priors for medical image segmentation using a genetic algorithm. Neurocomputing, 2016, 195: 181 [18] 表 1 尿道特征点定位结果对比 Table 1 Comparison of location results of urethral points Sample Method proposed Literature method DSC TE/mm DSC TE/mm 1 0.9938 1.76 0.9939 1.93 2 0.9873 1.24 0.9816 3.84 3 0.9897 1.92 0.9893 1.27 4 0.9906 1.58 0.9872 2.55 5 0.9871 1.47 0.9884 1.42 AP 0.9897 1.59 0.9880 2.20 d2 0.0024 0.23 0.0039 0.93 · 1370 · 工程科学学报，第 42 卷，第 10 期