【机器学习】基于医学征象和卷积神经网络的肺结节CT图像哈希检索

第12卷第6期 智能系统学报 Vol.12 No.6 2017年12月 CAAI Transactions on Intelligent Systems Dec.2017 D0:10.11992/tis.201706035 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20171109.1250.014.html 基于医学征象和卷积神经网络的肺结节 CT图像哈希检索 杨晓兰'，强彦，赵涓涓，杜晓平2，赵文婷 (1.太原理工大学计算机科学与技术学院，山西太原030024：2.山西省煤炭中心医院PET/CT中心，山西太原030012) 摘要：针对肺结节图像检索中存在的两个问题：手工设计的特征对肺结节的表达能力不强，生成的哈希码检索效果 不佳。文中提出一种基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法。首先，依据肺结节的9种征象 取值，构造训练集准确的哈希码：其次，利用卷积神经网络和主成分分析法提取肺结节的重要语义特征，并结合训练 集准确的哈希码反向求解哈希函数：最后，提出一种基于自适应比特位的检索方法，实现待查询肺结节图像的快速检 出。通过对数据集进行实验和分析，证实了本文方法在肺结节图像检索过程中取得了较高的准确率和检索精度。 关键词：肺结节；医学征象；卷积神经网络；主成分分析；语义特征；哈希函数；自适应：图像检索 中图分类号：TP391文献标志码：A 文章编号：1673-4785(2017)06-0857-08 中文引用格式：杨晓兰，强彦，赵涓涓，等.基于医学征象和卷积神经网络的肺结节CT图像哈希检索J几.智能系统学报，2017,12(6： 857-864. 英文引用格式：YANG Xiaolan,.QIANG Yan,ZHAO Juanjuan,,etal.Hashing retrieval for CT images of pulmonary nodules based on medical signs and convolutional neural networks[J.CAAI transactions on intelligent systems,2017,12(6):857-864. Hashing retrieval for CT images of pulmonary nodules based on medical signs and convolutional neural networks YANG Xiaolan',QIANG Yan',ZHAO Juanjuan',DU Xiaoping,ZHAO Wenting (1.College of Computer Science and Technology,Taiyuan University of Technology,Taiyuan 030024,China;2.PET/CT Center of Shanxi Coal Central Hospital,Taiyuan 030012,China) Abstract:Existing pulmonary nodule retrieval methods have two problems;it is difficult to express the characteristics of pulmonary nodules using hand-crafted features and the generated hashing codes have poor retrieval performance.To address these issues,this paper proposes a retrieval method for pulmonary nodules in CT images based on medical signs and convolutional neural networks.We first constructed accurate hashing codes using an accurate training set based on the values of the nine signs of pulmonary nodules.We then extracted the important semantic features of pulmonary nod- ules using convolutional neural networks and principal components analysis.In addition,we inversely solved the hash- ing functions by combining the hashing codes with the accurate training set.Finally,we developed a retrieval method, based on adaptive bits,to achieve fast searching for pulmonary nodule images.Extensive experiments and evaluations on data sets show that the method has high accuracy and retrieval precision in the process of pulmonary nodule image retrieval. Keywords:pulmonary nodules:medical signs:convolutional neural networks:principal components analysis:semantic features;Hashing Function;adaptive;image retrieval 收稿日期：2017-06-13.网络出版日期：2017-11-09 肺癌是目前世界上发病率最高的恶性肿瘤之 基金项目：国家自然科学基金项目(61373100)：虚拟现实技术与系 统国家重点实验室开放基金项目(BUAA-VR-I7KF-14, 一，也是男女癌症死亡的主要原因。肺癌的早期 BUAA-VR-17KF.15):山西省回国留学人员科研项目 (2016-038). 检测和诊断在提高治愈率方面起着重要的作用。薄 通信作者：杨晓兰.E-mail:1141183481@qq.com 扫CT作为早期肺癌筛查的重要手段，可以大幅度

DOI: 10.11992/tis.201706035 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20171109.1250.014.html 基于医学征象和卷积神经网络的肺结节 CT 图像哈希检索 杨晓兰1 ，强彦1 ，赵涓涓1 ，杜晓平2 ，赵文婷1 （1. 太原理工大学 计算机科学与技术学院，山西 太原 030024; 2. 山西省煤炭中心医院 PET/CT 中心，山西 太原 030012） 摘 要：针对肺结节图像检索中存在的两个问题：手工设计的特征对肺结节的表达能力不强，生成的哈希码检索效果 不佳。文中提出一种基于医学征象和卷积神经网络的肺结节 CT 图像哈希检索方法。首先，依据肺结节的 9 种征象 取值，构造训练集准确的哈希码；其次，利用卷积神经网络和主成分分析法提取肺结节的重要语义特征，并结合训练 集准确的哈希码反向求解哈希函数；最后，提出一种基于自适应比特位的检索方法，实现待查询肺结节图像的快速检 出。通过对数据集进行实验和分析，证实了本文方法在肺结节图像检索过程中取得了较高的准确率和检索精度。 关键词：肺结节；医学征象；卷积神经网络；主成分分析；语义特征；哈希函数；自适应；图像检索 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2017)06−0857−08 中文引用格式：杨晓兰, 强彦, 赵涓涓, 等. 基于医学征象和卷积神经网络的肺结节 CT 图像哈希检索[J]. 智能系统学报, 2017, 12(6): 857–864. 英文引用格式：YANG Xiaolan, QIANG Yan, ZHAO Juanjuan, et al. Hashing retrieval for CT images of pulmonary nodules based on medical signs and convolutional neural networks[J]. CAAI transactions on intelligent systems, 2017, 12(6): 857–864. Hashing retrieval for CT images of pulmonary nodules based on medical signs and convolutional neural networks YANG Xiaolan1 ，QIANG Yan1 ，ZHAO Juanjuan1 ，DU Xiaoping2 ，ZHAO Wenting1 (1. College of Computer Science and Technology, Taiyuan University of Technology, Taiyuan 030024, China; 2. PET/CT Center of Shanxi Coal Central Hospital, Taiyuan 030012, China) Abstract: Existing pulmonary nodule retrieval methods have two problems; it is difficult to express the characteristics of pulmonary nodules using hand-crafted features and the generated hashing codes have poor retrieval performance. To address these issues, this paper proposes a retrieval method for pulmonary nodules in CT images based on medical signs and convolutional neural networks. We first constructed accurate hashing codes using an accurate training set based on the values of the nine signs of pulmonary nodules. We then extracted the important semantic features of pulmonary nod￾ules using convolutional neural networks and principal components analysis. In addition, we inversely solved the hash￾ing functions by combining the hashing codes with the accurate training set. Finally, we developed a retrieval method, based on adaptive bits, to achieve fast searching for pulmonary nodule images. Extensive experiments and evaluations on data sets show that the method has high accuracy and retrieval precision in the process of pulmonary nodule image retrieval. Keywords: pulmonary nodules; medical signs; convolutional neural networks; principal components analysis; semantic features; Hashing Function; adaptive; image retrieval 肺癌是目前世界上发病率最高的恶性肿瘤之 一，也是男女癌症死亡的主要原因[1]。肺癌的早期 检测和诊断在提高治愈率方面起着重要的作用。薄 扫 CT 作为早期肺癌筛查的重要手段，可以大幅度 收稿日期：2017−06−13. 网络出版日期：2017−11−09. 基金项目：国家自然科学基金项目（61373100）；虚拟现实技术与系 统国家重点实验室开放基金项目（BUAA-VR-17KF-14， BUAA-VR-17KF-15）；山西省回国留学人员科研项目 （2016-038）. 通信作者：杨晓兰. E-mail：1141183481@qq.com. 第 12 卷第 6 期 智 能 系 统 学 报 Vol.12 No.6 2017 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2017

·858· 智能系统学报 第12卷 提高肺癌的早期检出率。但是，CT影像的爆炸式 深度学习和哈希方法在图像检索领域表现出巨 增长明显增加了影像医师的阅片量，可能会出现对 大的优势，肺结节征象可以帮助医师诊断肺部病 肺结节的漏检和误判。计算机辅助诊断(computer 灶。为此，本文提出一种基于医学征象和深度学习 aided diagnosis,CAD)技术为医师检出和诊断肺部 的图像哈希方法。首先，依据4名权威放射科专家 病灶提供了参考依据。在肺癌的计算机辅助诊断 对肺部数据库中9种肺结节征象的注释，将十进制 过程中，基于CT图像的底层特征的诊断方法虽然 整型征象取值转换成二进制编码，以此来构造训练 在提高诊断准确率、降低漏诊率等方面起到了积极 集准确的二值码。其次，利用卷积神经网络和主成 的作用，但是通过计算机获取的图像底层特征与医 分分析方法提取肺结节的重要语义特征，结合训练 师描述的肺结节高级语义特征之间存在很大的差 集准确的哈希码反向求解哈希函数，提升了哈希函 别。医师在诊断肺部病灶时主要依据肺结节的医 数的表达能力。最后，针对哈希码对图像表示的局 学征象，通过对结节的边缘有无毛刺、分叶、钙化等 限性，本文提出一种基于自适应比特位的检索方 征象进行诊断。所以本文依据肺结节的9种征象， 法，可以对哈希码相同实际不相似的肺结节图像进 通过对肺结节图像进行特征提取和哈希映射，在数 行排序，提高了检索精度。 据库中快速找到具有相同征象的肺部CT图像，从 2算法描述 而为医师诊断结节的良恶性提供决策支持。 本文提出的基于医学征象和卷积神经网络的肺 相关工作 结节CT图像哈希检索方法主要包括3部分：1)根 图像哈希方法是一种快速的图像检索方法 据9种征象取值构造训练集准确的哈希码：2)提取 它将图像的高维特征映射到汉明空间，以汉明距离 肺结节征象特征和学习哈希函数；3)基于自适应比 (码间异或)作为相似度度量准则检索图像。最早 特位的相似性检索。基于医学征象和卷积神经网络 的肺结节检索过程如图1所示。 的图像哈希方法是局部敏感哈希(locality sensitive hashing,LSH)I,采用随机投影的方式以较高的概 2.1构造训练集准确的二值码 肺部图像数据库联盟(lung image database con-- 率将相似图像映射到同一个桶中，但是难以取得稳 sortium,LDC)是在整合4名放射科医师对1018个 定结果。为了获得更好的检索效果，谱哈希(spec- 病例，100多万张CT扫描图像的注释基础上建立 tral hashing,SH)利用拉普拉斯特征函数对高维数 的。每个病例对应一个文件夹，包含DICOM序列 据降维，提高了检索效率。迭代量化哈希(iterative 影像和XML文件的肺结节诊断信息。XML诊断 quantization,ITQ)m利用主成分分析(principal com- 信息包含4名放射科专家对每张CT中出现的结节 ponents analysis,PCA)方法对原始高维数据降维， 的定义，医师标注的肺结节诊断信息全面且权威， 然后计算量化误差最小的旋转矩阵来生成对应最优 因此XML文件提供的肺结节标注信息为本文实验 旋转矩阵下的二值码。有监督核哈希(supervised 所用的肺结节CT图像的准确语义描述提供了标准 hashing with kernels,KSH)⑧通过码内积直接优化汉 参考。本文对LIDC数据库提供的XML文件注释 明距离，大幅度减少了计算量。 信息进行提取，创建包含9种CT征象取值的表结 鉴于目前对海量医学影像的分析和图像哈希方 构，如表1所示。 法的优势，已有学者将哈希方法运用于医学影像检 二进制描述符可以将高维的肺结节语义描述 索领域。Jiang等9利用监督信息设计基于核函数和 映射为紧凑的二值码，对海量肺部CT影像的存储 多特征融合的监督核哈希框架，实现乳腺病理图像 和检索而言，具有存储空间小和匹配速度快的优 的快速检索；Liu等1通过迭代量化锚图哈希方法， 势。借鉴十进制转换二进制的思想，本文将十进制 将多模态特征映射成紧致的二值码，在汉明空间实 整型的征象取值转换成紧凑的二值码。根据专家标 现乳腺X射线的检索。 注的十进制征象取值和二值码的转换方式，按照如 凭借深度学习强大的特征表达能力，基于深度 图2所示的方式依次读取信息，最终能够获得准确 学习的哈希方法应运而生。Lu等以图像对为监 表示语义征象的二值码。 督信息，利用卷积神经网络(convolutional neural 2.2肺结节重要语义特征提取 networks,CNNs)来学习图像紧致的哈希码，实现多 医生在诊断肺部病灶时主要依据肺结节的征 媒体图像的快速检索；Yang等在深层网络中设计 象，肺结节征象是医师对肺结节图像的高级语义描 基于误差损失和哈希函数特性的目标函数，使网络 述。肺结节特征的详尽表示，是后续保持相似性哈 能够同时实现图像检索和分类。 希函数学习的重要前提。文献[15]表明基于CNNs

提高肺癌的早期检出率。但是，CT 影像的爆炸式 增长明显增加了影像医师的阅片量，可能会出现对 肺结节的漏检和误判。计算机辅助诊断（computer aided diagnosis，CAD）技术为医师检出和诊断肺部 病灶提供了参考依据[2]。在肺癌的计算机辅助诊断 过程中，基于 CT 图像的底层特征的诊断方法虽然 在提高诊断准确率、降低漏诊率等方面起到了积极 的作用，但是通过计算机获取的图像底层特征与医 师描述的肺结节高级语义特征之间存在很大的差 别 [3]。医师在诊断肺部病灶时主要依据肺结节的医 学征象，通过对结节的边缘有无毛刺、分叶、钙化等 征象进行诊断。所以本文依据肺结节的 9 种征象， 通过对肺结节图像进行特征提取和哈希映射，在数 据库中快速找到具有相同征象的肺部 CT 图像，从 而为医师诊断结节的良恶性提供决策支持。 1 相关工作 图像哈希方法[4]是一种快速的图像检索方法， 它将图像的高维特征映射到汉明空间，以汉明距离 （码间异或）作为相似度度量准则检索图像。最早 的图像哈希方法是局部敏感哈希（locality sensitive hashing，LSH） [5] ，采用随机投影的方式以较高的概 率将相似图像映射到同一个桶中，但是难以取得稳 定结果。为了获得更好的检索效果，谱哈希（spec￾tral hashing，SH） [6]利用拉普拉斯特征函数对高维数 据降维，提高了检索效率。迭代量化哈希（iterative quantization，ITQ） [7]利用主成分分析（principal com￾ponents analysis，PCA）方法对原始高维数据降维， 然后计算量化误差最小的旋转矩阵来生成对应最优 旋转矩阵下的二值码。有监督核哈希（supervised hashing with kernels，KSH） [8]通过码内积直接优化汉 明距离，大幅度减少了计算量。 鉴于目前对海量医学影像的分析和图像哈希方 法的优势，已有学者将哈希方法运用于医学影像检 索领域。Jiang 等 [9]利用监督信息设计基于核函数和 多特征融合的监督核哈希框架，实现乳腺病理图像 的快速检索；Liu 等 [10]通过迭代量化锚图哈希方法， 将多模态特征映射成紧致的二值码，在汉明空间实 现乳腺 X 射线的检索。 凭借深度学习强大的特征表达能力，基于深度 学习的哈希方法应运而生。Liu 等 [11]以图像对为监 督信息，利用卷积神经网络（convolutional neural networks，CNNs）来学习图像紧致的哈希码，实现多 媒体图像的快速检索；Yang 等 [12]在深层网络中设计 基于误差损失和哈希函数特性的目标函数，使网络 能够同时实现图像检索和分类。 深度学习和哈希方法在图像检索领域表现出巨 大的优势，肺结节征象可以帮助医师诊断肺部病 灶。为此，本文提出一种基于医学征象和深度学习 的图像哈希方法。首先，依据 4 名权威放射科专家 对肺部数据库中 9 种肺结节征象的注释，将十进制 整型征象取值转换成二进制编码，以此来构造训练 集准确的二值码。其次，利用卷积神经网络和主成 分分析方法提取肺结节的重要语义特征，结合训练 集准确的哈希码反向求解哈希函数，提升了哈希函 数的表达能力。最后，针对哈希码对图像表示的局 限性，本文提出一种基于自适应比特位的检索方 法，可以对哈希码相同实际不相似的肺结节图像进 行排序，提高了检索精度。 2 算法描述 本文提出的基于医学征象和卷积神经网络的肺 结节 CT 图像哈希检索方法主要包括 3 部分：1) 根 据 9 种征象取值构造训练集准确的哈希码；2) 提取 肺结节征象特征和学习哈希函数；3) 基于自适应比 特位的相似性检索。基于医学征象和卷积神经网络 的肺结节检索过程如图 1 所示。 2.1 构造训练集准确的二值码 肺部图像数据库联盟（lung image database con￾sortium，LIDC） [13]是在整合 4 名放射科医师对 1 018 个 病例，100 多万张 CT 扫描图像的注释基础上建立 的。每个病例对应一个文件夹，包含 DICOM 序列 影像和 XML 文件的肺结节诊断信息。XML 诊断 信息包含 4 名放射科专家对每张 CT 中出现的结节 的定义，医师标注的肺结节诊断信息全面且权威， 因此 XML 文件提供的肺结节标注信息为本文实验 所用的肺结节 CT 图像的准确语义描述提供了标准 参考。本文对 LIDC 数据库提供的 XML 文件注释 信息进行提取，创建包含 9 种 CT 征象取值的表结 构，如表 1 所示。 二进制描述符[14]可以将高维的肺结节语义描述 映射为紧凑的二值码，对海量肺部 CT 影像的存储 和检索而言，具有存储空间小和匹配速度快的优 势。借鉴十进制转换二进制的思想，本文将十进制 整型的征象取值转换成紧凑的二值码。根据专家标 注的十进制征象取值和二值码的转换方式，按照如 图 2 所示的方式依次读取信息，最终能够获得准确 表示语义征象的二值码。 2.2 肺结节重要语义特征提取 医生在诊断肺部病灶时主要依据肺结节的征 象，肺结节征象是医师对肺结节图像的高级语义描 述。肺结节特征的详尽表示，是后续保持相似性哈 希函数学习的重要前提。文献[15]表明基于 CNNs ·858· 智 能 系 统 学 报 第 12 卷

第6期 杨晓兰，等：基于医学征象和卷积神经网络的肺结节CT图像哈希检索 ·859· 的深层特征在图像检索领域表现出比传统手工设计 检索性能，对CNNs更具有弹性。本文首先利用如 特征的方法更好的检索效果。文献[16]表明PCA 图3所示的CNNs框架提取肺结节的高维特征，然 方法在不损失特征质量的前提下还能够保持较高的 后使用PCA方法抽取肺结节的重要语义特征。 ① 2 待查询肺 9种单一征象数据集 有 结节图像 CNNs 肺结节征象特征 提取XML文件中 征象特征提取 的注释信息 9种医学征象的取值 1100100-01001 11010...0101001 11001101i100 i0011…1001i0 10011…1101101 训练哈希函数 相似性检索 11010·1111001 训练集准确的哈希码 图1基于医学征象和卷积神经网络的肺结节CT图像检索方法 Fig.1 Retrieval method of pulmonary nodules CT images based on medical signs and CNNs 表1含有9种肺结节征象的表结构 Table 1 The table structure that contains nine signs feature 9种征象的取值 肺结节编号 精细度 内部结构钙化球形度 边缘分叶毛刺 纹理特征 恶性程度 000071_1 1 6 3 3 3 4 5 000123_2 5 6 3 3 3 5 5 0000803 5 6 3 3 4 J 5 000061_4 6 3 3 5 0000415 6 肺部CT图像 肺结节01 肺结节02 肺结节03 肺结节n 9种征象的取值 精细度5 内部结构1 钙化征6 球形度3 边缘3 分叶征3 毛刺征4纹理特征5 恶性程度5 二值码映射 00-0101 00-0001 00-0110 00-0011 000011 00+0011 00-0100 00-0101 00-0101 图2肺结节征象的二值码编码 Fig.2 Binary encoding of signs of pulmonary nodules

的深层特征在图像检索领域表现出比传统手工设计 特征的方法更好的检索效果。文献[16]表明 PCA 方法在不损失特征质量的前提下还能够保持较高的 检索性能，对 CNNs 更具有弹性。本文首先利用如 图 3 所示的 CNNs 框架提取肺结节的高维特征，然 后使用 PCA 方法抽取肺结节的重要语义特征。 ᒭ䆍➥ᒭ᣼ं CNNs ᪜ܩ䃙㏯৴ጸ 㗦㏿㞮ᒭ䆍➥ᒭ 1100100Ă01001 ⰤѨᕓᷬ㉎ Ă Ă 9 ⻹ࢁ̬ᒭ䆍᪜ᢚ䯲 ᣼ंXML᪳Т͙ ⮰∔䛶ԍᖛ 9 ⻹ࡧ႒ᒭ䆍⮰ंը 11010Ă0101001 11001Ă1011100 10011Ă1001101   10011Ă1101101 11010Ă1111001 䃙㏯䯲۲⶚⮰৴ጸⴭ ᒱᴑ䄎㗦 ׻㞮ప㏿ Ŗ ŗ Ř 图 1 基于医学征象和卷积神经网络的肺结节 CT 图像检索方法 Fig. 1 Retrieval method of pulmonary nodules CT images based on medical signs and CNNs 㗦䘔 CT ప׻ 㗦㏿㞮_01 㗦㏿㞮_02 㗦㏿㞮_03 Ă 㗦㏿㞮_n ㇪㏲Ꮢ 5 ڱ䘔㏿Ჰ 1 䧅ࡂᒭ 6 ⤯ᒎᏒ 3 䓥㑄 3 ܲढᒭ 3 ℇݦᒭ 4 ㏥⤲➥ᒭ 5 ᖢᕓ⼷Ꮢ 5 9 ⻹ᒭ䆍⮰ंը θըⴭᭌᄰ 00Ă0101 00Ă0001 00Ă0110 00Ă0011 00Ă0011 00Ă0011 00Ă0100 00Ă0101 00Ă0101 图 2 肺结节征象的二值码编码 Fig. 2 Binary encoding of signs of pulmonary nodules 表 1 含有 9 种肺结节征象的表结构 Table 1 The table structure that contains nine signs feature 肺结节编号 9种征象的取值 精细度 内部结构 钙化 球形度 边缘 分叶 毛刺 纹理特征 恶性程度 000071_1 5 1 6 3 3 3 4 5 5 000123_2 5 1 6 3 3 3 4 5 5 000080_3 5 1 6 3 3 3 4 5 5 000061_4 5 1 6 3 3 3 4 5 5 000041_5 5 1 6 3 3 3 4 5 5 第 6 期 杨晓兰，等：基于医学征象和卷积神经网络的肺结节 CT 图像哈希检索 ·859·

·860· 智能系统学报 第12卷 本相似度的一致性，因而哈希函数的选择至关重 LDC征象训练集 要。本文借鉴LSH中保持内积相似性哈希函数的 构造思想：如果哈希码的长度为k,则需要设计一组 包含k个哈希函数的函数族。哈希函数的定义为 CNNs [h h2...hl=[sign(Wx+b)] (2) 参数迁移 式中：x为肺结节的特征，W为系数向量，b为偏差， 肺结节图像 本文使用PCA处理，所以b的值为0，哈希函数可 简化为 h(x:w)=sign(wx） (3) 为了求解系数，本文在目标函数的设计中，加入 CNNs 哈希函数的约束条件和量化误差，目标函数可表示为 图3基于卷积神经网络的特征提取框架 minO= (4) Fig.3 The convolutional neural network architecture used 约束条件： for features extraction 本文提出基于CNNs的深层次特征提取框架主 h:=-l,1 (5) 要包括包括3部分：1)由多个卷积层和全连接层组 ∑A=0 (6) 成的特征提取层；2)用来对9种单一征象进行分类 的softmax分类器层。肺结节重要语义特征的提取 ∑=l (7) 如算法1所示。 式中：h,=sign(Wx)∈R为哈希码的映射值，Y= 算法1基于CNNs和PCA的重要语义特征 [y…y为训练集准确的哈希码；式(6)要求哈希 提取算法 码均匀分布，式（⑦）要求不同的哈希码之间相互独立。 输入肺结节征象训练集{x,x2,x},对应的 式(4)是通过最小化目标函数求解系数矩阵 征象类别y9∈{1,2，，，=9。 W=[w1w2…w「，保证了不同哈希函数之间的独立 输出肺结节的重要语义特征Y=x1x…xm]。 性，从而学习到最优的哈希函数hx;w)=sign(wx) 1)将肺结节单一征象集输入到卷积神经网络 之后对数据集中的所有肺结节征象特征编码，即可 中，并将网络全连接层输出的肺结节高维表示记为 {x",y9,0,y0 得到肺结节图像的哈希码库H=[h,h2,,hn]。 2)通过softmax分类器建立肺结节高维表示 2.4肺结节的检索过程 与征象类别之间的概率分布p心=)。因为一张 虽然将图像特征映射为哈希码可以加快检索速 肺结节图像可能包含k(心1)种征象，对k种征象的 度，但是哈希码对原始图像的表示有一定的局限 可能值进行累加，同时引入权值衰减项。代价函数 性。如图4所示，不同的特征被映射成相同的哈希 可表示为 码，单纯使用汉明距离度量图像间的相似性不够准 确。如果为查询图像的不同码位自适应地分配不 J()= 同的权值，避免所有码位权值相同对汉明距离的影 =11 =0 响，就可以提高检索性能。为此，本文提出基于自 22 适应比特位的检索方法，具体描述如算法2所示。 =1j=0 式中：0为网络参数组合，1为平衡前后两项的影响 不相似 因子。 3)优化代价函数，选择最优的参数组合0对 特征提取 CNNs网络进行调整。去掉调整好网络中的sof- max分类器层，将CNNs框架中最后一层的输出作 哈希映射 为肺结节的高维特征X=[x…xJ。 01101100 4)计算高维特征矩阵X的PCA映射矩阵 Y=PXo 图4不同的特征被映射成相同的哈希码 2.3哈希函数的学习 Fig.4 The phenomenon that different features are map- 哈希函数必须尽可能地保持哈希前与哈希后样 ped to the same hashing codes

本文提出基于 CNNs 的深层次特征提取框架主 要包括包括 3 部分：1）由多个卷积层和全连接层组 成的特征提取层；2）用来对 9 种单一征象进行分类 的 softmax 分类器层。肺结节重要语义特征的提取 如算法 1 所示。 算法 1 基于 CNNs 和 PCA 的重要语义特征 提取算法 ··· ··· 输入 肺结节征象训练集{x1 , x2 , , xn}，对应的 征象类别 y (i)∈{1, 2, , k}, k=9。 输出 肺结节的重要语义特征 Y=[x ··· 1 x2 xm]。 ··· 1） 将肺结节单一征象集输入到卷积神经网络 中，并将网络全连接层输出的肺结节高维表示记为 {(x (1) , y (2) , , (x (n) , y (n) )}。 2） 通过 softmax 分类器建立肺结节高维表示 X (i) 与征象类别之间的概率分布 p(y=j|x)。因为一张 肺结节图像可能包含 k（k>1）种征象，对 k 种征象的 可能值进行累加，同时引入权值衰减项。代价函数 可表示为 J(θ) = k n   ∑n i=1 ∑1 j=0 1 { y (i) = j } log p ( y (i) = j| x (i) ; θ )   + l 2 ∑k i=1 ∑n j=0 θ 2 i j (1) 式中：θ 为网络参数组合，l 为平衡前后两项的影响 因子。 X = [x1 x2 ··· xn] T 3） 优化代价函数，选择最优的参数组合 θ 对 CNNs 网络进行调整。去掉调整好网络中的 soft￾max 分类器层，将 CNNs 框架中最后一层的输出作 为肺结节的高维特征 。 Y = PX 4） 计算高维特征矩阵 X 的 PCA 映射矩阵 。 2.3 哈希函数的学习 哈希函数必须尽可能地保持哈希前与哈希后样 本相似度的一致性，因而哈希函数的选择至关重 要。本文借鉴 LSH[5]中保持内积相似性哈希函数的 构造思想：如果哈希码的长度为 k，则需要设计一组 包含 k 个哈希函数的函数族。哈希函数的定义为 [h1 h2 ··· hk] T = [sign(W x+b)]T (2) 式中：x 为肺结节的特征，W 为系数向量，b 为偏差， 本文使用 PCA 处理，所以 b 的值为 0，哈希函数可 简化为 h(x;w) = sign(w T x) (3) 为了求解系数，本文在目标函数的设计中，加入 哈希函数的约束条件和量化误差，目标函数可表示为 min w O = ∑n i=1 ∑k j=1 (sign(w T j xi)⊕yi j) (4) 约束条件： hi = {−1,1} k (5) ∑ i hi = 0 (6) 1 n ∑ i hih T i = I (7) ··· 式中：hi=sign(W T x)∈R k 为哈希码的映射值，Y= [y1 y2 yn ]为训练集准确的哈希码；式 (6) 要求哈希 码均匀分布，式 (7) 要求不同的哈希码之间相互独立。 W = [w1 w2 ··· wk] T ··· 式（4）是通过最小化目标函数求解系数矩阵 ，保证了不同哈希函数之间的独立 性，从而学习到最优的哈希函数 h(x;w)=sign(w T x)。 之后对数据集中的所有肺结节征象特征编码，即可 得到肺结节图像的哈希码库 H=[h1 , h2 , , hn ]。 2.4 肺结节的检索过程 虽然将图像特征映射为哈希码可以加快检索速 度，但是哈希码对原始图像的表示有一定的局限 性。如图 4 所示，不同的特征被映射成相同的哈希 码，单纯使用汉明距离度量图像间的相似性不够准 确 [17]。如果为查询图像的不同码位自适应地分配不 同的权值，避免所有码位权值相同对汉明距离的影 响，就可以提高检索性能。为此，本文提出基于自 适应比特位的检索方法，具体描述如算法 2 所示。 LIDC ᒭ䆍䃙㏯䯲 CNNs CNNs 宀䓭᪜࣮ 㗦㏿㞮ప׻ . . . . . . . . . . . . . . . 图 3 基于卷积神经网络的特征提取框架 Fig. 3 The convolutional neural network architecture used for features extraction ➥ᒭ᣼ं ̹ⰤѨ 01101100 ৴ጸᭌᄰ 图 4 不同的特征被映射成相同的哈希码 Fig. 4 The phenomenon that different features are map￾ped to the same hashing codes ·860· 智 能 系 统 学 报 第 12 卷

第6期 杨晓兰，等：基于医学征象和卷积神经网络的肺结节CT图像哈希检索 ·861· 算法2基于自适应比特位的检索算法 输入待查询结节图像x,对应的哈希码 h,={h,",h,,h,,图像库第i幅图像的哈希码 H=[h",h2,,h,,参数，阈值po 输出最近似肺结节图像xp。 肺部CT图像 肺实质图像48×48的肺结节 1)根据式(8)~(9)计算查询结节与图像库间 的汉明距离，选择汉明距离最小的前p个图像得到 图5肺结节的获取过程 肺结节候选集1。 Fig.5 Interception of pulmonary nodule 为了验证本文方法的性能，实验使用平均准确 Dh月=u≠W (8) 率MAP(mean average precision),查准率P@K,召 I={,x2,…,xe}←-sort(DH,'descend') (9) 回率R@K3个指标，和5种常用的哈希算法（包括 2)计算待查询结节的每一位哈希码的权值 LSH、SH、PCA、ITQ、KSH)对本文提出的方法进行 评价。 W)={可1，可2，…，可x}。 初始化权值向量o={1,1,…,1) MAP反映的是在所有相似结节中的检索性能， 相似结节在检索结果中的排序越靠前，MAP值就越 for /=1:P 大。P@K反映的是在检索到的前K个结节中，和 for=1:K 查询结节相似的结节出现的概率。R@K反映的是 判断待查询结节图像的第k位哈希码 相似结节在检索到的前K个结节中，与所有相似结 和图像库第幅图像的哈希码是否相同 节的比值。相关公式的定义为 如果相同，可=(1+)河飞 否则，可k=o MAP(q)= 1兴1子k 名m白R (11) End for End for P@K= #similar lung nodules images in top k results) 3)根据式(10)计算待查询结节与候选集I之间 (12) 的加权汉明距离。 R@K- #[similar lung nodules images in top k results) dh,h）=∑(ohgi-hlD (10) #all similar lung nodules images (13) 4)选择距离最小的数据项作为最近似结节。 3.2 实验结果分析 3实验结果与分析 为了得到精确的检索效果，本文首先对本文方 法中的参数1和p进行讨论。 3.1数据集与实验设置 图6所示为不同编码长度下前5个检索结果的 本文方法的实验环境是Visual Studio2010. 排序精度，其中1的取值范围为0.1~1，阈值p的取 MATLAB2012b,PC处理器为Intel Core i7-3770, 值分别为5、10、15、20和25。由图6(a)可知，当 主频3.40GHz,内存8GB。用于研究的肺部CT图 p为15时检索精度达到最大值；当1为0.2和0.3 像数据来自公共数据集LIDC和山西某医院（已与 时，本文方法具有较高的检索精度。由图6(b)和 医院签订相关协议，且已征得患者的同意)，该医院 6(d)可知，当p为15时检索精度最高；随着1的增 使用的是美国通用公司的Discovery ST16PET-CT, 大，检索精度值变化不明显。由图6（©）可知，检索 CT采集参数为150mA、140kV,层厚3.75mm, 精度随着1的改变变化很小。因此，本文在自适应 CT图像大小为512×512。 比特位检索方法中将参数1和阈值p分别设置为 为了验证本文方法的有效性，实验所用的 0.3和15。 CT数据集是在专业医师的标注下，利用基于超像 为了比较不同编码长度对检索效果的影响，使 素图和自生成神经森林的肺实质分割算法从肺实 用查全率-查准率(Recall--Precision)来衡量本文方法 质中截取的大小为48×48的矩形区域，如图5所 的性能 示。为了保证训练集和测试集的无关性，本文从 本文在文献[5-121的基础上选取编码长度为12b LIDC数据库中选取了包含9种单一征象的156例 24b、32b、48b、64b、和72b的6组值。图7分别 数据(2669个肺结节)的图像集作为训练集，来自 展示了不同编码长度下，PR曲线的比较结果，可以 合作医院的50例数据(796个结节)的图像集作为 看出本文方法的检索性能随着编码长度的增加而提 测试集。 高，当=64b时，性能趋于稳定。一方面，CNNs提

算法 2 基于自适应比特位的检索算法 ··· ··· 输入 待查询结节图像 x p，对应的哈希码 hq={hq (1) , hq (2) , , hq (K) }，图像库第 i 幅图像的哈希码 Hi=[hi (1) , hi (2) , , hi (K) ]，参数 λ，阈值 ρ。 输出 最近似肺结节图像 xp。 1）根据式（8）～（9）计算查询结节与图像库间 的汉明距离，选择汉明距离最小的前 ρ 个图像得到 肺结节候选集 I。 DH(hq ,hi) = ∑n i=1 (ui , vi) (8) I = {x1, x2,··· , xρ} ← sort(DH, ′ descend′ ) (9) {W} = {ϖ1,ϖ2,···,ϖK} 2）计算待查询结节的每一位哈希码的权值 。 初始化权值向量 ϖk = {1,1,···,1} for j=1：ρ for k=1：K 判断待查询结节图像的第 k 位哈希码 和图像库第 i 幅图像的哈希码是否相同 如果相同， ϖk = (1+λ)ϖk 否则， ϖk = λϖk End for End for 3）根据式（10）计算待查询结节与候选集 I 之间 的加权汉明距离。 d(hq,hI) = ∑k i=1 (ϖ|hqi −hIi |) (10) 4）选择距离最小的数据项作为最近似结节。 3 实验结果与分析 3.1 数据集与实验设置 本文方法的实验环境是 Visual Studio 2010， MATLAB 2012b，PC 处理器为 Intel Core i7-3770， 主频 3.40 GHz，内存 8 GB。用于研究的肺部 CT 图 像数据来自公共数据集 LIDC 和山西某医院（已与 医院签订相关协议，且已征得患者的同意），该医院 使用的是美国通用公司的 Discovery ST16 PET-CT， CT 采集参数为 150 mA、140 kV，层厚 3.75 mm， CT 图像大小为 512×512。 为了验证本文方法的有效性，实验所用的 CT 数据集是在专业医师的标注下，利用基于超像 素 [18]和自生成神经森林的肺实质分割算法[19]从肺实 质中截取的大小为 48×48 的矩形区域，如图 5 所 示。为了保证训练集和测试集的无关性，本文从 LIDC 数据库中选取了包含 9 种单一征象的 156 例 数据（2 669 个肺结节）的图像集作为训练集，来自 合作医院的 50 例数据（796 个结节）的图像集作为 测试集。 为了验证本文方法的性能，实验使用平均准确 率 MAP（mean average precision），查准率 P@K，召 回率 R@K 3 个指标，和 5 种常用的哈希算法（包括 LSH、SH、PCA、ITQ、KSH）对本文提出的方法进行 评价。 MAP 反映的是在所有相似结节中的检索性能， 相似结节在检索结果中的排序越靠前，MAP 值就越 大。P@K 反映的是在检索到的前 K 个结节中，和 查询结节相似的结节出现的概率。R@K 反映的是 相似结节在检索到的前 K 个结节中，与所有相似结 节的比值。相关公式的定义为 MAP(q) = 1 q ∑ |q| j=1 1 mj ∑mj k=1 k Rjk (11) P@K = # { similar lung nodules images in top k results} k (12) R@K = # { similar lung nodules images in top k results} # { all similar lung nodules images} (13) 3.2 实验结果分析 为了得到精确的检索效果，本文首先对本文方 法中的参数 λ 和 ρ 进行讨论。 图 6 所示为不同编码长度下前 5 个检索结果的 排序精度，其中 λ 的取值范围为 0.1~1，阈值 ρ 的取 值分别为 5、10、15、20 和 25。由图 6(a) 可知，当 ρ 为 15 时检索精度达到最大值；当 λ 为 0.2 和 0.3 时，本文方法具有较高的检索精度。由图 6(b) 和 6(d) 可知，当 ρ 为 15 时检索精度最高；随着 λ 的增 大，检索精度值变化不明显。由图 6(c) 可知，检索 精度随着 λ 的改变变化很小。因此，本文在自适应 比特位检索方法中将参数 λ 和阈值 ρ 分别设置为 0.3 和 15。 为了比较不同编码长度对检索效果的影响，使 用查全率-查准率（Recall-Precision）来衡量本文方法 的性能。 本文在文献[5-12]的基础上选取编码长度为 12 b、 24 b、32 b、48 b、64 b、和 72 b 的 6 组值。图 7 分别 展示了不同编码长度下，P-R 曲线的比较结果，可以 看出本文方法的检索性能随着编码长度的增加而提 高，当 r=64 b 时，性能趋于稳定。一方面，CNNs 提 㗦䘔 CT ప׻ 㗦჊䉔ప׻ 48×48⮰㗦㏿㞮 图 5 肺结节的获取过程 Fig. 5 Interception of pulmonary nodule 第 6 期 杨晓兰，等：基于医学征象和卷积神经网络的肺结节 CT 图像哈希检索 ·861·

·862· 智能系统学报 第12卷 取的是肺结节的高层特征，对肺结节的描述越全 度图像，用较短的哈希码就可以表示，加快了匹配 面，检索准确性就越高；另一方面，肺结节图像是灰 速度。 0.49 0.67 0.47 0.65 y045 0.63 0.61 0.43 0.59 0.41 -15 0.57 广0：8·产15 0.39 0.55 0.10.20.30.40.50.60.70.80.91.0 0.10.2030.40.50.60.70.80.91.0 参数入的值 参数】的值 (a)编码长度为24b时的排序结果 b)编码长度为32b时的排序结果 0.72 0.79 0.70 与.45.1s 0.77 0.75 0.68 0.66 0.71 0.64 广0“815 0.69 广0“8-时 0.62 0.67 0.10.20.30.40.50.60.70.80.91.0 0.10.20.30.40.50.60.70.80.91.0 参数1的值 参数入的值 (c)编码长度为48b时的排序结果 (d)编码长度为64b时的排序结果 图6本文方法在编码长度为24b、32b、48b和64b时不同1值和p的排序精度 Fig.6 The sorting precision of our method with different and pfor different hashing bits on 24,32,48,and 64 bits,respec- tively 0.6 0.7 05 0.6 0.4 0.5 0.3 SH 0.4 0.3 0.2 0.2 0.1 0.1 0.2 0.40.6 0.8 1.0 0 0.2 0.40.6 0.8 1.0 Recall Recall (a)12b b)24b 0.8 0.8 0.7 0.7 0.6 ITO 0.6 0.4 ■S3H y05 0.4 LSH 0.3 0.3 0.2 0.2 0.1 0.2 0.4 0.6 0.8 10 0.2 0.4 0.6 0.8 1.0 Recall Recall (c)32b (d48b 1.0 1.0 0.8 ITQ 0.8 PCA 0.6 0.6 LSH 醫SH 0.4 0.2 0.2 0.2 0.40.6 0.81.0 0 0.2 0.4 0.6 0.8 1.0 Recall Recall (e)64b (①72b 图7不同哈希方法的查全率-查准率曲线图 Fig.7 Recall-precision curves for different hash methods

取的是肺结节的高层特征，对肺结节的描述越全 面，检索准确性就越高；另一方面，肺结节图像是灰 度图像，用较短的哈希码就可以表示，加快了匹配 速度。 0.49 0.47 0.45 0.43 0.41 0.39 0.67 0.65 0.63 0.61 0.59 0.57 0.55 0.72 0.70 0.68 0.66 0.64 0.62 0.79 0.77 0.75 0.73 0.71 0.69 0.67 ρ=5 ρ=10 ρ=20 ρ=25 ρ=15 ρ=5 ρ=10 ρ=20 ρ=25 ρ=15 ρ=5 ρ=10 ρ=20 ρ=25 ρ=15 ρ=5 ρ=10 ρ=20 ρ=25 ρ=15 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 ࣮ ᪜λ ⮰ը (a) 㑂ⴭ䪫Ꮢͦ
24 b ᬢ⮰ᢾᎻ㏿᳈ ࣮ ᪜λ ⮰ը (b) 㑂ⴭ䪫Ꮢͦ
32 b ᬢ⮰ᢾᎻ㏿᳈ 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 ࣮ ᪜λ ⮰ը (c) 㑂ⴭ䪫Ꮢͦ
48 b ᬢ⮰ᢾᎻ㏿᳈ ࣮ ᪜λ ⮰ը (d) 㑂ⴭ䪫Ꮢͦ
64 b ᬢ⮰ᢾᎻ㏿᳈ ㋮ᓖ ㋮ᓖ ㋮ᓖ ㋮ᓖ 图 6 本文方法在编码长度为 24 b、32 b、48 b 和 64 b 时不同 λ 值和 ρ 的排序精度 Fig. 6 The sorting precision of our method with different λand ρfor different hashing bits on 24, 32, 48, and 64 bits, respec￾tively 0.6 0.5 0.4 0.3 0.2 0.1 0 0.2 0.4 0.6 0.8 1.0 Recall (a) 12 b ㋮ᓖ ㋮ᓖ ㋮ᓖ ours KSH ITQ PCA SH LSH 0 0.2 0.4 0.6 0.8 1.0 Recall (c) 32 b 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 ours KSH ITQ PCA SH LSH 1.0 0.8 0.6 0.4 0.2 1.0 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1.0 Recall (e) 64 b ours KSH ITQ PCA SH LSH 0.7 0.6 0.5 0.4 0.3 0.2 0.1 ㋮ᓖ ㋮ᓖ ㋮ᓖ 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0.2 0.4 0.6 0.8 1.0 Recall (f) 72 b 0 0.2 0.4 0.6 0.8 1.0 Recall (d) 48 b 0 0.2 0.4 0.6 0.8 1.0 Recall (b) 24 b ours KSH ITQ PCA SH LSH ours KSH ITQ PCA SH LSH ours KSH ITQ PCA SH LSH 图 7 不同哈希方法的查全率–查准率曲线图 Fig. 7 Recall-precision curves for different hash methods ·862· 智 能 系 统 学 报 第 12 卷

第6期 杨晓兰，等：基于医学征象和卷积神经网络的肺结节CT图像哈希检索 ·863· 表2列出了本文方法与其他哈希方法在不同特 优势。本文使用的CNNs特征在不同编码长度下一 征下随着编码长度的增加，所对应的平均准确率 直拥有最高的MPA值，与GIST特征（手工设计）相 (MPA)实验结果。 比.效果分别提升了4.6%、9.2%、11.6%、13%、12.5%、 对比表2中CNNs特征与GIST特征的实验结 11%。进一步验证了从肺结节底层图像到高层语义 果，可以看出基于CNNs特征的检索方法具有明显 中逐层提取的CNNs特征对检索结果的有效性。 表2不同编码长度下两种特征的MPA值 Table 2 The two features of MAP(%)on r bits Gist特征 CNNs特征 方法 12b 24b 32b 48b 64b 72b 12b 24b 32b 48b 64b 72b ours 45.6 60.4 63.2 65.7 67.9 70.3 50.2 69.6 74.8 78.7 80.4 81.3 KSH 30.4 35.8 40.8 46.0 65.9 66.1 42.6 66.2 70.8 74.5 75.9 75.4 ITQ 23.1 26.2 30.3 34.4 37.8 38.6 40.1 55.9 66.7 72.5 76.3 80.4 PCA 16.4 18.7 21.9 23.5 33.1 34.3 22.9 32.1 51.5 62.7 69.2 71.2 SH 6.3 7.5 8.4 10.6 11.2 12.5 20.7 26.4 33.4 36.1 35.8 35.2 LSH 9.7 11.9 15.3 23.6 30.7 30.1 4.8 10.3 18.2 29.1 36.5 42.3 为了评估本文方法的有效性，使用P@K比较 义特征反向求解哈希函数；3)为了进一步提高检索 检索结果中前5个相似结节的精确度。 精度，使用自适应比特位的加权汉明距离代替传统 图8所示是两种方法在不同编码长度下，在检 的汉明距离。本文对公共数据集LDC和医院数据 索到的15个相似结节图像中P@K=5的对比结 集进行实验，验证了本文方法在肺结节图像检索过 果。随着编码长度的增加，两种方法在前5个检索 程中的有效性。未来的工作将研究基于深度哈希的 结果下的精确度都有所提高。当=64b时，本文方 肺结节图像检索，以提高结节图像的检索精度，从 法在检索到的前5个肺结节图像中，精确度达到 而进一步为医师诊断肺部病灶提供参考依据。 88.23%,高于传统方法23.41%。之后随着编码长度 的增加，两种方法的准确率都有所降低。从图中可 参考文献： 以看出，本文方法与汉明直接排序的方法相比，显 [1]REBECCA L,KIMBERLY D M,STACEY A F,et al.Can- 著提高了肺结节的检索精确率。 cer statistics[J].CA:a cancer journal for clinicians,2017, ■本文方法■传统方法 0.90 67(3):177 0.80 2]ZHAO Y,BOCK G H D,VLIEGENTHART R,et al.Per 0.70 formance of computer-aided detection of pulmonary nod- 0.60 ules in low-dose CT:comparison with double reading by 0.50 nodule volume[J].European radiology.2012.22(10):2076. 4 24324864 72 编码长度b [3]CHEN S,NI D,QIN J,et al.Bridging computational fea- tures toward multiple semantic features with multi-task re- 图8不同汉明排序方法的检索结果 gression:a study of CT pulmonary nodules[M //Medical Im- Fig.8 Retrieval results with different Hamming sorting age Computing and Computer-Assisted Intervention-MIC- methods CAI 2016.Springer International Publishing,2016:53-60. 4结束语 [4]VADLAMUDI L N,VADDELLA R P V,DEVARA V.Ro- bust image hashing technique for content authentication 本文提出一种基于医学征象和CNNs的肺结 based on DWT[C]//Proceedings of International Confer- 节CT图像哈希方法，用于实现肺结节CT图像的 ence on Computer Vision and Image Processing.Singapore: 快速检出。本文方法的主要贡献有：1)利用卷积神 Springer,2017:189-191. 经网络和主成分分析法提取肺结节的重要语义特 [5]GIONIS A,IINDYK P,MOTWANI R.Similarity search in 征，能更有效地表示肺结节含有的征象信息；2)通 high dimensions via Hashing[C]//International Conference 过构造征象训练集准确的哈希码和肺结节的重要语 on Very Large Data Bases.Morgan Kaufmann Publishers

表 2 列出了本文方法与其他哈希方法在不同特 征下随着编码长度的增加，所对应的平均准确率 （MPA）实验结果。 对比表 2 中 CNNs 特征与 GIST 特征的实验结 果，可以看出基于 CNNs 特征的检索方法具有明显 优势。本文使用的 CNNs 特征在不同编码长度下一 直拥有最高的 MPA 值，与 GIST 特征（手工设计）相 比，效果分别提升了 4.6%、9.2%、11.6%、13%、12.5%、 11%。进一步验证了从肺结节底层图像到高层语义 中逐层提取的 CNNs 特征对检索结果的有效性。 为了评估本文方法的有效性，使用 P@K 比较 检索结果中前 5 个相似结节的精确度。 图 8 所示是两种方法在不同编码长度下，在检 索到的 15 个相似结节图像中 P@K=5 的对比结 果。随着编码长度的增加，两种方法在前 5 个检索 结果下的精确度都有所提高。当 r=64 b 时，本文方 法在检索到的前 5 个肺结节图像中，精确度达到 88.23%，高于传统方法 23.41%。之后随着编码长度 的增加，两种方法的准确率都有所降低。从图中可 以看出，本文方法与汉明直接排序的方法相比，显 著提高了肺结节的检索精确率。 4 结束语 本文提出一种基于医学征象和 CNNs 的肺结 节 CT 图像哈希方法，用于实现肺结节 CT 图像的 快速检出。本文方法的主要贡献有：1）利用卷积神 经网络和主成分分析法提取肺结节的重要语义特 征，能更有效地表示肺结节含有的征象信息；2）通 过构造征象训练集准确的哈希码和肺结节的重要语 义特征反向求解哈希函数；3）为了进一步提高检索 精度，使用自适应比特位的加权汉明距离代替传统 的汉明距离。本文对公共数据集 LIDC 和医院数据 集进行实验，验证了本文方法在肺结节图像检索过 程中的有效性。未来的工作将研究基于深度哈希的 肺结节图像检索，以提高结节图像的检索精度，从 而进一步为医师诊断肺部病灶提供参考依据。 参考文献： REBECCA L, KIMBERLY D M, STACEY A F, et al. Can￾cer statistics[J]. CA: a cancer journal for clinicians, 2017, 67(3): 177. [1] ZHAO Y, BOCK G H D, VLIEGENTHART R, et al. Per￾formance of computer-aided detection of pulmonary nod￾ules in low-dose CT: comparison with double reading by nodule volume[J]. European radiology, 2012, 22(10): 2076. [2] CHEN S, NI D, QIN J, et al. Bridging computational fea￾tures toward multiple semantic features with multi-task re￾gression: a study of CT pulmonary nodules[M]//Medical Im￾age Computing and Computer-Assisted Intervention-MIC￾CAI 2016. Springer International Publishing, 2016: 53–60. [3] VADLAMUDI L N, VADDELLA R P V, DEVARA V. Ro￾bust image hashing technique for content authentication based on DWT[C]//Proceedings of International Confer￾ence on Computer Vision and Image Processing. Singapore: Springer, 2017: 189–191. [4] GIONIS A, IINDYK P, MOTWANI R. Similarity search in high dimensions via Hashing[C]//International Conference on Very Large Data Bases. Morgan Kaufmann Publishers [5] 0.90 0.80 0.70 0.60 0.50 0.40 12 24 32 48 64 72 㕆⸱䮯ᓖ γ/b ᱘᪳᫥∁ ь㐋᫥∁ P @K=5 图 8 不同汉明排序方法的检索结果 Fig. 8 Retrieval results with different Hamming sorting methods 表 2 不同编码长度下两种特征的 MPA 值 Table 2 The two features of MAP (%) on r bits 方法 Gist特征 CNNs特征 12 b 24 b 32 b 48 b 64 b 72 b 12 b 24 b 32 b 48 b 64 b 72 b ours 45.6 60.4 63.2 65.7 67.9 70.3 50.2 69.6 74.8 78.7 80.4 81.3 KSH 30.4 35.8 40.8 46.0 65.9 66.1 42.6 66.2 70.8 74.5 75.9 75.4 ITQ 23.1 26.2 30.3 34.4 37.8 38.6 40.1 55.9 66.7 72.5 76.3 80.4 PCA 16.4 18.7 21.9 23.5 33.1 34.3 22.9 32.1 51.5 62.7 69.2 71.2 SH 6.3 7.5 8.4 10.6 11.2 12.5 20.7 26.4 33.4 36.1 35.8 35.2 LSH 9.7 11.9 15.3 23.6 30.7 30.1 4.8 10.3 18.2 29.1 36.5 42.3 第 6 期 杨晓兰，等：基于医学征象和卷积神经网络的肺结节 CT 图像哈希检索 ·863·

·864· 智能系统学报 第12卷 1nc.2000:518-529 Diego,USA,2016:97850Q [6]WEISS Y,TORRALBA A,FERGUS R.Spectral Hashing [16]BABENKO,SLESAREV A,CHIGORIN A,et al.Neural [J.Proc nips.2008,282(3):1753-1760. codes for image retrieval[M].Springer International Pub- [7]GONG Y,LAZEBNIK S,GORDO A,et al.Iterative quant- lishing.2014:584599. ization:a procrustean approach to learning binary codes for [17]FU H,KONG X,WANG Z.Binary code reranking meth- large-scale image retrieval[J].IEEE transactions on pattern od with weighted hamming distance[J].Multimedia tools analysis and machine intelligence,2013,35(12):2916-29. and applications,2016,75(3):1391-1408. [8]LIU W,WANG J,JI R,et al.Supervised hashing with ker- [18]王超，王浩，王伟，等.基于优化ROI的医学图像分割与压 nels[C]//2012 IEEE Conference on Computer Vision and 缩方法研究[.重庆邮电大学学报：自然科学版，2015 Pattern Recognition(CVPR).Providence,USA,2012: 27(2):279-284 2074-2081 WANG Chao,WANG Hao,WANG Wei,et al.Study of [9]JING M,ZHANG S,HUANG J,et al.Joint kerel-based su- optimized ROI based medical image segmentation and pervised hashing for scalable histopathological image ana- compression method[J].Journal of Chongqing university lysis[C]//Medical Image Computing and Computer-As- of posts and telecommunications:natural science edition, sisted Intervention 2015.Springer International Publishing. 2015,27(2):279-284 2015.1:558-560. [19]LIAO X,ZHAO J,CHENG J,et al.A segmentation meth- [10]LIU J,ZHANG S,LIU W,et al.Scalable mammogram re- od for lung parenchyma image sequences based on super- trieval using composite anchor graph hashing with iterat- pixels and a self-generating neural forest[J].Plos one, ive quantization[J].IEEE transactions on circuits and sys- 2016,11(8):e0160556 tems for video technology,2016(99):1-1. [11]LIU H M,WANG R P,SHAN S,et al.Deep supervised 作者简介： hashing for fast image retrieval[C]//Proceedings of Interna- 杨晓兰，女，1991年生，硕士研究 tional Conference on Computer Vision and Pattern Recog- 生，主要研究方向为图像处理与图像 检索。 nition(CVPR).Las Vegas,USA,2016:2064-2072. [12]YANG H F,LIN K,CHEN C S.Supervised learning of se- mantics-preserving hash via deep convolutional neural net- works[J].IEEE transactions on pattern analysis and ma- chine intelligence,2015(99):1-1. 强彦，男，1969年生，教授，博士 [13]ARMATO S,MCLENNAN G,MCNITTt-GRAY M.et al. 生导师，博士，主要研究方向为图像处 WEB201B02:the lung image database consortium(LIDC) 理、云计算、大数据。主持参与国家自 and image database resource initiative (IDRI):a completed 然科学基金、虚拟现实技术与系统国 public database of CT scans for lung nodule analysis[J]. 家重点实验室开放基金等项目。 Medical physics,2010,37(6):3416-3417. [14]YANG X,CHENG K T.Local difference binary for ultra- fast and distinctive feature description[J].IEEE transac- 赵涓涓，女，1975年生，教授，博 tions on pattern analysis and machine intelligence,2014, 士生导师，博士，主要研究方向为图像 处理、模式识别、深度学习。主持参与 36(1188-94. 国家自然科学基金、山西省回国留学 [15]TARANDO S R,FETITA C.Increasing CAD system ef- 人员科研资助项目等项目。 ficacy for lung texture analysis using a convolutional net- work[Cl//Proceedings of SPIE 9785,Medical Imaging.San

Inc. 2000: 518–529. WEISS Y, TORRALBA A, FERGUS R. Spectral Hashing [J]. Proc nips, 2008, 282(3): 1753–1760. [6] GONG Y, LAZEBNIK S, GORDO A, et al. Iterative quant￾ization: a procrustean approach to learning binary codes for large-scale image retrieval[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(12): 2916–29. [7] LIU W, WANG J, JI R, et al. Supervised hashing with ker￾nels[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, USA, 2012: 2074–2081. [8] JING M, ZHANG S, HUANG J, et al. Joint kernel-based su￾pervised hashing for scalable histopathological image ana￾lysis[C]//Medical Image Computing and Computer-As￾sisted Intervention 2015. Springer International Publishing, 2015, 1: 558–560. [9] LIU J, ZHANG S, LIU W, et al. Scalable mammogram re￾trieval using composite anchor graph hashing with iterat￾ive quantization[J]. IEEE transactions on circuits and sys￾tems for video technology, 2016(99): 1–1. [10] LIU H M, WANG R P, SHAN S, et al. Deep supervised hashing for fast image retrieval[C]//Proceedings of Interna￾tional Conference on Computer Vision and Pattern Recog￾nition (CVPR). Las Vegas, USA, 2016: 2064–2072. [11] YANG H F, LIN K, CHEN C S. Supervised learning of se￾mantics-preserving hash via deep convolutional neural net￾works[J]. IEEE transactions on pattern analysis and ma￾chine intelligence, 2015(99): 1–1. [12] ARMATO S, MCLENNAN G, MCNITTt-GRAY M, et al. WEB201B02: the lung image database consortium (LIDC) and image database resource initiative (IDRI): a completed public database of CT scans for lung nodule analysis[J]. Medical physics, 2010, 37(6): 3416–3417. [13] YANG X, CHENG K T. Local difference binary for ultra￾fast and distinctive feature description[J]. IEEE transac￾tions on pattern analysis and machine intelligence, 2014, 36(1): 188–94. [14] TARANDO S R, FETITA C. Increasing CAD system ef￾ficacy for lung texture analysis using a convolutional net￾work[C]//Proceedings of SPIE 9785, Medical Imaging. San [15] Diego, USA, 2016: 97850Q. BABENKO, SLESAREV A, CHIGORIN A, et al. Neural codes for image retrieval[M]. Springer International Pub￾lishing, 2014: 584–599. [16] FU H, KONG X, WANG Z. Binary code reranking meth￾od with weighted hamming distance[J]. Multimedia tools and applications, 2016, 75(3): 1391–1408. [17] 王超,王浩,王伟,等. 基于优化 ROI 的医学图像分割与压 缩方法研究[J]. 重庆邮电大学学报: 自然科学版, 2015, 27(2): 279–284. WANG Chao, WANG Hao, WANG Wei, et al. Study of optimized ROI based medical image segmentation and compression method[J]. Journal of Chongqing university of posts and telecommunications: natural science edition, 2015, 27(2): 279–284. [18] LIAO X, ZHAO J, CHENG J, et al. A segmentation meth￾od for lung parenchyma image sequences based on super￾pixels and a self-generating neural forest[J]. Plos one, 2016, 11(8): e0160556. [19] 作者简介： 杨晓兰，女，1991 年生，硕士研究 生，主要研究方向为图像处理与图像 检索。 强彦，男，1969 年生，教授，博士 生导师，博士，主要研究方向为图像处 理、云计算、大数据。主持参与国家自 然科学基金、虚拟现实技术与系统国 家重点实验室开放基金等项目。 赵涓涓，女，1975 年生，教授，博 士生导师，博士，主要研究方向为图像 处理、模式识别、深度学习。主持参与 国家自然科学基金、山西省回国留学 人员科研资助项目等项目。 ·864· 智 能 系 统 学 报 第 12 卷