·858· 智能系统学报 第12卷 提高肺癌的早期检出率。但是,CT影像的爆炸式 深度学习和哈希方法在图像检索领域表现出巨 增长明显增加了影像医师的阅片量,可能会出现对 大的优势,肺结节征象可以帮助医师诊断肺部病 肺结节的漏检和误判。计算机辅助诊断(computer 灶。为此,本文提出一种基于医学征象和深度学习 aided diagnosis,CAD)技术为医师检出和诊断肺部 的图像哈希方法。首先,依据4名权威放射科专家 病灶提供了参考依据。在肺癌的计算机辅助诊断 对肺部数据库中9种肺结节征象的注释,将十进制 过程中,基于CT图像的底层特征的诊断方法虽然 整型征象取值转换成二进制编码,以此来构造训练 在提高诊断准确率、降低漏诊率等方面起到了积极 集准确的二值码。其次,利用卷积神经网络和主成 的作用,但是通过计算机获取的图像底层特征与医 分分析方法提取肺结节的重要语义特征,结合训练 师描述的肺结节高级语义特征之间存在很大的差 集准确的哈希码反向求解哈希函数,提升了哈希函 别。医师在诊断肺部病灶时主要依据肺结节的医 数的表达能力。最后,针对哈希码对图像表示的局 学征象,通过对结节的边缘有无毛刺、分叶、钙化等 限性,本文提出一种基于自适应比特位的检索方 征象进行诊断。所以本文依据肺结节的9种征象, 法,可以对哈希码相同实际不相似的肺结节图像进 通过对肺结节图像进行特征提取和哈希映射,在数 行排序,提高了检索精度。 据库中快速找到具有相同征象的肺部CT图像,从 2算法描述 而为医师诊断结节的良恶性提供决策支持。 本文提出的基于医学征象和卷积神经网络的肺 相关工作 结节CT图像哈希检索方法主要包括3部分:1)根 图像哈希方法是一种快速的图像检索方法 据9种征象取值构造训练集准确的哈希码:2)提取 它将图像的高维特征映射到汉明空间,以汉明距离 肺结节征象特征和学习哈希函数;3)基于自适应比 (码间异或)作为相似度度量准则检索图像。最早 特位的相似性检索。基于医学征象和卷积神经网络 的肺结节检索过程如图1所示。 的图像哈希方法是局部敏感哈希(locality sensitive hashing,LSH)I,采用随机投影的方式以较高的概 2.1构造训练集准确的二值码 肺部图像数据库联盟(lung image database con-- 率将相似图像映射到同一个桶中,但是难以取得稳 sortium,LDC)是在整合4名放射科医师对1018个 定结果。为了获得更好的检索效果,谱哈希(spec- 病例,100多万张CT扫描图像的注释基础上建立 tral hashing,SH)利用拉普拉斯特征函数对高维数 的。每个病例对应一个文件夹,包含DICOM序列 据降维,提高了检索效率。迭代量化哈希(iterative 影像和XML文件的肺结节诊断信息。XML诊断 quantization,ITQ)m利用主成分分析(principal com- 信息包含4名放射科专家对每张CT中出现的结节 ponents analysis,PCA)方法对原始高维数据降维, 的定义,医师标注的肺结节诊断信息全面且权威, 然后计算量化误差最小的旋转矩阵来生成对应最优 因此XML文件提供的肺结节标注信息为本文实验 旋转矩阵下的二值码。有监督核哈希(supervised 所用的肺结节CT图像的准确语义描述提供了标准 hashing with kernels,KSH)⑧通过码内积直接优化汉 参考。本文对LIDC数据库提供的XML文件注释 明距离,大幅度减少了计算量。 信息进行提取,创建包含9种CT征象取值的表结 鉴于目前对海量医学影像的分析和图像哈希方 构,如表1所示。 法的优势,已有学者将哈希方法运用于医学影像检 二进制描述符可以将高维的肺结节语义描述 索领域。Jiang等9利用监督信息设计基于核函数和 映射为紧凑的二值码,对海量肺部CT影像的存储 多特征融合的监督核哈希框架,实现乳腺病理图像 和检索而言,具有存储空间小和匹配速度快的优 的快速检索;Liu等1通过迭代量化锚图哈希方法, 势。借鉴十进制转换二进制的思想,本文将十进制 将多模态特征映射成紧致的二值码,在汉明空间实 整型的征象取值转换成紧凑的二值码。根据专家标 现乳腺X射线的检索。 注的十进制征象取值和二值码的转换方式,按照如 凭借深度学习强大的特征表达能力,基于深度 图2所示的方式依次读取信息,最终能够获得准确 学习的哈希方法应运而生。Lu等以图像对为监 表示语义征象的二值码。 督信息,利用卷积神经网络(convolutional neural 2.2肺结节重要语义特征提取 networks,CNNs)来学习图像紧致的哈希码,实现多 医生在诊断肺部病灶时主要依据肺结节的征 媒体图像的快速检索;Yang等在深层网络中设计 象,肺结节征象是医师对肺结节图像的高级语义描 基于误差损失和哈希函数特性的目标函数,使网络 述。肺结节特征的详尽表示,是后续保持相似性哈 能够同时实现图像检索和分类。 希函数学习的重要前提。文献[15]表明基于CNNs提高肺癌的早期检出率。但是,CT 影像的爆炸式 增长明显增加了影像医师的阅片量,可能会出现对 肺结节的漏检和误判。计算机辅助诊断(computer aided diagnosis,CAD)技术为医师检出和诊断肺部 病灶提供了参考依据[2]。在肺癌的计算机辅助诊断 过程中,基于 CT 图像的底层特征的诊断方法虽然 在提高诊断准确率、降低漏诊率等方面起到了积极 的作用,但是通过计算机获取的图像底层特征与医 师描述的肺结节高级语义特征之间存在很大的差 别 [3]。医师在诊断肺部病灶时主要依据肺结节的医 学征象,通过对结节的边缘有无毛刺、分叶、钙化等 征象进行诊断。所以本文依据肺结节的 9 种征象, 通过对肺结节图像进行特征提取和哈希映射,在数 据库中快速找到具有相同征象的肺部 CT 图像,从 而为医师诊断结节的良恶性提供决策支持。 1 相关工作 图像哈希方法[4]是一种快速的图像检索方法, 它将图像的高维特征映射到汉明空间,以汉明距离 (码间异或)作为相似度度量准则检索图像。最早 的图像哈希方法是局部敏感哈希(locality sensitive hashing,LSH) [5] ,采用随机投影的方式以较高的概 率将相似图像映射到同一个桶中,但是难以取得稳 定结果。为了获得更好的检索效果,谱哈希(spectral hashing,SH) [6]利用拉普拉斯特征函数对高维数 据降维,提高了检索效率。迭代量化哈希(iterative quantization,ITQ) [7]利用主成分分析(principal components analysis,PCA)方法对原始高维数据降维, 然后计算量化误差最小的旋转矩阵来生成对应最优 旋转矩阵下的二值码。有监督核哈希(supervised hashing with kernels,KSH) [8]通过码内积直接优化汉 明距离,大幅度减少了计算量。 鉴于目前对海量医学影像的分析和图像哈希方 法的优势,已有学者将哈希方法运用于医学影像检 索领域。Jiang 等 [9]利用监督信息设计基于核函数和 多特征融合的监督核哈希框架,实现乳腺病理图像 的快速检索;Liu 等 [10]通过迭代量化锚图哈希方法, 将多模态特征映射成紧致的二值码,在汉明空间实 现乳腺 X 射线的检索。 凭借深度学习强大的特征表达能力,基于深度 学习的哈希方法应运而生。Liu 等 [11]以图像对为监 督信息,利用卷积神经网络(convolutional neural networks,CNNs)来学习图像紧致的哈希码,实现多 媒体图像的快速检索;Yang 等 [12]在深层网络中设计 基于误差损失和哈希函数特性的目标函数,使网络 能够同时实现图像检索和分类。 深度学习和哈希方法在图像检索领域表现出巨 大的优势,肺结节征象可以帮助医师诊断肺部病 灶。为此,本文提出一种基于医学征象和深度学习 的图像哈希方法。首先,依据 4 名权威放射科专家 对肺部数据库中 9 种肺结节征象的注释,将十进制 整型征象取值转换成二进制编码,以此来构造训练 集准确的二值码。其次,利用卷积神经网络和主成 分分析方法提取肺结节的重要语义特征,结合训练 集准确的哈希码反向求解哈希函数,提升了哈希函 数的表达能力。最后,针对哈希码对图像表示的局 限性,本文提出一种基于自适应比特位的检索方 法,可以对哈希码相同实际不相似的肺结节图像进 行排序,提高了检索精度。 2 算法描述 本文提出的基于医学征象和卷积神经网络的肺 结节 CT 图像哈希检索方法主要包括 3 部分:1) 根 据 9 种征象取值构造训练集准确的哈希码;2) 提取 肺结节征象特征和学习哈希函数;3) 基于自适应比 特位的相似性检索。基于医学征象和卷积神经网络 的肺结节检索过程如图 1 所示。 2.1 构造训练集准确的二值码 肺部图像数据库联盟(lung image database consortium,LIDC) [13]是在整合 4 名放射科医师对 1 018 个 病例,100 多万张 CT 扫描图像的注释基础上建立 的。每个病例对应一个文件夹,包含 DICOM 序列 影像和 XML 文件的肺结节诊断信息。XML 诊断 信息包含 4 名放射科专家对每张 CT 中出现的结节 的定义,医师标注的肺结节诊断信息全面且权威, 因此 XML 文件提供的肺结节标注信息为本文实验 所用的肺结节 CT 图像的准确语义描述提供了标准 参考。本文对 LIDC 数据库提供的 XML 文件注释 信息进行提取,创建包含 9 种 CT 征象取值的表结 构,如表 1 所示。 二进制描述符[14]可以将高维的肺结节语义描述 映射为紧凑的二值码,对海量肺部 CT 影像的存储 和检索而言,具有存储空间小和匹配速度快的优 势。借鉴十进制转换二进制的思想,本文将十进制 整型的征象取值转换成紧凑的二值码。根据专家标 注的十进制征象取值和二值码的转换方式,按照如 图 2 所示的方式依次读取信息,最终能够获得准确 表示语义征象的二值码。 2.2 肺结节重要语义特征提取 医生在诊断肺部病灶时主要依据肺结节的征 象,肺结节征象是医师对肺结节图像的高级语义描 述。肺结节特征的详尽表示,是后续保持相似性哈 希函数学习的重要前提。文献[15]表明基于 CNNs ·858· 智 能 系 统 学 报 第 12 卷