第10卷第2期 智能系统学报 Vol.10 No.2 2015年4月 CAAI Transactions on Intelligent Systems Apr.2015 D0:10.3969/j.issn.1673-4785.201411022 网络出版地址:http://www.enki..net/kcms/detail/23.1538.TP.20150326.1017.006.html 基于仿生形象思维方法的图像检索算法的改进 陈阳,董肖莉2,李卫军2,张丽萍2,覃鸿2 (1.工业和信息化部中国电子信息产业发展研究院,北京100846:2.中国科学院半导体研究所人工神经网络实验 室,北京100083) 摘要:基于仿生形象思维方法的图像检索算法主要是模仿人脑的形象思维对图像认知,从全新角度提取图像特征 而设计的一种新算法。此算法把每幅图像都映射成高维空间一个点,通过计算点和点之间的判别函数得到图像之 间的关系。该文利用最直接地描述图像内容的视觉特征,即颜色复杂度来提取图像特征,对基于仿生形象思维方法 的图像检索算法做进一步研究与改进。实验结果表明该方法比文献[1]基于仿生形象思维方法的图像检索算法的 特征提取方法效果有一定的提高。 关键词:仿生形象思维;图像检索:颜色复杂度:特征提取 中图分类号:TP391.4文献标志码:A文章编号:1673-4785(2015)02-0209-06 中文引用格式:陈阳,董肖莉,李卫军,等.基于仿生形象思维方法的图像检索算法的改进[J].智能系统学报,2015,10(2):209- 214. 英文引用格式:CHEN Yang,DONG Xiaoli,LI Weijun,ctal.Improvement of an image retrieval algorithm based on biomimetic i- maginal thinking[J].CAAI Transactions on Intelligent Systems,2015,10(2):209-214. Improvement of an image retrieval algorithm based on biomimetic imaginal thinking CHEN Yang',DONG Xiaoli2,LI Weijun2,ZHANG Liping',QIN Hong? (1.China Center of Information Industry Development,Beijing 100846,China;2.Institute of Semiconductors,Chinese Academy of Sciences,Beijing 100083,China) Abstract:In this paper,a novel image retrieval algorithm based on biomimetic imaginal thinking is used for image cognition by imitating human brain's imaginal thinking and extracting image features from a different perspective. This algorithm maps every image onto a point in the high dimension space,deriving the relations of two images by calculating the discriminant function between the two points.The visual features that can describe image content di- rectly,i.e.color complexity are used to extract image features,in order to improve the image retrieval algorithm based on biomimetic imaginal thinking.The experimental results showed that the performance of this algorithm is better than that of the algorithm proposed by reference [1]. Keywords:biomimetic imaginal thinking;image retrieval;color complexity measure;feature extraction 根据研究对象的不同,现有的图像检索技术 索。一旦标注非常完整适当的话,检索速度和效果 主要有以下3类:基于文本图像检索、基于内容图像 都会非常好,但是随着现在数字图像数量剧增,人工 检索以及基于语义的图像检索。基于文本的图像检 标注的工作量非常大[),而且人工对图像的描述带 索最初采用的方法是人工标注图像并用标注进行检 有主观偏差,所以为了克服基于文本检索的这一缺 点,提出基于内容图像检索(content--based image re- 收稿日期:2014-11-24.网络出版日期:2015-03-26 基金项目:国家自然科学基金重大研究计划资助项目(90920013). rieval,CBIR))。在过去的几十年里,基于内容的 通信作者:董肖莉.E-mail:dongxiaoli@semi.ac.cn. 图像检索受到了广泛的关注,尤其是2000年后,该
第 10 卷第 2 期 智 能 系 统 学 报 Vol.10 №.2 2015 年 4 月 CAAI Transactions on Intelligent Systems Apr. 2015 DOI:10.3969 / j.issn.1673⁃4785.201411022 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20150326.1017.006.html 基于仿生形象思维方法的图像检索算法的改进 陈阳1 ,董肖莉2 ,李卫军2 ,张丽萍2 ,覃鸿2 (1.工业和信息化部 中国电子信息产业发展研究院,北京 100846; 2. 中国科学院半导体研究所 人工神经网络实验 室,北京 100083) 摘 要:基于仿生形象思维方法的图像检索算法主要是模仿人脑的形象思维对图像认知,从全新角度提取图像特征 而设计的一种新算法。 此算法把每幅图像都映射成高维空间一个点,通过计算点和点之间的判别函数得到图像之 间的关系。 该文利用最直接地描述图像内容的视觉特征,即颜色复杂度来提取图像特征,对基于仿生形象思维方法 的图像检索算法做进一步研究与改进。 实验结果表明该方法比文献[1]基于仿生形象思维方法的图像检索算法的 特征提取方法效果有一定的提高。 关键词:仿生形象思维;图像检索;颜色复杂度;特征提取 中图分类号:TP391.4 文献标志码:A 文章编号:1673⁃4785(2015)02⁃0209⁃06 中文引用格式:陈阳,董肖莉,李卫军,等. 基于仿生形象思维方法的图像检索算法的改进[ J]. 智能系统学报, 2015, 10( 2): 209⁃ 214. 英文引用格式:CHEN Yang, DONG Xiaoli, LI Weijun, et al. Improvement of an image retrieval algorithm based on biomimetic i⁃ maginal thinking[J]. CAAI Transactions on Intelligent Systems, 2015, 10(2): 209⁃214. Improvement of an image retrieval algorithm based on biomimetic imaginal thinking CHEN Yang 1 , DONG Xiaoli 2 , LI Weijun 2 , ZHANG Liping 2 , QIN Hong 2 (1. China Center of Information Industry Development, Beijing 100846, China; 2. Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China) Abstract:In this paper, a novel image retrieval algorithm based on biomimetic imaginal thinking is used for image cognition by imitating human brain's imaginal thinking and extracting image features from a different perspective. This algorithm maps every image onto a point in the high dimension space, deriving the relations of two images by calculating the discriminant function between the two points. The visual features that can describe image content di⁃ rectly, i.e. color complexity are used to extract image features, in order to improve the image retrieval algorithm based on biomimetic imaginal thinking. The experimental results showed that the performance of this algorithm is better than that of the algorithm proposed by reference [1]. Keywords:biomimetic imaginal thinking; image retrieval; color complexity measure; feature extraction 收稿日期:2014⁃11⁃24. 网络出版日期:2015⁃03⁃26. 基金项目:国家自然科学基金重大研究计划资助项目(90920013). 通信作者:董肖莉.E⁃mail:dongxiaoli@ semi.ac.cn. 根据研究对象的不同,现有的图像检索[2] 技术 主要有以下 3 类:基于文本图像检索、基于内容图像 检索以及基于语义的图像检索。 基于文本的图像检 索最初采用的方法是人工标注图像并用标注进行检 索。 一旦标注非常完整适当的话,检索速度和效果 都会非常好,但是随着现在数字图像数量剧增,人工 标注的工作量非常大[3] ,而且人工对图像的描述带 有主观偏差,所以为了克服基于文本检索的这一缺 点,提出基于内容图像检索( content⁃based image re⁃ trieval ,CBIR) [3] 。 在过去的几十年里,基于内容的 图像检索受到了广泛的关注,尤其是 2000 年后,该
.210 智能系统学报 第10卷 方法获得极大的发展)。传统基于内容的图像检 础上,根据图像颜色复杂度来提取图像特征,对此算 索技术通常采用一些简单的图像特征,例如颜色、形 法做进一步研究,并且和其他传统基于颜色图像检 状和纹理特征来描述待检索图像的视觉内容,而且 索算法进行比较。实验表明在颜色空间统计颜色复 已经开发出若干CBIR系统。陈晨S]、梁美丽6、宋 杂度来提取图像特征,其检索图像的效果优于其他 卫华[]等分别提出了基于颜色、综合颜色和纹理 基于颜色图像检索算法。 的、基于底层纹理特征的CBIR系统,基本都是利用 1 图像的以上3个特征来进行检索,而这显然是不够 图像检索算法原理 的,对图像的检索率仍有待进一步提高,而且图像相 文献[1]十分详细地介绍了基于仿生形象思维 似性度量也影响其性能,所以检索系统需要融合图 方法的图像检索算法原理,本文在此做简单的介绍。 像高层语义功能。基于语义图像检索就是要建立图 其理论基础就是基于人们对图像视觉反应的以下几 像低层特征到高层语义的映射,其需要融合模式识 个特点发展得到的): 别、人工智能等多个知识领域[),难度也是非常大 1)人们在对图像种类进行辨识的时候,并不需 的。曹建芳等)、庄凌等o)、H.Xie等分别提出 要看清楚图像的细节就能分清楚图像是风景照还是 一种基于颜色、纹理和形状3种语义特征的图像检 人物照等,可见对图像的宏观分类,重点在图像的大 索方法、一种基于稀疏典型性相关分析的图像检索 粒度信息。 方法、和视觉文本级和视觉图像级的上下文查询扩 2)如果把一幅图像分块,比如一幅风景图像, 展的图像检索方法:AlexPapushoy等[]提出了基于 将图像上的山、水、房屋、树木等细节进行分块,但是 显著内容查询的图像检索算法(QSCR),该方法基 如果把它们在水平方向互相调换位置,人们还是一 于人类视觉专注模型,提出了从图像局部到图像全 样能辨识这幅图像属于风景类。由此提出图像分块 局的自下从上的图像检索方法:M.Zand等1]提出 参数排序的位置不变性概念,称为分块参数排序解 了一种纹理分类区别的区域图像检索方法,该方法 决位置不变性方法(order-based block features meth- 将Gbor小波和曲波应用到经过转换得到的规则形 od,OBFM)。 状图像区域中,然后应用拟合方法来编码创建能反 3)当人们在宏观观看一张图像时,如果把它从 映图像最大纹理区别的特征;E.Waia等[4通过结 反面看,则变化的感觉和反过面来旋转轴的方向有 合所有低层特征,提出了一种新颖、快速、高效的混 关,旋转轴为横向和纵向的效果是不对称的。 合框架来进行彩色图像检索,通过颜色矩、角径向变 根据人们对图像视觉的以上3个特点,基于高 换描述和边缘直方图描述分别得到图像的颜色、形 维仿生信息技术[61),文献[1]提出一种新的图像 状和纹理信息。但以上这些方法都是从逻辑思维的 检索算法,其算法的主要步骤如下: 角度解决图像检索的问题,而且大部分基于图像细 1)图像分块 节来进行图像检索。然而人们认知图像时,往往不 一个m×n的原图像数组的矩阵形式为 需要得到很细致的图像细节就能判断出图像属于哪 an a12 din 一类,因此图像检索是一个形象思维的问题。那么 a21 d22 G2n 用逻辑思维的定理、推论等手段的逻辑思维方法,很 难反映图像检索认知过程的本质性,而形象思维是 人的一种本质思维方式),通过人本身的感官来认 am2 在高维仿生信息技术中即为m×n维空间中的 识图像信息。因此根据人形象思维对图像检索的认 知,王守觉院士等)提出的一种基于仿生形象思维 一个点,用数学符号A(m×n)来表示。 将原图像分块,成M×N个子块,则图像子块形 方法的图像检索算法,结合了高维仿生信息技术的 几何分析方法来提取图像特征。此算法与图像分割 式为 算法、图像自动语义索引系统(automatic linguistic B B2 BiN indexing of pictures,ALIP)和HSV空间颜色距离算 B B2 B2N 法比较在检索效率和检索速度上都具有优越性口, 但是和人认知图像还是有一定距离的。本文在此基 B Bvn BMN
方法获得极大的发展[4] 。 传统基于内容的图像检 索技术通常采用一些简单的图像特征,例如颜色、形 状和纹理特征来描述待检索图像的视觉内容,而且 已经开发出若干 CBIR 系统。 陈晨[5] 、梁美丽[6] 、宋 卫华[7]等分别提出了基于颜色、综合颜色和纹理 的、基于底层纹理特征的 CBIR 系统,基本都是利用 图像的以上 3 个特征来进行检索,而这显然是不够 的,对图像的检索率仍有待进一步提高,而且图像相 似性度量也影响其性能,所以检索系统需要融合图 像高层语义功能。 基于语义图像检索就是要建立图 像低层特征到高层语义的映射,其需要融合模式识 别、人工智能等多个知识领域[8] ,难度也是非常大 的。 曹建芳等[9] 、庄凌等[10] 、H. Xie 等[11] 分别提出 一种基于颜色、纹理和形状 3 种语义特征的图像检 索方法、一种基于稀疏典型性相关分析的图像检索 方法、和视觉文本级和视觉图像级的上下文查询扩 展的图像检索方法;AlexPapushoy 等[12] 提出了基于 显著内容查询的图像检索算法(QSCR),该方法基 于人类视觉专注模型,提出了从图像局部到图像全 局的自下从上的图像检索方法;M.Zand 等[13] 提出 了一种纹理分类区别的区域图像检索方法,该方法 将 Gabor 小波和曲波应用到经过转换得到的规则形 状图像区域中,然后应用拟合方法来编码创建能反 映图像最大纹理区别的特征;E.Walia 等[14] 通过结 合所有低层特征,提出了一种新颖、快速、高效的混 合框架来进行彩色图像检索,通过颜色矩、角径向变 换描述和边缘直方图描述分别得到图像的颜色、形 状和纹理信息。 但以上这些方法都是从逻辑思维的 角度解决图像检索的问题,而且大部分基于图像细 节来进行图像检索。 然而人们认知图像时,往往不 需要得到很细致的图像细节就能判断出图像属于哪 一类,因此图像检索是一个形象思维的问题。 那么 用逻辑思维的定理、推论等手段的逻辑思维方法,很 难反映图像检索认知过程的本质性,而形象思维是 人的一种本质思维方式[15] ,通过人本身的感官来认 识图像信息。 因此根据人形象思维对图像检索的认 知,王守觉院士等[1]提出的一种基于仿生形象思维 方法的图像检索算法,结合了高维仿生信息技术的 几何分析方法来提取图像特征。 此算法与图像分割 算法、图像自动语义索引系统( automatic linguistic indexing of pictures, ALIP)和 HSV 空间颜色距离算 法比较在检索效率和检索速度上都具有优越性[1] , 但是和人认知图像还是有一定距离的。 本文在此基 础上,根据图像颜色复杂度来提取图像特征,对此算 法做进一步研究,并且和其他传统基于颜色图像检 索算法进行比较。 实验表明在颜色空间统计颜色复 杂度来提取图像特征,其检索图像的效果优于其他 基于颜色图像检索算法。 1 图像检索算法原理 文献[1]十分详细地介绍了基于仿生形象思维 方法的图像检索算法原理,本文在此做简单的介绍。 其理论基础就是基于人们对图像视觉反应的以下几 个特点发展得到的[1] : 1)人们在对图像种类进行辨识的时候,并不需 要看清楚图像的细节就能分清楚图像是风景照还是 人物照等,可见对图像的宏观分类,重点在图像的大 粒度信息。 2)如果把一幅图像分块,比如一幅风景图像, 将图像上的山、水、房屋、树木等细节进行分块,但是 如果把它们在水平方向互相调换位置,人们还是一 样能辨识这幅图像属于风景类。 由此提出图像分块 参数排序的位置不变性概念,称为分块参数排序解 决位置不变性方法( order⁃based block features meth⁃ od, OBFM)。 3)当人们在宏观观看一张图像时,如果把它从 反面看,则变化的感觉和反过面来旋转轴的方向有 关,旋转轴为横向和纵向的效果是不对称的。 根据人们对图像视觉的以上 3 个特点,基于高 维仿生信息技术[16⁃19] ,文献[1]提出一种新的图像 检索算法,其算法的主要步骤如下: 1) 图像分块 一个 m × n 的原图像数组的矩阵形式为 a11 a12 … a1n a21 a22 … a2n ︙ ︙ ︙ am1 am2 … amn é ë ê ê ê ê ê ê ù û ú ú ú ú ú ú 在高维仿生信息技术中即为 m × n 维空间中的 一个点,用数学符号 A(m × n) 来表示。 将原图像分块,成 M × N 个子块,则图像子块形 式为 B11 B12 … B1N B21 B22 … B2N ︙ ︙ ︙ BM1 BM2 … BMN é ë ê ê ê ê ê ê ù û ú ú ú ú ú ú ·210· 智 能 系 统 学 报 第 10 卷
第2期 陈阳,等:基于仿生形象思维方法的图像检索算法的改进 ·211· 又有, 像素点与周围相邻像素点色度与亮度的复杂度,仅 an a12 提取了图像在微观上的特征,没有分析图像子块各 a21 122 …a2 颜色分量的统计信息,即宏观上的特征。本文在文 B:= 献[1]的基础上,对图像子块的颜色矩进行统计来 提取图像宏观的颜色特征,对文献[1]基于仿生形 ah dk2 ..ahk 即每一图像子块在高维仿生信息技术中即为 象思维方法的图像检索算法做进一步研究与改进。 h×k维空间中的一个点,故原图像转化为h×k维 颜色特征是最常用的底层特征,它给人以最直 空间中的M×N个点,表示为B,(h×k)(i=1,2,…, 观的视觉感受,是能最直接地描述物体或图像内容 M×N)。 的视觉特征。颜色特征通常对噪声、尺寸的缩放、旋 2)子块的特征提取 转等具有很强的鲁棒性。因此基于颜色特征的图像 对h×k维空间中的点B(h×k)(i=1,2,…, 检索技术也是目前为止较成熟、应用最广泛的一种 M×V),用形象思维方法和高维空间几何分析方 CBR技术[20)。颜色特征的描述方法主要有颜色直 法[20]进行几何映射即特征提取,找到一个维数为u 方图、累加直方图、其他各种变形的颜色直方图、颜 的特征空间记为R”=P1,P2,…,PMxN,使得u维特征 色矩和颜色聚合向量等。颜色直方图是图像检索系 空间中的P1P2,…PwxN能与原图像信息融合,u< 统应用最为广泛的颜色特征,然而理论分析和实验 (h×k)o 结果表明,其存在丢失颜色空间分布信息,特征维数 3)特征空间点排序 过高等问题[2)。本文首先选取颜色矩作为颜色 把u维特征空间中的P1P2,…Pwxw各点在水 特征的描述方法。 平方向,每一维特征按照特定规则排序。得到了 颜色矩是Stricker和Orengo提出的一种简单而 维特征空间中新的点序列91,92,…,9xN。 有效的颜色特征,这种方法的数学基础是图像中任 4)将此序列按照水平到垂直的顺序合成:字节 何的颜色分布均可以用它的矩来表示1。同时,由 的特征数据,至此完成了对一幅图像的特征提取。 于颜色分布信息主要集中在低阶矩中,因此仅采用 5)图像匹配 颜色的一阶矩(均值,Mean)和二阶矩(方差,Vari- 每幅图像都转化成高维空间中维数为:的一个 ance)就可以表达图像的颜色分布。与颜色直方图 点。那么利用高维形象几何方法,判别样本图像和 相比,该方法的一大显著优点就是无须对提取出来 图像库中图像之间距离就是分析,维特征空间中的 的特征进行量化,是一种简单有效的颜色特征提取 点与点的关系。本文并不是简单的计算)维特征空 方法。 间中点与点之间的欧式距离来作为判别的依据,而 颜色的2个低阶矩在数学上的表达如下: 是用函数日来计算样本图像与图像库中每一幅图像 的相似距离。因而图像类似判别函数为 ∑P T=[0(01,02),S] (1) 式中:1)Q,、Q2为样本图像和要判别的图像的v维 (p-4,)2) 2 特征向量。 式中:P,表示的是图像中第j像素的第i个颜色分量。 2)S为阈值,可根据实验设定: 本文选择最简单的RGB颜色空间,对于RGB 1,9(01,22)<S 颜色空间一共就6个值。相对于其他颜色特征而 T= (0,其他 言,采用颜色矩表示颜色特征是一个非常紧凑的表 T=1时样本图像和要判别的图像为类似图像, 示方法。 反之则不是。 和文献[1]一样,分析各子块像素点与其周围 3)函数0的计算公式为 相邻8个像素点之间的颜色差异复杂度,这样从宏 0=∑lg max(01i,02.i) 观到微观都提取出图像的颜色特征,然后按照一定 =1 in(Q1.i,02i) 的顺序排序得到图像最后的颜色特征。 2 一种新的图像子块特征提取方法 3试验结果与分析 文献[1]中对图像子块特征提取主要分析的是 本文实验同样使用COREL图像数据库约900
又有, Bi = a11 a12 … a1k a21 a22 … a2k ︙ ︙ ︙ ah1 ah2 … ahk é ë ê ê ê ê ê ê ù û ú ú ú ú ú ú 即每一图像子块在高维仿生信息技术中即为 h ×k 维空间中的一个点,故原图像转化为 h × k 维 空间中的 M × N 个点,表示为 Bi(h × k)(i = 1,2,…, M × N) 。 2)子块的特征提取 对 h × k 维空间中的点 Bi(h × k)(i = 1,2,…, M ×N), 用形象思维方法和高维空间几何分析方 法[20]进行几何映射即特征提取,找到一个维数为 u 的特征空间记为 R u = p1 ,p2 ,…,pM×N, 使得 u 维特征 空间中的 p1 ,p2 ,…,pM×N 能与原图像信息融合, u < (h × k) 。 3)特征空间点排序 把 u 维特征空间中的 p1 ,p2 ,…,pM×N 各点在水 平方向,每一维特征按照特定规则排序。 得到了 u 维特征空间中新的点序列 q1 ,q2 ,…,qM×N 。 4)将此序列按照水平到垂直的顺序合成 v 字节 的特征数据,至此完成了对一幅图像的特征提取。 5)图像匹配 每幅图像都转化成高维空间中维数为 v 的一个 点。 那么利用高维形象几何方法,判别样本图像和 图像库中图像之间距离就是分析 v 维特征空间中的 点与点的关系。 本文并不是简单的计算 v 维特征空 间中点与点之间的欧式距离来作为判别的依据,而 是用函数 θ 来计算样本图像与图像库中每一幅图像 的相似距离。 因而图像类似判别函数为 T = ξ θ Q1 ,Q2 [ ( ) ,S] (1) 式中:1) Q1 、Q2 为样本图像和要判别的图像的 v 维 特征向量。 2) S 为阈值,可根据实验设定: T = 1,θ(Q1 ,Q2 ) < S 0,其他 { T = 1 时样本图像和要判别的图像为类似图像, 反之则不是。 3)函数 θ 的计算公式为 θ = ∑ ν i = 1 lg max(Q1,i,Q2,i) min(Q1,i,Q2,i) 2 一种新的图像子块特征提取方法 文献[1]中对图像子块特征提取主要分析的是 像素点与周围相邻像素点色度与亮度的复杂度,仅 提取了图像在微观上的特征,没有分析图像子块各 颜色分量的统计信息,即宏观上的特征。 本文在文 献[1]的基础上,对图像子块的颜色矩进行统计来 提取图像宏观的颜色特征,对文献[1]基于仿生形 象思维方法的图像检索算法做进一步研究与改进。 颜色特征是最常用的底层特征,它给人以最直 观的视觉感受,是能最直接地描述物体或图像内容 的视觉特征。 颜色特征通常对噪声、尺寸的缩放、旋 转等具有很强的鲁棒性。 因此基于颜色特征的图像 检索技术也是目前为止较成熟、应用最广泛的一种 CBIR 技术[20] 。 颜色特征的描述方法主要有颜色直 方图、累加直方图、其他各种变形的颜色直方图、颜 色矩和颜色聚合向量等。 颜色直方图是图像检索系 统应用最为广泛的颜色特征,然而理论分析和实验 结果表明,其存在丢失颜色空间分布信息,特征维数 过高等问题[21⁃22] 。 本文首先选取颜色矩作为颜色 特征的描述方法。 颜色矩是 Stricker 和 Orengo 提出的一种简单而 有效的颜色特征,这种方法的数学基础是图像中任 何的颜色分布均可以用它的矩来表示[23] 。 同时,由 于颜色分布信息主要集中在低阶矩中,因此仅采用 颜色的一阶矩(均值,Mean) 和二阶矩(方差,Vari⁃ ance)就可以表达图像的颜色分布。 与颜色直方图 相比,该方法的一大显著优点就是无须对提取出来 的特征进行量化,是一种简单有效的颜色特征提取 方法。 颜色的 2 个低阶矩在数学上的表达如下: μi = 1 N∑ N j pi,j σi = ( 1 N∑ N j pi,j - μi ( ) 2 ) 1 2 式中: pi,j 表示的是图像中第 j 像素的第 i 个颜色分量。 本文选择最简单的 RGB 颜色空间,对于 RGB 颜色空间一共就 6 个值。 相对于其他颜色特征而 言,采用颜色矩表示颜色特征是一个非常紧凑的表 示方法。 和文献[1]一样,分析各子块像素点与其周围 相邻 8 个像素点之间的颜色差异复杂度,这样从宏 观到微观都提取出图像的颜色特征,然后按照一定 的顺序排序得到图像最后的颜色特征。 3 试验结果与分析 本文实验同样使用 COREL 图像数据库约 900 第 2 期 陈阳,等:基于仿生形象思维方法的图像检索算法的改进 ·211·
212 智能系统学报 第10卷 幅彩色图像,包恐龙、汽车、风景图、大象、房屋、花等 中算法进行比较。首先分析图像分块时,纵横方向 10类。方便和传统的基于颜色特征算法和文献[1] 不同的子块数量对应的检索查准率,结果如表1。 表1不同子块数量检索结果查准率比较 Table 1 The comparison of the retrieval results precision with different sub-block 纵横分块 图片类型 4×4 4×6 4×8 6x4 6×6 6×8 8×4 8×6 8×8 马 67.01 69.62 72.15 70.89 72.15 69.62 74.68 70.89 73.42 大象 60.71 64.29 63.01 67.86 66.67 69.05 69.05 71.43 70.24 花 74.43 81.32 79.12 83.52 76.92 86.81 78.02 84.62 84.62 食物 63.49 68.25 65.08 63.49 68.25 63.49 65.08 68.25 68.25 风景图 46.88 48.44 50 53.13 53.13 50 50 53.13 54.69 恐龙 94.95 97.98 97.98 94.95 97.98 99.00 100 100 100 汽车 70.1 72.17 70.10 61.86 62.89 67.01 68.04 68.04 67.01 人 65.31 67.35 73.47 67.35 63.27 65.31 63.27 69.39 73.47 房屋 30 38.57 34.29 32.86 34.29 35.71 41.43 42.88 42.86 大海 48.10 49.37 49.37 51.90 50.63 51.90 53.17 46.84 53.16 平均值 62.10 65.74 65.46 64.78 64.62 65.79 66.27 67.55 68.77 如表1所示,发现检索准差率最高的大部分都 于空间分布信息丢失比较大,那么统计颜色直方图 在纵方向和横方向都分成8块中,所以用纵横分块 的算法效果就不好,而本文算法在这类图片上检索 8×8和其他的基于颜色的传统方法做比较。试验结 效果优于基于颜色直方图统计的算法。由此可见, 果如表2。 基于形象思维图像检索算法在处理一些复杂图片检 表2各种算法检索结果查准率比较 索问题时是有效且可行的,其提取图像特征的算法 Table 2 The comparison of the retrieval results with differ- 并没有损失图像空间分布信息,而恰恰利用图像颜 ent method % 色分布空间信息,且从宏观到微观上提取图像颜色 HSV空间 RGB空间 文献[1] 本文 类型 特征。 颜色距离 颜色距离 方法 算法 4结束语 马 79.75 37.97 56 73.42 大象 41.67 42.86 48 70.24 由上面试验结果可见,在颜色空间统计各颜色 花 78.02 41.76 75 84.62 复杂度来提取图像特征,利用仿生形象思维方法来 食物 22.22 33.33 42 68.25 检索图像的效果优于其他算法。仿生形象思维方法 风景图 46.88 4.69 36 54.69 的图像检索更接近人类搜索图像信息的本质特征, 恐龙 使得检索结果有很好地提高。而颜色是最直接地描 100 95.96 90 100 汽车 21.65 述图像内容的视觉特征,提取颜色特征更能与图像 38.14 50 67.01 信息融合。所以通过提取图像颜色空间特征,利用 人 22.45 30.61 40 73.47 仿生形象思维方法的图像检索技术在图像检索领域 房屋 15.71 21.43 52 42.86 是可行且有效的。为了进一步提高本文算法的检索 大海 50.63 11.39 32 53.16 查准率,后期将深入开展将仿生形象思维方法结合 平均值 47.90 35.81 52.1 68.77 颜色、纹理、形状等信息来对图像进行更准确检索的 如表2所示,本文算法在马、花、恐龙图像类上 研究,同时要研究在保证查准率的同时,如何提高算 提高不大,主要是因为,这3类图都是背景简单主体 法的检索速度。 非常明显的图,这类图片用统计颜色直方图的方法, 由于其空间分布信息丢失影响不大,所以效果不错。 参考文献: 但是在对一些图片背景复杂,主体多元的情况下,由 [1]王守觉,孙华.基于仿生形象思维方法的图像检索算法
幅彩色图像,包恐龙、汽车、风景图、大象、房屋、花等 10 类。 方便和传统的基于颜色特征算法和文献[1] 中算法进行比较。 首先分析图像分块时,纵横方向 不同的子块数量对应的检索查准率,结果如表 1。 表 1 不同子块数量检索结果查准率比较 Table 1 The comparison of the retrieval results precision with different sub⁃block % 图片类型 纵横分块 4×4 4×6 4×8 6×4 6×6 6×8 8×4 8×6 8×8 马 67.01 69.62 72.15 70.89 72.15 69.62 74.68 70.89 73.42 大象 60.71 64.29 63.01 67.86 66.67 69.05 69.05 71.43 70.24 花 74.43 81.32 79.12 83.52 76.92 86.81 78.02 84.62 84.62 食物 63.49 68.25 65.08 63.49 68.25 63.49 65.08 68.25 68.25 风景图 46.88 48.44 50 53.13 53.13 50 50 53.13 54.69 恐龙 94.95 97.98 97.98 94.95 97.98 99.00 100 100 100 汽车 70.1 72.17 70.10 61.86 62.89 67.01 68.04 68.04 67.01 人 65.31 67.35 73.47 67.35 63.27 65.31 63.27 69.39 73.47 房屋 30 38.57 34.29 32.86 34.29 35.71 41.43 42.88 42.86 大海 48.10 49.37 49.37 51.90 50.63 51.90 53.17 46.84 53.16 平均值 62.10 65.74 65.46 64.78 64.62 65.79 66.27 67.55 68.77 如表 1 所示,发现检索准差率最高的大部分都 在纵方向和横方向都分成 8 块中,所以用纵横分块 8×8 和其他的基于颜色的传统方法做比较。 试验结 果如表 2。 表 2 各种算法检索结果查准率比较 Table 2 The comparison of the retrieval results with differ⁃ ent method % 类型 HSV 空间 颜色距离 RGB 空间 颜色距离 文献[1] 方法 本文 算法 马 79.75 37.97 56 73.42 大象 41.67 42.86 48 70.24 花 78.02 41.76 75 84.62 食物 22.22 33.33 42 68.25 风景图 46.88 4.69 36 54.69 恐龙 100 95.96 90 100 汽车 21.65 38.14 50 67.01 人 22.45 30.61 40 73.47 房屋 15.71 21.43 52 42.86 大海 50.63 11.39 32 53.16 平均值 47.90 35.81 52.1 68.77 如表 2 所示,本文算法在马、花、恐龙图像类上 提高不大,主要是因为,这 3 类图都是背景简单主体 非常明显的图,这类图片用统计颜色直方图的方法, 由于其空间分布信息丢失影响不大,所以效果不错。 但是在对一些图片背景复杂,主体多元的情况下,由 于空间分布信息丢失比较大,那么统计颜色直方图 的算法效果就不好,而本文算法在这类图片上检索 效果优于基于颜色直方图统计的算法。 由此可见, 基于形象思维图像检索算法在处理一些复杂图片检 索问题时是有效且可行的,其提取图像特征的算法 并没有损失图像空间分布信息,而恰恰利用图像颜 色分布空间信息,且从宏观到微观上提取图像颜色 特征。 4 结束语 由上面试验结果可见,在颜色空间统计各颜色 复杂度来提取图像特征,利用仿生形象思维方法来 检索图像的效果优于其他算法。 仿生形象思维方法 的图像检索更接近人类搜索图像信息的本质特征, 使得检索结果有很好地提高。 而颜色是最直接地描 述图像内容的视觉特征,提取颜色特征更能与图像 信息融合。 所以通过提取图像颜色空间特征,利用 仿生形象思维方法的图像检索技术在图像检索领域 是可行且有效的。 为了进一步提高本文算法的检索 查准率,后期将深入开展将仿生形象思维方法结合 颜色、纹理、形状等信息来对图像进行更准确检索的 研究,同时要研究在保证查准率的同时,如何提高算 法的检索速度。 参考文献: [1]王守觉, 孙华. 基于仿生形象思维方法的图像检索算法 ·212· 智 能 系 统 学 报 第 10 卷
第2期 陈阳,等:基于仿生形象思维方法的图像检索算法的改进 ·213· [J].电子学报,2010,38(5):993-997. retrieval[J].IEEE Transactions on Multimedia,2014,16 WANG Shoujue,SUN Hua.An image retrieval algorithm (4):1104-1114. based on biomimetic imaginal thinking[J].Acta Electronica [12]PAPUSHOY A,BORS A G.Image retrieval based on que- Sinica,2010.38(5):993-997. ry by saliency content [J].Digital Signal Processing, [2]DATTA R,LI J,WANG J Z.Content-based image retriev- 2015,36:156-173. al-approaches and trends of the new age[C]//Proceedings [13]ZAND M,DORAISAMY S.Texture classification and dis- of the Seventh International Workshop on Multimedia Infor- crimination for region-based image retrieval[J].Journal of mation Retrieval.Singapore,2005:253-262. Visual Communication and Image Representation,2015, [3]黄祥林,沈兰荪.基于内容的图像检索技术研究[J].电 26:305-316. 子学报,2002,30(7):1065-1071. [14]WALIA E,VESAL S.An effective and fast hybrid frame- HUANG Xianglin,SHEN Lansun.Research on content- work for color image retrieval[J].Sensing and Imaging, based image retrieval techniques[J].Acta Electronica Sini- 2014,15(1):93-115. ca,2002,30(7):1065-1071. [15]GUPTA A,JAIN R.Visual information retrieval[J].Com- [4]VELTKAMP R C,TANASE M.Content-based image retriev- munications of the ACM,1997,40(5):71-79. al systems:a survey,UU-CS-2000-34[R].Department of [16]王守觉,来弧亮.多维空间仿生信息学入门[M].北京: Computer Science,Utrech University,2002. 国防工业出版社,2008:1. [5]陈晨.基于颜色直方图的图像检索[J].哈尔滨师范大学 [17]王守觉.仿生模式识别(拓扑模式识别)一一种模式 自然科学学报,2014,30(2):31-35. 识别新模型的理论与应用[J].电子学报,2002,30 CHEN Chen.Image retrieval based oil color histogram[]]. (10):1417-1420. Natural Sciences Journal of Harbin Normal University, WANG Shoujue.Bionic (topological)pattern recognition- 2014,30(2):31-35. a new model of pattern recognition theory and its applica- [6]梁美丽,牛之贤.改进的综合颜色纹理特征图像检索 tions[]]Acta Electronica Sinica,2002,30(10):1417- [J].计算机应用与软件,2014,31(6):228-231 1420. LIANG Meili,NIU Zhixian.Improved image retrieval with [18]王守觉,王柏南.人工神经网络的多维空间几何及其理 integrated colour and texture features[].Computer Applica- 论[J].电子学报,2002,30(1):14. tions and Software,2014,31(6):228-231. WANG Shoujue,WANG Bainan.Analysis and theory of [7]宋卫华.基于底层纹理特征的图像检索[J],长春工业大 学学报:自然科学版,2014,35(2):135-138. high dimensional space geometry for artificial neural net- works[J].Acta Electronica Sinica,2002,30(1):1-4. SONG Weihua.Image retrieval based on low-level texture features[J].Journal of Changchun University of Technology: [19]WANG Shoujue,LAI Jiangliang.High dimensional imagery Natural Science Edition,2014,35(2):135-138. geometry and its applications[J].Chinese Journal of Elec- [8]黄祥林,沈兰荪.基于内容的图像检索技术研究[J].电 tronics,2006,15(4):761-767. 子学报,2002,30(7):1065-1071. [20]李志欣,施智平.图像检索中语义映射方法综述[J].计 HUANG Xianglin,SHEN Lansun.Research on content- 算机辅助设计与图形学学报,2008,20(8):1085-1096. based image retrieval techniques[J].Acta Electronica Sini- LI Zhixin,SHI Zhiping.A survey of semantic mapping in ca,2002,30(7):1065-1071. image retrieval[J].Journal of Computer-Aided Design and [9]曹建芳,陈俊杰,赵青杉.基于多语义特征融合的图像检 Computer Graphics,2008,20(8):1085-1096. 索[J].计算机技术与发展,2014,24(5):134-138. [21]DATTA R,LI Jia,WANG J Z.Content-based image re- CAO Jianfang,CHEN Junjie,ZHAO Qingshan.Image re- trieval-approaches and trends of the new age[C]//Pro- trieval based on various semantic feature fusion[J.Conput- ceedings of the 7th International Workshop on Multimedia er Technology and Development,2014,24(5):134-138. Information Retrieval.Singapore,2005:253-262. [10]庄凌,庄越挺,吴江琴,等.一种基于稀疏典型性相关分 [22]于永健,王向阳,吴俊峰.基于颜色复杂度的加权颜色 析的图像检索方法[J].软件学报,2012,23(5):1295- 直方图图像检索算法[J].小型微型计算机系统,2009, 1304 30(3):507-511 ZHUANG Ling,ZHUANG Yueting,WU Jiangqin,et al. YU Yongjian,WANG Xiangyang,WU Junfeng.Weighted Image retrieval approach based on sparse canonical correla- histogram color image retrieval based on color complexity tion analysis[J].Journal of Software,2012,23(5):1295- measure[J].Journal of Chinese Computer Systems,2009. 1304. 30(3):507.511. [11]XIE H,ZHANG Y.Contextual query expansion for image [23]成琳,陈俊杰,相洁.图像颜色特征提取技术的研究与
[J]. 电子学报, 2010, 38(5): 993⁃997. WANG Shoujue, SUN Hua. An image retrieval algorithm based on biomimetic imaginal thinking[J]. Acta Electronica Sinica, 2010, 38(5): 993⁃997. [2]DATTA R, LI J, WANG J Z. Content⁃based image retriev⁃ al—approaches and trends of the new age[C] / / Proceedings of the Seventh International Workshop on Multimedia Infor⁃ mation Retrieval. Singapore, 2005: 253⁃262. [3]黄祥林, 沈兰荪. 基于内容的图像检索技术研究[ J]. 电 子学报, 2002, 30(7): 1065⁃1071. HUANG Xianglin, SHEN Lansun. Research on content⁃ based image retrieval techniques[ J]. Acta Electronica Sini⁃ ca, 2002, 30(7): 1065⁃1071. [4]VELTKAMP R C, TANASE M. Content⁃based image retriev⁃ al systems: a survey,UU⁃CS⁃2000⁃34 [ R]. Department of Computer Science, Utrech University, 2002. [5]陈晨. 基于颜色直方图的图像检索[ J]. 哈尔滨师范大学 自然科学学报, 2014, 30(2): 31⁃35. CHEN Chen. Image retrieval based oil color histogram[ J]. Natural Sciences Journal of Harbin Normal University, 2014, 30(2): 31⁃35. [6]梁美丽, 牛之贤. 改进的综合颜色纹理特征图像检索 [J]. 计算机应用与软件, 2014, 31(6): 228⁃231. LIANG Meili, NIU Zhixian. Improved image retrieval with integrated colour and texture features[J]. Computer Applica⁃ tions and Software, 2014, 31(6): 228⁃231. [7]宋卫华. 基于底层纹理特征的图像检索[ J]. 长春工业大 学学报: 自然科学版, 2014, 35(2): 135⁃138. SONG Weihua. Image retrieval based on low⁃level texture features[J]. Journal of Changchun University of Technology: Natural Science Edition, 2014, 35(2): 135⁃138. [8]黄祥林, 沈兰荪. 基于内容的图像检索技术研究[ J]. 电 子学报, 2002, 30(7): 1065⁃1071. HUANG Xianglin, SHEN Lansun. Research on content⁃ based image retrieval techniques[ J]. Acta Electronica Sini⁃ ca, 2002, 30(7): 1065⁃1071. [9]曹建芳,陈俊杰,赵青杉. 基于多语义特征融合的图像检 索[J]. 计算机技术与发展, 2014, 24(5): 134⁃138. CAO Jianfang, CHEN Junjie, ZHAO Qingshan. Image re⁃ trieval based on various semantic feature fusion[J]. Conput⁃ er Technology and Development, 2014, 24(5): 134⁃138. [10]庄凌,庄越挺,吴江琴, 等. 一种基于稀疏典型性相关分 析的图像检索方法[ J]. 软件学报,2012,23(5): 1295⁃ 1304. ZHUANG Ling, ZHUANG Yueting, WU Jiangqin, et al. Image retrieval approach based on sparse canonical correla⁃ tion analysis[J]. Journal of Software, 2012, 23(5): 1295⁃ 1304. [11]XIE H, ZHANG Y. Contextual query expansion for image retrieval[J]. IEEE Transactions on Multimedia, 2014, 16 (4): 1104⁃1114. [12]PAPUSHOY A , BORS A G. Image retrieval based on que⁃ ry by saliency content [ J ]. Digital Signal Processing, 2015, 36: 156⁃173. [13]ZAND M, DORAISAMY S. Texture classification and dis⁃ crimination for region⁃based image retrieval[ J]. Journal of Visual Communication and Image Representation, 2015, 26: 305⁃316. [14]WALIA E, VESAL S. An effective and fast hybrid frame⁃ work for color image retrieval [ J]. Sensing and Imaging, 2014, 15(1): 93⁃115. [15]GUPTA A, JAIN R. Visual information retrieval[J]. Com⁃ munications of the ACM, 1997, 40(5): 71⁃79. [16]王守觉, 来疆亮. 多维空间仿生信息学入门[M]. 北京: 国防工业出版社, 2008: 1. [17]王守觉. 仿生模式识别(拓扑模式识别)———一种模式 识别新模型的理论与应用[ J]. 电子学报, 2002, 30 (10): 1417⁃1420. WANG Shoujue. Bionic (topological) pattern recognition— a new model of pattern recognition theory and its applica⁃ tions[J]. Acta Electronica Sinica, 2002, 30(10): 1417⁃ 1420. [18]王守觉, 王柏南. 人工神经网络的多维空间几何及其理 论[J]. 电子学报, 2002, 30(1): 1⁃4. WANG Shoujue, WANG Bainan. Analysis and theory of high dimensional space geometry for artificial neural net⁃ works[J]. Acta Electronica Sinica, 2002, 30(1): 1⁃4. [19]WANG Shoujue, LAI Jiangliang. High dimensional imagery geometry and its applications[J]. Chinese Journal of Elec⁃ tronics, 2006, 15(4): 761⁃767. [20]李志欣, 施智平. 图像检索中语义映射方法综述[J]. 计 算机辅助设计与图形学学报, 2008, 20(8): 1085⁃1096. LI Zhixin, SHI Zhiping. A survey of semantic mapping in image retrieval[J]. Journal of Computer⁃Aided Design and Computer Graphics, 2008, 20(8): 1085⁃1096. [21]DATTA R, LI Jia, WANG J Z. Content⁃based image re⁃ trieval⁃approaches and trends of the new age [ C] / / Pro⁃ ceedings of the 7th International Workshop on Multimedia Information Retrieval. Singapore, 2005: 253⁃262. [22]于永健, 王向阳, 吴俊峰. 基于颜色复杂度的加权颜色 直方图图像检索算法[ J]. 小型微型计算机系统,2009, 30(3): 507⁃511. YU Yongjian, WANG Xiangyang, WU Junfeng. Weighted histogram color image retrieval based on color complexity measure[J]. Journal of Chinese Computer Systems, 2009, 30(3): 507⁃511. [23]成琳, 陈俊杰, 相洁. 图像颜色特征提取技术的研究与 第 2 期 陈阳,等:基于仿生形象思维方法的图像检索算法的改进 ·213·
.214. 智能系统学报 第10卷 应用[J].计算机工程与设计,2009,30(14):3451- 3454 董肖莉,女,1985年生,助理研究员,主 CHENG Lin,CHEN Junjie,XIANG Jie.Research and ap- 要研究方向为图像处理、模式识别及智能信 plication of image color feature extraction technology [J]. 息处理。 Computer Engineering and Design,2009.30(14):3451- 3454. 作者简介: 陈阳,女,1984年生,博士,博士后 李卫军,男,1975年生,博士,研究员,主 主要研究方向为模式识别、云计算、大 要研究方向为仿生图像处理技术、仿生模式 数据等。 识别理论与方法、近红外光谱定性分析技 术、高维信息计算。目前,已在国内外刊物、 重要会议上发表学术论文30余篇。 第15届中国机器学习会议 The 15th China Conference on Machine Learning 第15届中国机器学习会议(CCML2015)由中国人工智能学会和中国计算机学会联合主办,中国人工智能学 会机器学习专业委员会和中国计算机学会人工智能与模式识别专业委员会协办,西南交通大学、四川大学承办, 电子科技大学、西华大学、乐山师范学院联合承办。该系列会议每两年举行一次,现已成为国内机器学习界最主 要的学术活动。此次会议将为机器学习及相关研究领域的学者交流最新研究成果、进行广泛的学术讨论提供便 利,并且将邀请国内机器学习领域的著名学者做精彩报告。 Web site:http://sist.swjtu.edu.cn/ccml2015/ 征稿范围(征求但不限于如下主题): 机器学习的新理论、新技术与新应用 距离度量学习 人类学习的计算模型 基于案例的推理 计算学习理论 增量学习与在线学习 监督学习 对复杂结构数据的学习 非监督学习 增强学习系统可理解性 半监督学习 数据挖掘与知识发现 强化学习 聚类 多示例学习 异常检测 神经网络 演化学习 集成学习 符号学习 多任务学习 多Agent学习 特征选择 机器学习应用 流形学习与降维 主动学习 信息检索 多标记学习 生物特征识别 模式识别 生物信息学 大数据学习
应用[J]. 计算机工程与设计, 2009, 30 ( 14): 3451⁃ 3454. CHENG Lin, CHEN Junjie, XIANG Jie. Research and ap⁃ plication of image color feature extraction technology [ J]. Computer Engineering and Design, 2009, 30(14): 3451⁃ 3454. 作者简介: 陈阳,女,1984 年生,博士,博士后, 主要研究方向为模式识别、云计算、大 数据等。 董肖莉,女,1985 年生,助理研究员,主 要研究方向为图像处理、模式识别及智能信 息处理。 李卫军,男,1975 年生,博士,研究员,主 要研究方向为仿生图像处理技术、仿生模式 识别理论与方法、近红外光谱定性分析技 术、高维信息计算。 目前,已在国内外刊物、 重要会议上发表学术论文 30 余篇。 第 15 届中国机器学习会议 The 15th China Conference on Machine Learning 第 15 届中国机器学习会议(CCML2015)由中国人工智能学会和中国计算机学会联合主办,中国人工智能学 会机器学习专业委员会和中国计算机学会人工智能与模式识别专业委员会协办,西南交通大学、四川大学承办, 电子科技大学、西华大学、乐山师范学院联合承办。 该系列会议每两年举行一次,现已成为国内机器学习界最主 要的学术活动。 此次会议将为机器学习及相关研究领域的学者交流最新研究成果、进行广泛的学术讨论提供便 利,并且将邀请国内机器学习领域的著名学者做精彩报告。 Web site:http: / / sist.swjtu.edu.cn / ccml2015 / 征稿范围(征求但不限于如下主题): 机器学习的新理论、新技术与新应用 人类学习的计算模型 计算学习理论 监督学习 非监督学习 半监督学习 强化学习 多示例学习 神经网络 集成学习 多任务学习 特征选择 流形学习与降维 信息检索 生物特征识别 生物信息学 距离度量学习 基于案例的推理 增量学习与在线学习 对复杂结构数据的学习 增强学习系统可理解性 数据挖掘与知识发现 聚类 异常检测 演化学习 符号学习 多 Agent 学习 机器学习应用 主动学习 多标记学习 模式识别 大数据学习 ·214· 智 能 系 统 学 报 第 10 卷