第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feh.2016 D0I:10.11992/is.201505037 网络出版地址：http:/www.cnki.net/kcms/detail/23.1538.TP.20151229.0837.012.html 流形排序的交互式图像分割 曾宪华12，易荣辉2，何姗姗12 (1.重庆邮电大学计算机科学与技术学院，重庆400065：2.重庆邮电大学计算智能重庆市重点实验室，重庆400065) 摘要：针对显著日标检测难以获得有效的目标整体检测导致目标分割困难的问题，采用一种在初始显著图的指导 下添加有效交互信息的方式来获得目标的准确分割。该方法利用边界先验对超像素进行流形排序获得初始显著 图，参照显著图对不显著的目标部分添加目标标记，显著背景部分添加背景标记，利用标记信息对超像素重新进行 流形排序，将获得的显著图与初始显著图融合，对融合后的显著图采用自适应阈值法来获得目标的分割。在B$D图 像数据库中的实验得到的平均正确分割率(TPR)和平均错误分割率(FPR)优于经典的最大相似合并图像分割算法 (MSRM),表明了该算法能有效分割出正确的目标。 关键词：流形排序：交互式图像分割：显著目标：目标检测：显著图：背景标记：目标标记 中图分类号：TP319.4 文献标志码：A文章编号：1673-4785(2016)01-0117-07 中文引用格式：曾宪华，易荣辉，何姗姗.流形排序的交互式图像分割[J].智能系统学报，2016,11(1)：117-123. 英文引用格式：ZENG Xianhua,YI Ronghui,HE Shanshan,etal.Interactive image segmentation based on manifold ranking[J]. CAAI Transactions on Intelligent Systems,2016,11(1):117-123. Interactive image segmentation based on manifold ranking ZENG Xianhua'2,YI Ronghui2,HE Shanshan'2 (1.College of Computer Science and Technology,Chongqing University of Posts and Telecommunication,Chongqing 400065,China; 2.Chongqing Key Laboratory of Computational Intelligence,Chongqing University of Posts and Telecommunication,Chongqing 400065,China) Abstract:The unsatisfactory results of salient object detection have made object segmentation difficult.In this stud- y,we obtain accurate object segmentation by combining effective interactive information under the guidance of an initial saliency map.This method obtains the original saliency map using priori boundaries of the manifold ranking of the superpixels,and based on the obtained saliency map,marks the object labels of the non-salient object parts and the background labels of the salient background parts.Next,the superpixels for generating the new saliency map are re-sorted by manifold ranking with label information,and the newly obtained and original saliency maps are merged.Finally,object segmentation is achieved by adopting the adaptive threshold method for the merged saliency map.Image segmentation experiments with images from the Berkeley segmentation dataset(BSD)image database demonstrate that the proposed method can correctly segment objects from images and that the true positive rate (TPR)and the false positive rate (FPR)results are better than those achieved using the classical maximal similar- ity-based region merging (MSRM)image segmentation algorithm. Keywords:manifold ranking;interactive image segmentation;saliency object;object detection;saliency map; background label;object label 图像分割是图像处理中的一个重要环节，其主区域。图像分割按照是否需要用户交互处理可以分 要的任务是将图像划分为若干具有一致性的不重叠 为自动图像分割、半自动图像分割、纯手动分割。自 动图像分割在没有用户先验指导的前提下对图像进 收稿日期：2015-05-19.网络出版日期：2015-12-29. 基金项目：国家自然科学基金重点资助项目(1401252)：国家自然科行分割往往难以获得可信赖的结果。半自动图像分 学基金资助项目(61075019,61379114)：重庆市基础与前 割方法主要指的是交互式图像分割方法，通过简单 沿研究计划资助项目(cstc2015 jeyjA40036). 通信作者：曾宪华.E-mail:xianhuazeng2005@163.com. 的用户标记，对较为复杂的图像或者难以区分相似
第 １１ 卷第 １ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．１ ２０１６ 年 ２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５０５０３７ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５１２２９．０８３７．０１２．ｈｔｍｌ 流形排序的交互式图像分割 曾宪华１，２ ，易荣辉１，２ ，何姗姗１，２ （１．重庆邮电大学 计算机科学与技术学院，重庆 ４０００６５； ２．重庆邮电大学 计算智能重庆市重点实验室，重庆 ４０００６５） 摘 要：针对显著目标检测难以获得有效的目标整体检测导致目标分割困难的问题，采用一种在初始显著图的指导 下添加有效交互信息的方式来获得目标的准确分割。 该方法利用边界先验对超像素进行流形排序获得初始显著 图，参照显著图对不显著的目标部分添加目标标记，显著背景部分添加背景标记，利用标记信息对超像素重新进行 流形排序，将获得的显著图与初始显著图融合，对融合后的显著图采用自适应阈值法来获得目标的分割。 在 ＢＳＤ 图 像数据库中的实验得到的平均正确分割率（ＴＰＲ）和平均错误分割率（ＦＰＲ）优于经典的最大相似合并图像分割算法 （ＭＳＲＭ），表明了该算法能有效分割出正确的目标。 关键词：流形排序；交互式图像分割；显著目标；目标检测；显著图；背景标记；目标标记 中图分类号：ＴＰ３１９．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０１⁃０１１７⁃０７ 中文引用格式：曾宪华，易荣辉，何姗姗．流形排序的交互式图像分割［Ｊ］． 智能系统学报， ２０１６， １１（１）： １１７⁃１２３． 英文引用格式：ＺＥＮＧ Ｘｉａｎｈｕａ， ＹＩ Ｒｏｎｇｈｕｉ， ＨＥ Ｓｈａｎｓｈａｎ，ｅｔ ａｌ． Ｉｎｔｅｒａｃｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｍａｎｉｆｏｌｄ ｒａｎｋｉｎｇ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１６， １１（１）： １１７⁃１２３． Ｉｎｔｅｒａｃｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｍａｎｉｆｏｌｄ ｒａｎｋｉｎｇ ＺＥＮＧ Ｘｉａｎｈｕａ １，２ ， ＹＩ Ｒｏｎｇｈｕｉ １，２ ， ＨＥ Ｓｈａｎｓｈａｎ １，２ （１． Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ， Ｃｈｏｎｇｑｉｎｇ ４０００６５， Ｃｈｉｎａ； ２． Ｃｈｏｎｇｑｉｎｇ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ， Ｃｈｏｎｇｑｉｎｇ ４０００６５， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｕｎｓａｔｉｓｆａｃｔｏｒｙ ｒｅｓｕｌｔｓ ｏｆ ｓａｌｉｅｎｔ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｈａｖｅ ｍａｄｅ ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｄｉｆｆｉｃｕｌｔ． Ｉｎ ｔｈｉｓ ｓｔｕｄ⁃ ｙ， ｗｅ ｏｂｔａｉｎ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｂｙ ｃｏｍｂｉｎｉｎｇ ｅｆｆｅｃｔｉｖｅ ｉｎｔｅｒａｃｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ ｕｎｄｅｒ ｔｈｅ ｇｕｉｄａｎｃｅ ｏｆ ａｎ ｉｎｉｔｉａｌ ｓａｌｉｅｎｃｙ ｍａｐ． Ｔｈｉｓ ｍｅｔｈｏｄ ｏｂｔａｉｎｓ ｔｈｅ ｏｒｉｇｉｎａｌ ｓａｌｉｅｎｃｙ ｍａｐ ｕｓｉｎｇ ｐｒｉｏｒｉ ｂｏｕｎｄａｒｉｅｓ ｏｆ ｔｈｅ ｍａｎｉｆｏｌｄ ｒａｎｋｉｎｇ ｏｆ ｔｈｅ ｓｕｐｅｒｐｉｘｅｌｓ， ａｎｄ ｂａｓｅｄ ｏｎ ｔｈｅ ｏｂｔａｉｎｅｄ ｓａｌｉｅｎｃｙ ｍａｐ， ｍａｒｋｓ ｔｈｅ ｏｂｊｅｃｔ ｌａｂｅｌｓ ｏｆ ｔｈｅ ｎｏｎ⁃ｓａｌｉｅｎｔ ｏｂｊｅｃｔ ｐａｒｔｓ ａｎｄ ｔｈｅ ｂａｃｋｇｒｏｕｎｄ ｌａｂｅｌｓ ｏｆ ｔｈｅ ｓａｌｉｅｎｔ ｂａｃｋｇｒｏｕｎｄ ｐａｒｔｓ． Ｎｅｘｔ， ｔｈｅ ｓｕｐｅｒｐｉｘｅｌｓ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｔｈｅ ｎｅｗ ｓａｌｉｅｎｃｙ ｍａｐ ａｒｅ ｒｅ⁃ｓｏｒｔｅｄ ｂｙ ｍａｎｉｆｏｌｄ ｒａｎｋｉｎｇ ｗｉｔｈ ｌａｂｅｌ ｉｎｆｏｒｍａｔｉｏｎ， ａｎｄ ｔｈｅ ｎｅｗｌｙ ｏｂｔａｉｎｅｄ ａｎｄ ｏｒｉｇｉｎａｌ ｓａｌｉｅｎｃｙ ｍａｐｓ ａｒｅ ｍｅｒｇｅｄ． Ｆｉｎａｌｌｙ， ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｓ ａｃｈｉｅｖｅｄ ｂｙ ａｄｏｐｔｉｎｇ ｔｈｅ ａｄａｐｔｉｖｅ ｔｈｒｅｓｈｏｌｄ ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ｍｅｒｇｅｄ ｓａｌｉｅｎｃｙ ｍａｐ． Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ｉｍａｇｅｓ ｆｒｏｍ ｔｈｅ Ｂｅｒｋｅｌｅｙ ｓｅｇｍｅｎｔａｔｉｏｎ ｄａｔａｓｅｔ （ＢＳＤ） ｉｍａｇｅ ｄａｔａｂａｓｅ ｄｅｍｏｎｓｔｒａｔｅ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｃａｎ ｃｏｒｒｅｃｔｌｙ ｓｅｇｍｅｎｔ ｏｂｊｅｃｔｓ ｆｒｏｍ ｉｍａｇｅｓ ａｎｄ ｔｈａｔ ｔｈｅ ｔｒｕｅ ｐｏｓｉｔｉｖｅ ｒａｔｅ （ＴＰＲ） ａｎｄ ｔｈｅ ｆａｌｓｅ ｐｏｓｉｔｉｖｅ ｒａｔｅ （ＦＰＲ） ｒｅｓｕｌｔｓ ａｒｅ ｂｅｔｔｅｒ ｔｈａｎ ｔｈｏｓｅ ａｃｈｉｅｖｅｄ ｕｓｉｎｇ ｔｈｅ ｃｌａｓｓｉｃａｌ ｍａｘｉｍａｌ ｓｉｍｉｌａｒ⁃ ｉｔｙ⁃ｂａｓｅｄ ｒｅｇｉｏｎ ｍｅｒｇｉｎｇ （ＭＳＲＭ） ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ｍａｎｉｆｏｌｄ ｒａｎｋｉｎｇ； ｉｎｔｅｒａｃｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ； ｓａｌｉｅｎｃｙ ｏｂｊｅｃｔ； ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ； ｓａｌｉｅｎｃｙ ｍａｐ； ｂａｃｋｇｒｏｕｎｄ ｌａｂｅｌ； ｏｂｊｅｃｔ ｌａｂｅｌ 收稿日期：２０１５⁃０５⁃１９． 网络出版日期：２０１５⁃１２⁃２９． 基金项目：国家自然科学基金重点资助项目 （Ｕ１４０１２５２）；国家自然科 学基金资助项目 （ ６１０７５０１９， ６１３７９１１４） ；重庆市基础与前 沿研究计划资助项目 （ｃｓｔｃ２０１５ｊｃｙｊＡ４００３６）． 通信作者：曾宪华． Ｅ⁃ｍａｉｌ：ｘｉａｎｈｕａｚｅｎｇ２００５＠ １６３．ｃｏｍ． 图像分割是图像处理中的一个重要环节，其主 要的任务是将图像划分为若干具有一致性的不重叠 区域。 图像分割按照是否需要用户交互处理可以分 为自动图像分割、半自动图像分割、纯手动分割。 自 动图像分割在没有用户先验指导的前提下对图像进 行分割往往难以获得可信赖的结果。 半自动图像分 割方法主要指的是交互式图像分割方法，通过简单 的用户标记，对较为复杂的图像或者难以区分相似
·118 智能系统学报 第11卷 的前景和背景区域的图像，具有较好的分割效果。 效性。 当前，交互式图像分割是一个热点研究问题，获 1 得了较大的发展，其中经典的方法，如live wire算 流形排序 法[2】、snake算法[]、随机游走[4)、图割算法[6-] 流形排序由Zhou等[41提出，可以看成是对 最大相似区域合并算法[]等。在交互式分割算法 假设具有流形分布结构的数据进行排序处理。流形 中，用户通过人机交互，使用鼠标在待分割图像中进 排序过程具体描述如下。 行一定的目标和背景标记，给予图像一定的分割指 给定数据集X={x1,x2,…,x,x+1,…,x}属于 导先验信息，然后根据先验信息建立分割算法模型， Rm“。其中x1,x2,…,x表示选出作为标签的数据， 这样交互式分割算法获得的分割目标较为精确。 那么相应的x+1,…,x表示未添加标签需要待排序 受显著目标检测算法启发，当使用显著目标检 的数据。使用f:X→R“表示一个排序函数，其中f 测[9]来获得目标的分割时，理想情况是通过自动 可以看成是一个排序向量f=[f…f]T,f表示 的方法获得目标的整体检测，并能对目标进行有效 每个点x分配的排序值，令y=[为1y2…y.]「，表示 分割。然而，当背景环境较为复杂或者背景中有细 一个指示向量。当x是添加了标签的数据时，y= 小较为突出的物体时，显著目标检测算法很容易失 1;当x4是未添加标签的数据时，y=0。 效，图像中部分不显著目标部分被抑制，而部分显著 首先，对数据集X构建K近邻(K-nearest neigh- bor,K-NN)图G(V,E),V表示数据集X,其中E表 背景部分被突出，获得有效完整的目标分割将会是 示图边的权值，即数据之间的关联度。 一件较为困难的事情。当前，在显著目标检测模型 通过近邻图来计算相似矩阵W,W=[w,].x矩 中，经典的有Ma等町通过在LV颜色空间计算像 阵。当i≠j时0：如式(1)所示，且w:=0。 素与局部邻域像素的差异来获得显著图，然后利用 (1) 模糊增长来分割出显著区域。Gopalakrishnan等[o] w;=exp(-llx;-x;ll2/202) 通过对相似度矩阵W归一化得到矩阵S,先求 提出了基于颜色和方向分布建模的显著区域检测算 度矩阵D=diag{du,…,dnm},da=∑w,则S如式 法。该算法思想是利用颜色和方向视觉特征进行基 (2)所示。 于分布建模的显著性度量，并生成对应的显著图，然 S=D-IWD-V (2) 后在其中选择一个更能体现目标显著性的作为最终 利用排序公式进行迭代处理，当排序得分收敛 显著图。Wei等[)提出基于边界先验的显著性检 不再发生变化时停止，排序公式如式(3)所示。 测算法，该算法利用边界先验和背景先验，将区域的 ft+1)=aSf(t)+(1-a)y,∈[0,1](3) 显著性定义为该区域到图像四周的最短距离，通过 用°表示数列}的极值，表示全部数据集排 对背景的检测获得相应的目标检测。Yang等【a提 序得分最终收敛于∫°f龙表示单个数据x的最终排 出一种基于流形排序的显著性检测算法，利用边界 序得分如式(4)所示。 先验对超像素进行流形排序获得初始显著图，然后 f°=(1-a)(1-aS)-y (4) 再将显著值高的部分作为目标先验，再次对超像素 式中：I因为(1-α)对数据之间相对排序关系没有影 进行流形排序获得显著图。 响，流形排序最终收敛公式可以写成如式(5)所示。 针对利用显著目标检测算法难以获得有效目标 f°=(I-aS)-y (5) 整体检测导致目标分割困难的问题，本文在文献 相应地，通过矩阵变换可以得到非标准化的流 [12]的基础上，提出了一种基于流形排序[415的交 形排序公式 f°=(D-aW)-y (6) 互式图像分割(interative image segmentation based on manifold ranking,IISMR)算法。该算法主要在如下 2 基于流形排序的交互式图像分割 两点进行改进：1)使用交互的方式对超像素进行流 本文采用显著目标检测来获得图像的目标分 形排序来增强不显著的目标部分，抑制显著的背景 割，其中文献[12]已经表明流形排序能有效用于显 部分，能有效避免不显著的目标部分被误分为背景， 著目标检测。将超像素用于流形排序，能更加真实 显著背景部分被误分为目标：2)采用融合初始显著 表示超像素之间相关性，通过对图像中全局的超像 图和交互获得的显著图来增强背景和目标部分的差 素进行流形排序能有效突出目标中的显著部分。但 异，并使用一种自适应的阈值来获得此类图像的有 是对于目标不显著部分，或者显著的背景部分，导致 效目标分割。最后，本文算法在B$D图像分割数 利用显著目标检测来获得完整的图像目标分割仍然 据6]中选取部分图像进行测试，以验证该算法的有 比较困难。为了有效利用显著图来进行目标分割
的前景和背景区域的图像，具有较好的分割效果。 当前，交互式图像分割是一个热点研究问题，获 得了较大的发展，其中经典的方法，如 ｌｉｖｅ ｗｉｒｅ 算 法［１⁃２］ 、ｓｎａｋｅ 算法［３］ 、随机游走［４⁃５］ 、图割算法［６⁃７］ 、 最大相似区域合并算法［８］ 等。 在交互式分割算法 中，用户通过人机交互，使用鼠标在待分割图像中进 行一定的目标和背景标记，给予图像一定的分割指 导先验信息，然后根据先验信息建立分割算法模型， 这样交互式分割算法获得的分割目标较为精确。 受显著目标检测算法启发，当使用显著目标检 测［９⁃１２］来获得目标的分割时，理想情况是通过自动 的方法获得目标的整体检测，并能对目标进行有效 分割。 然而，当背景环境较为复杂或者背景中有细 小较为突出的物体时，显著目标检测算法很容易失 效，图像中部分不显著目标部分被抑制，而部分显著 背景部分被突出，获得有效完整的目标分割将会是 一件较为困难的事情。 当前，在显著目标检测模型 中，经典的有 Ｍａ 等［９］ 通过在 ＬＵＶ 颜色空间计算像 素与局部邻域像素的差异来获得显著图，然后利用 模糊增长来分割出显著区域。 Ｇｏｐａｌａｋｒｉｓｈｎａｎ 等［１０］ 提出了基于颜色和方向分布建模的显著区域检测算 法。 该算法思想是利用颜色和方向视觉特征进行基 于分布建模的显著性度量，并生成对应的显著图，然 后在其中选择一个更能体现目标显著性的作为最终 显著图。 Ｗｅｉ 等 ［１１］提出基于边界先验的显著性检 测算法，该算法利用边界先验和背景先验，将区域的 显著性定义为该区域到图像四周的最短距离，通过 对背景的检测获得相应的目标检测。 Ｙａｎｇ 等 ［１２］提 出一种基于流形排序的显著性检测算法，利用边界 先验对超像素进行流形排序获得初始显著图，然后 再将显著值高的部分作为目标先验，再次对超像素 进行流形排序获得显著图。 针对利用显著目标检测算法难以获得有效目标 整体检测导致目标分割困难的问题，本文在文献 ［１２］的基础上，提出了一种基于流形排序［１４⁃１５］ 的交 互式图像分割（ｉｎｔｅｒａｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｍａｎｉｆｏｌｄ ｒａｎｋｉｎｇ， ＩＩＳＭＲ）算法。 该算法主要在如下 两点进行改进：１）使用交互的方式对超像素进行流 形排序来增强不显著的目标部分，抑制显著的背景 部分，能有效避免不显著的目标部分被误分为背景， 显著背景部分被误分为目标；２）采用融合初始显著 图和交互获得的显著图来增强背景和目标部分的差 异，并使用一种自适应的阈值来获得此类图像的有 效目标分割。 最后，本文算法在 ＢＳＤ 图像分割数 据［１６］中选取部分图像进行测试，以验证该算法的有 效性。 １ 流形排序 流形排序由 Ｚｈｏｕ 等 ［１４⁃１５］提出，可以看成是对 假设具有流形分布结构的数据进行排序处理。 流形 排序过程具体描述如下。 给定数据集 Ｘ ＝ ｛ｘ１ ，ｘ２ ，…，ｘｋ，ｘｋ＋ １ ，…，ｘｎ ｝属于 Ｒ ｍ×ｎ 。 其中 ｘ１ ，ｘ２ ，…，ｘｋ表示选出作为标签的数据， 那么相应的 ｘｋ＋ １ ，…，ｘｎ表示未添加标签需要待排序 的数据。 使用 ƒ：Ｘ→Ｒ ｎ表示一个排序函数，其中 ƒ 可以看成是一个排序向量 ƒ ＝ ［ƒ１ ｆ ２… ƒｎ ］ Ｔ ，ƒｋ 表示 每个点 ｘｋ分配的排序值，令 ｙ ＝ ［ ｙ１ ｙ２… ｙｎ ］ Ｔ ，表示 一个指示向量。 当 ｘｋ 是添加了标签的数据时，ｙｋ ＝ １；当 ｘｋ 是未添加标签的数据时，ｙｋ ＝ ０。 首先，对数据集 Ｘ 构建 Ｋ 近邻（Ｋ⁃ｎｅａｒｅｓｔ ｎｅｉｇｈ⁃ ｂｏｒ， Ｋ⁃ＮＮ）图 Ｇ（Ｖ，Ｅ），Ｖ 表示数据集 Ｘ，其中 Ｅ 表 示图边的权值，即数据之间的关联度。 通过近邻图来计算相似矩阵 Ｗ，Ｗ ＝ ｗｉｊ [ ] ｎ×ｎ矩 阵。 当 ｉ≠ｊ 时 ｗｉｊ如式（１）所示，且 ｗｉｉ ＝ ０。 ｗｉｊ ＝ ｅｘｐ（ － ‖ｘｉ － ｘｊ‖２ ／ ２σ ２ ） （１） 通过对相似度矩阵 Ｗ 归一化得到矩阵 Ｓ，先求 度矩阵 Ｄ ＝ ｄｉａｇ ｄ１１ ，．．．，ｄｎｎ { } ，ｄｉｉ ＝ ∑ｊｗｉｊ，则 Ｓ 如式 （２）所示。 Ｓ ＝ Ｄ －１／ ２ＷＤ －１／ ２ （２） 利用排序公式进行迭代处理，当排序得分收敛 不再发生变化时停止，排序公式如式（３）所示。 ｆ（ｔ ＋ １） ＝ αＳｆ（ｔ） ＋ （１ － α）ｙ，α ∈ ［０，１］ （３） 用 ｆ ∗表示数列 ｆ ∗ ｋ { }的极值，表示全部数据集排 序得分最终收敛于 ｆ ∗ ，ｆ ∗ ｋ 表示单个数据 ｘｋ的最终排 序得分如式（４）所示。 ｆ ∗ ＝ （１ － α） （Ｉ － αＳ） －１ ｙ （４） 式中：Ｉ 因为（１－α）对数据之间相对排序关系没有影 响，流形排序最终收敛公式可以写成如式（５）所示。 ｆ ∗ ＝ （Ｉ － αＳ） －１ ｙ （５） 相应地，通过矩阵变换可以得到非标准化的流 形排序公式 ｆ ∗ ＝ （Ｄ － αＷ） －１ ｙ （６） ２ 基于流形排序的交互式图像分割 本文采用显著目标检测来获得图像的目标分 割，其中文献［１２］已经表明流形排序能有效用于显 著目标检测。 将超像素用于流形排序，能更加真实 表示超像素之间相关性，通过对图像中全局的超像 素进行流形排序能有效突出目标中的显著部分。 但 是对于目标不显著部分，或者显著的背景部分，导致 利用显著目标检测来获得完整的图像目标分割仍然 比较困难。 为了有效利用显著图来进行目标分割， ·１１８· 智 能 系 统 学 报 第 １１ 卷
第1期 曾宪华，等：流形排序的交互式图像分割 ·119· 通过交互的方式，突出不显著目标部分，抑制显著背 目标得分f(x)=1-f(x:),然后依次使用图像下边 景部分，能较好地获得目标的图像分割。 界X。,左边界X,右边界X,作为标签，得到归一化 先采用简单线性迭代聚类(simple linear intera- 排序得分(x)、f(x)、f(x),从而得到相应的显 tive clusterimg,SLIC)算法[a]对图像进行预处理，将 著目标得分f(x:)、f(x)、f(x),x∈X并按照式 图像分割成许多小区域，这些由像素集合构成小区 (8)将4个显著目标得分通过融合，归一化获得初 域在颜色、亮度、纹理等特性上具有相似性，这种小 始显著目标得分F,（x)=[f（x1)f(x2) 区域称之为超像素。该算法可以控制所分割的超像 f(x)]1。 素数目，获得的超像素大小具有较为一致和较好的 (x)=f(x)×f(x)×f(x)×f(x)(8) 边界贴合度，便于后面的排序处理。 式中：k=1,2,…,n。将排序得分F,(x)×255映射 然后对超像素进行流形排序获得初始显著图， 到灰度图像获得初始显著图S,(x),x∈X。 在初始显著图的指导下有针对地在目标不显著部分 2.2目标和背景标记 添加背景标记信息，增强目标部分的显著性，在较显 现有显著目标检测算法很难做到将目标整体部 著的背景部分添加背景标记信息，抑制背景部分的 分检测出来，因为目标可能存在不显著部分，背景区 显著性，利用标记信息重新对超像素进行流形排序， 域存在显著部分。这样图像中不显著的目标部分则 将获得的显著图与初始显著图融合，形成背景与目 难以检测，而一些属于背景中突出部分被检测出来， 标灰度差异较大的显著图，然后通过自适应阈值分 难以做到对目标进行有效的分割。本文为了利用显 割获得目标分割，并在BSD图像数据库中测试，能 著目标检测算法获得目标的有效分割，采用人工标 获得较好的目标分割结果。该算法(SMR)流程如 记的方法来突出不显著的目标区域，抑制突出的背 图1所示。 景区域，通过获得的初始显著图，对初始显著图中不 显著的目标部分对应的原始图像部分进行目标标记 超像素 显著图 显著图 预分割 流行 融合 y,y=[y1为2…y]表示标记的超像素；对初始显著 排序 日标 图中显著的背景部分对应的原始图像部分进行背景 标记y,y=[y1y2…y,];未标记的超像素由y°表 手动标记 值化 示。那么新定义排序指示向量y由3部分构成，如 原始图 流形 式(9)所示。 排序 y=[y*y°y]T (9) 目标 标记图 显著图 二值图 提取 当超像素为目标标记y时，超像素x对应的指 示向量y=1;当超像素标记为背景时y,超像素x 图1 IISMR算法流程 对应的指示向量y=-1;当超像素未标记y°时，相应 Fig.1 The process of IISMR 的超像素x对应的指示向量y=0。这样设定指示 2.1流形排序获得初始显著图 向量，使其在排序处理能有效增加背景和目标的差 在构建近邻相似矩阵W=[w】x时，考虑超像 异，并能有效抑制背景的显著部分，同时通过初始显 素与其近邻有共同边界的超像素，以及与其近邻的 著图来添加标记信息，能增加标记信息的有效性，减 超像素有共同边界的近邻的超像素之间的相似度， 少重复标记处理。 同时将所有边界的超像素认为其关联，并计算它们 2.3显著图融合 之间的相似度。其中超像素间的权值如式(7)所 将标记信息处理作为相应的排序指示向量，然 不。 后对图像的超像素集进行排序处理，获得新的归一 exp(-Ic-C)je(4,US) 化显著目标得分F,(x)。为了避免在流形排序得 10 03 7) 分时，标记的超像素初始排序得分变化较大，将标记 (A:US) 0 的超像素排序后的得分做如下处理，F;(x:)= 式中：A:表示超像素i近邻的超像素，S.表示A,的近 [f(x)f(x,)…f(x,)]T为处理目标标记得分， 邻的超像素，C,和C,表示对应超像素两点在CIELAB F(x)=[f(x)f(x2)…f5(x,)]T为处理后的背 颜色空间的均值)，σ是一个控制权重的因子。 景标记得分，其中f(x)f(x:)如式(10)所示。 将图像四边边界超像素集表示为{X,X。,X, f5(x)=bmax{F,(xk)},k∈[1，p] X}首先将图像顶部边界超像素X,作为标签，然后 f(x）=cmin{F(x)},k∈[1，q](10) 利用非标准化的超像素流形排序公式(6)，求得归 式中：(x)表示已排序后经过处理的目标标记超 -化的排序f(x),k=1,2,…,n,得到相应的显著 像素得分：f(x:)表示已排序后经过处理的背景标
通过交互的方式，突出不显著目标部分，抑制显著背 景部分，能较好地获得目标的图像分割。 先采用简单线性迭代聚类（ ｓｉｍｐｌｅ ｌｉｎｅａｒ ｉｎｔｅｒａ⁃ ｔｉｖｅ ｃｌｕｓｔｅｒｉｍｇ， ＳＬＩＣ）算法［１３］对图像进行预处理，将 图像分割成许多小区域，这些由像素集合构成小区 域在颜色、亮度、纹理等特性上具有相似性，这种小 区域称之为超像素。 该算法可以控制所分割的超像 素数目，获得的超像素大小具有较为一致和较好的 边界贴合度，便于后面的排序处理。 然后对超像素进行流形排序获得初始显著图， 在初始显著图的指导下有针对地在目标不显著部分 添加背景标记信息，增强目标部分的显著性，在较显 著的背景部分添加背景标记信息，抑制背景部分的 显著性，利用标记信息重新对超像素进行流形排序， 将获得的显著图与初始显著图融合，形成背景与目 标灰度差异较大的显著图，然后通过自适应阈值分 割获得目标分割，并在 ＢＳＤ 图像数据库中测试，能 获得较好的目标分割结果。 该算法（ＩＩＳＭＲ）流程如 图 １ 所示。 图 １ ＩＩＳＭＲ 算法流程 Ｆｉｇ．１ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ＩＩＳＭＲ ２．１ 流形排序获得初始显著图 在构建近邻相似矩阵 Ｗ ＝ ｗｉｊ [ ] ｎ×ｎ时，考虑超像 素与其近邻有共同边界的超像素，以及与其近邻的 超像素有共同边界的近邻的超像素之间的相似度， 同时将所有边界的超像素认为其关联，并计算它们 之间的相似度。 其中超像素间的权值如式（７） 所 示。 ｗｉｊ ＝ ｅｘｐ（ － ‖Ｃｉ － Ｃｊ‖ σ ２ ） ０ ，ｊ ∈ （Ａｉ ∪ ＳＡｉ ） ，ｊ ∉ （Ａｉ ∪ ＳＡｉ ） ì î í ï ï ïï （７） 式中：Ａｉ 表示超像素 ｉ 近邻的超像素，ＳＡｉ表示 Ａｉ的近 邻的超像素，Ｃｉ和 Ｃｊ表示对应超像素两点在 ＣＩＥＬＡＢ 颜色空间的均值［１２］ ，σ 是一个控制权重的因子。 将图像四边边界超像素集表示为｛Ｘｔ，Ｘｂ，Ｘｌ， Ｘｒ｝首先将图像顶部边界超像素 Ｘｔ 作为标签，然后 利用非标准化的超像素流形排序公式（６），求得归 一化的排序 ｆ ｔ（ ｘｋ ），ｋ ＝ １，２，…，ｎ，得到相应的显著 目标得分 ｆ ｔ（ｘｋ）＝ １－ｆ ｔ（ｘｋ），然后依次使用图像下边 界 Ｘｂ，左边界 Ｘｌ，右边界 Ｘｒ 作为标签，得到归一化 排序得分 ｆ ｂ（ｘｋ）、 ｆ ｌ（ｘｋ）、 ｆ ｒ（ｘｋ），从而得到相应的显 著目标得分 ｆ ｂ（ｘｋ）、 ｆ ｌ（ｘｋ）、 ｆ ｒ（ｘｋ），ｘｋ∈Ｘ 并按照式 （８）将 ４ 个显著目标得分通过融合，归一化获得初 始显著 目 标 得 分 Ｆ１ （ ｘｋ ） ＝ ［ ｆ １ （ ｘ１ ） ｆ １ （ ｘ２ ） … ｆ １（ｘｎ ）］ Ｔ 。 ｆ １（ｘｋ） ＝ ｆ ｔ（ｘｋ） × ｆ ｂ（ｘｋ） × ｆ ｌ（ｘｋ） × ｆ ｒ（ｘｋ） （８） 式中：ｋ ＝ １，２，…，ｎ。 将排序得分 Ｆ１（ｘｋ） ×２５５ 映射 到灰度图像获得初始显著图 Ｓ１（ｘｋ），ｘｋ∈Ｘ。 ２．２ 目标和背景标记 现有显著目标检测算法很难做到将目标整体部 分检测出来，因为目标可能存在不显著部分，背景区 域存在显著部分。 这样图像中不显著的目标部分则 难以检测，而一些属于背景中突出部分被检测出来， 难以做到对目标进行有效的分割。 本文为了利用显 著目标检测算法获得目标的有效分割，采用人工标 记的方法来突出不显著的目标区域，抑制突出的背 景区域，通过获得的初始显著图，对初始显著图中不 显著的目标部分对应的原始图像部分进行目标标记 ｙ ＋ ，ｙ ＋ ＝ ［ｙ１ ｙ２… ｙｐ］表示标记的超像素；对初始显著 图中显著的背景部分对应的原始图像部分进行背景 标记 ｙ － ，ｙ － ＝ ［ ｙ１ ｙ２… ｙｑ］；未标记的超像素由 ｙ ０表 示。 那么新定义排序指示向量 ｙ 由 ３ 部分构成，如 式（９）所示。 ｙ ＝ ［ｙ ＋ ｙ ０ ｙ － ］ Ｔ （９） 当超像素为目标标记 ｙ ＋时，超像素 ｘｋ对应的指 示向量 ｙｋ ＝ １；当超像素标记为背景时 ｙ － ，超像素 ｘｋ 对应的指示向量 ｙｋ ＝ －１；当超像素未标记 ｙ ０时，相应 的超像素 ｘｋ对应的指示向量 ｙｋ ＝ ０。 这样设定指示 向量，使其在排序处理能有效增加背景和目标的差 异，并能有效抑制背景的显著部分，同时通过初始显 著图来添加标记信息，能增加标记信息的有效性，减 少重复标记处理。 ２．３ 显著图融合 将标记信息处理作为相应的排序指示向量，然 后对图像的超像素集进行排序处理，获得新的归一 化显著目标得分 Ｆ２（ ｘｋ）。 为了避免在流形排序得 分时，标记的超像素初始排序得分变化较大，将标记 的超像素排序后的得分做如下处理， Ｆ ＋ ２ （ ｘｋ ） ＝ ［ｆ ＋ ２（ｘ１ ） ｆ ＋ ２（ｘ２ ） … ｆ ＋ ２（ｘｐ）］ Ｔ 为处理目标标记得分， Ｆ － ２（ｘｋ）＝ ［ｆ － ２（ｘ１ ） ｆ － ２（ｘ２ ） … ｆ － ２（ｘｑ）］ Ｔ 为处理后的背 景标记得分，其中 ｆ ＋ ２（ｘｋ），ｆ － ２（ｘｋ）如式（１０）所示。 ｆ ＋ ２ （ｘｋ） ＝ ｂｍａｘ｛Ｆ２（ｘｋ）｝，ｋ ∈ ［１，ｐ］ ｆ － ２ （ｘｋ） ＝ ｃｍｉｎ｛Ｆ２（ｘｋ）｝，ｋ ∈ ［１，ｑ］ （１０） 式中：ｆ ＋ ２（ｘｋ）表示已排序后经过处理的目标标记超 像素得分；ｆ － ２ （ ｘｋ）表示已排序后经过处理的背景标 第 １ 期 曾宪华，等：流形排序的交互式图像分割 ·１１９·
·120. 智能系统学报 第11卷 记的超像素得分：b是一个平滑项，让目标标记区域 所示。 显著性比较均匀：c同样是一个平滑项，让背景区域 La=ki-ki 的显著性比较均匀。实验表明b=0.7、c=1.3时，获 maxL},k,k∈[k,R] (13) k 得结果较为满意。 式(13)表示在灰度区间[k,R]中满足灰度差L:最 将目标和背景标记作为相应处理的排序得分 大的像素个数不为0的两个相邻灰度值为k:、k,并 F,(x)×255映射到灰度图像获得显著图S2(x), 且k,>k,那么阈值T=0.5(k:+k),当(R-km)> xk∈X。为有效利用初始显著图，本文将初始目标排 max(k-k)时，则阈值T=R,k。表示离R最近的像 序得分进行融合，能让2幅显著图进行有效互补，使 素个数不为0的灰度值。 其目标部分能较为突出，显著性较为光滑，背景部分 2.5算法实现 的显著性得到抑制，背景与目标间差异较大，便于通 输入彩色图像 过有效的阈值分割获得目标，其中融合公式如式 输出分割目标 (11)所示。 1)图像预分割处理。首先使用SLIC算法获得 S(x4)=入S(x)+(1-入)S2(x4),xg∈X 原始图像的超像素集X={x1,x2,…,xk,x+1,…, (11) xo 式中：入是一个平衡项，让2个归一化的向量在融合 2)超像素排序。构建近邻图G(V,E)并通过式 时尽可能突出目标，抑制背景。经过大量实验表明 (7)获得权重矩阵，通过背景先验{X,X,X,X,}利 入=0.3较为合适。 用式(6)获得相应的超像素归一化排序得分向量f 2.4获取目标 (x)f(x)fi(x)f (x),k=1,2,..no 本文将目标排序得分映射到超像素对应的显著 3)获得显著图。利用获得的超像素排序向量 图，通过融合后的显著图的灰度直方图显示，该图像 获得相应的显著目标得分(x),f(x),f(x), 背景部分有明显的波峰，目标部分不光滑导致目标 f(x),k=1,2,…,n,并通过式(8)获得初始显著目 部分的波峰不稳定，并且离散幅度较大，常规的阈值 标得分F,(x),通过F(x:)×255将其映射到灰度 方法难以获得图像的有效分割。本文采用一种结合 图像中，得到初始显著图S,(x)。 背景波峰和最大相邻灰度间距的方法来确定自适应 4)目标和背景标记。参照初始显著图对原始 阈值。 图像添加目标和背景标记，并将目标标记的超像素 图像中背景部分和目标部分灰度差异较大，同 指示向量y=[y1y2…y]标记为1，并将背景标记 时背景部分灰度值较低，为了有效避免目标波峰不 的超像素指示向量y=[y1y2y,]标记为-1，其余 稳定的给确定阈值带来的干扰，将阈值确定在某一 未标记的超像素指示向量y标记为0。 个灰度值的子区间，然后利用背景和目标灰度差异 5)融合显著图。利用标记信息得到新的显著 较大来寻找子区间中灰度值的直方图不为0的最大 图S2(x),将获得的显著图S,(x)与初始显著图 间隔的2个相邻灰度值，取这2个相邻灰度值的平 S,(x)和按照式(12)融合，得到最终显著图S.(x)。 均值作为阈值。同时为了避免因背景和目标部分波 6)计算自适应阈值。计算灰度k使直方图H 峰明显，通过相邻灰度子区间之差获得的最大值不 (k)在[0，R]取得最大值，获得相邻灰度值k:,k,令 是有效的最大灰度间隔，对于这种情况本文重新限 其在区间[k,R]中满足灰度差L最大，则阈值T= 定阈值，即确定灰度子区间最大值，选择离它最近的 0.5(k:+k);当(R-km)>max(k-k)时，阈值T=R。 直方图非0的灰度，计算两者的灰度差。当灰度差 7)目标获取。通过阈值公式将融合后的图像 大于灰度子区间中直方图的非0灰度差时，阈值则 二值化，并将二值图中目标部分对应的原始目标部 为灰度子区间的最大值。确定阈值后，将灰度图像 分提取出来得到分割目标。 二值化获得目标分割，并将分割区域用原始目标图 像体现。显著图中背景直方图最大的灰度值如式 3 实验结果与分析 (12)所示。 本文在BSD数据库中选取2组图像进行仿真 max{H(k)},k∈[0，R] (12) 实验，来验证本文算法的可行性。一组是本文算法 式中：R表示一个限定灰度：H(k)表示图像中灰度 对不同特征图像的仿真实验：一组是通过本文算法 为k的像素点个数。式(12)表示图像中在[0，R]区 与GC算法[，最大相似合并(maximal similarity 间灰度值为k的像素最多，其中R=110。 based region merging,MSRM)算法[比较的仿真实 直方图中两个相邻的灰度值k:、k,(图像中灰度 验。实验通过在仿真软件MATLAB2012b上编程 k:、k对应的像素个数不为0)的最大间距如式(13) 实现
记的超像素得分；ｂ 是一个平滑项，让目标标记区域 显著性比较均匀；ｃ 同样是一个平滑项，让背景区域 的显著性比较均匀。 实验表明 ｂ ＝ ０．７、ｃ ＝ １．３ 时，获 得结果较为满意。 将目标和背景标记作为相应处理的排序得分 Ｆ２（ｘｋ） ×２５５ 映射到灰度图像获得显著图 Ｓ２ （ ｘｋ ）， ｘｋ∈Ｘ。 为有效利用初始显著图，本文将初始目标排 序得分进行融合，能让 ２ 幅显著图进行有效互补，使 其目标部分能较为突出，显著性较为光滑，背景部分 的显著性得到抑制，背景与目标间差异较大，便于通 过有效的阈值分割获得目标，其中融合公式如式 （１１）所示。 Ｓｚ（ｘｋ） ＝ λＳ１（ｘｋ） ＋ （１ － λ）Ｓ２（ｘｋ），ｘｋ ∈ Ｘ （１１） 式中：λ 是一个平衡项，让 ２ 个归一化的向量在融合 时尽可能突出目标，抑制背景。 经过大量实验表明 λ ＝ ０．３ 较为合适。 ２．４ 获取目标 本文将目标排序得分映射到超像素对应的显著 图，通过融合后的显著图的灰度直方图显示，该图像 背景部分有明显的波峰，目标部分不光滑导致目标 部分的波峰不稳定，并且离散幅度较大，常规的阈值 方法难以获得图像的有效分割。 本文采用一种结合 背景波峰和最大相邻灰度间距的方法来确定自适应 阈值。 图像中背景部分和目标部分灰度差异较大，同 时背景部分灰度值较低，为了有效避免目标波峰不 稳定的给确定阈值带来的干扰，将阈值确定在某一 个灰度值的子区间，然后利用背景和目标灰度差异 较大来寻找子区间中灰度值的直方图不为 ０ 的最大 间隔的 ２ 个相邻灰度值，取这 ２ 个相邻灰度值的平 均值作为阈值。 同时为了避免因背景和目标部分波 峰明显，通过相邻灰度子区间之差获得的最大值不 是有效的最大灰度间隔，对于这种情况本文重新限 定阈值，即确定灰度子区间最大值，选择离它最近的 直方图非 ０ 的灰度，计算两者的灰度差。 当灰度差 大于灰度子区间中直方图的非 ０ 灰度差时，阈值则 为灰度子区间的最大值。 确定阈值后，将灰度图像 二值化获得目标分割，并将分割区域用原始目标图 像体现。 显著图中背景直方图最大的灰度值如式 （１２）所示。 ｍａｘ ｋ ｛Ｈ（ｋ）｝，ｋ ∈ ［０，Ｒ］ （１２） 式中：Ｒ 表示一个限定灰度；Ｈ（ ｋ）表示图像中灰度 为 ｋ 的像素点个数。 式（１２）表示图像中在［０，Ｒ］区 间灰度值为 ｋ 的像素最多，其中 Ｒ ＝ １１０。 直方图中两个相邻的灰度值 ｋｉ、ｋｊ（图像中灰度 ｋｉ、 ｋｊ 对应的像素个数不为 ０）的最大间距如式（１３） 所示。 Ｌｉｊ ＝ ｋｉ － ｋｊ ｍａｘ ｋｉ ，ｋｊ ｛Ｌｉｊ｝，ｋｉ，ｋｊ ∈ ［ｋ，Ｒ］ （１３） 式（１３）表示在灰度区间［ ｋ，Ｒ］中满足灰度差 Ｌｉｊ最 大的像素个数不为 ０ 的两个相邻灰度值为 ｋｉ、ｋｊ，并 且ｋｉ＞ｋｊ，那么阈值 Ｔ ＝ ０． ５ （ ｋｉ ＋ ｋｊ ）， 当 （ Ｒ － ｋｍ ） ＞ ｍａｘ（ｋｉ －ｋｊ）时，则阈值 Ｔ ＝ Ｒ，ｋｍ 表示离 Ｒ 最近的像 素个数不为 ０ 的灰度值。 ２．５ 算法实现 输入 彩色图像 输出 分割目标 １）图像预分割处理。 首先使用 ＳＬＩＣ 算法获得 原始图像的超像素集 Ｘ ＝ ｛ ｘ１ ， ｘ２ ，…， ｘｋ， ｘｋ＋ １ ，…， ｘｎ ｝。 ２）超像素排序。 构建近邻图 Ｇ（Ｖ，Ｅ）并通过式 （７）获得权重矩阵，通过背景先验｛Ｘｔ，Ｘｂ，Ｘｌ，Ｘｒ｝利 用式（６）获得相应的超像素归一化排序得分向量 ｆ ｔ （ｘｋ），ｆ ｂ（ｘｋ），ｆ ｌ（ｘｋ），ｆ ｒ（ｘｋ），ｋ ＝ １，２，…，ｎ。 ３）获得显著图。 利用获得的超像素排序向量 获得相应的显著目标得分 ｆ ｔ（ ｘｋ ）， ｆ ｂ（ ｘｋ ）， ｆ ｌ（ ｘｋ ）， ｆ ｒ（ｘｋ），ｋ ＝ １，２，…，ｎ，并通过式（８）获得初始显著目 标得分 Ｆ１（ｘｋ），通过 Ｆ１（ｘｋ） ×２５５ 将其映射到灰度 图像中，得到初始显著图 Ｓ１（ｘｋ）。 ４）目标和背景标记。 参照初始显著图对原始 图像添加目标和背景标记，并将目标标记的超像素 指示向量 ｙ ＋ ＝ ［ｙ１ ｙ２… ｙｐ］标记为 １，并将背景标记 的超像素指示向量 ｙ － ＝ ［ｙ１ ｙ２…ｙｑ］标记为－１，其余 未标记的超像素指示向量 ｙ ０标记为 ０。 ５）融合显著图。 利用标记信息得到新的显著 图Ｓ２（ｘｋ），将获得的显著图 Ｓ２ （ ｘｋ ） 与初始显著图 Ｓ１（ｘｋ）和按照式（１２）融合，得到最终显著图Ｓｚ（ｘｋ）。 ６） 计算自适应阈值。 计算灰度 ｋ 使直方图 Ｈ （ｋ）在［０，Ｒ］取得最大值，获得相邻灰度值 ｋｉ，ｋｊ，令 其在区间［ｋ，Ｒ］ 中满足灰度差 Ｌｉｊ最大，则阈值 Ｔ ＝ ０．５（ｋｉ ＋ｋｊ）；当（Ｒ－ｋｍ ）＞ｍａｘ（ｋｉ －ｋｊ）时，阈值Ｔ ＝Ｒ。 ７） 目标获取。 通过阈值公式将融合后的图像 二值化，并将二值图中目标部分对应的原始目标部 分提取出来得到分割目标。 ３ 实验结果与分析 本文在 ＢＳＤ 数据库中选取 ２ 组图像进行仿真 实验，来验证本文算法的可行性。 一组是本文算法 对不同特征图像的仿真实验；一组是通过本文算法 与 ＧＣ 算法［６］ ， 最大相似合并 （ ｍａｘｉｍａｌ ｓｉｍｉｌａｒｉｔｙ ｂａｓｅｄ ｒｅｇｉｏｎ ｍｅｒｇｉｎｇ， ＭＳＲＭ）算法［８］ 比较的仿真实 验。 实验通过在仿真软件 ＭＡＴＬＡＢ２０１２ｂ 上编程 实现。 ·１２０· 智 能 系 统 学 报 第 １１ 卷
第1期 曾宪华，等：流形排序的交互式图像分割 ·121. 3.1评价指标 表1图像分割结果性能指标 本文使用TPR(正确的分割率)和FPR(错误的 Table 1 The performance measures of the image seg- 分割率)2种性能指标来客观评价分割精度]。 mentation TPR表示实际分割出来的目标轮廓中与理想分割 情能指标 工人犀牛 猩猩 老人 女生 鸟 目标轮廓内交集的像素点数目，和理想分割目标轮 TPR/% 95.58 94.4596.49 98.62 92.0193.15 廓内交集的像素点数目的比值。FPR表示实际分 割出来的目标轮廓中属于理想图像背景部分像素的 FPR/% 0.310.180.180.430.06 0 数目，和理想图像背景的像素数目的比值。 为了进一步验证本文算法的可行性，这一组实 3.2仿真实验 验通过对比本文算法与GC算法、MSRM算法在相 先采用SLIC算法对图像进行预分割处理，其中 同标记信息下的分割结果，并分别使用TPR和PR 预分割获得超像素数目统一设为450个。本文算法 从客观角度分析这几种算法的性能。其中，MSRM 为了获得有效标记信息，其中标记信息是添加在超 与本文方法都采用SLC对其进行预分割处理，其中 像素图像中，这样有助于避免错误标记。图2表示 预分割的超像素数目都为450个。图3表示本文算 本文的算法对不同特征的图像进行分割的结果。其 法与GC,MSRM算法的图像对比分割结果。其中图 中图2(a)表示原始图像，图2(b)表示添加标记的 3(a)表示原始标记图像，图3(b)表示GC算法，图3 图像，图2(c)表示理想分割目标，图2(d)表示本文 算法的分割结果。从图2看以看出本文算法获得的 (C)表示MSRM算法，图3(d)表示本文算法。 目标分割结果较好，表1客观定性地列出了本文算 法对图2中图像分割获得TPR和FPR,可以看出本 文算法分割获得的图像TPR较高，FPR较低。 (a)原始图像 (b)GC (c)MSRM(d本文算法 图3图像的分割结果 (a)原始图像b)标记图像 (c)理想分割(d本文方法 Fig.3 Image segmentation results 图2图像分割结果 从图3可以看出，由于GC算法的局限性，分割 Fig.2 Image segmentation results 效果不是特别理想，分割的目标图像中包含大量的 细小背景部分。通过SLIC预处理的MSRM算法， 表1列出了图一中各种特征图像的TPR和 需要对不同特征的目标区域添加有效的标记，获得 FPRo
３．１ 评价指标 本文使用 ＴＰＲ（正确的分割率）和 ＦＰＲ（错误的 分割率） ２ 种性能指标来客观评价分割精度［８］ 。 ＴＰＲ 表示实际分割出来的目标轮廓中与理想分割 目标轮廓内交集的像素点数目，和理想分割目标轮 廓内交集的像素点数目的比值。 ＦＰＲ 表示实际分 割出来的目标轮廓中属于理想图像背景部分像素的 数目，和理想图像背景的像素数目的比值。 ３．２ 仿真实验 先采用 ＳＬＩＣ 算法对图像进行预分割处理，其中 预分割获得超像素数目统一设为 ４５０ 个。 本文算法 为了获得有效标记信息，其中标记信息是添加在超 像素图像中，这样有助于避免错误标记。 图 ２ 表示 本文的算法对不同特征的图像进行分割的结果。 其 中图 ２（ａ）表示原始图像，图 ２（ｂ）表示添加标记的 图像，图 ２（ｃ）表示理想分割目标，图 ２（ｄ）表示本文 算法的分割结果。 从图 ２ 看以看出本文算法获得的 目标分割结果较好，表 １ 客观定性地列出了本文算 法对图 ２ 中图像分割获得 ＴＰＲ 和 ＦＰＲ，可以看出本 文算法分割获得的图像 ＴＰＲ 较高，ＦＰＲ 较低。 图 ２ 图像分割结果 Ｆｉｇ．２ Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｒｅｓｕｌｔｓ 表 １ 列出了图一中各种特征图像的 ＴＰＲ 和 ＦＰＲ。 表 １ 图像分割结果性能指标 Ｔａｂｌｅ １ Ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｍｅａｓｕｒｅｓ ｏｆ ｔｈｅ ｉｍａｇｅ ｓｅｇ⁃ ｍｅｎｔａｔｉｏｎ 情能指标 工人 犀牛 猩猩 老人 女生 鸟 ＴＰＲ／ ％ ９５．５８ ９４．４５ ９６．４９ ９８．６２ ９２．０１ ９３．１５ ＦＰＲ／ ％ ０．３１ ０．１８ ０．１８ ０．４３ ０．０６ ０ 为了进一步验证本文算法的可行性，这一组实 验通过对比本文算法与 ＧＣ 算法、ＭＳＲＭ 算法在相 同标记信息下的分割结果，并分别使用 ＴＰＲ 和 ＦＰＲ 从客观角度分析这几种算法的性能。 其中，ＭＳＲＭ 与本文方法都采用 ＳＬＩＣ 对其进行预分割处理，其中 预分割的超像素数目都为 ４５０ 个。 图 ３ 表示本文算 法与 ＧＣ，ＭＳＲＭ 算法的图像对比分割结果。 其中图 ３（ａ）表示原始标记图像，图 ３（ｂ）表示 ＧＣ 算法，图 ３ （ｃ）表示 ＭＳＲＭ 算法，图 ３（ｄ）表示本文算法。 图 ３ 图像的分割结果 Ｆｉｇ．３ Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｒｅｓｕｌｔｓ 从图 ３ 可以看出，由于 ＧＣ 算法的局限性，分割 效果不是特别理想，分割的目标图像中包含大量的 细小背景部分。 通过 ＳＬＩＣ 预处理的 ＭＳＲＭ 算法， 需要对不同特征的目标区域添加有效的标记，获得 第 １ 期 曾宪华，等：流形排序的交互式图像分割 ·１２１·
122 智能系统学报 第11卷 的分割结果才较为理想，如马的后腿部因为没有添 4 加标记信息，就没有分割出来：老鹰的尾部与树枝颜 结束语 色及其相似，合并处理的时候该部分区域被认为是 将显著性目标检测用于图像分割中，往往图像 背景部分，那么获得的目标就会存在缺失。MSRM 中一些属于背景中突出部分被检测出来，而目标部 对包含的目标内部区域的背景部分很容易将其作为 分则被抑制，利用这样的显著图往往难以获得目标 目标部分而合并到目标图像中，如瓶子的手柄部分。 的有效分割。为了解决上述问题，本文利用边界先 部分目标区域也会被合并到背景区域中。最后，从 验对超像素进行流形排序获得初始显著图，随后适 图3可以看出本文获得的目标分割效果较好，同时， 当利用初始显著图来指导标记，通过交互的方式重 本文算法获得的目标部分也包含少量背景部分，是 新对超像素进行流形排序获得显著图，并将交互获 因为图像预分割的SLC算法将部分边界的目标部 得的显著图与初始显著图融合得到背景与目标差异 分与图像背景部分颜色相似的区域分为同一个超像 较大的显著图，然后利用自适应的阈值分割获得目 素，超像素作为一个整体分割会导致小部分边界不 标有效分割。在本文算法中，利用初始先验显著图 光滑。表2列出来图3中3种算法的TPR和FRP 的指导能减少无效标记的次数，降低交互操作的繁 值。图中MSRM和本文算法对蘑菇的分割具有相 琐性，最后融合初始显著图和利用交互获得的显著 同的TPR和FPR,这是因为它们是以相同超像素作 图，能有效突出整体部分，抑制背景部分。同时，本 为处理对象。最后计算了3种算法的平均TPR和 文使用SLIC算法对图像进行预处理，SLIC算法本 FPR,可以看出本文算法具有较高的TPR和较低 身存在一定的局限性，在复杂边界区域容易将小部 FPR,优于GC、MSRM算法，有效验证了本文算法的 分目标和背景部分作为一个超像素，而本文算法是 可行性。 针对超像素的整体处理，最后获得的目标分割可能 表2对比图像的分割结果性能指标 边界会存在不光滑现象，后期研究希望对这方面问 Table 2 The contrast of the image segmentation result per- 题进行有效改善。 formance indicators 参考文献： 图像 算法 TPR/% FPR/% GC 91.50 5.98 [1]MORTENSEN E,MORSE B,BARRETT W,et al.Adap- 老鹰 tive boundary detection using'live-wire'two-dimensional MSRM 90.20 0.06 dynamic programming[C]//Proceedings of Computers in 本文算法 95.31 0.12 Cardiology.Durham,North Carolina,UK,1992:635-638. GC 85.09 17.41 [2]HE Huiguang,TIAN Jie,LIN Yao,et al.A new interactive 马 MSRM 85.73 0.15 segmentation scheme based on fuzzy affinity and live-wire 本文算法 88.24 0.15 [C]//Proceedings of the 2 International Conference on GC 94.57 1.60 Fuzzy Systems and Knowledge Discovery.Changsha,China, 黑熊 MSRM 98.83 1.29 2005：436-443. [3]KASS M,WITKIN A,TERZOPOULOS D.Snakes:Active 本文算法 98.40 1.21 contour models[J].International journal of computer vision, GC 90.23 12.40 1988,1(4):321-331. 树懒 MSRM 86.70 0.40 [4]GRADY L,FUNKA-Lea G.Multi-label image segmentation 本文算法 88.80 0.58 for medical applications based on graph-theoretic electrical GC 92.94 1.19 potentials[C]//Proceedings of the Computer Vision and 蘑菇 MSRM 97.78 0.29 Mathematical Methods in Medical and Biomedical Image A- 本文算法 97.78 0.29 nalysis.Prague,Czech Republic,2004:230-245. [5]GRADY L,SINOP A K.Fast approximate random walker GC 95.85 0.45 segmentation using eigenvector precomputation [C]//Pro- 瓶子 MSRM 98.93 1.48 ceedings of IEEE Conference on Computer Vision and Pat- 本文算法 98.68 0.33 tern Recognition.Anchorage,AK,USA,2008:1-8. GC(均值) 91.70 6.51 [6]BOYKOV YY,JOLLY M P.Interactive graph cuts for opti- MSRM(均值) mal boundary region segmentation of objects in N-D ima- 92.98 0.61 ges[C]//Proceedings of the 8 IEEE International Confer- 本文方法（均值） 94.53 0.45 ence on Computer Vision.Vancouver,BC,Canada,2001
的分割结果才较为理想，如马的后腿部因为没有添 加标记信息，就没有分割出来；老鹰的尾部与树枝颜 色及其相似，合并处理的时候该部分区域被认为是 背景部分，那么获得的目标就会存在缺失。 ＭＳＲＭ 对包含的目标内部区域的背景部分很容易将其作为 目标部分而合并到目标图像中，如瓶子的手柄部分。 部分目标区域也会被合并到背景区域中。 最后，从 图 ３ 可以看出本文获得的目标分割效果较好，同时， 本文算法获得的目标部分也包含少量背景部分，是 因为图像预分割的 ＳＬＩＣ 算法将部分边界的目标部 分与图像背景部分颜色相似的区域分为同一个超像 素，超像素作为一个整体分割会导致小部分边界不 光滑。 表 ２ 列出来图 ３ 中 ３ 种算法的 ＴＰＲ 和 ＦＲＰ 值。 图中 ＭＳＲＭ 和本文算法对蘑菇的分割具有相 同的 ＴＰＲ 和 ＦＰＲ，这是因为它们是以相同超像素作 为处理对象。 最后计算了 ３ 种算法的平均 ＴＰＲ 和 ＦＰＲ，可以看出本文算法具有较高的 ＴＰＲ 和较低 ＦＰＲ，优于 ＧＣ、ＭＳＲＭ 算法，有效验证了本文算法的 可行性。 表 ２ 对比图像的分割结果性能指标 Ｔａｂｌｅ ２ Ｔｈｅ ｃｏｎｔｒａｓｔ ｏｆ ｔｈｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｒｅｓｕｌｔ ｐｅｒ⁃ ｆｏｒｍａｎｃｅ ｉｎｄｉｃａｔｏｒｓ 图像 算法 ＴＰＲ／ ％ ＦＰＲ／ ％ 老鹰 ＧＣ ９１．５０ ５．９８ ＭＳＲＭ ９０．２０ ０．０６ 本文算法 ９５．３１ ０．１２ 马 ＧＣ ８５．０９ １７．４１ ＭＳＲＭ ８５．７３ ０．１５ 本文算法 ８８．２４ ０．１５ 黑熊 ＧＣ ９４．５７ １．６０ ＭＳＲＭ ９８．８３ １．２９ 本文算法 ９８．４０ １．２１ 树懒 ＧＣ ９０．２３ １２．４０ ＭＳＲＭ ８６．７０ ０．４０ 本文算法 ８８．８０ ０．５８ 蘑菇 ＧＣ ９２．９４ １．１９ ＭＳＲＭ ９７．７８ ０．２９ 本文算法 ９７．７８ ０．２９ 瓶子 ＧＣ ９５．８５ ０．４５ ＭＳＲＭ ９８．９３ １．４８ 本文算法 ９８．６８ ０．３３ ＧＣ（均值） ９１．７０ ６．５１ ＭＳＲＭ（均值） ９２．９８ ０．６１ 本文方法（均值） ９４．５３ ０．４５ ４ 结束语 将显著性目标检测用于图像分割中，往往图像 中一些属于背景中突出部分被检测出来，而目标部 分则被抑制，利用这样的显著图往往难以获得目标 的有效分割。 为了解决上述问题，本文利用边界先 验对超像素进行流形排序获得初始显著图，随后适 当利用初始显著图来指导标记，通过交互的方式重 新对超像素进行流形排序获得显著图，并将交互获 得的显著图与初始显著图融合得到背景与目标差异 较大的显著图，然后利用自适应的阈值分割获得目 标有效分割。 在本文算法中，利用初始先验显著图 的指导能减少无效标记的次数，降低交互操作的繁 琐性，最后融合初始显著图和利用交互获得的显著 图，能有效突出整体部分，抑制背景部分。 同时，本 文使用 ＳＬＩＣ 算法对图像进行预处理，ＳＬＩＣ 算法本 身存在一定的局限性，在复杂边界区域容易将小部 分目标和背景部分作为一个超像素，而本文算法是 针对超像素的整体处理，最后获得的目标分割可能 边界会存在不光滑现象，后期研究希望对这方面问 题进行有效改善。 参考文献： ［１］ＭＯＲＴＥＮＳＥＮ Ｅ， ＭＯＲＳＥ Ｂ， ＢＡＲＲＥＴＴ Ｗ， ｅｔ ａｌ． Ａｄａｐ⁃ ｔｉｖｅ ｂｏｕｎｄａｒｙ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ‘ ｌｉｖｅ⁃ｗｉｒｅ’ ｔｗｏ⁃ｄｉｍｅｎｓｉｏｎａｌ ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｍｐｕｔｅｒｓ ｉｎ Ｃａｒｄｉｏｌｏｇｙ． Ｄｕｒｈａｍ， Ｎｏｒｔｈ Ｃａｒｏｌｉｎａ， ＵＫ， １９９２： ６３５⁃６３８． ［２］ＨＥ Ｈｕｉｇｕａｎｇ， ＴＩＡＮ Ｊｉｅ， ＬＩＮ Ｙａｏ， ｅｔ ａｌ． Ａ ｎｅｗ ｉｎｔｅｒａｃｔｉｖｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｓｃｈｅｍｅ ｂａｓｅｄ ｏｎ ｆｕｚｚｙ ａｆｆｉｎｉｔｙ ａｎｄ ｌｉｖｅ⁃ｗｉｒｅ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｆｕｚｚｙ Ｓｙｓｔｅｍｓ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ． Ｃｈａｎｇｓｈａ， Ｃｈｉｎａ， ２００５： ４３６⁃４４３． ［３］ＫＡＳＳ Ｍ， ＷＩＴＫＩＮ Ａ， ＴＥＲＺＯＰＯＵＬＯＳ Ｄ． Ｓｎａｋｅｓ： Ａｃｔｉｖｅ ｃｏｎｔｏｕｒ ｍｏｄｅｌｓ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ， １９８８， １（４）： ３２１⁃３３１． ［４］ＧＲＡＤＹ Ｌ， ＦＵＮＫＡ⁃Ｌｅａ Ｇ． Ｍｕｌｔｉ⁃ｌａｂｅｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ｍｅｄｉｃａｌ ａｐｐｌｉｃａｔｉｏｎｓ ｂａｓｅｄ ｏｎ ｇｒａｐｈ⁃ｔｈｅｏｒｅｔｉｃ ｅｌｅｃｔｒｉｃａｌ ｐｏｔｅｎｔｉａｌｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｍａｔｈｅｍａｔｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｍｅｄｉｃａｌ ａｎｄ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ａ⁃ ｎａｌｙｓｉｓ． Ｐｒａｇｕｅ， Ｃｚｅｃｈ Ｒｅｐｕｂｌｉｃ， ２００４： ２３０⁃２４５． ［５］ＧＲＡＤＹ Ｌ， ＳＩＮＯＰ Ａ Ｋ． Ｆａｓｔ ａｐｐｒｏｘｉｍａｔｅ ｒａｎｄｏｍ ｗａｌｋｅｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｅｉｇｅｎｖｅｃｔｏｒ ｐｒｅｃｏｍｐｕｔａｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏ⁃ ｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔ⁃ ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ａｎｃｈｏｒａｇｅ， ＡＫ， ＵＳＡ， ２００８： １⁃８． ［６］ＢＯＹＫＯＶ Ｙ Ｙ， ＪＯＬＬＹ Ｍ Ｐ． Ｉｎｔｅｒａｃｔｉｖｅ ｇｒａｐｈ ｃｕｔｓ ｆｏｒ ｏｐｔｉ⁃ ｍａｌ ｂｏｕｎｄａｒｙ ＆ ｒｅｇｉｏｎ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｏｂｊｅｃｔｓ ｉｎ Ｎ⁃Ｄ ｉｍａ⁃ ｇｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ８ ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ⁃ ｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｖａｎｃｏｕｖｅｒ， ＢＣ， Ｃａｎａｄａ， ２００１， ·１２２· 智 能 系 统 学 报 第 １１ 卷
第1期 曾宪华，等：流形排序的交互式图像分割 ·123. 1:105-112 [15]ZHOU D,BOUSQUET O,LAL T N,et al.Learning with [7]LI Yin,SUN Jian,TANG C K,et al.Lazy snapping[J]. local and global consistency[J].Advances in neural Infor- ACM transactions on graphics (TOG),2004,23(3):303- mation processing systems,2004,16:321-328. 308. [16]ARBELAEZ P,FOWLKES C.MARTIN D.A database of [8]NING Jifeng,ZHANG Lei,ZHANG D,et al.Interactive human segment natural images and its application to evalu- image segmentation by maximal similarity based region mer- ating segmentation algorithms and measuring ecological ging[J].Pattern recognition,2010,43(2):445-456. statistics [C//Poceeding of the 18th International Con- [9]MA Yufei,ZHANG Hongjiang.Contrast-based image atten- ference on Computer Vision,Vancouver,B.C.,Canada, tion analysis by using fuzzy growing [C]//Proceedings of 2001,416-423. the 11 ACM International Conference on Multimedia.New 作者简介： York,USA,2003:374-381. 曾宪华，男，1973年生，副教授.博 [10]GOPALAKRISHNAN V,HU Yiqun,RAJAN D.Salient 士，中国计算机学会会员，主要研究方 region detection by modeling distributions of color and ori- 向为流形学习、计算机视觉等。主持国 entation[J].IEEE transactions on multimedia,2009,11 家自然科学基金、重庆自然科学基金等 (5)：892-905. 省级以上项目3项。发表学术论文30 [11]WEI Yichen,WEN Fang,ZHU Wangjiang,et al.Geodes- 余篇。 ic saliency using background priors[C]//Proceedings of the 12hEuropean Conference on Computer Vision.Flor- ence,Italy,2012:29-42. 易荣辉，男，1988年生，硕士研究 [12]YANG Chuan,ZHANG Lihe,LU Huchuan,et al.Sali- 生，主要研究方向为流形学习、图像分 ency detection via graph-based manifold ranking[C]/ 割等。 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition CVPR).Portland,OR,USA, 2013:3166-3173. [13]ACHANTA R,SHAJI A,SMITH K,et al.SLIC superpix- 何姗姗，女，1992年生，硕士研究 els,Technical Report on 149300[R].EPFL,Lausanne, 生，主要研究方向为流形学习、图像分 Switzerland,2010. [14]ZHOU Dengyong,WESTON J,GRETTON A,et al.Rank- 割等。 ing on data manifolds[J.Advances in neural information processing systems,2004,16:169-176
１： １０５⁃１１２． ［７］ＬＩ Ｙｉｎ， ＳＵＮ Ｊｉａｎ， ＴＡＮＧ Ｃ Ｋ， ｅｔ ａｌ． Ｌａｚｙ ｓｎａｐｐｉｎｇ［ Ｊ］． ＡＣＭ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｇｒａｐｈｉｃｓ （ＴＯＧ）， ２００４， ２３（３）： ３０３⁃ ３０８． ［８］ ＮＩＮＧ Ｊｉｆｅｎｇ， ＺＨＡＮＧ Ｌｅｉ， ＺＨＡＮＧ Ｄ， ｅｔ ａｌ． Ｉｎｔｅｒａｃｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｂｙ ｍａｘｉｍａｌ ｓｉｍｉｌａｒｉｔｙ ｂａｓｅｄ ｒｅｇｉｏｎ ｍｅｒ⁃ ｇｉｎｇ［Ｊ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０， ４３（２）： ４４５⁃４５６． ［９］ＭＡ Ｙｕｆｅｉ， ＺＨＡＮＧ Ｈｏｎｇｊｉａｎｇ． Ｃｏｎｔｒａｓｔ⁃ｂａｓｅｄ ｉｍａｇｅ ａｔｔｅｎ⁃ ｔｉｏｎ ａｎａｌｙｓｉｓ ｂｙ ｕｓｉｎｇ ｆｕｚｚｙ ｇｒｏｗｉｎｇ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １１ ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． Ｎｅｗ Ｙｏｒｋ， ＵＳＡ， ２００３： ３７４⁃３８１． ［１０］ ＧＯＰＡＬＡＫＲＩＳＨＮＡＮ Ｖ， ＨＵ Ｙｉｑｕｎ， ＲＡＪＡＮ Ｄ． Ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｄｅｔｅｃｔｉｏｎ ｂｙ ｍｏｄｅｌｉｎｇ ｄｉｓｔｒｉｂｕｔｉｏｎｓ ｏｆ ｃｏｌｏｒ ａｎｄ ｏｒｉ⁃ ｅｎｔａｔｉｏｎ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｕｌｔｉｍｅｄｉａ， ２００９， １１ （５）： ８９２⁃９０５． ［１１］ＷＥＩ Ｙｉｃｈｅｎ， ＷＥＮ Ｆａｎｇ， ＺＨＵ Ｗａｎｇｊｉａｎｇ， ｅｔ ａｌ． Ｇｅｏｄｅｓ⁃ ｉｃ ｓａｌｉｅｎｃｙ ｕｓｉｎｇ ｂａｃｋｇｒｏｕｎｄ ｐｒｉｏｒｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １２ ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｆｌｏｒ⁃ ｅｎｃｅ， Ｉｔａｌｙ， ２０１２： ２９⁃４２． ［１２］ＹＡＮＧ Ｃｈｕａｎ， ＺＨＡＮＧ Ｌｉｈｅ， ＬＵ Ｈｕｃｈｕａｎ， ｅｔ ａｌ． Ｓａｌｉ⁃ ｅｎｃｙ ｄｅｔｅｃｔｉｏｎ ｖｉａ ｇｒａｐｈ⁃ｂａｓｅｄ ｍａｎｉｆｏｌｄ ｒａｎｋｉｎｇ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ ＣＶＰＲ ）． Ｐｏｒｔｌａｎｄ， ＯＲ， ＵＳＡ， ２０１３： ３１６６⁃３１７３． ［１３］ＡＣＨＡＮＴＡ Ｒ， ＳＨＡＪＩ Ａ， ＳＭＩＴＨ Ｋ， ｅｔ ａｌ． ＳＬＩＣ ｓｕｐｅｒｐｉｘ⁃ ｅｌｓ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ｏｎ １４９３００［Ｒ］． ＥＰＦＬ， Ｌａｕｓａｎｎｅ， Ｓｗｉｔｚｅｒｌａｎｄ， ２０１０． ［１４］ＺＨＯＵ Ｄｅｎｇｙｏｎｇ， ＷＥＳＴＯＮ Ｊ， ＧＲＥＴＴＯＮ Ａ， ｅｔ ａｌ． Ｒａｎｋ⁃ ｉｎｇ ｏｎ ｄａｔａ ｍａｎｉｆｏｌｄｓ［ Ｊ］． Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ， ２００４， １６： １６９⁃１７６． ［１５］ＺＨＯＵ Ｄ， ＢＯＵＳＱＵＥＴ Ｏ， ＬＡＬ Ｔ Ｎ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ｗｉｔｈ ｌｏｃａｌ ａｎｄ ｇｌｏｂａｌ ｃｏｎｓｉｓｔｅｎｃｙ［Ｊ］． Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ Ｉｎｆｏｒ⁃ ｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ， ２００４， １６： ３２１⁃３２８． ［１６］ＡＲＢＥＬＡＥＺ Ｐ， ＦＯＷＬＫＥＳ Ｃ， ＭＡＲＴＩＮ Ｄ． Ａ ｄａｔａｂａｓｅ ｏｆ ｈｕｍａｎ ｓｅｇｍｅｎｔ ｎａｔｕｒａｌ ｉｍａｇｅｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｅｖａｌｕ⁃ ａｔｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ａｎｄ ｍｅａｓｕｒｉｎｇ ｅｃｏｌｏｇｉｃａｌ ｓｔａｔｉｓｔｉｃｓ ［Ｃ］ ／ ／ Ｐｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ １８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎ⁃ ｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖａｎｃｏｕｖｅｒ， Ｂ． Ｃ．， Ｃａｎａｄａ， ２００１，４１６⁃４２３． 作者简介： 曾宪华，男，１９７３ 年生，副教授，博 士，中国计算机学会会员，主要研究方 向为流形学习、计算机视觉等。 主持国 家自然科学基金、重庆自然科学基金等 省级以上项目 ３ 项。 发表学术论文 ３０ 余篇。 易荣辉，男，１９８８ 年生，硕士研究 生，主要研究方向为流形学习、图像分 割等。 何姗姗，女，１９９２ 年生，硕士研究 生，主要研究方向为流形学习、图像分 割等。 第 １ 期 曾宪华，等：流形排序的交互式图像分割 ·１２３·