10期 张展鹏等:数字抠像的最新研究进展 1581 解,所以耗时较 Closed- orm matting多 线性系统.很多情况下,这种线性系统的大小与图 此后,一些学术研究中,通过使用图像处理器像大小成正比,为求解效率带来很大的挑战.因此, ( Graphics processing unit,GPU),获得更高的抠直有不少研究,致力于实现能实时交互的数字抠 效率06.这是因为,虽然很多抠像算法中需要像.从2004年的 GrabCut1,到2007年的Soft 分别为每个未知像素进行采样计算,或者最终归结 scissor13,还有2010年的 Large kernel matting 为求解一个较大的线性系统,但是这些求解过程一等,速度方面已经取得一定的提高.另一方面,也有 定程度上可以并行执行.2010年 Gastal等提出的基于GPU的抠像方案0.65-6,得益于算法和硬件 Shared matting通过GPU的并行加速后,对于的可并行性,这些方案在效率提升方面取得了进展 大小为800像素×600像素的图像,大约只需0.1s大大地降低了求解时间. Shared matting对于 的处理时间.如果使用 Shared matting中的快速版800像素×600像素大小的图片已经取得了实时的 本,即除去基于 Closed- form matting的后续优化效果.不过,对于高清图像和视频的抠像,求解效率 步骤,只使用基于采集样本的估计结果,运行时间可还需要进一步提高 进一步减少.对于同样大小为800像素×600像素 数字抠像需要快速、高精度地完成,同时为用户 的图像,只需0.03s.虽然抠像效果略有下降,但实提供友好的交互方式.目前抠像问题中还存在很多 现了实时的抠像 挑战性问题,主要体现在以下四个方 1)用户交互方面的研究.从三分图到涂鸦式的 表1各种算法的运行时间 输入,抠像的交互方式已经得到了很大的简化.然 Table 1 Running time of the algorithms 而,不管是三分图还是涂鸦方式,在应对某些场景时 仍然显得不够直观,例如特别纤细或存在孔状结构 运行时间(s) 的物体,同时,对于一般的三分图和涂鸦方式,用户 Bayesian matting 31(2001) 的输入都独立于抠像算法的求解.有时候用户的标 Poisson matting 121(2004) 记中含有很多冗余信息,在一些关键的地方却缺少 Iterative BP 标记.此外,算法的计算效率、操作的复杂性等问题 6(2006 仍然影响着用户的输入和算法的可用性.因此,引导 Robust matting s(2007) 4届角输入设计的变用流程或提商算法效率 3.2总结和展望 2)采样技术的研究.近年来,数字抠像中采 样技术得到不少关注,而且已经取得了一定的效 根据上述的测试结果以及第2节的算法分析,果B0-3.因为数字抠像问题始终是一个病态的问 下面从精度以及效率方面对目前的抠像技术做如下题,因此采集有效的样本是增加问题已知信息的重 总结 要渠道.候选样本集的建立以及样本的选择都是采 1)抠像精度方面,通过图4的结果,可以看出,样技术的研究重点.由于目前对候选样本的评价标 不同的技术在不同的图像中表现差别较大.主要原准仍然局限于颜色空间距离和位置距离,会导致 因是不同的技术对图像进行了不同的假设.一般地,些原本相关性不大的样本被误选,可以考虑添加纹 基于颜色采样的技术在前景/背景颜色分明、边界清理、几何形态等局部区域信息,提高采样质量 晰的情况下表现较好.而基于像素相似性的技术则 3)先验知识方面的研究.通过先验知识或假设, 能处理好颜色变化平滑及纹理稍微复杂的区域.近为抠像问题构建有效的求解约束,也是一个研究热 年来很多方法融合了这两种技术,因而取得了较好点.因为抠像问题在数学上是一个不定问题.全自动 的结果然而,对于网状、半透明或形状复杂的物体,的方式或者用户提供的有限标记,都不能完整地对 因为与通常算法中的假设不同,或者不能够得到足问题进行约束.在一些纹理比较复杂的场景,或者 够的有效样本信息进行求解,仍然是抠像中的难点.前景/背景色接近的区域,算法经常无法正确地区分 基于机器学习的方法对图像的假设较弱,因此结果前景/背景.这也是目前抠像研究中面临的主要问题 比较稳定,但抠像结果受初始样本的限制仍然较大.之一.然而,在一些特定的应用背景下,常常可以获 2)求解效率方面,由于各种算法的运行方式、得目标图像的一些先验知识或额外信息(例如前景 用户交互程度各不相同,很难给出一个统一标准进物体的颜色和形状的先验知识、图像对应的深度图 行比较.不过,对算法的分析可以看出,一般地,基( Depth map)等).利用这些信息对问题进一步地约 于采样统计的技术进行样本聚类时,需要较大的束,是提高抠像效果的有效方法 运算量;基于相似性或能量函数的技术,最后归结 基于机器学习的研究.基于学习的方法可以 于最小化二次目标函数,往往需要求解一个较大的减少对图像特性的假设,通过样本训练建立前景不10 期 张展鹏等: 数字抠像的最新研究进展 1581 解, 所以耗时较 Closed-form matting 多. 此后, 一些学术研究中, 通过使用图像处理器 (Graphics processing unit, GPU), 获得更高的抠 像效率[30, 65] . 这是因为, 虽然很多抠像算法中需要 分别为每个未知像素进行采样计算, 或者最终归结 为求解一个较大的线性系统, 但是这些求解过程一 定程度上可以并行执行. 2010 年 Gastal 等提出的 Shared matting[30] 通过 GPU 的并行加速后, 对于 大小为 800 像素 × 600 像素的图像, 大约只需 0.1 s 的处理时间. 如果使用 Shared matting 中的快速版 本, 即除去基于 Closed-form matting 的后续优化 步骤, 只使用基于采集样本的估计结果, 运行时间可 进一步减少. 对于同样大小为 800 像素 × 600 像素 的图像, 只需 0.03 s. 虽然抠像效果略有下降, 但实 现了实时的抠像. 表 1 各种算法的运行时间 Table 1 Running time of the algorithms 算法 运行时间 (s) Bayesian matting[3] (2001) 721 Poisson matting[12] (2004) 26 Iterative BP matting[48] (2005) 507 Closed-form matting[16] (2006) 7 Robust matting[28] (2007) 14 3.2 总结和展望 根据上述的测试结果以及第 2 节的算法分析, 下面从精度以及效率方面对目前的抠像技术做如下 总结. 1) 抠像精度方面, 通过图 4 的结果, 可以看出, 不同的技术在不同的图像中表现差别较大. 主要原 因是不同的技术对图像进行了不同的假设. 一般地, 基于颜色采样的技术在前景/背景颜色分明、边界清 晰的情况下表现较好. 而基于像素相似性的技术则 能处理好颜色变化平滑及纹理稍微复杂的区域. 近 年来很多方法融合了这两种技术, 因而取得了较好 的结果. 然而, 对于网状、半透明或形状复杂的物体, 因为与通常算法中的假设不同, 或者不能够得到足 够的有效样本信息进行求解, 仍然是抠像中的难点. 基于机器学习的方法对图像的假设较弱, 因此结果 比较稳定, 但抠像结果受初始样本的限制仍然较大. 2) 求解效率方面, 由于各种算法的运行方式、 用户交互程度各不相同, 很难给出一个统一标准进 行比较. 不过, 对算法的分析可以看出, 一般地, 基 于采样统计的技术进行样本聚类时, 需要较大的 运算量; 基于相似性或能量函数的技术, 最后归结 于最小化二次目标函数, 往往需要求解一个较大的 线性系统. 很多情况下, 这种线性系统的大小与图 像大小成正比, 为求解效率带来很大的挑战. 因此, 一直有不少研究, 致力于实现能实时交互的数字抠 像. 从 2004 年的 GrabCut[19] , 到 2007 年的 Soft scissor[13] , 还有 2010 年的 Large kernel matting[39] 等, 速度方面已经取得一定的提高. 另一方面, 也有 基于 GPU 的抠像方案[30,65−66] , 得益于算法和硬件 的可并行性, 这些方案在效率提升方面取得了进展, 大大地降低了求解时间. Shared matting[30] 对于 800 像素 × 600 像素大小的图片已经取得了实时的 效果. 不过, 对于高清图像和视频的抠像, 求解效率 还需要进一步提高. 数字抠像需要快速、高精度地完成, 同时为用户 提供友好的交互方式. 目前抠像问题中还存在很多 挑战性问题, 主要体现在以下四个方面: 1) 用户交互方面的研究. 从三分图到涂鸦式的 输入, 抠像的交互方式已经得到了很大的简化. 然 而, 不管是三分图还是涂鸦方式, 在应对某些场景时 仍然显得不够直观, 例如特别纤细或存在孔状结构 的物体. 同时, 对于一般的三分图和涂鸦方式, 用户 的输入都独立于抠像算法的求解. 有时候用户的标 记中含有很多冗余信息, 在一些关键的地方却缺少 标记. 此外, 算法的计算效率、操作的复杂性等问题 仍然影响着用户的输入和算法的可用性. 因此, 引导 用户的输入、设计更好的交互流程或提高算法效率 都有利于提高数字抠像的实用价值. 2) 采样技术的研究. 近年来, 数字抠像中采 样技术得到不少关注, 而且已经取得了一定的效 果[30−31] . 因为数字抠像问题始终是一个病态的问 题, 因此采集有效的样本是增加问题已知信息的重 要渠道. 候选样本集的建立以及样本的选择都是采 样技术的研究重点. 由于目前对候选样本的评价标 准仍然局限于颜色空间距离和位置距离, 会导致一 些原本相关性不大的样本被误选, 可以考虑添加纹 理、几何形态等局部区域信息, 提高采样质量. 3) 先验知识方面的研究. 通过先验知识或假设, 为抠像问题构建有效的求解约束, 也是一个研究热 点. 因为抠像问题在数学上是一个不定问题. 全自动 的方式或者用户提供的有限标记, 都不能完整地对 问题进行约束. 在一些纹理比较复杂的场景, 或者 前景/背景色接近的区域, 算法经常无法正确地区分 前景/背景. 这也是目前抠像研究中面临的主要问题 之一. 然而, 在一些特定的应用背景下, 常常可以获 得目标图像的一些先验知识或额外信息 (例如前景 物体的颜色和形状的先验知识、图像对应的深度图 (Depth map) 等). 利用这些信息对问题进一步地约 束, 是提高抠像效果的有效方法. 4) 基于机器学习的研究. 基于学习的方法可以 减少对图像特性的假设, 通过样本训练建立前景不