1572 自动化学报 38卷 (a)原始图像 (b)三分图 (c)涂鸦方式 (d)标准结果 a) Input image (b) Trimap (d) Ground truth 图1数字抠像的交互方式 Fig 1 Interaction modes in digital matting 近年的研究集中在自然图像抠像,即不对背景界较长或形状复杂的情况下,这种工作仍然繁琐 进行限制,面向任意的自然图像.此外,数字抠像的 扩展应用,如环境抠像、阴影抠像以及视频抠像,也1.2涂鸦方式 受到关注同.环境抠像除了精确地提取前景以外, 由于生成三分图的工作比较困难和繁琐,为了 还需要得到物体对光照的反射和折射特性使得前提高数字抠像的实用性,越来越多抠像技术采用涂 景物体在新合成的图像中也能体现这些性质间,这鸦方式1,以提供良好的用户体验。如图1(, 种技术对于透明物体的抠像特别重要.阴影抠像用户只需通过涂鸦式的操作,使用笔刷,在前景和背 把图像中的阴影部分提取出来,去除原图像的阴景的其中一小部分上做标记由于涂鸦的结果可看 影或把阴影合成到新的背景.视频抠像可看作三分图的子集,一般支持涂鸦式交互的技术也支 作数字抠像在连续图像序列的扩展,有效的物体跟持三分图.涂鸦方式下,用户的输入更为简单.然 踪10和运动分割山能简化用户的操作 而,由于只对某部分进行了标记,没有得到较为完整 由于自然图像抠像是近年的研究热点、具有实的前景和背景样本,难以对大面积的未知区域进行 用价值且应用广泛,因此下文的论述中将以自然图估算.因此,一些算法先进行图像分割,自动生成大 像抠像为重点展开,介绍数字抠像最新的研究进展.致的三分图,或者从标记的已知区域开始,迭代 同时为了内容的全面性及完整性,也会详细分析 式地对附近的像素进行估算,逐渐增大已知区域直 些经典算法 到抠像完成8.也有算法把用户的标记转化为求解 1数字抠像的交互方式 不定方程的限制条件121.还有采用迭代式的涂鸦 即根据用户的每次涂鸦操作,对结果进行改进.文献 由于数字抠像是一个病态问题,需要获得额外14中实现了一种基于涂鸦输入的交互式抠像方法, 的信息进行求解,因此,在目前的算法中,经常通过每次用户添加了新的涂鸦标记后,算法只需更新图 用户的交互,获得更多输入信息,构建约束条件.主中的部分像素而不需重新全部计算,从而提高响应 要的交互方式有三分图和涂鸦方式 速度.然而,当用户涂鸦出错想擦去时,则没有应对 11三分图 的方案,或者需要重新对全部像素进行计算.此外 由于涂鸦操作获得的初始样本较少,实际中算法不 三分图( Trimap)是指一幅大小与原图像相等定能得到有代表性的样本,而且抠像效果容易受 的图像,图像被用户划分为前景区、背景区以及未知到图像噪声的影响 区域.在这种情况下,前景/背景区为已知区域,抠像 除了三分图和涂鸦方式,也有其他的交互方式 算法需要估算未知区域像素的前景色、背景色以及比如在 GrabCutl中,用户使用一个矩形框选中图 前景不透明度.图1(b)为一幅三分图,其中背景标像中的前景部分.在很多情况下,这种方式更为直 注为黑色,前景为白色,灰色为未知区域.三分图是观.但是,由于选中的区域中也包含了部分背景,算 对原图像的粗略划分,是自然图像抠像的研究中,最法不能获得准确的前景样本,难以确定前景边界,需 开始采用的输入方式.文献阝3,12]等均采用三分图要用户进行一些边界标注.还有方法首先通过无监 作为算法的输入.然而,创建一幅三分图往往需要督的方式,根据像素间的相似性,自动地对图像进行 较多的用户操作,对于一些形状复杂的图像(如蜘蛛区域分割,然后指导用户在需要提取的区域上点击 网),创建的工作非常困难. Soft scissors中实现或做上记号,接着通过这些标记信息对各个区域进 了一种智能的描边笔刷,能够根据实时的描边情况行合并或提取,继续完成抠像20-21. 改变笔刷大小,降低边界定位的难度,然而在前景边 上述方法中,虽然用户操作的复杂性不同,但共1572 自 动 化 学 报 38 卷 图 1 数字抠像的交互方式 Fig. 1 Interaction modes in digital matting 近年的研究集中在自然图像抠像, 即不对背景 进行限制, 面向任意的自然图像. 此外, 数字抠像的 扩展应用, 如环境抠像、阴影抠像以及视频抠像, 也 受到关注[5] . 环境抠像除了精确地提取前景以外, 还需要得到物体对光照的反射和折射特性, 使得前 景物体在新合成的图像中也能体现这些性质[6] . 这 种技术对于透明物体的抠像[7] 特别重要. 阴影抠像 是把图像中的阴影部分提取出来, 去除原图像的阴 影[8] 或把阴影合成到新的背景[9] . 视频抠像可看 作数字抠像在连续图像序列的扩展, 有效的物体跟 踪[10] 和运动分割[11] 能简化用户的操作. 由于自然图像抠像是近年的研究热点、具有实 用价值且应用广泛, 因此下文的论述中将以自然图 像抠像为重点展开, 介绍数字抠像最新的研究进展. 同时为了内容的全面性及完整性, 也会详细分析一 些经典算法. 1 数字抠像的交互方式 由于数字抠像是一个病态问题, 需要获得额外 的信息进行求解, 因此, 在目前的算法中, 经常通过 用户的交互, 获得更多输入信息, 构建约束条件. 主 要的交互方式有三分图和涂鸦方式. 1.1 三分图 三分图 (Trimap) 是指一幅大小与原图像相等 的图像, 图像被用户划分为前景区、背景区以及未知 区域. 在这种情况下, 前景/背景区为已知区域, 抠像 算法需要估算未知区域像素的前景色、背景色以及 前景不透明度. 图 1 (b) 为一幅三分图, 其中背景标 注为黑色, 前景为白色, 灰色为未知区域. 三分图是 对原图像的粗略划分, 是自然图像抠像的研究中, 最 开始采用的输入方式. 文献 [3, 12] 等均采用三分图 作为算法的输入. 然而, 创建一幅三分图往往需要 较多的用户操作, 对于一些形状复杂的图像 (如蜘蛛 网), 创建的工作非常困难. Soft scissors[13] 中实现 了一种智能的描边笔刷, 能够根据实时的描边情况 改变笔刷大小, 降低边界定位的难度, 然而在前景边 界较长或形状复杂的情况下, 这种工作仍然繁琐. 1.2 涂鸦方式 由于生成三分图的工作比较困难和繁琐, 为了 提高数字抠像的实用性, 越来越多抠像技术采用涂 鸦方式[14−16] , 以提供良好的用户体验. 如图 1 (c), 用户只需通过涂鸦式的操作, 使用笔刷, 在前景和背 景的其中一小部分上做标记. 由于涂鸦的结果可看 作三分图的子集, 一般支持涂鸦式交互的技术也支 持三分图. 涂鸦方式下, 用户的输入更为简单. 然 而, 由于只对某部分进行了标记, 没有得到较为完整 的前景和背景样本, 难以对大面积的未知区域进行 估算. 因此, 一些算法先进行图像分割, 自动生成大 致的三分图[17] , 或者从标记的已知区域开始, 迭代 式地对附近的像素进行估算, 逐渐增大已知区域直 到抠像完成[18] . 也有算法把用户的标记转化为求解 不定方程的限制条件[12,16] . 还有采用迭代式的涂鸦, 即根据用户的每次涂鸦操作, 对结果进行改进. 文献 [14] 中实现了一种基于涂鸦输入的交互式抠像方法, 每次用户添加了新的涂鸦标记后, 算法只需更新图 中的部分像素而不需重新全部计算, 从而提高响应 速度. 然而, 当用户涂鸦出错想擦去时, 则没有应对 的方案, 或者需要重新对全部像素进行计算. 此外, 由于涂鸦操作获得的初始样本较少, 实际中算法不 一定能得到有代表性的样本, 而且抠像效果容易受 到图像噪声的影响. 除了三分图和涂鸦方式, 也有其他的交互方式. 比如在 GrabCut[19] 中, 用户使用一个矩形框选中图 像中的前景部分. 在很多情况下, 这种方式更为直 观. 但是, 由于选中的区域中也包含了部分背景, 算 法不能获得准确的前景样本, 难以确定前景边界, 需 要用户进行一些边界标注. 还有方法首先通过无监 督的方式, 根据像素间的相似性, 自动地对图像进行 区域分割, 然后指导用户在需要提取的区域上点击 或做上记号, 接着通过这些标记信息对各个区域进 行合并或提取, 继续完成抠像[20−21] . 上述方法中, 虽然用户操作的复杂性不同, 但共