1578 自动化学报 38卷 景 地,包括四个标准:均方误差( Mean squared error, 上述基于机器学习的方法都是数字抠像的新尝MSE)、绝对误差和( Sum of absolute differences, 试,与前三类方法不同,这类方法没有从求解抠像方SAD)、连通性误差以及梯度误差.梯度误差描述抠 程的角度出发,而是从机器学习或模式识别的视角像结果与 Ground truth中a值的梯度误差.与此 看待抠像问题.通过一个学习过程,降低算法对图像类似,连通性误差描述抠像结果中,像素的连通度与 特性的假设.然而,目前这种方法研究相对较少,上 Ground truth中对应像素的连通度间的误差.MSE 述方法也只是初步的尝试,例如没有对学习中使用和SAD是常用的误差统计方法,而梯度和连通性误 的样本进行深入考虑,α的估算也相对简单,缺少优差是基于人的感官特点制定的 七处理 根据这些测试集以及评价标准, Riemann等还 除了之前介绍的四类方法,在研究中,针对特殊建立了一个网上测试平台4.由于目前的研究中 的应用场景,也有其他的尝试例如文献⑤7]使用图大部分算法以三分图或涂鸦方式作为用户的输入, 像的深度信息辅助抠像.一方面,在原有的颜色或灰且涂鸦结果可看作三分图的子集,支持涂鸦方式的 度通道外,添加深度作为新的通道.另一方面,把a算法也支持三分图,因此测试中使用三分图作为标 的梯度与深度图的梯度联系起来;Lin等专门针准的输入方式,以保持评价的客观性.目前该平台 运动造成的模糊图像抠像问题进行了研究,通过中包含了截止至2010年主要抠像算法的测试结果 图像梯度的统计信息估计物体的运动,从而提高抠首先,针对这些测试结果,本文对主要的抠像算法进 像的准确度; Prabhu等提出一种基于卡尔曼滤行定量和定性分析.其次,为了分析的全面性,也将 波器的方法对受损的图像进行抠像并恢复前景;图对涂鸦方式和全自动化方式下的抠像结果进行对比 像修复( Inpainting)技术也被用于抠像:由于目前然后,对主要抠像算法的运行效率进行分析评价 的抠像方法一般通过邻近像素信息进行推导,没有 首先,本文引用了测试集中包含的6张测试图 考虑物体本身的几何形状,从而导致了一些抠像结像,如图3所示.具体地,从本文第2节所分析 果中原本平滑的线条出现了抖动出于这种考虑,文的四类抠像技术中,各选取了一种抠像算法,对比 献60使用变分修复( ariational inpainting)技术其抠像结果的均方误差.这些算法分别为Baye 进行抠像.而文献(61]把未知区域看做受损或被物 sian matting 1, Closed- form matting, Robust 体遮挡,使用 Inpainting技术估计其背景色;文献 matting2以及 Learning based matting.测试 62]则认为,若已知将要合成的背景,抠像可以把目结果与 Ground truth的均方误差如图4所示 标设为,在特定的新背景中,增强最终合成结果在视 觉上的效果.由此,提出的算法中把抠像与合成看作 个统一的过程;文献[63]在抠像执行之前,使用区 域增长( Region growing)以及分类技术对图像进 预分割 3分析和总结 3.1测试结果分析 2000年以后,针对自然图像的抠像算法逐渐增 多,对抠像算法的评价方法也在逐步改进.最开始 图3测试图像 的评价方法中,仅凭人的视觉做主观判断,而现在 Fig 3 Test images 量化评价逐渐被采用.2009年, Riemann等6位 可以看出,各种方法在不同的测试图像中,效果 学者,制定了一套较为全面和客观的测试集以及评差别较大对于 Bayesian matting,在图3(b)取得 价标准,在近两年的论文中被广泛采纳.本文主要的效果相对较好,这是因为图3(b)中边缘比较简单 采用这套方案对目前的抠像算法进行分析.该测试且前景物体中不存在孔状结构采样得到的样本能 集采用高质量的图像,其中高分辨率的图像在六百反映未知像素的特性,比较有意义.而在测试图3(c) 万像素左右,低分辨率的图像也超过40万像素.图中表现最差,主要是因为图像的边缘及纹理比较复 像中包括了当前抠像技术中难以处理的场景,例如杂,前景物体中存在空隙,降低了样本的有效性.对 毛发、半透明物体、网状物体、纹理复杂的背景以颜色样本建立的模型不一定能对未知像素进行合适 及前景/背景颜色相似的区域等. Ground truth由的描述. Closed- orm matting在前5张图像中表现 蓝屏抠像中的三角抠像法生成.对算法进行评价比较稳定,然而在图3(1)中,则表现较差.这是因为 时,使用抠像结果与 Ground truth进行对比.具体算法假设前/背景颜色在局部区域内符合 Color-line1578 自 动 化 学 报 38 卷 景. 上述基于机器学习的方法都是数字抠像的新尝 试, 与前三类方法不同, 这类方法没有从求解抠像方 程的角度出发, 而是从机器学习或模式识别的视角 看待抠像问题. 通过一个学习过程, 降低算法对图像 特性的假设. 然而, 目前这种方法研究相对较少, 上 述方法也只是初步的尝试, 例如没有对学习中使用 的样本进行深入考虑, α 的估算也相对简单, 缺少优 化处理. 除了之前介绍的四类方法, 在研究中, 针对特殊 的应用场景, 也有其他的尝试. 例如文献 [57] 使用图 像的深度信息辅助抠像. 一方面, 在原有的颜色或灰 度通道外, 添加深度作为新的通道. 另一方面, 把 α 的梯度与深度图的梯度联系起来; Lin 等[58] 专门针 对运动造成的模糊图像抠像问题进行了研究, 通过 图像梯度的统计信息估计物体的运动, 从而提高抠 像的准确度; Prabhu 等[59] 提出一种基于卡尔曼滤 波器的方法对受损的图像进行抠像并恢复前景; 图 像修复 (Inpainting) 技术也被用于抠像: 由于目前 的抠像方法一般通过邻近像素信息进行推导, 没有 考虑物体本身的几何形状, 从而导致了一些抠像结 果中原本平滑的线条出现了抖动. 出于这种考虑, 文 献 [60] 使用变分修复 (Variational inpainting) 技术 进行抠像. 而文献 [61] 把未知区域看做受损或被物 体遮挡, 使用 Inpainting 技术估计其背景色; 文献 [62] 则认为, 若已知将要合成的背景, 抠像可以把目 标设为, 在特定的新背景中, 增强最终合成结果在视 觉上的效果. 由此, 提出的算法中把抠像与合成看作 一个统一的过程; 文献 [63] 在抠像执行之前, 使用区 域增长 (Region growing) 以及分类技术对图像进行 预分割. 3 分析和总结 3.1 测试结果分析 2000 年以后, 针对自然图像的抠像算法逐渐增 多, 对抠像算法的评价方法也在逐步改进. 最开始 的评价方法中, 仅凭人的视觉做主观判断, 而现在 量化评价逐渐被采用. 2009 年, Rhemann 等 6 位 学者, 制定了一套较为全面和客观的测试集以及评 价标准[4] , 在近两年的论文中被广泛采纳. 本文主要 采用这套方案对目前的抠像算法进行分析. 该测试 集采用高质量的图像, 其中高分辨率的图像在六百 万像素左右, 低分辨率的图像也超过 40 万像素. 图 像中包括了当前抠像技术中难以处理的场景, 例如 毛发、半透明物体、网状物体、纹理复杂的背景以 及前景/背景颜色相似的区域等. Ground truth 由 蓝屏抠像中的三角抠像法[2] 生成. 对算法进行评价 时, 使用抠像结果与 Ground truth 进行对比. 具体 地, 包括四个标准: 均方误差 (Mean squared error, MSE)、绝对误差和 (Sum of absolute differences, SAD)、连通性误差以及梯度误差. 梯度误差描述抠 像结果与 Ground truth 中 α 值的梯度误差. 与此 类似, 连通性误差描述抠像结果中, 像素的连通度与 Ground truth 中对应像素的连通度间的误差. MSE 和 SAD 是常用的误差统计方法, 而梯度和连通性误 差是基于人的感官特点制定的. 根据这些测试集以及评价标准, Rhemann 等还 建立了一个网上测试平台[64] . 由于目前的研究中, 大部分算法以三分图或涂鸦方式作为用户的输入, 且涂鸦结果可看作三分图的子集, 支持涂鸦方式的 算法也支持三分图, 因此测试中使用三分图作为标 准的输入方式, 以保持评价的客观性. 目前该平台 中包含了截止至 2010 年主要抠像算法的测试结果. 首先, 针对这些测试结果, 本文对主要的抠像算法进 行定量和定性分析. 其次, 为了分析的全面性, 也将 对涂鸦方式和全自动化方式下的抠像结果进行对比. 然后, 对主要抠像算法的运行效率进行分析评价. 首先, 本文引用了测试集中包含的 6 张测试图 像, 如图 3 所示. 具体地, 从本文第 2 节所分析 的四类抠像技术中, 各选取了一种抠像算法, 对比 其抠像结果的均方误差. 这些算法分别为 Baye￾sian matting[3], Closed-form matting[16], Robust matting[28] 以及 Learning based matting[50] . 测试 结果与 Ground truth 的均方误差如图 4 所示. 图 3 测试图像 Fig. 3 Test images 可以看出, 各种方法在不同的测试图像中, 效果 差别较大. 对于 Bayesian matting, 在图 3 (b) 取得 的效果相对较好, 这是因为图 3 (b) 中边缘比较简单, 且前景物体中不存在孔状结构. 采样得到的样本能 反映未知像素的特性, 比较有意义. 而在测试图 3 (c) 中表现最差, 主要是因为图像的边缘及纹理比较复 杂, 前景物体中存在空隙, 降低了样本的有效性. 对 颜色样本建立的模型不一定能对未知像素进行合适 的描述. Closed-form matting 在前 5 张图像中表现 比较稳定, 然而在图 3 (f) 中, 则表现较差. 这是因为 算法假设前/背景颜色在局部区域内符合 Color-line