10期 张展鹏等:数字抠像的最新研究进展 同的特点是,用户需要对图像中的某些区域进行标文献[18]在求解P(F),P(B)时,没有使用统计模 记,指明前景区或背景区,因此属于半自动的方式.型对样本进行匹配或聚类,而仅仅基于空间距离和 而一些研究中致力于实现全自动抠像.例如,闪光算法对样本的“置信度”,进行前景/背景色的估算, ( Flash)抠像2通过对同一场景进行两次拍摄,分从而达到减少计算量的目的;文献27则分别对前 别开启和关闭闪光灯,得到两张图像作为算法的输景和背景区域使用全局的高斯混合模型( Gaussian 入.计算过程中取两张图像的差值,近似地提取出 mixture model,GMM)进行统计建模,减少采用局 被闪光的前景,然后进行自动抠像.另外,立体图像部统计带来的计算量.然而,这些方法仍未解决基于 Stereo image)23、同一场景下不同焦点平面的多颜色采样的技术中普遍存在的问题,即在前景和背 幅图像2也被作为算法输入,实现自动抠像 景颜色接近、具有相似的统计特征或者色彩模糊的 2数字抠像的主要技术 情况下,效果往往不佳.其主要原因是采集的样本只 是图像中相近的像素,这些像素不一定能够有效地 21基于颜色采样的技术 表示出未知像素的特征 普遍图像中,相近的像素在统计特征上往往具 为了提高颜色采样的效果,采样技术成为了近 有相关性可以对相近的像素进行颜色采样,根据年来数字抠像的研究热点-3.wang等在2007 样本颜色的特点对未知区域像素的抠像参数(F,B,年提出 Robust matting方案,方案中根据“信任 a)进行估算. Berman等凹2对周边确定区域像素系数”的大小判断一对前景/背景像素能否作为样 的前景/背景色进行加权,作为未知区域像素的估算本,信任系数的计算主要考虑样本与未知像素间的 结果. ruzon等阅则最先在数字抠像中引入概率统颜色空间距离.而对于候选样本集的构建,与之前 计,其基本思想是:对于未知区域的像素,先取附近的方法不同,不仅选取和未知像素相近的点,同时 已知的前景和背景像素作为样本,进行聚类和统计,沿着附近已知区域的边缘进行扩张通常,抠像中需 每个聚类使用高斯模型进行描述.然后根据样本颜要处理很多条状的未知区域(例如头发),这种方法 色的概率模型和未知区域像素的颜色,估算未知像可以取得距离更远和种类更丰富的样本,而且样本 素与前景背景中各个聚类的相似度,推导该像素的的颜色也与未知像素较为接近但有些情况下,三分 前景不透明度.2001年,Chag圜在此基础上图中的未知区域较宽,而且已知区域的边缘处,其形 提出了贝叶斯抠像( Bayesian matting.这种方法状、颜色与未知区域也不吻合,这种方法得到的样 使用贝叶斯公式,把未知像素的估算问题转化为 本并不具有代表性. Riemann等指出,测地线 个最大后验概率问题.算法已知该像素的颜色C, 距离能够反映图像中的形状信息,同一形状上的像 标是通过估计前景色F、背景色B以及a值,最大素关联度更大,因此可以用测地线距离进行辅助,建 化后验概率,如式(2)所示 立候选样本集.如图2(a)中,F和B区域分别是 三分图中指定的前景区和背景区,灰色和白色的采 arg max P(F, B, aC) 样点分别表示Wang和 Riemann的方法得到的结 BEax P(CIF, B, a)P(F)P(B)P(a) 果可以看出,灰色的点与未知像素(即图2(a)中的 P(C) 点i)分布在同一物体上,颜色特征会更接近.然而 上述两种方法都是从邻近像素出发,进行扩张的,要 (2)利用位置距离更远的像素,则需要遍历较大的空间 其中概率P()均使用高斯分布模型进行描述.其从而带来很大的计算量.2010年, Gastal等在其 中P(a)看作常数.P(C|F,B,a)使用aF-(1 Shared matting[30方案中,通过相邻像素间共享候 α)B作为高斯分布的均值.而对于P(F),P(B),在选样本来减少计算开销而且,在采集候选样本的时 未知像素附近采集前景/背景样本,分别进行聚类.候,从每个像素出发,沿四条射线向外寻找,从而扩 求出每个聚类中的均值和协方差矩阵作为高斯分布大采集范围(如图2(b),He等在201l年的最 的参数,求解F,B对应的概率.由于抠像过程中,新成果中,进一步设计了一个全局的采样方法.三分 需要对每个未知像素的样本进行聚类和统计,因此图中的所有前景F和背景B的像素组成一个大小 计算量较大.而且,算法把未知区域看成前景区与背为NF×NB的矩阵,作为候选样本的“FB搜索空 景区夹着的带状区域,抠像时,从带状区域两侧开间”.然后,把候选样本的采集看作图像像素与FB 始计算,逐步向中间部分推进,计算中会利用之前己搜索空间中样本对的匹配问题(如图2(c),匹配的 求解的像素作为样本,所以求解过程中的误差会被标准基于颜色空间距离以及像素位置距离.为了避 累积,这种现象在带状区域较宽的情况下更为明显.免对FB搜索空间的穷举,把样本的搜索算法分为 不过,这种算法已取得当时最好的效果,所以得到两步:扩张搜索与随机搜索.算法的运行过程中,交 广泛的参考和改进,是数字抠像的经典算法.例如,替地执行这两个步骤,添加符合的样本在扩张搜索10 期 张展鹏等: 数字抠像的最新研究进展 1573 同的特点是, 用户需要对图像中的某些区域进行标 记, 指明前景区或背景区, 因此属于半自动的方式. 而一些研究中致力于实现全自动抠像. 例如, 闪光 (Flash) 抠像[22] 通过对同一场景进行两次拍摄, 分 别开启和关闭闪光灯, 得到两张图像作为算法的输 入. 计算过程中取两张图像的差值, 近似地提取出 被闪光的前景, 然后进行自动抠像. 另外, 立体图像 (Stereo image)[23]、同一场景下不同焦点平面的多 幅图像[24] 也被作为算法输入, 实现自动抠像. 2 数字抠像的主要技术 2.1 基于颜色采样的技术 普遍图像中, 相近的像素在统计特征上往往具 有相关性, 可以对相近的像素进行颜色采样, 根据 样本颜色的特点对未知区域像素的抠像参数 (F, B, α) 进行估算. Berman 等[25] 对周边确定区域像素 的前景/背景色进行加权, 作为未知区域像素的估算 结果. Ruzon 等[26] 则最先在数字抠像中引入概率统 计, 其基本思想是: 对于未知区域的像素, 先取附近 已知的前景和背景像素作为样本, 进行聚类和统计, 每个聚类使用高斯模型进行描述. 然后根据样本颜 色的概率模型和未知区域像素的颜色, 估算未知像 素与前景/背景中各个聚类的相似度, 推导该像素的 前景不透明度. 2001 年, Chuang 等[3] 在此基础上 提出了贝叶斯抠像 (Bayesian matting). 这种方法 使用贝叶斯公式, 把未知像素的估算问题转化为一 个最大后验概率问题. 算法已知该像素的颜色 C, 目 标是通过估计前景色 F、背景色 B 以及 α 值, 最大 化后验概率, 如式 (2) 所示: arg max F,B,α P(F, B, α|C) = arg max F,B,α P(C|F, B, α)P(F)P(B)P(α) P(C) (2) 其中概率 P(·) 均使用高斯分布模型进行描述. 其 中 P(α) 看作常数. P(C|F, B, α) 使用 αF − (1 − α)B 作为高斯分布的均值. 而对于 P(F), P(B), 在 未知像素附近采集前景/背景样本, 分别进行聚类. 求出每个聚类中的均值和协方差矩阵作为高斯分布 的参数, 求解 F, B 对应的概率. 由于抠像过程中, 需要对每个未知像素的样本进行聚类和统计, 因此 计算量较大. 而且, 算法把未知区域看成前景区与背 景区夹着的带状区域, 抠像时, 从带状区域两侧开 始计算, 逐步向中间部分推进, 计算中会利用之前已 求解的像素作为样本, 所以求解过程中的误差会被 累积, 这种现象在带状区域较宽的情况下更为明显. 不过, 这种算法已取得当时最好的效果, 所以得到 广泛的参考和改进, 是数字抠像的经典算法. 例如, 文献 [18] 在求解 P(F), P(B) 时, 没有使用统计模 型对样本进行匹配或聚类, 而仅仅基于空间距离和 算法对样本的 “置信度”, 进行前景/背景色的估算, 从而达到减少计算量的目的; 文献 [27] 则分别对前 景和背景区域使用全局的高斯混合模型 (Gaussian mixture model, GMM) 进行统计建模, 减少采用局 部统计带来的计算量. 然而, 这些方法仍未解决基于 颜色采样的技术中普遍存在的问题, 即在前景和背 景颜色接近、具有相似的统计特征或者色彩模糊的 情况下, 效果往往不佳. 其主要原因是采集的样本只 是图像中相近的像素, 这些像素不一定能够有效地 表示出未知像素的特征. 为了提高颜色采样的效果, 采样技术成为了近 年来数字抠像的研究热点[28−31]. Wang 等在 2007 年提出 Robust matting[28] 方案, 方案中根据 “信任 系数” 的大小判断一对前景/背景像素能否作为样 本. 信任系数的计算主要考虑样本与未知像素间的 颜色空间距离. 而对于候选样本集的构建, 与之前 的方法不同, 不仅选取和未知像素相近的点, 同时 沿着附近已知区域的边缘进行扩张. 通常, 抠像中需 要处理很多条状的未知区域 (例如头发), 这种方法 可以取得距离更远和种类更丰富的样本, 而且样本 的颜色也与未知像素较为接近. 但有些情况下, 三分 图中的未知区域较宽, 而且已知区域的边缘处, 其形 状、颜色与未知区域也不吻合, 这种方法得到的样 本并不具有代表性. Rhemann 等[29] 指出, 测地线 距离能够反映图像中的形状信息, 同一形状上的像 素关联度更大, 因此可以用测地线距离进行辅助, 建 立候选样本集. 如图 2 (a) 中, F 和 B 区域分别是 三分图中指定的前景区和背景区, 灰色和白色的采 样点分别表示 Wang 和 Rhemann 的方法得到的结 果. 可以看出, 灰色的点与未知像素 (即图 2 (a) 中的 点 i) 分布在同一物体上, 颜色特征会更接近. 然而, 上述两种方法都是从邻近像素出发, 进行扩张的, 要 利用位置距离更远的像素, 则需要遍历较大的空间, 从而带来很大的计算量. 2010 年, Gastal 等在其 Shared matting[30] 方案中, 通过相邻像素间共享候 选样本来减少计算开销. 而且, 在采集候选样本的时 候, 从每个像素出发, 沿四条射线向外寻找, 从而扩 大采集范围 (如图 2 (b)). He 等[31] 在 2011 年的最 新成果中, 进一步设计了一个全局的采样方法. 三分 图中的所有前景 F 和背景 B 的像素组成一个大小 为 NF × NB 的矩阵, 作为候选样本的 “F B 搜索空 间”. 然后, 把候选样本的采集看作图像像素与 F B 搜索空间中样本对的匹配问题 (如图 2 (c)), 匹配的 标准基于颜色空间距离以及像素位置距离. 为了避 免对 F B 搜索空间的穷举, 把样本的搜索算法分为 两步: 扩张搜索与随机搜索. 算法的运行过程中, 交 替地执行这两个步骤, 添加符合的样本: 在扩张搜索