1576 自动化学报 38卷 构建出apor作为先验知识,最后代入现有的抠像心,取一定的宽度,划分出一个带状区域,作为未知 算法中进行计算 区域U,从而得到新的三分图.算法假设a值在边 从泊松抠像开始,学术界就陆续提出了不少基界处渐变,使用一个软阶跃函数描述a的变化.新 像素相似性的抠像方法.这些方法基于不同的相的能量函数定义如式(12)所示 似性假设,得到先验知识,把抠像问题转换为数学上 有确定解的问题由于不涉及到采样统计:只采用邻E=∑D1(an)+∑V(△,1,△+1,0+) 近的像素,充分利用邻近像素的相关性,这类算法在 些色彩稍复杂的图像中,可以取得比颜色采样算 法更好的结果然而不同的假设直接影响到算法对算法把带状未知区域U分成T小段,对每段进行 色变化不大,因而在颜色变化频繁的图像中会出现项V,表征从第t段到第t+1段参数值的变化大 较多错误;测地线距离的方法受用户输入的影响较小.相邻分段间参数变化越小,则a值变化越小.至 大;应用PSF的方法受限于混合像素产生的原因,于数据项D,算法对区域U附近的前景/背景样本 且增加了额外的计算量 进行采样统计,建立高斯分布模型.与二值划分时类 2.3基于能量函数的技术 似,在所建立的概率模型下,D的值与an取值下的 由于基于颜色采样和像素相似性的技术各有优概率负相关因此,最小化能量一方面会使得a的 缺点和适用范围,一些学者把两种思想融合到一个取值与邻近的区域相容,一方面又要求a能平滑地 能量函数,同时描述当前抠像方案下,区域内统计上变化.因为U被截成有限小段,可使用动态规划进 Boykov等叫把图像边界分割问题定义为一个图割算法中对边界的平滑处理实际上是一个羽化的过程, ( Graph cut)问题图像被看作一个图( Graph,像这种方法并不适合于一些边缘复杂的情况 素即其中的节点.图像分割的目标转换成寻找一个 Wang等ls则构建了一个马尔科夫随机场 最小割”,对图像进行前景/背景划分.具体地,需 Markov random field)来解决抠像问题把待估 要最小化一个预设的能量函数,即 算的像素看做场内的节点,分别与4邻域的节点相 连接.同时对α值进行离散化处理,分为25个可能 E(A)=AR(A)+B(A) (11)的取值,从而可以用a值表示节点所处的状态.同 样地,定义场的能量中包含数据项和邻接项,然后通 其中,A表示当前的划分方案,指定每个像素属于过信任传播( Belief propagation,BP)算法最小化 质例如与前景颜色相近的点应该偏向于划分为前响了抠像效率;Gman等则在能量函数中引入了 景,这样可使R(A)的值偏小 1)表征边界性动态的权重,调节数据项和平滑项的影响力其算 质促使颜色差异较大的地方划分为边界.这种图法基于这样的假设:在前景的内部,物体一般较为平 割思想后来被引入到数字抠像学者使用各种方法滑,此时增大平滑项的权重,使其在能量函数中发挥 对R(4)、B(4)进行具体的定义.B(4)一般被称更大的影响.在边缘处,颜色对比较为明显,减少平 为数据项.B(A)被称为边界项、平滑项或邻接项,滑项的权重,更多地利用数据项的优势.此外,和泊 名称不同而作用大体一致 Lazy snapping以及松抠像的方法类似,采用全局抠像和局部抠像相结 GrabCut19都是这类算法的典型代表 合的方法.用户可以对某些区域调节其平滑项的权 GrabCut在 Boykov算法的基础上改进而成重,或者为某些区域的前景色选择一些对比明显的 其方案分为两步:首先进行图像的二值分割,即划分背景样本,增加数据项的有效性 出前景区和背景区,然后对边界像素的a值进行平 在2007年的CVPR会议论文中,Wang等 滑处理第一步中,对式(1)的各项进行了重新的提出了新的方案,即 Robust matting2.与之前基 定义数据项R表征GMM模型下邻近像素的相容于能量函数的方法相比,其主要思想是对数据项和 性边界项B表征区域间像素的颜色空间距离邻平滑项的权重有了更精确的调节如第21节所述, 近像素间越符合GMM模型(概率值越大)则数据首先根据颜色空间距离,得出样本的信任系数∫,再 项越小不同区域间像素的颜色距离越大则边界项直接根据样本粗略估计出对应的不透明度a.然后 越小.算法通过一个迭代的过程,调整划分方案,最最小化能量函数,能量函数定义如式(13)所示 小化能量函数,则可得到二值分割的结果 接着,进行第二步,对边界像素进行a值的平E=∑(a:-)2+ 滑处理.以第一步中划分出的前景/背景分割线为中1576 自 动 化 学 报 38 卷 构建出 α prior 作为先验知识, 最后代入现有的抠像 算法中进行计算. 从泊松抠像开始, 学术界就陆续提出了不少基 于像素相似性的抠像方法. 这些方法基于不同的相 似性假设, 得到先验知识, 把抠像问题转换为数学上 有确定解的问题. 由于不涉及到采样统计, 只采用邻 近的像素, 充分利用邻近像素的相关性, 这类算法在 一些色彩稍复杂的图像中, 可以取得比颜色采样算 法更好的结果. 然而不同的假设直接影响到算法对 不同图像的适应性. 例如, 泊松抠像假设前景/背景 色变化不大, 因而在颜色变化频繁的图像中会出现 较多错误; 测地线距离的方法受用户输入的影响较 大; 应用 PSF 的方法受限于混合像素产生的原因, 且增加了额外的计算量. 2.3 基于能量函数的技术 由于基于颜色采样和像素相似性的技术各有优 缺点和适用范围, 一些学者把两种思想融合到一个 能量函数, 同时描述当前抠像方案下, 区域内统计上 的相容性和像素间的渐变性, 以增加算法的健壮性. Boykov 等[46] 把图像边界分割问题定义为一个图割 (Graph cut) 问题. 图像被看作一个图 (Graph), 像 素即其中的节点. 图像分割的目标转换成寻找一个 “最小割”, 对图像进行前景/背景划分. 具体地, 需 要最小化一个预设的能量函数, 即 E(A) = λR(A) + B(A) (11) 其中, A 表示当前的划分方案, 指定每个像素属于 前景还是背景. λ 为权重参数. R(A) 表征区域性 质, 例如与前景颜色相近的点应该偏向于划分为前 景, 这样可使 R(A) 的值偏小. B(A) 表征边界性 质, 促使颜色差异较大的地方划分为边界. 这种图 割思想后来被引入到数字抠像. 学者使用各种方法 对 R(A)、B(A) 进行具体的定义. R(A) 一般被称 为数据项. B(A) 被称为边界项、平滑项或邻接项, 名称不同而作用大体一致. Lazy snapping[47] 以及 GrabCut[19] 都是这类算法的典型代表. GrabCut 在 Boykov 算法的基础上改进而成. 其方案分为两步: 首先进行图像的二值分割, 即划分 出前景区和背景区, 然后对边界像素的 α 值进行平 滑处理. 第一步中, 对式 (11) 的各项进行了重新的 定义. 数据项 R 表征 GMM 模型下邻近像素的相容 性, 边界项 B 表征区域间像素的颜色空间距离. 邻 近像素间越符合 GMM 模型 (概率值越大) 则数据 项越小, 不同区域间像素的颜色距离越大则边界项 越小. 算法通过一个迭代的过程, 调整划分方案, 最 小化能量函数, 则可得到二值分割的结果. 接着, 进行第二步, 对边界像素进行 α 值的平 滑处理. 以第一步中划分出的前景/背景分割线为中 心, 取一定的宽度, 划分出一个带状区域, 作为未知 区域 U, 从而得到新的三分图. 算法假设 α 值在边 界处渐变, 使用一个软阶跃函数描述 α 的变化. 新 的能量函数定义如式 (12) 所示: E = X n∈U Dn(αn) + X T t=1 V (∆t , σt , ∆t+1, σt+1) (12) 算法把带状未知区域 U 分成 T 小段, 对每段进行 计算. ∆ 和 σ 是描述软阶跃函数的参数. 其中边界 项 V , 表征从第 t 段到第 t + 1 段参数值的变化大 小. 相邻分段间参数变化越小, 则 α 值变化越小. 至 于数据项 D, 算法对区域 U 附近的前景/背景样本 进行采样统计, 建立高斯分布模型. 与二值划分时类 似, 在所建立的概率模型下, D 的值与 αn 取值下的 概率负相关. 因此, 最小化能量一方面会使得 α 的 取值与邻近的区域相容, 一方面又要求 α 能平滑地 变化. 因为 U 被截成有限小段, 可使用动态规划进 行求解. 然而, 由于使用软阶跃函数描述 α 的变化, 算法中对边界的平滑处理实际上是一个羽化的过程, 这种方法并不适合于一些边缘复杂的情况. Wang 等[48] 则构建了一个马尔科夫随机场 (Markov random field) 来解决抠像问题. 把待估 算的像素看做场内的节点, 分别与 4 邻域的节点相 连接. 同时对 α 值进行离散化处理, 分为 25 个可能 的取值, 从而可以用 α 值表示节点所处的状态. 同 样地, 定义场的能量中包含数据项和邻接项, 然后通 过信任传播 (Belief propagation, BP) 算法最小化 能量函数, 得到 α. 然而, BP 算法收敛速度较慢, 影 响了抠像效率; Guan 等[15] 则在能量函数中引入了 动态的权重, 调节数据项和平滑项的影响力. 其算 法基于这样的假设: 在前景的内部, 物体一般较为平 滑, 此时增大平滑项的权重, 使其在能量函数中发挥 更大的影响. 在边缘处, 颜色对比较为明显, 减少平 滑项的权重, 更多地利用数据项的优势. 此外, 和泊 松抠像的方法类似, 采用全局抠像和局部抠像相结 合的方法. 用户可以对某些区域调节其平滑项的权 重, 或者为某些区域的前景色选择一些对比明显的 背景样本, 增加数据项的有效性. 在 2007 年的 CVPR 会议论文中, Wang 等又 提出了新的方案, 即 Robust matting[28] . 与之前基 于能量函数的方法相比, 其主要思想是对数据项和 平滑项的权重有了更精确的调节. 如第 2.1 节所述, 首先根据颜色空间距离, 得出样本的信任系数 ˆf, 再 直接根据样本粗略估计出对应的不透明度 αˆ. 然后 最小化能量函数, 能量函数定义如式 (13) 所示: E = X z∈ψ h ˆfz(αz − αˆz) 2 +