刘玲君等：MMSE准则下基于玻尔兹曼机的快速重构算法 ·1255· 稀疏信号重构的任务是获取含噪信号y在冗余字典A 广.文献「121首先通过图像训练库学习BM模型的参 下的最优稀疏逼近，进而恢复出无噪信号A. 数：系数的方差、系数间的相关矩阵和其偏差以及冗余 由于0范数的非凸性，求重构问题的全局最优解 字典：然后根据这些参数使用吉比斯采样和模拟退火 是一个非确定多项式(non-deterministic polynomial, 算法求解关于稀疏模式的MAP估计，进而实现信号重 NP)难问题，因此只能采用近似逼近的算法求解.常 构，但该方法收敛速度慢.为此，结构化贝叶斯追踪 用的近似逼近算法可分为凸松弛方法、贪婪方法和贝 (structured soft bayesian pursuit,SSoBaP)[]和基于玻 叶斯重构方法.其中，凸松弛方法如基追踪(basis 尔兹曼机的贝叶斯匹配追踪(boltzmann machine bayes- pursuit,BP)用凸的、易求解的稀疏度量函数代替非凸 ian matching pursuit,BM-BMP)[)研究了更快速的重 的0范数来逼近原问题，重构效果理想，但复杂度高. 构算法.SSoBaP采用基于平均场近似的变分贝叶斯方 贪婪方法在冗余字典中迭代寻找与当前残差最匹配的 法求解MAP估计，通过迭代的方式构造易求解极值的 原子，近似估计原信号，复杂度较低，但重构效果一般， 概率函数最大化地近似MAP函数，得到MAP估计的 典型的算法有正交匹配追踪(orthogonal matching 一个局部近似.BM-BMP则采用了更加快速的贪婪算 pursuit,OMP))]和子空间追踪(subspace pursuit, 法进行MAP估计求解，在相同的计算复杂度下获得比 SP)).与这两类方法不同，贝叶斯重构利用了信号的 模拟退火算法更好的恢复性能.BM-BMP算法基于贝 统计先验信息，使用概率推断和软判决方法估计原信 叶斯匹配追踪的思想，每次迭代依次激活一个稀疏模 号，获得更好的重构质量，但复杂度上升，典型的算法 式的元素使得当前MAP评估值最大，通过若干次迭代 有贝叶斯压缩感知(bayesian compressive sensing, 后寻找出一个稀疏模式的最优组合.另外，BM-BMP BCS))和随机正交匹配追踪(Rand-OMP)[o].贝叶斯 算法还采用块坐标优化方法实现参数估计和信号重构 压缩感知使用层次先验模型来描述重构信号系数的稀 的同步求解，比预训练的模型参数更匹配信号内容 疏性，通过期望最大化(expectation maximization,EM) 综上所述，提高算法的运算速度和重构质量是贝 方法来估计模型的参数，并由贝叶斯公式求解问题的 叶斯重构方法的两个关键问题.本文在BM-BMP的 最大后验概率(maximum a posteriori,MAP)估计，从而 基础上，利用玻尔兹曼机模型来描述稀疏系数间结构 实现信号重构.Rand-OMP则根据MAP评估式按一 信息，并通过增量计算和MMSE近似估计的方法分别 定概率随机确定贪婪搜索的方向估计信号，并由多组 改善BM-BMP算法的运算速度和重构质量.第一，将 OMP估计值平均构成重构问题的最小均方误差(mii- MAP估计的评估值表示成上一次迭代的评估值加上 mum mean square error,MMSE)估计，并证明了当评判 增值部分，以增量计算替代评估值的计算，从而减少了 准则为最小误差而非最稀疏时，MMSE估计比单个 运行时间：第二，考虑到自然图像的非稀疏性，在噪声 MAP估计具有更小的重构误差. 干扰下，单个MAP估计解往往不稳定，为此，本文利用 传统的贝叶斯重构算法假设稀疏系数彼此独立， 多个显著MAP估计值近似MMSE估计，克服了MMSE 未利用系数间的结构特性，近来研究发现利用结构化 估计需遍历所有解的问题，也改善了BM-BMP算法的 稀疏信息可以加强重构问题的规范化约束，缩小重构 重构质量 信号需要搜索的解空间范围，因此可以更加准确有效 地重构信号，例如：分块正交匹配追踪(Blok-OMP)[] 1基于玻尔兹曼机的稀疏重构算法 利用信号的块稀疏结构，假设信号非零系数成块出现： 1.1玻尔兹曼机模型及MAP估计 基于模型的压缩感知(model-based CS,MB_CS)[)利用 在稀疏信号重构中，信号本身或者它的变换系数 信号的树稀疏结构，假设信号中的系数呈现树形连接 常具有稀疏的先验分布，此外，系数间还会呈现出聚集 的特征.但这两者将系数间的结构看作是确定关系， 的结构特性，如小波树结构和块结构.但对于更复杂 而实际信号中的结构用统计分布来描述更为可靠，如 的信号如非平稳的自然图像而言，变换系数不满足树 基于分块结构的稀疏贝叶斯学习(block sparse bayes- 稀疏或块稀疏的特性.为了描述系数间的任意结构特 ian learning,.BsBL)[s-o]和基于小波树结构的压缩感知 性，本文利用玻尔兹曼分布对稀疏系数间的统计依赖 tree-structured wavelet compressive sensing,TSW- 性进行先验描述 CS)t (1)玻尔兹曼机模型.BM分布定义如下： 使用玻尔兹曼机(Boltzmann machine,BM)模型表 示稀疏系数两两之间的统计依赖性2-)，可描述系数 p(S)=zp(b's+2s"ws） (1) 间的任意结构特性，比块稀疏或树稀疏结构适用性更 其中，稀疏模式S是m维的二进制序列，第i个元素刘玲君等: MMSE 准则下基于玻尔兹曼机的快速重构算法 稀疏信号重构的任务是获取含噪信号 y 在冗余字典 A 下的最优稀疏逼近 x^,进而恢复出无噪信号 Ax^. 由于 L0 范数的非凸性,求重构问题的全局最优解 是一 个 非 确 定 多 项 式 ( non鄄deterministic polynomial, NP)难问题,因此只能采用近似逼近的算法求解. 常 用的近似逼近算法可分为凸松弛方法、贪婪方法和贝 叶斯重构方法. 其中,凸松弛方法如基 追 踪 ( basis pursuit, BP)用凸的、易求解的稀疏度量函数代替非凸 的 L0 范数来逼近原问题,重构效果理想,但复杂度高. 贪婪方法在冗余字典中迭代寻找与当前残差最匹配的 原子,近似估计原信号,复杂度较低,但重构效果一般, 典型 的 算 法 有 正 交 匹 配 追 踪 ( orthogonal matching pursuit, OMP ) [3] 和 子 空 间 追 踪 ( subspace pursuit, SP) [4] . 与这两类方法不同,贝叶斯重构利用了信号的 统计先验信息,使用概率推断和软判决方法估计原信 号,获得更好的重构质量,但复杂度上升,典型的算法 有 贝 叶 斯 压 缩 感 知 ( bayesian compressive sensing, BCS) [5]和随机正交匹配追踪(Rand鄄鄄OMP) [6] . 贝叶斯 压缩感知使用层次先验模型来描述重构信号系数的稀 疏性,通过期望最大化( expectation maximization,EM) 方法来估计模型的参数,并由贝叶斯公式求解问题的 最大后验概率(maximum a posteriori,MAP)估计,从而 实现信号重构. Rand鄄鄄 OMP 则根据 MAP 评估式按一 定概率随机确定贪婪搜索的方向估计信号,并由多组 OMP 估计值平均构成重构问题的最小均方误差(mini鄄 mum mean square error,MMSE)估计,并证明了当评判 准则为最小误差而非最稀疏时,MMSE 估计比单个 MAP 估计具有更小的重构误差. 传统的贝叶斯重构算法假设稀疏系数彼此独立, 未利用系数间的结构特性,近来研究发现利用结构化 稀疏信息可以加强重构问题的规范化约束,缩小重构 信号需要搜索的解空间范围,因此可以更加准确有效 地重构信号,例如:分块正交匹配追踪(Block鄄OMP) [7] 利用信号的块稀疏结构,假设信号非零系数成块出现; 基于模型的压缩感知(model鄄based CS,MB_CS) [8]利用 信号的树稀疏结构,假设信号中的系数呈现树形连接 的特征. 但这两者将系数间的结构看作是确定关系, 而实际信号中的结构用统计分布来描述更为可靠,如 基于分块结构的稀疏贝叶斯学习( block sparse bayes鄄 ian learning,BSBL) [9鄄鄄10]和基于小波树结构的压缩感知 ( tree鄄structured wavelet compressive sensing, TSW鄄鄄 CS) [11] . 使用玻尔兹曼机(Boltzmann machine,BM)模型表 示稀疏系数两两之间的统计依赖性[12鄄鄄15] ,可描述系数 间的任意结构特性,比块稀疏或树稀疏结构适用性更 广. 文献[12]首先通过图像训练库学习 BM 模型的参 数:系数的方差、系数间的相关矩阵和其偏差以及冗余 字典;然后根据这些参数使用吉比斯采样和模拟退火 算法求解关于稀疏模式的 MAP 估计,进而实现信号重 构,但该方法收敛速度慢. 为此,结构化贝叶斯追踪 (structured soft bayesian pursuit,SSoBaP) [13] 和基于玻 尔兹曼机的贝叶斯匹配追踪( boltzmann machine bayes鄄 ian matching pursuit,BM鄄鄄 BMP) [14] 研究了更快速的重 构算法. SSoBaP 采用基于平均场近似的变分贝叶斯方 法求解 MAP 估计,通过迭代的方式构造易求解极值的 概率函数最大化地近似 MAP 函数,得到 MAP 估计的 一个局部近似. BM鄄鄄BMP 则采用了更加快速的贪婪算 法进行 MAP 估计求解,在相同的计算复杂度下获得比 模拟退火算法更好的恢复性能. BM鄄鄄BMP 算法基于贝 叶斯匹配追踪的思想,每次迭代依次激活一个稀疏模 式的元素使得当前 MAP 评估值最大,通过若干次迭代 后寻找出一个稀疏模式的最优组合. 另外,BM鄄鄄 BMP 算法还采用块坐标优化方法实现参数估计和信号重构 的同步求解,比预训练的模型参数更匹配信号内容. 综上所述,提高算法的运算速度和重构质量是贝 叶斯重构方法的两个关键问题. 本文在 BM鄄鄄 BMP 的 基础上,利用玻尔兹曼机模型来描述稀疏系数间结构 信息,并通过增量计算和 MMSE 近似估计的方法分别 改善 BM鄄鄄BMP 算法的运算速度和重构质量. 第一,将 MAP 估计的评估值表示成上一次迭代的评估值加上 增值部分,以增量计算替代评估值的计算,从而减少了 运行时间;第二,考虑到自然图像的非稀疏性,在噪声 干扰下,单个 MAP 估计解往往不稳定,为此,本文利用 多个显著 MAP 估计值近似 MMSE 估计,克服了 MMSE 估计需遍历所有解的问题,也改善了 BM鄄鄄BMP 算法的 重构质量. 1 基于玻尔兹曼机的稀疏重构算法 1郾 1 玻尔兹曼机模型及 MAP 估计 在稀疏信号重构中,信号本身或者它的变换系数 常具有稀疏的先验分布,此外,系数间还会呈现出聚集 的结构特性,如小波树结构和块结构. 但对于更复杂 的信号如非平稳的自然图像而言,变换系数不满足树 稀疏或块稀疏的特性. 为了描述系数间的任意结构特 性,本文利用玻尔兹曼分布对稀疏系数间的统计依赖 性进行先验描述. (1)玻尔兹曼机模型. BM 分布定义如下: P(S) = 1 Z exp ( b T S + 1 2 S TWS ). (1) 其中,稀疏模式 S 是 m 维的二进制序列,第 i 个元素 ·1255·