第4卷第3期 智能系统学报 Vol.4 No.3 2009年6月 CAAI Transactions on Intelligent Systems Jun.2009 doi10.3969/j.issn.1673-4785.2009.03.002 基于学习的超分辨率重建技术 刘琚，乔建苹2 (1.山东大学信息科学与工程学院，山东济南250100：2.山东师范大学传播学院，山东济南250014) 摘要超分辨率重建是图像处理和计算机图形学频域的热点研究问题主要介绍基于学习的超分辨率重建技术的 基本理论和研究进展，包括基于支撑向量机、流形学习和独立分量分析等几种典型的基于学习的超分辨率重建技术 以及作者的最新研究结果，最后对未来可能的发展做了展望， 关键词超分率重建：支持向量机：流形学习：独立分量分析 中图份类号：：TP391.4文献标识码：A文章编号：1673-4785(2009)03-019909 Learning-based super-resolution reconstruction LIU Ju',QIAO Jian-ping? (1.School of Information Science and Enginering Shandong Univerity Jinan 250100.China:2.Schodl d Communication Shan- dong Normal Univerity.Ji'nan 250014.China) AbstractSuper-resolution reconstruction is an important problem in image processing and computer graphics.This paper introduces key mathematical principles and the latest progress in leaming-based super-resolution.Several typical artificial intelligent techniques,such as support vector machines,manifold leaming,independent compo- nent analysis and so on,were analyzed.Finally,areas meriting further investigation were outlined. Keywords:super-resolution reconstruction;suppot vector machines;manifold learning;independent component a- nalysis 随着多媒体通信和信息处理技术的发展，人们 感、医学和公安系统等领域都具有非常重要的实际 对图像分辨率的要求越来越高.然而许多成像系统 应用价值 受其物理条件的限制，所得到的图像往往分辨率很 超分辨率重建技术是指融合多幅包含相似信息 低；而且会有退化变形和受噪声污染，图像的视觉效 但存在不同细节的低分辨率图像，得到一幅或多幅 果难以满足人们的需要.如果采用改善物理硬件的 高分辨率图像，以弥补原始单源观测图像承载信息 方法来获取人们满意的高分辨率图像，则成本较高， 的局限性.它是一门综合了信号处理、人工智能和传 而且有时难于实现.因此有必要考虑一种能够克服 感器等技术的现代高新技术，近年来已成为国际上 这些限制的新措施来提高图像空间分辨率.超分辨 图像处理领域最活跃的研究课题之一. 率重建技术就在这种背景下应运而生.该技术弥补 1超分辨率重建 了硬件方面的不足，从软件的角度提高图像的分辨 率，增强图像的可用性.因此这种技术一经提出，便 1.1低分辨率成像的数学模型型 引起了许多学者的广泛重视和关注，目前在电视、遥 为了实现对未知高分辨率图像的重建，首先需 要对图像获取的退化过程进行分析和建模。 收稿日期：2008-07-16. 数字图像在采集过程中可能会受到光学模糊、 基金项目：因家自然科学基金资助项目(60572105,60872024)'：教 运动模糊、下采样引起的信号混叠，以及采集图像过 育部博士点专项基金资助项目(20050422017)）：高等学 校科书 新工程重大项自培育资金项目(708059：山东 程中环境噪声和系统散弹噪声的影响，从而使图像 省自然科学基金资助项目(Y2007G04). 通信作者：乔建苹Eei:.jpriao@sdh.edu.on. 受到污染.Elad提出一种矩阵-向量的方法来描述 低分辨率图像的成像模型：
超分辨率重建技术是指融合多幅包含相似信息 但存在不同细节的低分辨率图像,得到一幅或多幅 高分辨率图像,以弥补原始单源观测图像承载信息 的局限性.它是一门综合了信号处理、人工智能和传 感器等技术的现代高新技术,近年来已成为国际上 图像处理领域最活跃的研究课题之一. LIU Ju',QIAO Jian-ping² 第4卷第3期 育部博士点专项基金资助项目(20050422017) ;高等学 校科技创新工程重大项目培育资金项目(708059);山东 省自然科学基金资助项目(Y2007G04). 通信作者: 乔建苹.E-mail: jpriao@ sdh.edu.on. 2009年6月 nalysis 为了实现对未知高分辨率图像的重建,首先需 要对图像获取的退化过程进行分析和建模. 1超分辨率重建 感、医学和公安系统等领域都具有非常重要的实际 应用价值. 摘 要:超分辨率重建是图像处理和计算机图形学领域的热点研究问题.主要介绍基于学习的超分辨率重建技术的 基本理论和研究进展,包括基于支撑向量机、流形学习和独立分量分析等几种典型的基于学习的超分辨率重建技术 以及作者的最新研究结果,最后对未来可能的发展做了展望. 关键词:超分辨率重建;支持向量机;流形学习;独立分量分析 中图分类号: TP391.4 文献标识码: A 文章编号: 1673-4785(2009) 03-0199-09 doi: 10.3969/j.issn.1673-4785.2009.03.002 (1. School of Information Science and Enginering,Shandong Univerity,Ji'nan 250100,China;2. Schodl d Communication,Shandong Normal Univerity,Ji'nan 250014,China) CAAI Transactions on Intelligent Systems 智 能 系 统 学 报 Learning-based super-resolution reconstruction AbstractSuper-resolution reconstruction is an important problem in image processing and computer graphics. This paper introduces key mathematical principles and the latest progress in leaming-based super-resolution. Several typical artificial intelligent techniques,such as support vector machines,manifold leaming,independent component analysis and so on,were analyzed. Finally,areas meriting further investigation were outlined. Keywords: super-resolution reconstruction;suppot vector machines;manifold learning;independent component aVol.4 No.3 收稿日期: 2008-07-16. 基金项目: 国家自然科学基金资助项目(60572105,60872024) ;教 Jun.2009 数字图像在采集过程中可能会受到光学模糊、 运动模糊、下采样引起的信号混叠,以及采集图像过 程中环境噪声和系统散弹噪声的影响,从而使图像 受到污染.Elad 提出一种矩阵-向量的方法来描述 低分辨率图像的成像模型: 随着多媒体通信和信息处理技术的发展,人们 对图像分辨率的要求越来越高.然而许多成像系统 受其物理条件的限制,所得到的图像往往分辨率很 低;而且会有退化变形和受噪声污染,图像的视觉效 果难以满足人们的需要.如果采用改善物理硬件的 方法来获取人们满意的高分辨率图像,则成本较高, 而且有时难于实现.因此有必要考虑一种能够克服 这些限制的新措施来提高图像空间分辨率.超分辨 率重建技术就在这种背景下应运而生.该技术弥补 了硬件方面的不足,从软件的角度提高图像的分辨 率,增强图像的可用性.因此这种技术一经提出,便 引起了许多学者的广泛重视和关注,目前在电视、遥 基于学习的超分辨率重建技术 1.1低分辨率成像的数学模型 刘 琚',乔建苹2 (1.山东大学信息科学与工程学院,山东济南250100;2.山东师范大学传播学院,山东济南250014)
200 智能系统学报 第4卷 y=D HWx +ng. (1) 目前，超分辨率重建大致可以分为2个方向：基 式中：x表示高分辩率图像，y表示第k帧低分辨图 于重构的方法和基于学习的方法.基于重构的超分 像，n。表示零均值加性高斯噪声.Ds、H。和W。分别 辨率算法是通过一定程度的模糊和下采样对图像获 表示下采样矩阵，模糊矩阵和几何变换矩阵.考虑所 取过程进行建模，从而假定由高分辨率图像可以生 有帧，矩阵-向量方程表示如下： 成低分辨率图像.然而随着分辩率提高倍数的增加， 「DH1W 对于大的放大倍数，这些方法通常不能很好地重构 : (2) 图像的高频信息， 1.2关键技术的发展 图1模拟了低分辨率图像序列的成像过程 Baker等72指出基于重构的超分辨率技术在 分辩率增强大约8~16倍时，简单的平滑约束很容 几何变换 模湖 下采 易使期望的高分辨率图像由于高频信息的丢失过于 平滑；因此引入了基于识别的先验知识，作为识别决 策集的函数.基于识别的先验是对特定的目标、场景 儿何变换 模糊 下采样 或图像集合进行学习得到的，即通过计算低分辨率 输人图像和高分辨率训练图像的高斯金字塔、拉普 拉斯金字塔、水平一二阶梯度、垂直一二阶梯度得到 父结构，然后再以某种测度作为衡量标准，建立低分 辨率输入图像的像素与最匹配的高分辨率像素及高 图1低分辩率图像的成像过程 分辨率训练图像间的关系，然后与超分辨率重构约 Fig.1 LR image acquisition model 束合并估计最大后验概率(maximum a posterior 超分辨率重建就是利用已有的观测数据和其他 probability,MAP)的解.此方法获得了比传统的基于 相关信息，通过建立的数学模型获取在一定准则下 重构的超分辨率方法更好的效果，这就是基于学习 x的较好估计，它是成像过程的逆过程.欠采样矩阵 的超分辨率方法.该类方法不仅克服了基于重构的 D的逆和分辨率增强因子有间接的关联关系，其求 方法在分辨率提高倍数方面的局限性，而且可以实 解可以通过适当数量的低分辨率图像的额外信息进 现单幅图像的超分辨率重建， 行估计：模糊矩阵H。可以用成像系统的点扩展函 Freemant3]等提出基于例子的方法，其基本思 数(point spread function,PSF)表示；而加性噪声则 想是先学习低分辨率图像与高分辨率图像之间的关 需要根据一定的滤波方法对其进行别除和抑制。此 系，然后利用这种关系来指导对图像进行超分辨率 外，由于图像的明暗亮度与相应景物表面的辐射亮 该文采用马尔可夫网络学习训练库中与低分辨率图 度成正比，不同的低分辨率图像间可能存在的辐射 像不同区域对应的高分辨率图像的精细细节，然后 亮度差异等都可能影响重建结果 利用学习得到的关系预测图像的细节信息.该算法 超分辨率重建技术最早出现于20世纪60年 把图像分成小的块，并假设每个图像块对应马尔可 代，Harris)和Goodman2提出将带限信号外推的方 夫网络上的1个节点，把变元分配给居中的节点，且 法对偶地运用到光学图像的超分辨率重建中，奠定 马尔可夫网络上的任意2个节点在统计量上是相互 了超分辨率赖以存在的数学基础.随后许多人对其 独立的，然后生成训练库，运用传播算法求解马尔可 进行了研究，并相继提出了各种复原方法，如长椭球 夫网络.在预测阶段，将低分辨率小块和高分辨率小 波函数法引、线性外推法)、叠加正弦模板法)等 块连接起来作为1个搜索向量，在训练集合中查找 这些方法虽然有较好的仿真效果，但在实际应用中 匹配，寻找最近邻居.当一个匹配找到时，相应的高 并没有获得理想的结果.80年代初，Tsai和Huang6 分辨率小块即为输出.另外，在训练库中寻找匹配块 首次提出了利用多帧低分辨率退化图像进行空间分 的搜索算法采用了基于树的逼近最邻近搜索.Bih 辨率增强的概念.80年代后期以来，人们在超分辨 o即14等对此方法进行了改进，通过有效组织图像块 率图像重建方法研究上取得了突破性进展，不仅在 数据库来提高匹配效率.Sun1]等则提出通过主要 理论上说明了超分辨率存在的可能性，而且提出和 轮廓先验增强图像质量.与上述使用概率模型的方 发展了很多有实用价值的方法， 法相比，Chang16等认为高分辨率和低分辨率图像
第3期 刘琚，等：基于学习的超分辨率重建技术 201 块间可以构成具有相似局部几何结构的流形，提出 结构，将高维空间中的数据在低维空间中重新表示， 了基于流形学习的方法；Su]等对此方法中的邻居 而超分辨率的定义是由低分辨率图像重建高分辨率 保持问题进行了讨论；Tai]等则利用多尺度张量 图像；若将图像或图像块看作空间中的点，那么，超 投票理论来估计未知的高分辨率图像；Joshi)等提 分辨率的目的可以表述为将低维空间中的数据在高 出融合不同尺寸的图像进行分辨率增强 维空间中重新表示.由此可以将超分辨率看作流形 对于人脸这类特殊图像的超分辩率重建，继 学习的逆过程，前者是从低维向高维转换，而后者则 Baker等首次提出“人脸幻想”的概念之后，Gun 是从高维向低维转换，进而可以运用流形学习的思 uk等人[202]利用一种与KL变换相似的降维技术 想和方法解决超分辨率问题 将像素域的超分辨率问题转换到低维子空间，即人 香港科技大学的Chang等学者[16最早将流形 脸空间，以降低超分辨率算法的计算量.他们首先对 学习的思想用于超分辨率，提出一种基于邻域嵌入 高分辨率人脸图像库和相应欠采样后的低分辨率人 的超分辨率重建算法.其基本思想是，假设高分辩率 脸图像库进行训练得到高、低分辨率人脸空间，然后 和低分辨率图像块可以构成具有相似局部几何结构 将采集得到的多帧低分辨率人脸图像在低分辨率人 的流形，借助于由一组低分辨率图像及其对应的高 脸空间投影，得到相应的多个人脸特征，通过建立低 分辨率图像组成的训练集来估计未知的超分辨率图 分辨率人脸特征和高分辨率人脸特征间的MAP模 像.理想情况下，每一个高分辨率图像块不仅和其对 型，迭代估计高分辨率人脸特征，实现超分辨率人脸 应的低分辨率图像块有关，而且和其邻域块也应该 识别. 保持某种块间联系.第一个特性决定了重建的准确 Liu等人[a提出了结合主分量分析(principal 性，而后一个特性则决定了重建图像的局部保持特 component analy8is,PCA)与马尔可夫框架实现单帧 性和平滑性.为了满足这两点需要，该算法具有以下 超分辨率重建的算法.在该算法中，3种约束条件被 3个特性：1)每一个高分辨率图像块由训练集中的 提出：语义约束、全局约束和局部约束.他们将期望 多个图像块有关；2)低分辨率图像块间的局部关系 的高分辨率图像分为2个部分：概貌部分和细节部 在对应的高分辨率图像块中保持不变；3)高分辨率 分.首先采用PCA的方法，借助特征向量空间得到 图像块间的邻居关系通过交叠来保持，以增强局部 了期望高分辨率图像的概貌部分：然后分块建立训 保持特性和平滑性，该算法分为矢量集形成和超分 练图像与期望高分辨率人脸的概貌之间的非参数马 辨率重建2部分.首先，将训练集中的高分辨率图像 尔可夫框架，通过能量最小化，得到期望高分辨率人 和低分辨率图像分成若干相互交叠图像块，以高分 脸细节部分的最优解：最后融合图像概貌和细节得 辨率图像块组成的空间作为观测空间(DB_H),对 到很想的高分辨率人脸图像，但该方法得到的结果 应的低分辨率图像块组成的空间为内在低维空间 较为平滑.Li2]等利用多层感知网络重建高分辨 (DB_L),每个块的特征向量用亮度变化值（一阶和 率人脸图像；Gupta24]等提出一种同时进行人脸恢 二阶梯度)来表征.训练图像的特征向量集形成矢 复和识别的方法；Jia]等提出人脸表情幻想的超分 量集.然后将每个图像块对应的特征向量看作空间 辨率算法；Peng2)等则将二维人脸幻想的方法扩展 中的一点，该点可以用邻近点的线性组合来表示，且 应用于三维人脸建模中；Wag等人)提出了基于 观测空间和低维空间的相应数据点具有相同的权 特征脸的人脸超分辨率幻想方案，利用PCA将低分 值.最后根据低分辨率图像块的特征向量得到的权 辨率输入图像建模为一些低分辨率训练图像的线性 值和矢量集DB_H中的矢量重建出高分辨率图像. 组合，保持融合系数不变，用相应的高分辨率训练图 后来，Ming等人[3考虑了训练图像选择的问 像代替低分辨率训练图像，从而估计出期望的高分 题，提出不同类型的图像的直方图是不一样的：因而 辨率图像 可以利用直方图的欧氏距离选择训练图像，然后在 2基于学习的超分辨率重建方法 流形学习的框架下进行超分辨率重建.Su等人1切 则对“邻近邻居问题”进行了探讨，研究了不同的下 2.1基于流形学习的超分辨率重建技术 采样因子和下采样方法对邻居保持的影响，指出用 流形学习别是一种非线性的降维方法.它以 一阶和二阶梯度作为特征提取的方法不能很好地保 微分几何学作为理论基础，结合神经科学提供的生 持邻居特性：因而需要寻求更好的可以保持邻居特 物学依据，其目的是找出隐藏在高维数据中的低维 性的特征表示或者选择更好的重建函数来提高算法
202 智能系统学报 第4卷 的性能.Sug等人)将流形学习中的局部保持投 光照敏感的缺点.算法流程如图2所示.将该算法应 影(locality presorring projection,PP)方法用于人脸 用于自然图像、文本图像和指纹图像进行超分辨率， 幻想，以更清楚地定义未知测试图像与训练图像间 自然图像重建结果如图3所示.可以看出与传统的 的映射函数 基于学习的SR算法相比，该方法考虑了光照的角 作者本人在文献[34]中提出一种不随光照变 度和强度等因素的影响，不仅有效克服了算法对光 化的图像表示方法一对数-小波变换(Lg-WT), 照变化的敏感性；而且在增强图像分辨率的同时消 并将其应用于超分辨率重建，构造低维嵌套空间，然 除了光照的影响，实现了图像增强，尤其是阴影效应 后在流形学习的框架下重建高分辨率图像，同时进 的消除，同时对加性高斯白噪声具有一定的鲁棒性。 行图像增强，消除阴影效应，有效克服了传统方法对 训练 图像 Log(+8) DB_H exp() 初始 计 HR 模糊 Log-WI 特和 DB J 图像 下采样 矢成 币建 约块 LR y最近 像 Log-WI 特征 权值 失量 邻欠量 计算 图2基于LgWT的超分辨率重建方案流程图 Fig.2 Schematic diagram of the Log-WT SR algorithm a1像 b)Bicubic语值 (c】茶于例子的方法 d基于局部嵌人的方法c)某丁og-WT的方法 图3超分辨率重建结果比较 Fig.3 SR results of different methods 2.2基于支持向量机的超分辨率重建技术 盲超分辨率图像重建.作者提出一种基于支持向量机 支持向量机(support vector machine,SVM)是建 的盲超分辨率图像重建算法@，其基本思想是假设 立在统计学习理论的VC维(VC dimension)理论和 模糊函数类型已知，且可由某一参数来表征，从模式 结构风险最小原理基础上的，根据有限的样本信息 识别的角度出发，参数辨识可以看作多类分类问题， 在模型的复杂性（即对特定训练样本的学习精度） 即从模糊图像中提取出可以代表该图像模糊程度的 和学习能力（即无错误地识别任意样本的能力）之 特征向量，然后采用机器学习的方法训练这些特征矢 间寻求最佳折衷，以期获得最好的推广能力54如. 量与对应的模糊参数的映射关系，最后用于盲超分辨 与传统统计学相比，支持向量机能很好地解决有限 率重建.整个算法流程如图4所示。 数量样本的高维模型的构造问题，而且具有良好的 文章中采用Sobel算子和局部方差从训练图像 通用性和快速的运算速度， 中提取能够表征模糊参数信息的特征向量，其原理 由于在很多实际应用中，系统的点扩展函数 为：造成图像退化的点扩展函数可以等效成低通滤 (PSF)并不能精确知道或者根本不知道；因此进行超 波器，图像的低频区域几乎不含有或含有很少的模 分辨率的首要一步是进行模糊辨识，然后实施重建. 糊函数的信息，同时具有不同参数的点扩展函数的 在点扩展函数未知的情况下进行超分辨率重建称为 截至频率是不同的；因而对经不同模糊函数模糊的
第3期 刘琚，等：基于学习的超分辨率重建技术 .203· 图像进行边缘检测后得到的图像包含了模糊函数参 域含有很少的模糊函数的信息，对识别的作用很小， 数的信息.Sobl算子作用后产生的图像包含了模糊 因而只选用图像的非平坦区域形成模糊图像的特征 函数的信息，并且由于它检测的边缘较宽，能最大程 矢量集， 度地保留模糊参数的信息.另外，由于图像的平坦区 训练 模糊 特征天 图像 (参数日) 量形成 SVM 降质 特征欠 最大比例 降晰参 图像 量形成 分类 选择器 数蟒识 图4 基于SVM的模糊多数辨识算法流程图 Fig.4 Schematic diagram of the SVM based blur identification algorithm 以Lena为训练图像，将测试图像Panda进行散 图(b)为作者所提出的算法的结果[] 焦模糊、下采样和压缩后，产生低分辨率图像， 图54]为对应散焦半径为2.5的低分辨率图像的 辨识曲线，图中横轴为设置的模糊函数参数（即散 焦半径)可能的取值，纵轴为SVM输出结果统计，即 每一个候选参数出现的比例，曲线最高点对应的横 坐标即为辩识出来的观测图像的散焦半径.基于 SVM的算法对训练样本的依赖性小，并且对光照， 压缩以及各种噪声等具有一定的鲁棒性.其性能取 {a)线性话彼实验结果 )个义方法的实验结果 决于2个重要因素：一个是特征提取的有效性，另一 图6基于SVM盲重建图像 个是分类器的准确性.可以通过寻找更合理的特征 Fig.6 SVM based blind SR results 提取方法以及运用其他模式识别的工具诸如隐马尔 2.3基于独立分量分析的超分辨率重建技术 可夫模型、神经网络等以提高算法的性能， 独立分量分析(independent component analysis, 1.0 ICA)[]是在研究盲源分离过程中出现的一种新兴 RBF-SVM scaling=0.5 e-RBF-SVM scaling=1.0 的信号处理和数据分析方法.其起源是人类的“鸡 0.8 -RBI-SVM scaling=1.5 尾酒会效应”[4]，自其出现便成为信号处理、数值分 +--P-SVM scaling=0.5 P-SVM scaling=1.0 析及神经网络等领域的热点研究问题.盲源分离是 -P-SVM scaling=1.5 在对彼此独立的源信号的混合过程及各个源信号本 WAS 身均未知的情况下，根据信号的统计特性从几个混 合观测信号中恢复出这些未知的源信号，实现混叠 0.2 信号的盲分离，从而提取出各个源信号.ICA可以根 据信号的统计特性从多个观测信号中恢复出未知的 4 6 候选参数 独立源成分，目前已在模式识别、特征提取、生物医 图5基于SVM参数辨识曲线 学信号处理等方面获得广泛应用.作者在文献[45] Fig.5 SVM based blur identification curves 提出一种基于ICA的人脸超分辩率图像重建算法， 图6为从实际拍摄的视频序列中取连续的11 其基本思想是，假设P个独立分量张成空间D,则 帧图像来重建一幅高分辨率图像的实验结果.取中 每幅图像可以看作空间中的一点，即可以由这些独 间帧为参考帧，分辨率倍数提高4倍.首先将图像由 立分量线性组合而成.利用ICA从高分辨率训练图 RGB空间转换到YUV空间，对U、V分量用双线性 像中提取出独立分量，同时估计ICA系数的先验， 插值，Y分量应用超分辨率算法.CCD相机的降质主 给定一幅低分辨率图像，结合最大后验概率(MAP) 要由散焦引起，采用基于SVM的参数辨识算法，估 估计理论求出ICA系数，然后ICA反变换得到高分 计散焦半径为1.8.图6(a)为双线性插值的结果； 辨率图像的近似估计.该算法有效实现了人脸超分
204 智能系统学报 第4卷 辨率重建，保持了人脸整体结构特征，且对光照、表 图像.图像库中包含具有不同表情、姿态和光照的人 情、姿态等具有一定的鲁棒性.整个算法的流程如 脸图像.训练时选取580幅作为训练图像，另外的不 图7所示. 同于圳练图像的30幅作为测试图像.低分辨率图像 训练图像 的产生过程包括高斯模糊和平均下采样.低分辨率 图像的大小为24×24.重建结果如图8所示4).可 ICA系数先验 以看出基于ICA的方法的结果最忠实于原始图像， 而基于局部嵌入的方法的结果有较多的块效应，两 低分辨 IC, MAP HR输出 率图像 步法的结果与原始图像有较大差别，基于特征脸的 方法的结果则比较模糊.这是由于PCA是基于二阶 统计量的算法，而人脸图像含有丰富的相位信息，这 些相位信息需要用高阶统计量来表述.ICA既可以 图7基于ICA的人脸幻想方案流程图 表示二阶统计信息，又可以表示高阶统计信息，因此 Fig.7 Block diagram of the ICA-based hallucination al- 本节提出的基于ICA的方法具有更好的性能.从计 gorithm 算复杂度来看，基于局部嵌入的方法计算量最小，只 试验中，将AR人脸数据库中的图像根据指定 需一幅训练图像就可以，且该方法的重建结果不受 的位置，例如眼睛和嘴巴等，进行仿射变换，将所有 训练图像数目的影响，即训练图像用多幅和一幅所 人脸对齐，然后裁减至大小为96×96作为高分辨率 得到的结果没有太大差别. ()低分骄率)bicubic插值(e)两步法(d》点」特(e》基」局部嵌f)林lCA的{g)流始图像 豫 脸的分法 入的方法 法 图8AR人脸数据库重建结果 Fig.8 Hallucination results of AR database
第3期 刘琚，等：基于学习的超分辨率重建技术 .205 3结论 高视频空间分辨率，是值得进一步研究的方向， 超分辨率技术虽然经历了多年的发展并取得了 参考文献： 丰富的成果，但这一领域仍存在着许多问题有待进 [1]HARRIS J L.Diffraction and resolving power[J].Joural 一步研究. of the Optical Society of America,1964,54(7):931-936. 1)退化模型.图像超分辨率重建通常采用简单 [2]GOODMAN J W.Introduction to Fourier optics [M].New 确定的降质模型进行近似，然而近似模型和实际成 York:McGraw-Hill,1968. [3]BROWN H A.Effect of truncation on image enhancement 像过程差距很大.在成像系统中，观察模型精确地对 by prolate spheroidal function [J].Journal of the Optical 图像退化进行描述有利于对图像解空间进行约束， Society of America,1969,59:228-229. 因而进行这方面的研究是十分有意义的.此外，还应 [4]JAIN A K.Fundamentals of digital image processing[M]. 该对CCD图像传感器的几何属性、积分属性、噪声 Englewood Cliffs,USA:Prentice-Hall,1989 和读出噪声属性等方面给予关注，发展和寻求准确 [5]WADAKS S,SATO T.Super-resolution in incoherent ima- 的符合实际成像系统的退化模型，更好地对传感器 ging system[J].Journal of the Optical Socicty of Amcrica, 观察过程进行建模，使其更加精确和全面，提高图像 1975,65(3):354-355. 重建的效果 [6]TSAI R Y,HUANG T S.Multipleframe image restoration 2)压缩域的超分辨率重建，传统的超分辨率算 and registration[C//Advances in Computer Vision and Im- 法都是基于图像序列，而实际中最常见的图像序列 age Processing.Greenwich,USA:JAI Press Inc,1984: 317-339. 是视频文件.因而下一步的工作可以针对不同的视 [7]BAKER S,KANADE T.Hallucinating faces [R ]Pitts- 频压缩格式和编解码技术，在超分辨率算法中综合 burgh,USA:The Robotics Institute,Cammegie Mellon Uni- 考虑成像模型和压缩算法带来的图像降质效果，以 versity,1999. 及运动补偿和编码传输机制，提高压缩视频的超分 [8]BAKER S,KANADE T.Hallucinating faces[C]//IEEE 辨率能力. Int Conf on Automatic Face and Gesture Recognition 3)人脸超分辨率.在视频监控中，经常要对获 Grenoble,France,2000:83-88. 取的人脸图像进行识别.然而，获取的人脸图像常常 [9]BAKER S,KANADE T.Limits on super-resolution and how 是分辨率较低，或者观测的方向也存在一定的限制。 to break them [C]//IEEE Conf on Computer Vision and 目前，超分辨率人脸的假想大多是对正面的人脸图 Pattern Recognition.Hilton Hcad Island,USA,2000,2: 像进行处理，并且人脸库的建立也需要严格控制，这 372-379 就限制了人脸识别的准确率及运用的普遍性.如何 [10 ]BAKER S,KANADE T.Super-resolution:limits and be- yond [M ]//CHAUDHURI S.Super-resolution imaging. 对人脸的不同姿态进行校正、寻求适用于不同场合 Dordrecht,The Netherlands:Kluwer Academic Press, 的超分辨率人脸假想和识别方案也将是急待解决的 2001:243-276. 关键问题 [11]BAKER S,KANADE T.Super-resolution:reconstruction 4)效率和鲁棒性问题.超分辨率重建具有很高 or recognition[C]//IEEE-EURASIP Workshop on Nonlin- 的计算复杂度，特别是对于大尺寸的图像来说，重建 ear Signal and Image Processing.Baltimore,USA,2001: 算法需处理多达上亿个像素数据，速度十分关键.因 215-219. 而如何减小计算量，提高算法的速度，以适应不同的 [12]BAKER S,KANADE T.Limits on super-resolution and 图像要求，是下一步值得研究的问题.同时，在目前 how to break them[J].IEEE Trans on Pattern Analysis 的很多算法中都做了很多很设，例如照度不变等，然 and Machine Intelligence,2002,24(9):1167-1183. 而这些在实际中往往是很难实现的，因此稳健的算 [13]FREEMAN W T,JONES T R,PASZTOR E C.Example- 法也是需要研究的一个方向。 based super-resolution [J].IEEE Computer Graphics and Applications,2002,22(2):56-65. 总之，超分辨率重建技术是一个相当困难且具 [14 ]BISHOP C M,BLAKE A,MARTHI B.Super-resolution 有挑战性的研究课题，而基于学习的方法是在基于 enhancement of video C//International Conference on 重构的方法遇到困难的情况下发展起来的，虽然起 Artificial Intelligence and Statistics.Key West,USA, 步较晚；但目前看来能够弥补基于重构的方法的很 2003:410414. 多不足，结合智能技术的发展，这类方法能极大地提 [15 ]SUN Jian,ZHENG Nanning,TAO Hai,et al.Image hal-
,206. 智能系统学报 第4卷 lucination with primal sketch priors [C]//IEEE Computer [27]WANG Xiaogang,TANG Xiaoou.Hallucinating face by Society Conference on Computer Vision and Pattern Recog- eigentransformation[J].IEEE Trans on Systems,Man and nition.Madison,USA,2003,2:729-736. Cybemetics,2005,35(3):425-434. [16 CHANG H,YEUNG D Y,XIONG Y.Super-resolution [28 ]LEE DD,COGNITION H S.The manifold ways of per- through neighbor embedding[C]//IEEE Computer Society ception[J].Science,2000,290(5500):2268-2269. Conference on Computer Vision and Pattern Recognition. [29]TENENBAUM J B,SILVAM V D,LANGFORD J C.A Washington DC,USA,2004,1:275-282. global geometric framework for nonlinear dimensionality re- [17]SU K,TIAN Q,XUE Q,et al.Neighborhood issue in sin- duction[J].Science,2000,290(5500):2319-2323. gle-frame image super-resolution [C]//IEEE International [30]ROWEIS S T,SAUL L K.Nonlinear dimensionality reduc Conference on Multimedia and Expo.Amsterdam,The tion by locally linear embedding[].Science,2000,290 Netherlands,2005:1-4. (5500):2323-2326. [18]TAI Y W,TONG W S,TANG C K.Perceptually-inspired [31]BALASUBRAMANIAN M,SCHWARTZ E L,TENEN- and edge-directed color image super-resolution[C]//IEEE BAUM J B.The Isomap algorithm and topological stability Computer Society Conference on Computer Vision and Pat- [J1.Science,2002,295(5552):7. tern Recognition.Washington DC,USA,2006,2:1948- [32]MING Chantak,ZHANG Junping.An improved super-res- 1955. olution with manifold learing and histogram matching [19]JOSHI M V,CHAUDHURI S,PANUGANTI R.A leam- [C]//Proceedings of IAPR Interational Conference on ing-based method for image super-resolution from zoomed Biometric,LNCS3832.Berlin:Springer-Verlag,2006: observations[J].IEEE Transactions on Systems,Man and 756-762. Cybernetics,2005,35(3):527-537. [33]PARK S W,SAVVIDES M.Breaking the limitation of [20]GUNTURK B K,BATUR A U,ALTUNBASAK Y,et al. manifold analysis for super-resolution of facial images Eigenface-based super-resolution for face recognition [C]//IEEE International Conference on Acoustics, [C]//IEEE International Conference on Image Process- Speech,and Signal Processing.Honolulu,USA,2007, ing.Rochester,USA,2002,2:845-848. 1：573-576. [21]GUNTURK B K,BATUR A U,ALTUNBASAK Y,et al. [34]QIAO Jianping,LIU Ju,CHEN Yenwei.Joint blind super- Eigenface-domain super-resolution for face recognition resolution and shadow removing [J].IEICE Transactions [J].IEEE Transactions on Image Processing,2003,12 on Information and Systems,20077,E90-D(12):2060- (5):597606. 2069 [22]LIU Ce,SHUM H Y,ZHANG Changshui.A two-step ap- [35]LIU Y H,CHEN Y T.Face recognition using total margin- proach to hallucinating faces:global parametric model and basod adaptive fuzzy support vector machines [J].IEEE local non-parametric model[C]//IEEE Computer Society Transactions on Neural Networks,2007,18(1):178-192. Conference on Computer Vision and Pattern Recognition. [36]WANG Yongqiao,WANG Shouyang,LAI KK.A new fuzzy Kauai Marriott,Hawaii,USA,2001,1:192-198. support vector machine to evaluate credit risk J].IEEE [23]LIN Dahua,LIU Wei,TANG Xiaoou.Layered local pre- Transactions on Fuzzy Systcms,2005,13(6):820-81. diction network with dynamic learning for face super-reso- [37]JUANG C F,CHIU S H,SHIU S J.Fuzzy system leamned lution[C]//IEEE International Conference on Image Pro- through fuzzy clustering and support vector machine for hu- cessing.Genova,Italy,2005,1:885-888. man skin color segmentation J].IEEE Transactions on [24]GUPTA M D,RAJARAM S,PETROVIC N,et al.Resto- Systems,Man and Cybernetics:Part A,2007,37 (6): ration and recognition in a loop C]//IEEE Computer Soci- 1077-1087. ety Conference on Computer Vision and Pattern Recogni- [38]WASKE B,BENEDIK'TSSON J A.Fusion of support vec- tion.San Diego,USA,2005,1:638-644. tor machines for classification of multisensor data [J]. [25]JIA Kui,GONG Shaogang.Multi-resolution patch tensor IEEE Transactions on Geoscience and Remote Sensing, for facial expression hallucination [C]//IEEE Computer 2007,45(12):3858-3866. Society Conference on Computer Vision and Pattern Recog- [39]ZAFEIRIOU S,TEFAS A,PITAS I.Minimum class vari- nition.New York,USA,2006,1:395-402. ance support vector machines [J].IEEE Transactions on [26]PENG Shiqi,PAN Gang,WU Zhaohui.Leaming-based Image Proces88ing,2007,16(10):2551-2564. super-resolution of 3D face model[C]//IEEE International [40]OSUNA E,FREUND R,GIROSI F.Training support vec- Conference on Image Processing.Genova,Italy,2005,2: tor machines:an application to face detection[C]//IEEE 382-385. Computer Society Conference on Computer Vision and Pat-
第3期 刘据等：基于学习的超分辨率重建技术 207. tern Recognition.San Juan.Puerto Rico.1997:130-136. 作者简介： LI Dalong,MERSEREAU R M,SIMSKE S.Blind image 刘琚，男，1965年生，教授、博士、 deconvolution using support vector regreion[C]//IEEE 博士生导师.现为山东大学信息科学与 International Conference on Acoustics Speech and Signal 工程学院学术委员会副主任、通信工程 Processing.Philadelphia,USA,2005,2:113-116. 系主任：海信数字多媒体技术国家重点 [4②乔建苹刘，琚.基于支持向量机的盲超分辨率图像复 实验室客座专家：IEEE和IEICE会员： 原算法[J.电子学报.2007,35(10)：4248. 《电路与系统学报》和《数据采集与处 QIAO Jianping,LIU Ju.A SVM-based blind super-resolu- 理》编委.主要研究方向为无线通信中空时信号处理技术、 tion image restoration algorithmChinese Joumal ofE- 盲信号处理理论与应用、多媒体通信与网络传输技术等. lectronics,.2007.35(10)142-48. 2002年到2003年为西班牙加泰罗尼亚理工大学和加泰罗 43 ]COMON P.Independent component analysis,a new con- 尼亚通信技术研究中心访问教授，2005年受DAAD项目资 cept?[J].Signal Processing,1994,36(3)::287-314. 助赴德国不来梅大学和杜伊斯堡-埃森大学进行合作研究 [44刘琚，何振亚.盲源分离和盲反卷积[J].电子学 发表学术论文150余篇， 报，2002,30(4)1：570-576. [LIU Ju,HE Zhenya.A survey of blind source separation 乔建苹，女，1981年生，讲师，博士， and blind deconvolution [J].Acta Electronica Sinica, LEICE会员.主要研究方向为多媒体信 2002.30(4④；：570-576. 息处理与传输、超分辨率图像重建，发 45]LU Ju,QIAO Jiaping.Face allucintion bsed on inde- 表学术论文20余篇 pendent component analysis[C]//IEEE International Sym- posium on Circuits and Systems.Seatle,USA,2008,1: 3242-3245 2009 IEEE International Conference on Robofics and Biomimetics IEEE机器人与仿生技术国际会议 December 18-22,2009,Guilin,Guangxi,China The 2009 IEEE International Conference on Robotics and Biomimetics(ROBIO))is to provide a forum for researchers in the interdisciplinary areas of robotics and biomimetics to dissemninate their latest research results.The theme of 2009 RO- BIO is"Robot-assisted bioengineering to serve humans" or detailed format information,please visit the conference website.All acepted papers will be indexed by EI and include- ed in IEEE Xplore Important Dates: Submission of full papers:July 15,2009 roposals of workshops/tutorials:August 31,2009 Paper acceptance:September 30,2009 Final paper submission::October 15.2009 Secretariat: Miss Pat Chan Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong,Shatin,NT,Hong Kong :(852)1-26961381 Fax:(852))2603-6002 Email pchan@mae.cuhk.edu.hk Website:www.robio2009.org
[43] COMON P. Independent component analysis,a new concept?[J]. Signal Processing,1994,36(3) : 287-314. [44] 刘 琚,何振亚.盲源分离和盲反卷积[J] .电子学 报,2002,30(4) :570-576. 博士生导师.现为山东大学信息科学与 工程学院学术委员会副主任、通信工程 系主任;海信数字多媒体技术国家重点 实验室客座专家;IEEE和IEICE会员; [LIU Ju,HE Zhenya.A survey of blind source separation and blind deconvolution [J] . Acta Electronica Sinica, 2002,30(4) :570-576. [42] 《电路与系统学报》和《数据采集与处 理》编委.主要研究方向为无线通信中空时信号处理技术、 盲信号处理理论与应用、多媒体通信与网络传输技术等. 2002年到2003年为西班牙加泰罗尼亚理工大学和加泰罗 尼亚通信技术研究中心访问教授,2005年受DAAD项目资 助赴德国不来梅大学和杜伊斯堡-埃森大学进行合作研究. 发表学术论文150余篇. 乔建苹,刘 琚.基于支持向量机的盲超分辨率图像复 原算法[J].电子学报,2007,35(10): 4248. QIAO Jianping,LIU Ju.A SVM-based blind super-resolution image restoration algorithm[J] .Chinese Journal of Electronics,2007,35(10) :42-48. Submission of full papers: July 15,2009 roposals of workshops/tutorials: August 31,2009 Paper acceptance: September 30,2009 Final paper submission: October 15,2009 Secretariat Miss Pat Chan Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong,Shatin,NT,Hong Kong Tel: (852) -2696-1381 Fax: (852) 2603-6002 Email: pchan@ mae.cuhk.edu.hk Website: www.robio2009.org Important Dates: 乔建苹,女,1981年生,讲师,博士, LEICE会员.主要研究方向为多媒体信 息处理与传输、超分辨率图像重建,发 表学术论文20余篇. 2009 IEEE International Conference on Robofics and Biomimetics IEEE 机器人与仿生技术国际会议 作者简介: 刘 琚,男,1965年生,教授、博士、 45] LU Ju,QIAO Jiaping. Face allucintion bsed on independent component analysis[C]//IEEE International Symposium on Circuits and Systems. Seatle,USA,2008,1: 3242-3245 [41] LI Dalong,MERSEREAU R M,SIMSKE S. Blind image deconvolution using support vector regreion[ C]//IEEE International Conference on Acoustics,Speech,and Signal Processing.Philadelphia,USA,2005,2: 113-116. The 2009 IEEE International Conference on Robotics and Biomimetics(ROBIO) is to provide a forum for researchers in the interdisciplinary areas of robotics and biomimetics to dissemninate their latest research results. The theme of 2009 ROBIO is"Robot-assisted bioengineering to serve humans". 第3期 刘 据,等: 基于学习的超分辨率重建技术 207. or detailed format information,please visit the conference website. All acepted papers will be indexed by EI and includeed in IEEE Xplore . December 18-22,2009,Guilin,Guangxi,China tern Recognition.San Juan,Puerto Rico,1997: 130-136