第五章 图象恢复 5.0 概述 5.1 退化模型 5.2 ,常见退化模型及辨识方法 5.3 图像的无约束恢复 5.4 图像的有约束最小二乘恢复 5.5几何畸变图像的恢复 5.6超分辨率图像复原 Digital Image Processing
Digital Image Processing Digital Image Processing ◆5.0 概述 ◆5.1 退化模型 ◆5.2 常见退化模型及辨识方法 常见退化模型及辨识方法 ◆5.3 图像的无约束恢复 图像的无约束恢复 ◆5.4 图像的有约束最小二乘恢复 图像的有约束最小二乘恢复 ◆5. 5 5. 5 几何畸变图像的恢复 几何畸变图像的恢复 5.6 超分辨率图像复原 超分辨率图像复原 第五章 图象恢复
5.0概述 基本概念 降质举例：宇航、卫星、航空测鲶、遥感、天文学中所得照片，由于大气 游流，光学系统的相差及摄像机与物体之间的相对运动等，会使图像降 质。 退化图像：由于各种原因，使得原清晰图像变模糊，或者原图像没有达到 应有的质量而形成的降质图像。 图像恢复（复原）：使退化图像恢复本来面目。 图像恢复过程及其关键：根据图像降质过程的某些先验知识，建立“退化 (降质)模型”，运用和退化相反的过程，将退化图像恢复。 图像恢复准则：要用某一客观标准来度量，则为某种准则下的最优估计。 Digital Image Processing
Digital Image Processing Digital Image Processing ◘基本概念 降质举例：宇航、卫星、航空测绘、遥感、天文学中所得照片，由于大气 湍流，光学系统的相差及摄像机与物体之间的相对运动等，会使图像降 质。 退化图像：由于各种原因，使得原清晰图像变模糊，或者原图像没有达到 应有的质量而形成的降质图像。 图像恢复（复原）： 使退化图像恢复本来面目。 图像恢复过程及其关键：根据图像降质过程的某些先验知识，建立“退化 （降质）模型”，运用和退化相反的过程，将退化图像恢复。 图像恢复准则：要用某一客观标准来度量，则为某种准则下的最优估计。 5.0 概 述
5.0 概述 ¤图像恢复与图像增强的异同点 相同点：图像增强与图像恢复都是改善给定图像的质量。 不同点： (1)图像恢复是利用退化过程的先验知识，来建立图像的退化模型，再采 用与退化相反的过程来恢复图像，而图像增强一般无需对图像降质过程建立 模型。 (2)图像恢复是针对图像楚体，以改善图像的楚体质量。而图像增强是针 对图像的局部，以改善图像的局部特性，如图像的平滑和锐化。 (3)图像恢复主要是利用图像退化过程来恢复图像的本来面目，它是一个 客观过程，最终的结果必须要有一个客观的评价准则。而图像增强主要是用 各种技术来改善图像的视觉效果，以适应人的心理、生理需要，而不考虑处 理后图像是否与原图像相符，也就很少涉及统一的客观评价准则。 Digital Image Processing
Digital Image Processing Digital Image Processing ◘图像恢复与图像增强的异同点 图像恢复与图像增强的异同点 相同点：图像增强与图像恢复都是改善给定图像的质量。 不同点： （1）图像恢复是利用退化过程的先验知识，来建立图像的退化模型，再采 用与退化相反的过程来恢复图像，而图像增强一般无需对图像降质过程建立 模型。 （2）图像恢复是针对图像整体，以改善图像的整体质量。而图像增强是针 对图像的局部，以改善图像的局部特性，如图像的平滑和锐化。 （3）图像恢复主要是利用图像退化过程来恢复图像的本来面目，它是一个 客观过程，最终的结果必须要有一个客观的评价准则。而图像增强主要是用 各种技术来改善图像的视觉效果，以适应人的心理、生理需要，而不考虑处 理后图像是否与原图像相符，也就很少涉及统一的客观评价准则。 5.0 概述
5.1退化模型 > 图像退化的一般模型 图像的退化过程一般都看作是噪声的污染过程，而且假定 噪声是加性白噪声，这时退化后的图像为 8(x,y)=H[f(x,y)]+7(x,y) H[]可理解为综合所有退化因素的函数。此时图像的退化模型 如图5.1.1所示。 7) f6 H[I g(xy) 图5.1.1图像退化的一般模型 实际的成像系统在一定条件下可以近以地看作是线性移不变系 统，所以图像恢复过程中往往使用线性移不变的系统模型。 Digital Image Processing
Digital Image Processing Digital Image Processing ¾ 图像退化的一般模型 图像退化的一般模型 图像的退化过程一般都看作是噪声的污染过程，而且假定 图像的退化过程一般都看作是噪声的污染过程，而且假定 噪声是加性白噪声，这时退化后的图像为 噪声是加性白噪声，这时退化后的图像为 可理解为综合所有退化因素的函数。此时图像的退化模型 可理解为综合所有退化因素的函数。此时图像的退化模型 如图5.1.1所示。 5.1 退化模型 g( , ) [ ( , )] ( , ) x y = H f x y +η x y H[ ] f (x,y) H[ ] (x, y) g (x,y) η 图5.1.1 图像退化的一般模型 实际的成像系统在一定条件下可以近似地看作是线性移不变系 实际的成像系统在一定条件下可以近似地看作是线性移不变系 统，所以图像恢复过程中往往使用线性移不变的系统模型。 统，所以图像恢复过程中往往使用线性移不变的系统模型
5.1退化模型 离散退化模型 对图像及其点扩散函数进行均白采样就可以得到离散退化 模型，由于退化过程是卷积过程，线性卷积后点数变多，为 了方便计算，需要将各函数进行延拓，具体如下所示： .) 0≤m≤A-1且0≤n≤B-1 A≤m≤M-1或B≤n≤N-1 . 0≤m≤C-1且0≤n≤D-1 C≤m≤M-1或D≤n≤W-1 a.- 0≤m≤A-1且0≤n≤B-1 A≤m≤M-1或B≤n≤W-1 Digital Image Processing
Digital Image Processing Digital Image Processing 离散退化模型 对图像及其点扩散函数进行均匀采样就可以得到离散退化 对图像及其点扩散函数进行均匀采样就可以得到离散退化 模型，由于退化过程是卷积过程，线性卷积后点数变多，为 模型，由于退化过程是卷积过程，线性卷积后点数变多，为 了方便计算，需要将各函数进行延拓，具体如下所示： 了方便计算，需要将各函数进行延拓，具体如下所示： ( , ) ; 0 1 0 1 (,) 0 ; 1 1 e f mn m A n B f mn AmM BnN ⎧ ≤ ≤− ≤≤ − = ⎨⎩ ≤ ≤ − ≤≤ − 且或 ( , ) ; 0 1 0 1 (,) 0 ; 1 1 e hmn m C n D h mn CmM DnN ⎧ ≤ ≤ − ≤≤ − = ⎨⎩ ≤ ≤ − ≤≤ − 且或 (,) ; 0 1 0 1 (,) 0 ; 1 1 e m n m A n B m n AmM BnN η η ⎧ ≤ ≤− ≤≤ − = ⎨⎩ ≤ ≤ − ≤≤ − 且或 5.1 退化模型
5.1退化模型 g(m,n) 0≤m≤A-1且0≤n≤B-1 g.(m.n)0 A≤m≤M-1或B≤n≤N-1 所以线性时不变系统的离散退化模型为： M-1N-1 ge(m,n)=∑∑f(,)h.(m-i,n-j)+n.(m,n) i=0j=0 该退化模型也称为变形退化模型，见图5.1.3所示，其中 表示循环卷积。 ne(m,n) fe(m,n) he(m,n) ge(m,n) 图5.1.3变形退化模型 Digital Image Processing
Digital Image Processing Digital Image Processing 所以线性时不变系统的离散退化模型为： 所以线性时不变系统的离散退化模型为： 该退化模型也称为变形退化模型，见图 该退化模型也称为变形退化模型，见图 5.1.3 所示，其中 表示循环卷积。 表示循环卷积。 (,) ; 0 1 0 1 (,) 0 ; 1 1 e gmn m A n B g mn AmM BnN ⎧ ≤ ≤− ≤≤ − = ⎨⎩ ≤ ≤ − ≤≤ − 且或 1 1 0 0 ( , ) (, ) ( , ) ( , ) M N e e e e i j g mn f i jh m in j mn η − − = = = − ∑ ∑ − + 5.1 退化模型 ⊕ ⊗ 图5.1.3 ⊗
5.1退化模型 离散退化模型还可以用矩阵描述 g=Hf+ 其中，f、g和门表示MN×1维的列向量，分别是由M×N维的矩 阵f(m,n以g(m,)和1(m,n)的各行堆积而成，如下所示： f(0,0) 8e(0,0) 7e(0,0) f(0,1) 8e(0,1) 7e(0,1) f(0,N-1) f= 8e(0,W-1) 7e(0,N-1) 8= f(1,0) 8e(1,0) 7= 7.(1,0) f(1,1) 8e(1,1) 7e(1,1) f(M-1,N-1) 8e(M-1,N-1) n(M-1,N-1) Digital Image Processing
Digital Image Processing Digital Image Processing 离散退化模型还可以用矩阵描述 离散退化模型还可以用矩阵描述 其中，f 、g和 表示MN×1维的列向量，分别是由 维的列向量，分别是由M×N维的矩 阵 、 和 的各行堆积而成，如下所示 的各行堆积而成，如下所示 ： g = Hf + η (0,0) (0,1) (0, 1) (1, 0) (1,1) ( 1, 1) e e e e e e f f f N f f f fM N ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ − ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢⎣ − − ⎥⎦ # # (0,0) (0,1) (0, 1) (1, 0) (1,1) ( 1, 1) e e e e e e g g g N g g g gM N ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ − ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢⎣ − − ⎥⎦ # # (0,0) (0,1) (0, 1) (1,0) (1,1) ( 1, 1) e e e e e e N M N η η η η η η η ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ − ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢⎣ − − ⎥⎦ # # 5.1 退化模型 η e f (m,n) e g (m,n) ηe (m,n)
5.1退化模型 H为MN*N的矩阵，对于线性移不变系统具有如下特殊结构： H He He …H H H HiA …以 h.(i,0) h.(i,N-1)…h.(i,1) HE H 以 以 H, h.(i,1) h.(i,0) …h.(i,2) H= h.,N-)h6,N-2)…hi,0)w H4H2Hg…Hw 可以看出H是一个分块循环矩阵，而其中H也是右移循环 阵。这是由于在卷积时利用了[h]矩阵的周期延拓性。 Digital Image Processing
Digital Image Processing Digital Image Processing H为MN*MN的矩阵，对于线性移不变系统具有如下特殊结构： 的矩阵，对于线性移不变系统具有如下特殊结构： 可以看出H是一个分块循环矩阵，而其中 是一个分块循环矩阵，而其中Hi也是右移循环 阵。这是由于在卷积时利用了 阵。这是由于在卷积时利用了 矩阵的周期延拓性。 矩阵的周期延拓性。 0 1 -2 1 1 0 -1 2 210 3 123 0 M M M MMM M M HH H H H HH H HH H H H HHH H − −− − × ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ =⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ " " " # # # %# " ( ,0) ( , 1) ( ,1) ( ,1) ( ,0) ( ,2) ( , 1) ( , 2) ( ,0) ee e ee e i ee e N N h i h iN h i hi hi hi H hiN hiN hi × ⎡ − ⎤ ⎢ ⎥ =⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ − − ⎦ " " # # %# " e [h ] 5.1 退化模型
5.1退化模型 循环矩阵H的对角化 根据unt的结果，可以对H进行对角化，即H=WDW1 W是一个大小为MN X MN维的矩阵，由MXM个大小为NXN的子块 构成： wM(0,0) wM(0,1)） wM(0,M-1) wM(1,0) wM(1,1) wM(1,M-1) W= wM(M-1,O)wM(M-1,1)·wM(M-1,M-1) wu(i,m)=exp(j2rim/M), i,m=0,1,2,…,M-1 Wx(k,n)=exp(j2rkn/N), k,n=0,1,2,…,N-1 Digital Image Processing
Digital Image Processing Digital Image Processing 循环矩阵H的对角化 根据Hunt的结果，可以对 的结果，可以对H进行对角化，即 进行对角化，即 W是一个大小为MN×MN维的矩阵，由M×M个大小为N×N的子块 构成： -1 H = WDW (0,0) (0,1) (0, 1) (1,0) (1,1) (1, 1) ( 1,0) ( 1,1) ( 1, -1) MM M MM M MM M w w wM w w wM W wM wM wM M ⎡ ⎤ − ⎢ ⎥ − = ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ −− − " " # ## # " ( , ) exp( 2 / ), w i m j im M M = π ( , ) exp( 2 / ), w kn N = j πkn N im M , 0,1, 2, , 1 = " − kn N , 0,1, 2, , 1 = " − 5.1 退化模型
5.1退化模型 从而 W=WM⑧WN={wM(i,m)}⑧{wN(k,n)} ={exp(j2πim/M)}⑧{exp(j2πnk/N)} D是一个对角矩阵 Dua-个aaN： i=k i≠k 式中[表示对。取喜，k©dN表示对N库k取家数。 由以上各式并结合： g=W DWf+n Digital Image Processing
Digital Image Processing Digital Image Processing 从而 D是一个对角矩阵 是一个对角矩阵 由以上各式并结合： 由以上各式并结合： ⎧⎪ • ⎨⎪⎩ ≠ k M N H([ ],k mod N) ; i = k D(k,i) = N0 ;i k -1 g = WDW f + η { (, )} { (,)} {exp( 2 / )} {exp( 2 / )} W W W w im w kn MN M N j π π im M j nk N =⊗= ⊗ = ⊗ 5.1 退化模型 式中 表示对 取整，k mod N表示对N除k取余数。 kN⎡ ⎤ ⎢ ⎥ ⎣ ⎦ kN
