第9章 图像分类识别 ◆9.1 图像匹配 ◆9.2 图像的分类 ◆9.3 图像识别 ◆9.4要点总结 Digital Image Processing
Digital Image Processing Digital Image Processing ◆9.1 图像匹配 ◆9.2 图像的分类 ◆9.3 图像识别 ◆9.4 要点总结 第9章 图像分类识别
概述 在第T章我们介绍了图像的分割技术，它是将图像分成不 同的目标物和背景区域。第8章对目标物区域的描述方法进行 介绍，所有这些都是为图像的分类识别做准备。 一个图像识别系统大体上可以分成三个部分： (1)信息的获取部分； (2)信息的加工和处理； (3)进行判断和分类。 特征选择 数字图像 图像预 图像分 与特征提 分类与 获取 处理 割 取 识别 图像分类识别系统 Digital Image Processing
Digital Image Processing Digital Image Processing 在第7章我们介绍了图像的分割技术，它是将图像分成不 章我们介绍了图像的分割技术，它是将图像分成不 同的目标物和背景区域。第 同的目标物和背景区域。第8章对目标物区域的描述方法进行 章对目标物区域的描述方法进行 介绍，所有这些都是为图像的分类识别做准备。 介绍，所有这些都是为图像的分类识别做准备。 一个图像识别系统大体上可以分成三个部分： 一个图像识别系统大体上可以分成三个部分： (1)信息的获取部分； 信息的获取部分； (2)信息的加工和处理； 信息的加工和处理； (3)进行判断和分类。 进行判断和分类。 概 述 数字图像 获取 图像预 处理 图像分 割 特征选择 与特征提 取 分类与 识别 图像分类识别系统
9.1 图像匹配 几个概念： ()要判定搜索图像中是否存在某一目标物，可以事先将 该目标物从标准图像中分割提取出来，以矩阵形式表示成代 表该目标物的样板，该样板就称做棋板。 (2)根据该模板与一幅图像的各部分的相似度，判定其是 否存在，并求得目标物在图像中的位置，这一操作就叫模板 匹配。 (3)模板四配最基本的原则就是通过计算相关函数来找到 它在被搜索图像中的位置（坐标）。 (4)匹配的方法包括基于模板的相关匹配、基于特征的最 近四配等。 Digital Image Processing
Digital Image Processing Digital Image Processing 几个概念： (1) 要判定搜索图像中是否存在某一目标物，可以事先将 要判定搜索图像中是否存在某一目标物，可以事先将 该目标物从标准图像中分割提取出来，以矩阵形式表示成代 该目标物从标准图像中分割提取出来，以矩阵形式表示成代 表该目标物的样板，该样板就称做 表该目标物的样板，该样板就称做模板。 (2) 根据该模板与一幅图像的各部分的相似度，判定其是 根据该模板与一幅图像的各部分的相似度，判定其是 否存在，并求得目标物在图像中的位置，这一操作就叫 否存在，并求得目标物在图像中的位置，这一操作就叫模板 匹配。 (3) 模板匹配最基本的原则就是通过计算相关函数来找到 就是通过计算相关函数来找到 它在被搜索图像中的位置 它在被搜索图像中的位置(坐标)。 (4) 匹配的方法包括基于模板的相关匹配、基于特征的最 包括基于模板的相关匹配、基于特征的最 近匹配等。 9.1 图像匹配
9.1 图像匹配 ◆模板匹配 模板四配原理： 设模板为T(皿，n),其大小为MxM;搜索图像为S(m,n),其大 小为NxN,且N≥M。将模板T叠放在搜索图像S上平移，模板覆盖 下的区域称为子图SJ,(i,J)为模板左上角像素点在图像S中的 坐标，称为参考点，可以看到：1≤i,j≤N-M+1 (a)图像 (b)被搜索模板 Digital Image Processing
Digital Image Processing Digital Image Processing 模板匹配原理： 设模板为T（m,n）,其大小为M×M；搜索图像为S(m,n)，其大 小为N×N，且N≥M。将模板T叠放在搜索图像S上平移，模板覆盖 下的区域称为子图 ， 为模板左上角像素点在图像S中的 坐标，称为参考点，可以看到： ◆模板匹配 （a）图像 （b）被搜索模板 i, j S (i j , ) 1, 1 ≤ ij N M ≤− + 9.1 图像匹配
9.1 图像匹配 现在可以比校T和SJ的内容，若两者一致，则差为零，再用下面的 公式来描述其相似程度（相以性)。 D6,)=∑∑小s(m,川-T(m,n 1 或 D(6,）=立∑[s(m,m)-T(m,n]j 0 D(6,)=∑∑[s(m,m)]-2∑∑s(m,m)T(m,n川+∑∑[T(m,m)] 0 0 0 ?盖区域的子图能 子图和模板的互相关系数， 常数，表示模板的 量，它随坐标(i,j) 随坐标(1，j)的变化而变 总能量，它的取值 的变化而缓慢变化。 化，当T和S达到匹配时， 与坐标无关。 互相关系数取最大值； Digital Image Processing
Digital Image Processing Digital Image Processing 现在可以比较T和 的内容，若两者一致，则差为零，再用下面的 公式来描述其相似程度（相似性）。 () ( ) ( ) 2 , 1 1 , ,, M M i j m n Di j S mn T mn = = = − ⎡ ⎤ ∑∑⎣ ⎦ () ( ) ( ) , 1 1 , ,, M M i j m n D i j S mn T mn = = = − ∑∑ i, 或 j S ( ) ( ) ( )( ) ( ) 2 2 , , , ,2 , , , i j i j m n m n m n D i j S mn S mn T mn T mn =− + ⎡ ⎤ ⎡ ⎤ ∑∑ ∑∑ ⎣ ⎦ ∑∑⎣ ⎦ i 覆盖区域的子图能 量，它随坐标（i,j） 的变化而缓慢变化。 子图和模板的互相关系数， 随坐标(i,j)的变化而变 化，当T和 达到匹配时， 互相关系数取最大值； i, 常数，表示模板的 总能量，它的取值 与坐标无关。 9.1 图像匹配 j S
9.1 图像匹配 因此，可以用下列的相关系数作为相似性量度： D(,)的第一项 ∑∑S(m,n小T(m,m) R(6,)= Di,)的第二项 ∑∑[S(m,n] 或者归一化为： ∑∑Sw(m,n小T(m,n) R(6)= zΣ[s(mΣ[r(m】 N-M+1 M-I 特点：由于模板模板匹配需要 M 逐点进行检测，因此计算量很 大，要在（N-M+1)2个参 考位置上做相关计算，匹配效 率和精度也比较低。 搜索图 模板 Digital Image Processing
Digital Image Processing Digital Image Processing 或者归一化为： ( ) 因此，可以用下列的相关系数作为相似性量度： ( ) ( ) ( ) , 2 , , , (, ) , (, ) , i j m n i j m n S mn T mn Di j Rij Di j S mn = = ⎡ ⎤ ⎣ ⎦ ∑∑∑∑ i 的第一项 的第二项 ( ) ( ) ( ) () () , 1/ 2 1/ 2 2 2 , , , , , , i j m n i j m n m n S mn T mn Rij S mn T mn = ⎛ ⎞ ⎛ ⎞ ⎡ ⎤ ⎡ ⎤ ⎜ ⎟ ⎣ ⎦ ⎜ ⎟ ⎣ ⎦ ⎝ ⎠ ⎝ ⎠ ∑∑ ∑∑ ∑∑ i 9.1 图像匹配 搜索图 模板 特点：由于模板模板匹配需要 逐点进行检测，因此计算量很 大，要在 个参 考位置上做相关计算，匹配效 率和精度也比较低。 ( )2 N M− +1
9.1 图像匹配 ◆特征匹配： (1)图像匹配的计算量大，匹配效率和精度都很低； (2)实际应用中的多数场合，我们关心的并不是目标物所 在区域的所有像素，而是目标物的特征； (3)常用的匹配特征有特征点、字符串、形状数、惯量等 效椭圆等； (4)最常用的特征点是图像中的一些特殊点，例如边缘 点、交界点和拐点等； (⑤)特征点匹配主要的步骤如下： 。选取特征点； ·特征点的匹配； ·对匹配结果进行插值。 Digital Image Processing
Digital Image Processing Digital Image Processing ◆特征匹配： （1）图像匹配的计算量大，匹配效率和精度都很低； （2）实际应用中的多数场合，我们关心的并不是目标物所 在区域的所有像素，而是目标物的特征； （3）常用的匹配特征有特征点、字符串、形状数、惯量等 效椭圆等； （4）最常用的特征点是图像中的一些特殊点，例如边缘 点、交界点和拐点等； （5）特征点匹配主要的步骤如下： i 选取特征点； i 特征点的匹配； i 对匹配结果进行插值。 9.1 图像匹配
9.1 图像匹配 1.字苻串匹配法 字符串的匹配是根据逐个符号完成的。首先将两个区域的边界A和B分别进 行编码，得到两个字符串。从起始点开始，如果在某个位置上编码位的数值相 同，则认为这两个边界有一次匹配，设M为两字符串匹配的次数，则非四配的 次数为 2=max(.B)-M 其中|川arg|代表arg的字符串表达长度（符号个数)，当且仪当两边 界的字符串相等时，Q0。 用一个相似性量度R来衡量两边界的近似程度： R= M M max (lAl B)-M (1)则R越大说明两个边界的匹配程度越高。 (2)当完全匹配时R为无穷大。 (3)注意：起点的位置对计算量形响很大，因此通常鼎要对字符串进 行归一化处理。 Digital Image Processing
Digital Image Processing Digital Image Processing 1.字符串匹配法 字符串的匹配是根据逐个符号完成的。首先将两个区域的边界A和B分别进 行编码，得到两个字符串。从起始点开始，如果在某个位置上编码位的数值相 同，则认为这两个边界有一次匹配，设M为两字符串匹配的次数，则非匹配的 次数为 Q AB M = max , ( ) − 9.1 图像匹配 其中|| arg || 代表arg的字符串表达长度（符号个数），当且仅当两边 界的字符串相等时，Q=0。 （1）则R越大说明两个边界的匹配程度越高。 （2）当完全匹配时R为无穷大。 （3）注意：起点的位置对计算量影响很大，因此通常需要对字符串进 行归一化处理。 用一个相似性量度R来衡量两边界的近似程度： max , ( ) M M R Q A B M = = −
9.1 图像匹配 2.形状数匹配法 (1)形状匹配中常用的一种方法是形状数匹配法。该方法的基本原理是： 通过比较两个对象边界的形状数的相似程度，来匹配对象。 (2)首先定义两个区城边界的相似度为两形状数之间的最大公共形状数。 (3)设有闭合曲线A和B,都用4链码表示，当A和B具有相同的相以级别k 时，则它们的相似度就是k。 (4)两个区城边界A和B形状数的距离D(A,B)为其相似度的倒数，即 D(A,B)=1/k 则它必然满足： D(A,B)≥0； D(A,B)=0当且仅当A=B; D(A,C)<max[D(A,B),D(B,C)] 利用形状数匹配法进行匹配的步骤是： (1)用不同密度的网格划分边界区城，获得不同序数的形状数。 (2) 利用相似级别k或相似距离D进行相似性判别。 ①如果使用相以级别k,k越大则越相似。 ②如果使用相似距离D,D越小则越相似。 Digital Image Processing
Digital Image Processing Digital Image Processing 2.形状数匹配法 （1）形状匹配中常用的一种方法是形状数匹配法。该方法的基本原理是： 通过比较两个对象边界的形状数的相似程度，来匹配对象。 （2）首先定义两个区域边界的相似度为两形状数之间的最大公共形状数。 （3）设有闭合曲线A和B，都用4链码表示，当A和B具有相同的相似级别k 时，则它们的相似度就是k。 D(A,B) ≥ 0； D(A,B) = 0 当且仅当 A=B； D(A,C) ≤ max[D(A,B),D(B,C)] （4）两个区域边界A和B形状数的距离D(A,B)为其相似度的倒数，即 则它必然满足： D( AB k , 1/ ) = 9.1 图像匹配 利用形状数匹配法进行匹配的步骤是： （1） 用不同密度的网格划分边界区域，获得不同序数的形状数。 （2） 利用相似级别k或相似距离D进行相似性判别。 ① 如果使用相似级别k，k越大则越相似。 ② 如果使用相似距离D，D越小则越相似
9.2 图像的分类 ◆图像分类就是根据提取出的目标物特征（一般用特征向量 表示)，利用分类技术进行分类； ◆分类方法包括统计方法和结构方法，实际中常用统计方 法； ◆统计分类方法可以分为监督分类法和非监唇分类法。 监督分类法：根据预先已知类别名的训练样本，求出各类在 特征空间的分布，然后利用它对未知数据进行分类的方法。 非监督分类法：也叫聚类分析法，要根据模式之间的相似性 进行类别划分，将相似性强的模式划分为同一个类别。 Digital Image Processing
Digital Image Processing Digital Image Processing 9.2 图像的分类 ◆图像分类就是根据提取出的目标物特征（一般用特征向量 图像分类就是根据提取出的目标物特征（一般用特征向量 表示），利用分类技术进行分类； 表示），利用分类技术进行分类； ◆分类方法包括统计方法和结构方法，实际中常用统计方 分类方法包括统计方法和结构方法，实际中常用统计方 法； ◆统计分类方法可以分为监督分类法和非监督分类法。 监督分类法：根据预先已知类别名的训练样本，求出各类在 根据预先已知类别名的训练样本，求出各类在 特征空间的分布，然后利用它对未知数据进行分类的方法。 特征空间的分布，然后利用它对未知数据进行分类的方法。 非监督分类法： 非监督分类法：也叫聚类分析法，要根据模式之间的相似性 也叫聚类分析法，要根据模式之间的相似性 进行类别划分，将相似性强的模式划分为同一个类别。 进行类别划分，将相似性强的模式划分为同一个类别。 ◆统计分类方法可以分为监督分类法和非监督分类法