第4期 李志欣，等：基于模糊关联规则和决策树的图像自动标注 ·637. 于内容的图像检素(content based image retrieval, 但是，在以上标注模型中都没有考虑到图像处 CBR),用低维的视觉特征如颜色、形状、纹理以及 理中存在的模糊和不确定性的属性（锐利边界），如 空间位置等来检索图像信息，但是CBR系统存在 图像边缘、边界、区域等定义，对于临界的点，将其确 低维特征与高维语义间的“语义鸿沟”，针对该问 定为某一类都会影响标准的准确性，存在的这些模 题，图像自动标注研究如何更加有效地标注和快速 糊属性将干扰图像处理结果的精确性。故本文提出 存取图像。 一种基于隶属度的模糊分类方法，该方法结合模糊 在多数图像自动标注(automatic image annota- 关联规则(fuzzy association rules,FARs)和决策树方 tion,AA)系统中，采用全局特征、基于块的局部特 法来自动标注图像，方法的优点在于：一方面，在训 征或是基于区域的局部特征表示图像。Jeon等) 练阶段，根据提出的评价标准获得模糊关联规则，该 使用区域分割方法，假设图像语义用区域特征产生 关联规则决定图像特征和语义关联的程度，更加直 的词汇来描述，结合以上3种特征表述方法，提出全 观的获取了低维图像特征和高维图像语义间的联 局和局部的特征表示方法来标注图像。Wang等) 系，很好地解决了“语义鸿沟”问题：根据隶属度函 提出了一种结合全局、区域及上下文特征表示的改 数将低维图像特征映射到模糊特征向量，旨在处理 进模型，通过计算它们的联合概率并结合以上3种 “锐利的边界”的问题。另一方面，运用决策树算法 特征表示标注图像。Duygulu等[s)提出翻译模型标 来解决冗余的模糊关联规则，过滤掉不必要的和弱 注图像，该方法是一种生成式模型标注的代表性方 的关联规则，大大减小了算法的时间复杂度，提高了 法，它通过学习联合概率将关键词与图像的区域联 标注的准确性和效率。 系起来，将标注过程转化成一个将区域翻译为关键 1图像分割及特征提取 词的过程。Monay等[)提出基于概率潜在语义分析 (probabilistic latent semantic analysis,PLSA)模型的 在图像自动标注中，图像用全局特征或局部特 图像自动标注方法PLSA-WORDS。.李志欣等在此 征表示，把图像分割成不同子区域。图像分割是图 基础上先后提出融合语义主题的图像自动标注) 像处理的关键步骤，图像分割的好坏将影响到图像 及混合生成式和判别式模型的图像自动标注模型 标注的精度。分割方法包括边缘检测、边缘跟踪、区 hybrid generative/discriminative model,HGDM)[8] 域增长等。区域增长的图像分割通常能将具有相同 HGDM首先用连续PLSA模型处理图像视觉特征， 特征的联通区域分割出来。并且能提供很好的边界 然后构建用来学习图像语义类别的分类模型链，综 信息和分割结果。针对本文“锐利边界问题”，为了 合神经网络、多类SVM以及K近邻分类器模型，利 体现对图像的边缘信息点的处理，文中采用区域增 用EM算法计算一个权重参数，根据该参数来选择 长方法分割图像。区域生长一般分3个步骤：1)选 精确度更高的分类模型，最终得到目标的语义。茹 择合适的生长点：2)确定生长准则：3)确定生长停 立云等f9)提出一种基于boosting学习的图像自动标 止条件。表1给出了来自Corl5k数据集的部分图 注系统，假设一组具有同一语义的图像能够由一组 像分割前后对比。 视觉模型来表示，即颜色和纹理特殊组合的2维多 表1图像分割的几个实例 分辨率隐马尔可夫模型，然后使用boosting算法实 Table 1 Several examples of image segmentation 现关键词与模型的关联。Sumathi和Hemalatha提 原始图像 分割后图像 原始图像 分割后图像 出一种创新的混合分层图像标注模型]，该方法运 用低维图像特征及其特征间距离找到图像的最近 邻，然后用SVM方法得到图像标注。张静等[山提 出一种新的模型提取图像前景和背景语义，运用视 觉特点分析多个判别方法获得前景语义概念，用区 域语义分析方法标注背景图像。Makadia等2]提出 用JEC(joint equal contribution)的方法进行图像标 图像表示和特征提取是标注算法中一个重要和 注，JEC利用全局低维图像特征和基本距离度量的 决定性的步骤，图像进行区域分割后，从分割区域中 简单结合寻找给定图像的最近邻，然后使用一种贪 提取低维视觉特征，特征向量呈现图像不同的属性 心的标签传递机制将关键词赋予对应的图像，取得 和特征。图像特征表示的相关文献有MPEG-7标 了很好的标注精度和检索性能。 准)、颜色聚合向量[14，Lowe在2004年提出的于内容的图像检索（ ｃｏｎｔｅｎｔ ｂａｓｅｄ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ， ＣＢＩＲ），用低维的视觉特征如颜色、形状、纹理以及 空间位置等来检索图像信息，但是 ＣＢＩＲ 系统存在 低维特征与高维语义间的“语义鸿沟”，针对该问 题，图像自动标注研究如何更加有效地标注和快速 存取图像。 在多数图像自动标注（ ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ａｎｎｏｔａ⁃ ｔｉｏｎ， ＡＩＡ）系统中，采用全局特征、基于块的局部特 征或是基于区域的局部特征表示图像。 Ｊｅｏｎ 等［３］ 使用区域分割方法，假设图像语义用区域特征产生 的词汇来描述，结合以上 ３ 种特征表述方法，提出全 局和局部的特征表示方法来标注图像。 Ｗａｎｇ 等［４］ 提出了一种结合全局、区域及上下文特征表示的改 进模型，通过计算它们的联合概率并结合以上 ３ 种 特征表示标注图像。 Ｄｕｙｇｕｌｕ 等［５］ 提出翻译模型标 注图像，该方法是一种生成式模型标注的代表性方 法，它通过学习联合概率将关键词与图像的区域联 系起来，将标注过程转化成一个将区域翻译为关键 词的过程。 Ｍｏｎａｙ 等［６］提出基于概率潜在语义分析 （ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌａｔｅｎｔ ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ， ＰＬＳＡ）模型的 图像自动标注方法 ＰＬＳＡ⁃ＷＯＲＤＳ。 李志欣等在此 基础上先后提出融合语义主题的图像自动标注［７］ 及混合生成式和判别式模型的图像自动标注模型 （ｈｙｂｒｉｄ ｇｅｎｅｒａｔｉｖｅ ／ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｍｏｄｅｌ， ＨＧＤＭ） ［８］ 。 ＨＧＤＭ 首先用连续 ＰＬＳＡ 模型处理图像视觉特征， 然后构建用来学习图像语义类别的分类模型链，综 合神经网络、多类 ＳＶＭ 以及 Ｋ 近邻分类器模型，利 用 ＥＭ 算法计算一个权重参数，根据该参数来选择 精确度更高的分类模型，最终得到目标的语义。 茹 立云等［９］提出一种基于 ｂｏｏｓｔｉｎｇ 学习的图像自动标 注系统，假设一组具有同一语义的图像能够由一组 视觉模型来表示，即颜色和纹理特殊组合的 ２ 维多 分辨率隐马尔可夫模型，然后使用 ｂｏｏｓｔｉｎｇ 算法实 现关键词与模型的关联。 Ｓｕｍａｔｈｉ 和 Ｈｅｍａｌａｔｈａ 提 出一种创新的混合分层图像标注模型［１０］ ，该方法运 用低维图像特征及其特征间距离找到图像的最近 邻，然后用 ＳＶＭ 方法得到图像标注。 张静等［１１］ 提 出一种新的模型提取图像前景和背景语义，运用视 觉特点分析多个判别方法获得前景语义概念，用区 域语义分析方法标注背景图像。 Ｍａｋａｄｉａ 等［１２］提出 用 ＪＥＣ（ ｊｏｉｎｔ ｅｑｕａｌ ｃｏｎｔｒｉｂｕｔｉｏｎ） 的方法进行图像标 注，ＪＥＣ 利用全局低维图像特征和基本距离度量的 简单结合寻找给定图像的最近邻，然后使用一种贪 心的标签传递机制将关键词赋予对应的图像，取得 了很好的标注精度和检索性能。 但是，在以上标注模型中都没有考虑到图像处 理中存在的模糊和不确定性的属性（锐利边界），如 图像边缘、边界、区域等定义，对于临界的点，将其确 定为某一类都会影响标准的准确性，存在的这些模 糊属性将干扰图像处理结果的精确性。 故本文提出 一种基于隶属度的模糊分类方法，该方法结合模糊 关联规则（ｆｕｚｚｙ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ， ＦＡＲｓ）和决策树方 法来自动标注图像，方法的优点在于：一方面，在训 练阶段，根据提出的评价标准获得模糊关联规则，该 关联规则决定图像特征和语义关联的程度，更加直 观的获取了低维图像特征和高维图像语义间的联 系，很好地解决了“语义鸿沟”问题；根据隶属度函 数将低维图像特征映射到模糊特征向量，旨在处理 “锐利的边界”的问题。 另一方面，运用决策树算法 来解决冗余的模糊关联规则，过滤掉不必要的和弱 的关联规则，大大减小了算法的时间复杂度，提高了 标注的准确性和效率。 １ 图像分割及特征提取 在图像自动标注中，图像用全局特征或局部特 征表示，把图像分割成不同子区域。 图像分割是图 像处理的关键步骤，图像分割的好坏将影响到图像 标注的精度。 分割方法包括边缘检测、边缘跟踪、区 域增长等。 区域增长的图像分割通常能将具有相同 特征的联通区域分割出来。 并且能提供很好的边界 信息和分割结果。 针对本文“锐利边界问题”，为了 体现对图像的边缘信息点的处理，文中采用区域增 长方法分割图像。 区域生长一般分 ３ 个步骤：１） 选 择合适的生长点；２） 确定生长准则；３） 确定生长停 止条件。 表 １ 给出了来自 Ｃｏｒｅｌ ５ｋ 数据集的部分图 像分割前后对比。 表 １ 图像分割的几个实例 Ｔａｂｌｅ １ Ｓｅｖｅｒａｌ ｅｘａｍｐｌｅｓ ｏｆ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ 原始图像 分割后图像 原始图像 分割后图像 图像表示和特征提取是标注算法中一个重要和 决定性的步骤，图像进行区域分割后，从分割区域中 提取低维视觉特征，特征向量呈现图像不同的属性 和特征。 图像特征表示的相关文献有 ＭＰＥＧ⁃７ 标 准［１３］ 、颜色聚合向量［１４］ ， Ｌｏｗｅ 在 ２００４ 年提出的 第 ４ 期 李志欣，等：基于模糊关联规则和决策树的图像自动标注 ·６３７·