第12卷第2期 智能系统学报 Vol.12 No.2 2017年4月 CAAI Transactions on Intelligent Systems Apr.2017 D0I:10.11992/is.201602010 网络出版地址：http://www.cmki.net/kcms/detail,/23.1538.tp.20170116.1115.002.html 一种局部聚合描述符和组显著编码相结合的编码方法 费宇杰，吴小俊 (江南大学物联网工程学院，江苏无锡214122) 摘要：局部聚合描述符(vector of local山y aggregated descriptors.,VLAD)的特征编码方法在大规模图像检索上取得了 较好的效果。但是，VLD存在硬分配难以准确描述局部特征向量与视觉词汇隶属关系的问题，本文将两种软分配 编码与VLAD相结合来增强局部特征向量与视觉词汇的隶属关系。新的编码方法在15 Scenes、Cor阳lI0和UIC Sports Event数据库上的实验结果表明：l)在VLAD中加入局部软分配能够提高分类准确率，而且对比Fisher编码在 分类准确率上也有一定的优越性：2)除了软分配，显著性对提高分类准确率也起到了一定的作用。 关键词：图像分类：特征编码：词袋：局部聚合描述符：软分配：显著性 中图分类号：TP391文献标志码：A文章编号：1673-4785(2017)02-0172-07 中文引用格式：费宇杰，吴小俊.一种局部聚合描述符和组显著编码相结合的编码方法[J].智能系统学报，2017,12(2)：172-178. 英文引用格式：FEI Yujie,WU Xiaojun..A new feature coding algorithm based on the combination of group salient coding and VLAD[J].CAAI transactions on intelligent systems,2017,12(2):172-178. A new feature coding algorithm based on the combination of group salient coding and VLAD FEI Yujie,WU Xiaojun (School of loT Engineering,Jiangnan University,Wuxi 214122,China) Abstract:The vector of locally aggregated descriptors VLAD)has achieved good results in addressing large-scale image retrieval problems;however,VLAD has a defect in that the relationship between local descriptors and visual words cannot be accurately described using hard assignments.In this paper,we therefore combine two kinds of soft assignment coding methods with VLAD to enhance the relationship between local feature vectors and visual words. We applied our method to 15 scenes from the Corel 10 and UIUC Sports Event datasets,with our experimental re- sults showing that our combined partial soft assignment coding method and VLAD was able to enhance classification accuracy and achieve better classification accuracy than the well-known Fisher Coding approach.In addition to soft assignment,saliency also plays an important role in enhancing classification accuracy. Keywords:image classification;feature coding;bag-of-features;VLAD;soft assignment;saliency 图像分类是计算机视觉和模式识别中的一个重 框架。 要的研究方向，它有广泛的应用，例如：视频监 控山、图像检索]】、网页内容分析)。从文本分析 1问题提出 中的BoW(bag-of-words)模型[)发展而来的BoF 如图1所示，BoF模型通常包含5个步骤，特征 (bag-of-features)模型[s)是当前最有效的图像分类 提取、字典生成、特征编码、特征池化和分类。所谓 特征编码是用字典中的视觉词汇来表示图像中的局 收稿日期：2016-03-01.网络出版日期：2017-01-16. 部特征向量，局部特征在视觉词汇上的响应被称为 基金项目：国家自然科学基金项目(61373055,61672265)：江苏省教育 厅科技成果产业化推进项目(H10-28). 编码系数，将不同视觉词汇的编码系数组合在一起 通信作者：吴小俊.E-mail:xiaojun._wu_jmu@163.com 就是编码向量。特征编码是整个BoF模型的关键，第 １２ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．２ ２０１７ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０２０１０ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１７０１１６．１１１５．００２．ｈｔｍｌ 一种局部聚合描述符和组显著编码相结合的编码方法 费宇杰，吴小俊 （江南大学 物联网工程学院，江苏 无锡 ２１４１２２） 摘 要：局部聚合描述符（ｖｅｃｔｏｒ ｏｆ ｌｏｃａｌｌｙ ａｇｇｒｅｇａｔｅｄ ｄｅｓｃｒｉｐｔｏｒｓ， ＶＬＡＤ）的特征编码方法在大规模图像检索上取得了 较好的效果。 但是，ＶＬＡＤ 存在硬分配难以准确描述局部特征向量与视觉词汇隶属关系的问题，本文将两种软分配 编码与 ＶＬＡＤ 相结合来增强局部特征向量与视觉词汇的隶属关系。 新的编码方法在 １５ Ｓｃｅｎｅｓ、Ｃｏｒｅｌ １０ 和 ＵＩＩＣ Ｓｐｏｒｔｓ Ｅｖｅｎｔ 数据库上的实验结果表明：１）在 ＶＬＡＤ 中加入局部软分配能够提高分类准确率，而且对比 Ｆｉｓｈｅｒ 编码在 分类准确率上也有一定的优越性；２）除了软分配，显著性对提高分类准确率也起到了一定的作用。 关键词：图像分类；特征编码；词袋；局部聚合描述符；软分配；显著性 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０２－０１７２－０７ 中文引用格式：费宇杰，吴小俊． 一种局部聚合描述符和组显著编码相结合的编码方法［Ｊ］． 智能系统学报， ２０１７， １２（２）： １７２－１７８． 英文引用格式：ＦＥＩ Ｙｕｊｉｅ， ＷＵ Ｘｉａｏｊｕｎ． Ａ ｎｅｗ ｆｅａｔｕｒｅ ｃｏｄｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｇｒｏｕｐ ｓａｌｉｅｎｔ ｃｏｄｉｎｇ ａｎｄ ＶＬＡＤ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（２）： １７２－１７８． Ａ ｎｅｗ ｆｅａｔｕｒｅ ｃｏｄｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｇｒｏｕｐ ｓａｌｉｅｎｔ ｃｏｄｉｎｇ ａｎｄ ＶＬＡＤ ＦＥＩ Ｙｕｊｉｅ， ＷＵ Ｘｉａｏｊｕｎ （Ｓｃｈｏｏｌ ｏｆ ＩｏＴ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｊｉａｎｇｎａｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｗｕｘｉ ２１４１２２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｖｅｃｔｏｒ ｏｆ ｌｏｃａｌｌｙ ａｇｇｒｅｇａｔｅｄ ｄｅｓｃｒｉｐｔｏｒｓ （ＶＬＡＤ） ｈａｓ ａｃｈｉｅｖｅｄ ｇｏｏｄ ｒｅｓｕｌｔｓ ｉｎ ａｄｄｒｅｓｓｉｎｇ ｌａｒｇｅ⁃ｓｃａｌｅ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｐｒｏｂｌｅｍｓ； ｈｏｗｅｖｅｒ， ＶＬＡＤ ｈａｓ ａ ｄｅｆｅｃｔ ｉｎ ｔｈａｔ ｔｈｅ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒｓ ａｎｄ ｖｉｓｕａｌ ｗｏｒｄｓ ｃａｎｎｏｔ ｂｅ ａｃｃｕｒａｔｅｌｙ ｄｅｓｃｒｉｂｅｄ ｕｓｉｎｇ ｈａｒｄ ａｓｓｉｇｎｍｅｎｔｓ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｅ ｔｈｅｒｅｆｏｒｅ ｃｏｍｂｉｎｅ ｔｗｏ ｋｉｎｄｓ ｏｆ ｓｏｆｔ ａｓｓｉｇｎｍｅｎｔ ｃｏｄｉｎｇ ｍｅｔｈｏｄｓ ｗｉｔｈ ＶＬＡＤ ｔｏ ｅｎｈａｎｃｅ ｔｈｅ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｌｏｃａｌ ｆｅａｔｕｒｅ ｖｅｃｔｏｒｓ ａｎｄ ｖｉｓｕａｌ ｗｏｒｄｓ． Ｗｅ ａｐｐｌｉｅｄ ｏｕｒ ｍｅｔｈｏｄ ｔｏ １５ ｓｃｅｎｅｓ ｆｒｏｍ ｔｈｅ Ｃｏｒｅｌ １０ ａｎｄ ＵＩＵＣ Ｓｐｏｒｔｓ Ｅｖｅｎｔ ｄａｔａｓｅｔｓ， ｗｉｔｈ ｏｕｒ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅ⁃ ｓｕｌｔｓ ｓｈｏｗｉｎｇ ｔｈａｔ ｏｕｒ ｃｏｍｂｉｎｅｄ ｐａｒｔｉａｌ ｓｏｆｔ ａｓｓｉｇｎｍｅｎｔ ｃｏｄｉｎｇ ｍｅｔｈｏｄ ａｎｄ ＶＬＡＤ ｗａｓ ａｂｌｅ ｔｏ ｅｎｈａｎｃｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ａｎｄ ａｃｈｉｅｖｅ ｂｅｔｔｅｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｔｈａｎ ｔｈｅ ｗｅｌｌ⁃ｋｎｏｗｎ Ｆｉｓｈｅｒ Ｃｏｄｉｎｇ ａｐｐｒｏａｃｈ． Ｉｎ ａｄｄｉｔｉｏｎ ｔｏ ｓｏｆｔ ａｓｓｉｇｎｍｅｎｔ， ｓａｌｉｅｎｃｙ ａｌｓｏ ｐｌａｙｓ ａｎ ｉｍｐｏｒｔａｎｔ ｒｏｌｅ ｉｎ ｅｎｈａｎｃｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ． Ｋｅｙｗｏｒｄｓ： ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ； ｆｅａｔｕｒｅ ｃｏｄｉｎｇ； ｂａｇ⁃ｏｆ⁃ｆｅａｔｕｒｅｓ； ＶＬＡＤ； ｓｏｆｔ ａｓｓｉｇｎｍｅｎｔ； ｓａｌｉｅｎｃｙ 收稿日期：２０１６－０３－０１． 网络出版日期：２０１７－０１－１６． 基金项目：国家自然科学基金项目（６１３７３０５５， ６１６７２２６５）； 江苏省教育 厅科技成果产业化推进项目（ＪＨ１０⁃２８）． 通信作者：吴小俊． Ｅ⁃ｍａｉｌ：ｘｉａｏｊｕｎ＿ｗｕ＿ｊｎｕ＠ １６３．ｃｏｍ． 图像分类是计算机视觉和模式识别中的一个重 要的研 究 方 向， 它 有 广 泛 的 应 用， 例 如： 视 频 监 控［１］ 、图像检索［２］ 、网页内容分析［３］ 。 从文本分析 中的 ＢｏＷ （ ｂａｇ⁃ｏｆ⁃ｗｏｒｄｓ） 模型［４］ 发展而来的 ＢｏＦ （ｂａｇ⁃ｏｆ⁃ｆｅａｔｕｒｅｓ）模型［５］ 是当前最有效的图像分类 框架。 １ 问题提出 如图 １ 所示，ＢｏＦ 模型通常包含 ５ 个步骤，特征 提取、字典生成、特征编码、特征池化和分类。 所谓 特征编码是用字典中的视觉词汇来表示图像中的局 部特征向量，局部特征在视觉词汇上的响应被称为 编码系数，将不同视觉词汇的编码系数组合在一起 就是编码向量。 特征编码是整个 ＢｏＦ 模型的关键