第10卷第4期 智能系统学报 Vol.10 No.4 2015年8月 CAAI Transactions on Intelligent Systems Aug.2015 D0:10.3969/j.issn.1673-4785.201505009 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20150630.1544.002.html 基于模糊关联规则和决策树的图像自动标注 李志欣12，李灵芝，张灿龙2 (1.广西师范大学广西多源信息挖据与安全重点实验室，广西桂林541004：2.广西信息科学实验中心，广西桂林541004) 摘要：传统的基于关联规则算法的图像自动标注存在“锐利边界”问题，使分类存在模糊性、不准确性。且随着多 媒体技术的飞速发展，图像信息数据迅速增长，海量的图像数据会形成大量冗余的关联规则，这将导致分类效率大 大降低。针对这2个问题，文中提出基于模糊关联规则和决策树的图像自动标注模型。该模型首先获得关联训练图 像低层特征和高层语义的模糊关联规则，再利用决策树方法删减冗余的模糊关联规则，基于决策树删减后的模糊关 联规则，大大减小了算法的计算复杂度。实验在Corl5k和IAPR-TC12两个基谁数据集上进行，并从精度、召回率、 F-measure以及产生的规则数量几个度量措施上进行比较。与其他几种前沿的图像自动标注方法的结果对比表明， 该方法在图像的标注精度和标注效率上有很大的提高。 关键词：锐利边界：模糊分类：图像自动标注：模糊关联规则：决策树 中图分类号：TP391文献标志码：A文章编号：1673-4785(2015)04-0636-08 中文引用格式：李志欣，李灵芝，张灿龙.基于模糊关联规则和决策树的图像自动标注[J】.智能系统学报，2015,10(4)：636-644. 英文引用格式：LI Zhixin,LI Lingzhi,ZHANG Canlong.Automatic image annotation based on fuzzy association rules and decision trees[J].CAAI Transactions on Intelligent Systems,2015,10(4):636-644. Automatic image annotation based on fuzzy association rules and decision trees LI Zhixin'2,LI Lingzhi',ZHANG Canlong' (1.Guangxi Key Lab of Multi-source Information Mining Security,Guangxi Normal University,Guilin 541004,China;2.Guangxi Experiment Center of Information Science,Guilin 541004,China) Abstract:The traditional automatic image annotation based on association rules exists the problem of sharp boundary, which makes classification more fuzzy and inaccurate.Moreover,with the rapid development of multimedia technology, the size of image data increases quickly.Massive image data will produce a lot of redundant association rules,which greatly decreases the efficiency of image classification.In order to solve these two problems,this paper proposes an auto- matic image annotation approach based on fuzzy association rules and decision trees.The approach firstly obtains fuzzy association rules which represent the fuzzy correlations between low-level visual features and high-level semantic concepts of training images.Then,decision tree is adopted to reduce the redundant fuzzy association rules.As a result,computa- tional complexity of the algorithm is decreased to a large degree.Experiments were done on Corel5k and IAPR-TC12 datasets.The evaluation measures are compared from the aspects of precision,recall,F-measure and the number of rules.The experimental results show that the proposed method acquires higher accuracy and efficiency in comparison with several state-of-the-art automatic image annotation approaches. Keywords:sharp boundary;fuzzy classification;automatic image annotation;fuzzy association rules;decision tree 收稿日期：2015-05-06.网络出版日期：2015-06-30. 随着多媒体技术的飞速发展，图像信息数据迅 基金项目：国家自然科学基金资助项目(61165009,61262005.61363035. 61365009):国家973计划资助项目(2012CB326403):广西自然科 速增长，传统的人工图像标注2)已不能满足海量 学基金资助项目(2012 CXNSFAA053219,2013 GXNSFAA019345, 的图像数据库标注要求，如何实现有效标注和快速 2014 CXNSFAA118368). 通信作者：李志欣.E-mail:liax@gu.cdu.cm 存取，已经成为多媒体领域一项重大研究课题。基第 １０ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．４ ２０１５ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｕｇ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１５０５００９ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５０６３０．１５４４．００２．ｈｔｍｌ 基于模糊关联规则和决策树的图像自动标注 李志欣１，２ ，李灵芝１ ，张灿龙１，２ （１．广西师范大学 广西多源信息挖掘与安全重点实验室， 广西 桂林 ５４１００４； ２．广西信息科学实验中心， 广西 桂林 ５４１００４） 摘 要：传统的基于关联规则算法的图像自动标注存在“锐利边界”问题，使分类存在模糊性、不准确性。 且随着多 媒体技术的飞速发展，图像信息数据迅速增长，海量的图像数据会形成大量冗余的关联规则，这将导致分类效率大 大降低。 针对这 ２ 个问题，文中提出基于模糊关联规则和决策树的图像自动标注模型。 该模型首先获得关联训练图 像低层特征和高层语义的模糊关联规则，再利用决策树方法删减冗余的模糊关联规则，基于决策树删减后的模糊关 联规则，大大减小了算法的计算复杂度。 实验在 Ｃｏｒｅｌ ５ｋ 和 ＩＡＰＲ⁃ＴＣ１２ 两个基准数据集上进行，并从精度、召回率、 Ｆ⁃ｍｅａｓｕｒｅ 以及产生的规则数量几个度量措施上进行比较。 与其他几种前沿的图像自动标注方法的结果对比表明， 该方法在图像的标注精度和标注效率上有很大的提高。 关键词：锐利边界；模糊分类；图像自动标注；模糊关联规则；决策树 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０４⁃０６３６⁃０８ 中文引用格式：李志欣，李灵芝，张灿龙． 基于模糊关联规则和决策树的图像自动标注［Ｊ］． 智能系统学报， ２０１５， １０（４）： ６３６⁃６４４． 英文引用格式：ＬＩ Ｚｈｉｘｉｎ，ＬＩ Ｌｉｎｇｚｈｉ，ＺＨＡＮＧ Ｃａｎｌｏｎｇ． Ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｕｚｚｙ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ ａｎｄ ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（４）： ６３６⁃６４４． Ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｕｚｚｙ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ ａｎｄ ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ ＬＩ Ｚｈｉｘｉｎ １，２ ，ＬＩ Ｌｉｎｇｚｈｉ １ ，ＺＨＡＮＧ Ｃａｎｌｏｎｇ １，２ （１．Ｇｕａｎｇｘｉ Ｋｅｙ Ｌａｂ ｏｆ Ｍｕｌｔｉ⁃ｓｏｕｒｃｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｉｎｉｎｇ ＆ Ｓｅｃｕｒｉｔｙ， Ｇｕａｎｇｘｉ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ， Ｇｕｉｌｉｎ ５４１００４， Ｃｈｉｎａ； ２． Ｇｕａｎｇｘｉ Ｅｘｐｅｒｉｍｅｎｔ Ｃｅｎｔｅｒ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ， Ｇｕｉｌｉｎ ５４１００４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ ｅｘｉｓｔｓ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｓｈａｒｐ ｂｏｕｎｄａｒｙ， ｗｈｉｃｈ ｍａｋｅｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｒｅ ｆｕｚｚｙ ａｎｄ ｉｎａｃｃｕｒａｔｅ． Ｍｏｒｅｏｖｅｒ， ｗｉｔｈ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｍｕｌｔｉｍｅｄｉａ ｔｅｃｈｎｏｌｏｇｙ， ｔｈｅ ｓｉｚｅ ｏｆ ｉｍａｇｅ ｄａｔａ ｉｎｃｒｅａｓｅｓ ｑｕｉｃｋｌｙ． Ｍａｓｓｉｖｅ ｉｍａｇｅ ｄａｔａ ｗｉｌｌ ｐｒｏｄｕｃｅ ａ ｌｏｔ ｏｆ ｒｅｄｕｎｄａｎｔ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ， ｗｈｉｃｈ ｇｒｅａｔｌｙ ｄｅｃｒｅａｓｅｓ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅｓｅ ｔｗｏ ｐｒｏｂｌｅｍｓ， ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａｎ ａｕｔｏ⁃ ｍａｔｉｃ ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ ａｐｐｒｏａｃｈ ｂａｓｅｄ ｏｎ ｆｕｚｚｙ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ ａｎｄ ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ． Ｔｈｅ ａｐｐｒｏａｃｈ ｆｉｒｓｔｌｙ ｏｂｔａｉｎｓ ｆｕｚｚｙ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ ｗｈｉｃｈ ｒｅｐｒｅｓｅｎｔ ｔｈｅ ｆｕｚｚｙ ｃｏｒｒｅｌａｔｉｏｎｓ ｂｅｔｗｅｅｎ ｌｏｗ⁃ｌｅｖｅｌ ｖｉｓｕａｌ ｆｅａｔｕｒｅｓ ａｎｄ ｈｉｇｈ⁃ｌｅｖｅｌ ｓｅｍａｎｔｉｃ ｃｏｎｃｅｐｔｓ ｏｆ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ． Ｔｈｅｎ， ｄｅｃｉｓｉｏｎ ｔｒｅｅ ｉｓ ａｄｏｐｔｅｄ ｔｏ ｒｅｄｕｃｅ ｔｈｅ ｒｅｄｕｎｄａｎｔ ｆｕｚｚｙ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ． Ａｓ ａ ｒｅｓｕｌｔ， ｃｏｍｐｕｔａ⁃ ｔｉｏｎａｌ ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｉｓ ｄｅｃｒｅａｓｅｄ ｔｏ ａ ｌａｒｇｅ ｄｅｇｒｅｅ． Ｅｘｐｅｒｉｍｅｎｔｓ ｗｅｒｅ ｄｏｎｅ ｏｎ Ｃｏｒｅｌ５ｋ ａｎｄ ＩＡＰＲ⁃ＴＣ１２ ｄａｔａｓｅｔｓ． Ｔｈｅ ｅｖａｌｕａｔｉｏｎ ｍｅａｓｕｒｅｓ ａｒｅ ｃｏｍｐａｒｅｄ ｆｒｏｍ ｔｈｅ ａｓｐｅｃｔｓ ｏｆ ｐｒｅｃｉｓｉｏｎ， ｒｅｃａｌｌ， Ｆ⁃ｍｅａｓｕｒｅ ａｎｄ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｒｕｌｅｓ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ａｃｑｕｉｒｅｓ ｈｉｇｈｅｒ ａｃｃｕｒａｃｙ ａｎｄ ｅｆｆｉｃｉｅｎｃｙ ｉｎ ｃｏｍｐａｒｉｓｏｎ ｗｉｔｈ ｓｅｖｅｒａｌ ｓｔａｔｅ⁃ｏｆ⁃ｔｈｅ⁃ａｒｔ ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ ａｐｐｒｏａｃｈｅｓ． Ｋｅｙｗｏｒｄｓ：ｓｈａｒｐ ｂｏｕｎｄａｒｙ； ｆｕｚｚｙ ｃｌａｓｓｉｆｉｃａｔｉｏｎ； ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ； ｆｕｚｚｙ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅｓ； ｄｅｃｉｓｉｏｎ ｔｒｅｅ 收稿日期：２０１５⁃０５⁃０６． 网络出版日期：２０１５⁃０６⁃３０． 基金项目：国家自然科学基金资助项目（６１１６５００９， ６１２６２００５， ６１３６３０３５， ６１３６５００９）；国家 ９７３ 计划资助项目（２０１２ＣＢ３２６４０３）；广西自然科 学基金资助项目（２０１２ＧＸＮＳＦＡＡ０５３２１９， ２０１３ＧＸＮＳＦＡＡ０１９３４５， ２０１４ＧＸＮＳＦＡＡ１１８３６８）． 通信作者：李志欣． Ｅ⁃ｍａｉｌ：ｌｉｚｘ＠ ｇｘｎｕ．ｅｄｕ．ｃｎ． 随着多媒体技术的飞速发展，图像信息数据迅 速增长，传统的人工图像标注［１⁃２］ 已不能满足海量 的图像数据库标注要求，如何实现有效标注和快速 存取，已经成为多媒体领域一项重大研究课题。 基