第9卷第3期 智能系统学报 Vol.9 No.3 2014年6月 CAAI Transactions on Intelligent Systems Jun.2014 D0:10.3969/j.issn.1673-4785.201403064 网s络出版地址：http:/www.cmki.net/kcms/doi/10.3969/j.issn.16734785.201403064.html 一种多标记数据的过滤式特征选择框架 郭雨萌，李国正 (同济大学电子与信息工程学院控制系，上海201804) 摘要：提出一种过滤式的多标记数据特征选择框架，并在卡方检验基础上进行实现和实验研究。该框架计算每个 特征在各个类标上的卡方检验，然后通过得分的统计值计算出每个特征的最终排序情况，选取了最大、平均、最小3 种统计值分别进行了实验比较。在5个评价指标、4个常用的多标记数据集和3个学习器上的对比实验表明，3种得 分统计方式各有优劣，但都能提高多标记学习的效果。 关键词：特征选择：多标记：过滤式：卡方检验 中图分类号：TP391文献标志码：A文章编号：1673-4785(2014)03-0292-06 中文引用格式：郭雨萌，李国正.一种多标记数据的过滤式特征选择框架[J].智能系统学报，2014,9(3)：292-297. 英文引用格式：GUO Yumeng,LI Guozheng.A filter framework of the multi-label feature selection[J].CAAI Transactions on In- telligent Systems,2014,9(3):292-297. A filtering framework for the multi-label feature selection GUO Yumeng,LI Guozheng (School of Electronic and Information Engineering,Tongji University,Shanghai 201804,China) Abstract:The researchers of multi-label learning mainly focus on the classifier performance,regardless of the influ- ence of the dataset feature.This paper proposes a filter framework of the multi-labeled data feature selection.The al- gorithm implementation and experiment were carried out based on the Chi-square test.This framework calculates the CHI-square test for each feature on each label,and then the ranking order of each feature is computed by the statis- tics of the score.This paper considers three different types of statistical data (average,maximum,minimum)for the experimental comparisons.The contrasting experiments with the four common multi-label datasets with three classifiers and five evaluation criteria show that these three score statistical methods share both superior and inferior characteristics,but still improve the performance for multi-label learning problems. Keywords:feature selection;multi-label;filter;CHI-square test 多标记数据)中每个样本可以同时带有多个CC(classifier chain)和RAkEL(random k--labelsets) 类标，并且广泛地出现在不同的应用领域，比如文本 分类器是典型代表。而在算法适应类型中，MLkNN 分类、媒体标注、信息检索、生物信息学等。对于这 (multi-label k nearest neighbor),AdaBoost.MH(ada- 种数据的分析需要利用多标记学习技术2)。由于 boost multi-class hamming trees)RankSVM rank 大量不同的多标记学习技术被提出，所以该技术仍support vector machine)属于将一些先进的单标记分 是研究热点，目前可以分为问题转化和算法适应2 类器转化为多标记分类器的一类。LEAD(muli-la- 种类型。在问题转化类型中，BR(binary relevance), bel learning by exploiting label dependency)LIFT 收稿日期：2014-03-25.网络出版日期：2014-06-14 multi-label learning with label-specific features) 基金项目：国家自然科学基金资助项目(61273305). 器则更进一步，考虑到特征子集和利用类标的层级 通信作者：李国正.E-mail:gzi@tongji.edu.cm.第 ９ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．３ ２０１４ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０３０６４ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｏｉ ／ １０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３４７８５．２０１４０３０６４．ｈｔｍｌ 一种多标记数据的过滤式特征选择框架 郭雨萌，李国正 （同济大学 电子与信息工程学院控制系，上海 ２０１８０４） 摘 要：提出一种过滤式的多标记数据特征选择框架，并在卡方检验基础上进行实现和实验研究。 该框架计算每个 特征在各个类标上的卡方检验，然后通过得分的统计值计算出每个特征的最终排序情况，选取了最大、平均、最小 ３ 种统计值分别进行了实验比较。 在 ５ 个评价指标、４ 个常用的多标记数据集和 ３ 个学习器上的对比实验表明，３ 种得 分统计方式各有优劣，但都能提高多标记学习的效果。 关键词：特征选择；多标记；过滤式；卡方检验 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０３⁃０２９２⁃０６ 中文引用格式：郭雨萌，李国正． 一种多标记数据的过滤式特征选择框架［Ｊ］． 智能系统学报， ２０１４， ９（３）： ２９２⁃２９７． 英文引用格式：ＧＵＯ Ｙｕｍｅｎｇ， ＬＩ Ｇｕｏｚｈｅｎｇ． Ａ ｆｉｌｔｅｒ ｆｒａｍｅｗｏｒｋ ｏｆ ｔｈｅ ｍｕｌｔｉ－ｌａｂｅｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎ⁃ ｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（３）： ２９２⁃２９７． Ａ ｆｉｌｔｅｒｉｎｇ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｔｈｅ ｍｕｌｔｉ⁃ｌａｂｅｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ＧＵＯ Ｙｕｍｅｎｇ， ＬＩ Ｇｕｏｚｈｅｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｔｏｎｇｊｉ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈａｎｇｈａｉ ２０１８０４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｒｅｓｅａｒｃｈｅｒｓ ｏｆ ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ ｍａｉｎｌｙ ｆｏｃｕｓ ｏｎ ｔｈｅ ｃｌａｓｓｉｆｉｅｒ ｐｅｒｆｏｒｍａｎｃｅ， ｒｅｇａｒｄｌｅｓｓ ｏｆ ｔｈｅ ｉｎｆｌｕ⁃ ｅｎｃｅ ｏｆ ｔｈｅ ｄａｔａｓｅｔ ｆｅａｔｕｒｅ． Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｆｉｌｔｅｒ ｆｒａｍｅｗｏｒｋ ｏｆ ｔｈｅ ｍｕｌｔｉ⁃ｌａｂｅｌｅｄ ｄａｔａ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ． Ｔｈｅ ａｌ⁃ ｇｏｒｉｔｈｍ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ ｅｘｐｅｒｉｍｅｎｔ ｗｅｒｅ ｃａｒｒｉｅｄ ｏｕｔ ｂａｓｅｄ ｏｎ ｔｈｅ Ｃｈｉ⁃ｓｑｕａｒｅ ｔｅｓｔ． Ｔｈｉｓ ｆｒａｍｅｗｏｒｋ ｃａｌｃｕｌａｔｅｓ ｔｈｅ ＣＨＩ⁃ｓｑｕａｒｅ ｔｅｓｔ ｆｏｒ ｅａｃｈ ｆｅａｔｕｒｅ ｏｎ ｅａｃｈ ｌａｂｅｌ， ａｎｄ ｔｈｅｎ ｔｈｅ ｒａｎｋｉｎｇ ｏｒｄｅｒ ｏｆ ｅａｃｈ ｆｅａｔｕｒｅ ｉｓ ｃｏｍｐｕｔｅｄ ｂｙ ｔｈｅ ｓｔａｔｉｓ⁃ ｔｉｃｓ ｏｆ ｔｈｅ ｓｃｏｒｅ． Ｔｈｉｓ ｐａｐｅｒ ｃｏｎｓｉｄｅｒｓ ｔｈｒｅｅ ｄｉｆｆｅｒｅｎｔ ｔｙｐｅｓ ｏｆ ｓｔａｔｉｓｔｉｃａｌ ｄａｔａ （ ａｖｅｒａｇｅ， ｍａｘｉｍｕｍ， ｍｉｎｉｍｕｍ） ｆｏｒ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｃｏｍｐａｒｉｓｏｎｓ． Ｔｈｅ ｃｏｎｔｒａｓｔｉｎｇ ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ｔｈｅ ｆｏｕｒ ｃｏｍｍｏｎ ｍｕｌｔｉ⁃ｌａｂｅｌ ｄａｔａｓｅｔｓ ｗｉｔｈ ｔｈｒｅｅ ｃｌａｓｓｉｆｉｅｒｓ ａｎｄ ｆｉｖｅ ｅｖａｌｕａｔｉｏｎ ｃｒｉｔｅｒｉａ ｓｈｏｗ ｔｈａｔ ｔｈｅｓｅ ｔｈｒｅｅ ｓｃｏｒｅ ｓｔａｔｉｓｔｉｃａｌ ｍｅｔｈｏｄｓ ｓｈａｒｅ ｂｏｔｈ ｓｕｐｅｒｉｏｒ ａｎｄ ｉｎｆｅｒｉｏｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ， ｂｕｔ ｓｔｉｌｌ ｉｍｐｒｏｖｅ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｆｏｒ ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ ｐｒｏｂｌｅｍｓ． Ｋｅｙｗｏｒｄｓ：ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ； ｍｕｌｔｉ⁃ｌａｂｅｌ； ｆｉｌｔｅｒ； ＣＨＩ⁃ｓｑｕａｒｅ ｔｅｓｔ 收稿日期：２０１４⁃０３⁃２５． 网络出版日期：２０１４⁃０６⁃１４． 基金项目：国家自然科学基金资助项目（６１２７３３０５）． 通信作者：李国正． Ｅ⁃ｍａｉｌ：ｇｚｌｉ＠ ｔｏｎｇｊｉ．ｅｄｕ．ｃｎ． 多标记数据［１］ 中每个样本可以同时带有多个 类标，并且广泛地出现在不同的应用领域，比如文本 分类、媒体标注、信息检索、生物信息学等。 对于这 种数据的分析需要利用多标记学习技术［２ ⁃ ３］ 。 由于 大量不同的多标记学习技术被提出，所以该技术仍 是研究热点，目前可以分为问题转化和算法适应 ２ 种类型。 在问题转化类型中，ＢＲ（ｂｉｎａｒｙ ｒｅｌｅｖａｎｃｅ）， ＣＣ（ ｃｌａｓｓｉｆｉｅｒ ｃｈａｉｎ） 和 ＲＡｋＥＬ（ ｒａｎｄｏｍ ｋ⁃ｌａｂｅｌｓｅｔｓ） 分类器是典型代表。 而在算法适应类型中，ＭＬｋＮＮ （ｍｕｌｔｉ⁃ｌａｂｅｌ ｋ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、 ＡｄａＢｏｏｓｔ．ＭＨ（ａｄａ⁃ ｂｏｏｓｔ ｍｕｌｔｉ⁃ｃｌａｓｓ ｈａｍｍｉｎｇ ｔｒｅｅｓ） 和 ＲａｎｋＳＶＭ （ ｒａｎｋ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）属于将一些先进的单标记分 类器转化为多标记分类器的一类。 ＬＥＡＤ（ｍｕｌｔｉ⁃ｌａ⁃ ｂｅｌ ｌｅａｒｎｉｎｇ ｂｙ ｅｘｐｌｏｉｔｉｎｇ ｌａｂｅｌ ｄｅｐｅｎｄｅｎｃｙ） 和 ＬＩＦＴ （ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｌａｂｅｌ⁃ｓｐｅｃｉｆｉｃ ｆｅａｔｕｒｅｓ）分类 器则更进一步，考虑到特征子集和利用类标的层级