第8卷第5期 智能系统学报 Vol.8 No.5 2013年10月 CAAI Transactions on Intelligent Systems 0ct.2013 D0L:10.3969/j.issn.1673-4785.201305033 网络出版地址：http:/www.cnki.net/kcms/detail/23.1538.TP.20130929.1105.006.html 基于Tri-training的半监督多标记学习算法 刘杨磊2，梁吉业2，高嘉伟2，杨静2 (1.山西大学计算机与信息技术学院，山西太原030006：2.山西大学计算智能与中文信息处理教育部重点实验室， 山西太原030006) 摘要：传统的多标记学习是监督意义下的学习，它要求获得完整的类别标记但是当数据规模较大且类别数目较多 时，获得完整类别标记的训练样本集是非常困难的.因而，在半监督协同训练思想的框架下，提出了基于Tmi-training 的半监督多标记学习算法(SMT).在学习阶段，SMLT引入一个虚拟类标记，然后针对每一对类别标记，利用协同训 练机制Ti-training算法训练得到对应的分类器：在预测阶段，给定一个新的样本，将其代入上述所得的分类器中，根 据类别标记得票数的多少将多标记学习问题转化为标记排序问题，并将虚拟类标记的得票数作为阈值对标记排序 结果进行划分.在UCI中4个常用的多标记数据集上的对比实验表明，SMLT算法在4个评价指标上的性能大多优于 其他对比算法，验证了该算法的有效性。 关键词：多标记学习：半监督学习：Tmi-training 中图分类号：TP181文献标志码：A文章编号：1673-4785(2013)05-439-07 中文引用格式：刘杨磊，梁吉业，高嘉伟，等.基于Ti-training的半监督多标记学习算法[J】.智能系统学报，2013,8(5)：439-445， 英文引用格式：LIU Yanglei,LIANG Jiye,GAO Jiawei,etal.Semi-supervised multi-.label learning algorithm based on Tri-training [J].CAAI Transactions on Intelligent Systems,2013,8(5):439-445. Semi-supervised multi-label learning algorithm based on Tri-training LIU Yanglei,LIANG Jiye2,GAO Jiawei',YANG Jing2 (1.School of Computer and Information Technology,Shanxi University,Taiyuan 030006,China;2.Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education,Shanxi University,Taiyuan 030006,China) Abstract:Traditional multi-label learning is in the sense of supervision,in which the complete category labels are required.However,when the size of data is large and there are several categories of labels,it is quite difficult to obtain the training sample sets with complete labels.Therefore,a semi-supervised multi-label learning algorithm based on Tri-training (SMLT)is proposed.In the learning stage,SMLT initially introduces a virtual label,then for each pair of virtual labels,the Tri-training algorithm is utilized to train the corresponding classifiers for each pair of labels.In the forecast stage,a new sample is given,which will be substituted into the obtained classifier described above.According to the votes of each label,the multi-label learning problem is transformed into a label ranking problem,subsequently;the votes of the virtual label are taken as the threshold for distinguishing the label ranking results.The contrast experiments on four commonly used UCI multi-label datasets show the SMLT algorithm behaves better than other comparative algorithms in four evaluation indices and the effectiveness of the proposed algorithm is verified. Keywords:multi-label learning;semi-supervised learning;Tri-training 多标记学习(muli--label learning)们是机器学习 个训练样本可能同时对应于一个或多个不同的概念 领域的重要研究方向之一.在多标记学习问题中，一 标记，以表达其语义信息，学习的任务是为待学习样 本预测其对应的概念标记集合.多标记学习问题普 收稿日期：2013-05-09.网络出版日期：2013-09-29 遍存在于真实世界中，比如在图像场景分类任务中， 基金项目：国家“973”计划前期研究专项(2011CB311805):山西省科 技攻关计划资助项目(20110321027-01)：山西省科技基础 一幅图像可能因包含“树木”、“天空”、“湖泊”以及 条件平台建设项目(2012091002-0101). 通信作者：梁吉业.E-mail:jy@sxu.cdu.cm “山峰”等语义概念，而拥有多个概念标记第 ８ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．８ №．５ ２０１３ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１３ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０５０３３ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１３０９２９．１１０５．００６．ｈｔｍｌ 基于 Ｔｒｉ⁃ｔｒａｉｎｉｎｇ 的半监督多标记学习算法 刘杨磊１，２ ，梁吉业１，２ ，高嘉伟１，２ ，杨静１，２ （１．山西大学 计算机与信息技术学院，山西 太原 ０３０００６； ２．山西大学 计算智能与中文信息处理教育部重点实验室， 山西 太原 ０３０００６） 摘 要：传统的多标记学习是监督意义下的学习，它要求获得完整的类别标记．但是当数据规模较大且类别数目较多 时，获得完整类别标记的训练样本集是非常困难的．因而，在半监督协同训练思想的框架下，提出了基于 Ｔｒｉ⁃ｔｒａｉｎｉｎｇ 的半监督多标记学习算法（ＳＭＬＴ）．在学习阶段，ＳＭＬＴ 引入一个虚拟类标记，然后针对每一对类别标记，利用协同训 练机制 Ｔｒｉ⁃ｔｒａｉｎｉｎｇ 算法训练得到对应的分类器；在预测阶段，给定一个新的样本，将其代入上述所得的分类器中，根 据类别标记得票数的多少将多标记学习问题转化为标记排序问题，并将虚拟类标记的得票数作为阈值对标记排序 结果进行划分．在 ＵＣＩ 中 ４ 个常用的多标记数据集上的对比实验表明，ＳＭＬＴ 算法在 ４ 个评价指标上的性能大多优于 其他对比算法，验证了该算法的有效性． 关键词：多标记学习；半监督学习；Ｔｒｉ⁃ｔｒａｉｎｉｎｇ 中图分类号：ＴＰ１８１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１３）０５⁃４３９⁃０７ 中文引用格式：刘杨磊，梁吉业，高嘉伟，等．基于 Ｔｒｉ⁃ｔｒａｉｎｉｎｇ 的半监督多标记学习算法［Ｊ］． 智能系统学报， ２０１３， ８（５）： ４３９⁃４４５． 英文引用格式：ＬＩＵ Ｙａｎｇｌｅｉ， ＬＩＡＮＧ Ｊｉｙｅ， ＧＡＯ Ｊｉａｗｅｉ， ｅｔ ａｌ． Ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｔｒｉ⁃ｔｒａｉｎｉｎｇ ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１３， ８（５）： ４３９⁃４４５． Ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｔｒｉ⁃ｔｒａｉｎｉｎｇ ＬＩＵ Ｙａｎｇｌｅｉ １，２ ， ＬＩＡＮＧ Ｊｉｙｅ １，２ ， ＧＡＯ Ｊｉａｗｅｉ １，２ ， ＹＡＮＧ Ｊｉｎｇ １，２ （１． Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ｓｈａｎｘｉ Ｕｎｉｖｅｒｓｉｔｙ， Ｔａｉｙｕａｎ ０３０００６， Ｃｈｉｎａ； ２． Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｃｈｉｎｅｓｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｍｉｎｉｓｔｒｙ ｏｆ Ｅｄｕｃａｔｉｏｎ， Ｓｈａｎｘｉ Ｕｎｉｖｅｒｓｉｔｙ， Ｔａｉｙｕａｎ ０３０００６， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｒａｄｉｔｉｏｎａｌ ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ ｉｓ ｉｎ ｔｈｅ ｓｅｎｓｅ ｏｆ ｓｕｐｅｒｖｉｓｉｏｎ， ｉｎ ｗｈｉｃｈ ｔｈｅ ｃｏｍｐｌｅｔｅ ｃａｔｅｇｏｒｙ ｌａｂｅｌｓ ａｒｅ ｒｅｑｕｉｒｅｄ． Ｈｏｗｅｖｅｒ， ｗｈｅｎ ｔｈｅ ｓｉｚｅ ｏｆ ｄａｔａ ｉｓ ｌａｒｇｅ ａｎｄ ｔｈｅｒｅ ａｒｅ ｓｅｖｅｒａｌ ｃａｔｅｇｏｒｉｅｓ ｏｆ ｌａｂｅｌｓ， ｉｔ ｉｓ ｑｕｉｔｅ ｄｉｆｆｉｃｕｌｔ ｔｏ ｏｂｔａｉｎ ｔｈｅ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅ ｓｅｔｓ ｗｉｔｈ ｃｏｍｐｌｅｔｅ ｌａｂｅｌｓ． Ｔｈｅｒｅｆｏｒｅ， ａ ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｔｒｉ⁃ｔｒａｉｎｉｎｇ （ＳＭＬＴ） ｉｓ ｐｒｏｐｏｓｅｄ． Ｉｎ ｔｈｅ ｌｅａｒｎｉｎｇ ｓｔａｇｅ， ＳＭＬＴ ｉｎｉｔｉａｌｌｙ ｉｎｔｒｏｄｕｃｅｓ ａ ｖｉｒｔｕａｌ ｌａｂｅｌ， ｔｈｅｎ ｆｏｒ ｅａｃｈ ｐａｉｒ ｏｆ ｖｉｒｔｕａｌ ｌａｂｅｌｓ， ｔｈｅ Ｔｒｉ⁃ｔｒａｉｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｉｓ ｕｔｉｌｉｚｅｄ ｔｏ ｔｒａｉｎ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｃｌａｓｓｉｆｉｅｒｓ ｆｏｒ ｅａｃｈ ｐａｉｒ ｏｆ ｌａｂｅｌｓ． Ｉｎ ｔｈｅ ｆｏｒｅｃａｓｔ ｓｔａｇｅ， ａ ｎｅｗ ｓａｍｐｌｅ ｉｓ ｇｉｖｅｎ， ｗｈｉｃｈ ｗｉｌｌ ｂｅ ｓｕｂｓｔｉｔｕｔｅｄ ｉｎｔｏ ｔｈｅ ｏｂｔａｉｎｅｄ ｃｌａｓｓｉｆｉｅｒ ｄｅｓｃｒｉｂｅｄ ａｂｏｖｅ． Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｖｏｔｅｓ ｏｆ ｅａｃｈ ｌａｂｅｌ， ｔｈｅ ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ ｐｒｏｂｌｅｍ ｉｓ ｔｒａｎｓｆｏｒｍｅｄ ｉｎｔｏ ａ ｌａｂｅｌ ｒａｎｋｉｎｇ ｐｒｏｂｌｅｍ， ｓｕｂｓｅｑｕｅｎｔｌｙ； ｔｈｅ ｖｏｔｅｓ ｏｆ ｔｈｅ ｖｉｒｔｕａｌ ｌａｂｅｌ ａｒｅ ｔａｋｅｎ ａｓ ｔｈｅ ｔｈｒｅｓｈｏｌｄ ｆｏｒ ｄｉｓｔｉｎｇｕｉｓｈｉｎｇ ｔｈｅ ｌａｂｅｌ ｒａｎｋｉｎｇ ｒｅｓｕｌｔｓ． Ｔｈｅ ｃｏｎｔｒａｓｔ ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ｆｏｕｒ ｃｏｍｍｏｎｌｙ ｕｓｅｄ ＵＣＩ ｍｕｌｔｉ⁃ｌａｂｅｌ ｄａｔａｓｅｔｓ ｓｈｏｗ ｔｈｅ ＳＭＬＴ ａｌｇｏｒｉｔｈｍ ｂｅｈａｖｅｓ ｂｅｔｔｅｒ ｔｈａｎ ｏｔｈｅｒ ｃｏｍｐａｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍｓ ｉｎ ｆｏｕｒ ｅｖａｌｕａｔｉｏｎ ｉｎｄｉｃｅｓ ａｎｄ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｉｓ ｖｅｒｉｆｉｅｄ． Ｋｅｙｗｏｒｄｓ：ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ； ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ； Ｔｒｉ⁃ｔｒａｉｎｉｎｇ 收稿日期：２０１３⁃０５⁃０９． 网络出版日期：２０１３⁃０９⁃２９． 基金项目：国家“９７３”计划前期研究专项（２０１１ＣＢ３１１８０５）；山西省科 技攻关计划资助项目（ ２０１１０３２１０２７⁃０１）；山西省科技基础 条件平台建设项目（２０１２０９１００２⁃０１０１）． 通信作者：梁吉业． Ｅ⁃ｍａｉｌ： ｌｊｙ＠ ｓｘｕ．ｅｄｕ．ｃｎ． 多标记学习（ｍｕｌｔｉ⁃ｌａｂｅｌ ｌｅａｒｎｉｎｇ） ［１］是机器学习 领域的重要研究方向之一．在多标记学习问题中，一 个训练样本可能同时对应于一个或多个不同的概念 标记，以表达其语义信息，学习的任务是为待学习样 本预测其对应的概念标记集合．多标记学习问题普 遍存在于真实世界中，比如在图像场景分类任务中， 一幅图像可能因包含“树木”、“天空”、“湖泊”以及 “山峰”等语义概念，而拥有多个概念标记．