·442. 智能系统学报 第8卷 2)预处理已标记样本集L对于任一对未处理 6)对于测试集T中的未标记样本x”,若R> 的标记(ypyg),遍历x∈L,将满足以下规则的x Ro(=1,2,…,n),则样本x"的最后标记y”=1,否则 放入集合Vm中若y=1,y=0则样本(x,1)放入 y,=0,最终输出预测标记集合"={y”,s=1,2, 集合V中：若yp=0,y=1则将样本(x,0)放人集 …,10}. 合V中；若y=yn则不考虑样本x:,即样本x:不放 3 实验结果及分析 入集合V中. 3)将集合V作为新的已标记样本集L",结合 本文在emotions、scene、yeast、enron这4个较为 未标记样本集U,在训练集中利用Tri-training算法 常用的多标记数据集[2]上与多标记学习的多种典 学习得到3个分类器. 型方法进行实验比较，其中包括ML-kNN[)、RANK- 4)使用投票法和得到的3个分类器对测试集T SVML10]以及TRAM6].实验数据集的相关信息如表 中的未标记样本(s=1,2,…,)进行预测，得到预 1所示. 测结果，并统计对应的标记投票个数若，=1则 表1实验数据集相关信息 表示样本x属于第p类标记，Rm=R,+1;若T=0 Table 1 The characteristics of datasets 则表示样本x"属于第q类标记，R=R+1. 数据集名称 所属领域样本个数属性个数类标记个数 5)将标记(y,y)设置为已处理，若还有未 处理的标记对，则转步骤2)，否则下一步. emotions music 593 72 6 scene image 2407 294 6 (开始 yeast biology 2417 103 14 输入数据集 L、U和7 enron text 1702 1001 53 为L中每个样本添加 实验采用4种常用的多标记学习评价指标4) 一个虚拟标记 对算法性能进行评估：Hamming Loss、One-Emor、 Coverage和Ranking Loss.以上4种评估指标的值越 针对一对未处理过的标记 小，表明该算法的性能越好 对，预处理L,得到Lnew 实验将抽取各数据集的90%作为训练样本集 根据Lew,结合U, (其中20%的训练样本是已标记样本集，80%的训 利用Tri-training得到 练样本是未标记样本集)，其余10%的数据为测试 3个分类器 样本集，重复10次统计其平均结果.由于TRAM方 对测试集样本进行预测 法是直推式方法，不能直接对测试样本集以外的未 并统计投票结果 见样本进行预测，实验中将最终测试样本作为 TRAM训练时的未标记样本集.表2~5给出了实验 结果，加粗部分为每个指标上的最佳性能。 是否有未处理 的标记对 表2数据集emotions上各算法的实验结果 Table 2 The summary results of four algorithms on emo- N tions dataset 根据投票结果 获取最后标记Y Hamming Ranking t 算法 One-Error Coverage Loss Loss 输出预测标 记集合Y MLkNN 0.2571 0.4068 2.2034 0.2399 RankSVM 0.2797 0.4237 2.2373 0.2781 结束) TRAM 0.2768 0.3390 2.1525 0.2321 图1SMLT算法 SMLT 0.2420 0.3139 1.7970 0.1845 Fig.1 Flow chart of the SMLT algorithm２）预处理已标记样本集 Ｌ．对于任一对未处理 的标记（ｙ∗ｐ，ｙ∗ｑ），遍历 ｘｉ∈Ｌ，将满足以下规则的 ｘｉ 放入集合 Ｖｐｑ中．若 ｙｉｐ ＝ １，ｙｉｑ ＝ ０ 则样本（ ｘｉ，１）放入 集合 Ｖｐｑ中；若 ｙｉｐ ＝ ０，ｙｉｑ ＝ １ 则将样本（ ｘｉ，０）放入集 合 Ｖｐｑ中；若 ｙｉｐ ＝ ｙｉｑ则不考虑样本 ｘｉ，即样本 ｘｉ 不放 入集合 Ｖｐｑ中． ３）将集合 Ｖｐｑ作为新的已标记样本集 Ｌ ｎｅｗ ，结合 未标记样本集 Ｕ，在训练集中利用 Ｔｒｉ⁃ｔｒａｉｎｉｎｇ 算法 学习得到 ３ 个分类器． ４）使用投票法和得到的 ３ 个分类器对测试集 Ｔ 中的未标记样本 ｘｓ ″（ｓ ＝ １，２，…，ｗ）进行预测，得到预 测结果 ｒｓｐｑ并统计对应的标记投票个数．若 ｒｓｐｑ ＝ １ 则 表示样本 ｘｓ ″属于第 ｐ 类标记，Ｒｓｐ ＝ Ｒｓｐ ＋１；若 ｒｓｐｑ ＝ ０ 则表示样本 ｘｓ ″属于第 ｑ 类标记，Ｒｓｑ ＝Ｒｓｑ ＋１． 图 １ ＳＭＬＴ 算法 Ｆｉｇ．１ Ｆｌｏｗ ｃｈａｒｔ ｏｆ ｔｈｅ ＳＭＬＴ ａｌｇｏｒｉｔｈｍ ５）将标记（ ｙ∗ｐ，ｙ∗ｑ ） 设置为已处理，若还有未 处理的标记对，则转步骤 ２），否则下一步． ６）对于测试集 Ｔ 中的未标记样本 ｘｓ ″，若 Ｒｓｊ ＞ Ｒｓ０（ｊ ＝ １，２，…，ｎ），则样本 ｘｓ ″的最后标记 ｙｓｊ ″＝ １，否则 ｙｓｊ ″＝ ０，最终输出预测标记集合 Ｙ″ ＝ ｛ Ｙｓ ″， ｓ ＝ １，２， …，ｗ｝． ３ 实验结果及分析 本文在 ｅｍｏｔｉｏｎｓ、ｓｃｅｎｅ、ｙｅａｓｔ、ｅｎｒｏｎ 这 ４ 个较为 常用的多标记数据集［２０ ］ 上与多标记学习的多种典 型方法进行实验比较，其中包括 ＭＬ⁃ｋＮＮ ［９］ 、ＲＡＮＫ⁃ ＳＶＭ ［１０］以及 ＴＲＡＭ ［１６ ］ ．实验数据集的相关信息如表 １ 所示． 表 １ 实验数据集相关信息 Ｔａｂｌｅ １ Ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｄａｔａｓｅｔｓ 数据集名称 所属领域 样本个数 属性个数 类标记个数 ｅｍｏｔｉｏｎｓ ｍｕｓｉｃ ５９３ ７２ ６ ｓｃｅｎｅ ｉｍａｇｅ ２ ４０７ ２９４ ６ ｙｅａｓｔ ｂｉｏｌｏｇｙ ２ ４１７ １０３ １４ ｅｎｒｏｎ ｔｅｘｔ １ ７０２ １ ００１ ５３ 实验采用 ４ 种常用的多标记学习评价指标［４］ 对算 法 性 能 进 行 评 估： Ｈａｍｍｉｎｇ Ｌｏｓｓ、 Ｏｎｅ⁃Ｅｒｒｏｒ、 Ｃｏｖｅｒａｇｅ 和 Ｒａｎｋｉｎｇ Ｌｏｓｓ．以上 ４ 种评估指标的值越 小，表明该算法的性能越好［４］ ． 实验将抽取各数据集的 ９０％作为训练样本集 （其中 ２０％的训练样本是已标记样本集，８０％的训 练样本是未标记样本集），其余 １０％的数据为测试 样本集，重复 １０ 次统计其平均结果．由于 ＴＲＡＭ 方 法是直推式方法，不能直接对测试样本集以外的未 见样本 进 行 预 测， 实 验 中 将 最 终 测 试 样 本 作 为 ＴＲＡＭ 训练时的未标记样本集．表 ２ ～ ５ 给出了实验 结果，加粗部分为每个指标上的最佳性能． 表 ２ 数据集 ｅｍｏｔｉｏｎｓ 上各算法的实验结果 Ｔａｂｌｅ ２ Ｔｈｅ ｓｕｍｍａｒｙ ｒｅｓｕｌｔｓ ｏｆ ｆｏｕｒ ａｌｇｏｒｉｔｈｍｓ ｏｎ ｅｍｏ⁃ ｔｉｏｎｓ ｄａｔａｓｅｔ 算法 Ｈａｍｍｉｎｇ Ｌｏｓｓ Ｏｎｅ⁃Ｅｒｒｏｒ Ｃｏｖｅｒａｇｅ Ｒａｎｋｉｎｇ Ｌｏｓｓ ＭＬｋＮＮ ０．２５７ １ ０．４０６ ８ ２．２０３ ４ ０．２３９ ９ ＲａｎｋＳＶＭ ０．２７９ ７ ０．４２３ ７ ２．２３７ ３ ０．２７８ １ ＴＲＡＭ ０．２７６ ８ ０．３３９ ０ ２．１５２ ５ ０．２３２ １ ＳＭＬＴ ０．２４２ ０ ０．３１３ ９ １．７９７ ０ ０．１８４ ５ ·４４２· 智 能 系 统 学 报 第 ８ 卷