第1期 王晓初，等：基于最小最大概率机的迁移学习分类算法 ·89· 为了方便实验的描述，对实验中涉及的有关符 MPM算法中的核函数都选取高斯核函数，参数σ在 号给出相应的定义，如表2所示。 (0.001,0.01,0.1,1,10,100,1000)中选取。TL-MPM 表2实验中涉及的符号定义 算法中的参数在(0.001,0.01,0.1,1,10,100,1000)中 Table 2 Definition of symbols in the experiment 选取。对表3处理好的6个真实分类数据集分别随 符号 定义 机独立重复10次实验，选取最优参数下的取值，表4、 Ds 源域数据集 表5和表6分别记录了10次独立重复实验正确率的 Dt 目标域数据集 均值。 仅利用目标域少量数据训练得到的目标域 表4目标域样本的1%训练结果 T-LMPM MPM线性分类器 Table 4 Results of 1%training samples in the target domain/% 仅利用目标域少量数据训练得到的目标域 数据集 T-LMPM T-KMPM LTL-MPM KTL-MPM T-KMPM MPM非线性分类器 comp ys rec 71.71 72.96 72.56 78.42 LTL-MPM 本文提出的TL-MPM算法得到的线性分类器 comp vs sci 66.46 74.16 72.22 76.49 KTL-MPM 本文提出的L,MPM算法得到的非线性分类器 comp ys talk 90.96 99.15 99.48 99.75 rec vs talk 60.51 71.29 66.26 76.14 4.1 20 News Groups数据集预处理 首先对数据集分成源域训练数据和目标域训练 rec vs sci 62.49 71.00 64.17 76.48 数据，具体的处理结果如表3所示。 sci vs talk 68.21 77.24 67.98 76.44 表320 News Groups数据集处理结果 Table 3 Results of 20News Groups Data set processing 表5目标域样本的5%训练结果 Datasets Ds Dt Table 5 Results of 5%training samples in the target domain/% comp.graphics comp.windows.x 数据集 T-LMPM T-KMPM LTL-MPM KTL-MPM comp vs rec rec.motorcycles rec.autos comp.sys.ibm.pc. comp ys rec 61.46 80.92 64.19 83.94 comp.os.mswindows.misc comp vs sci hardware comp ys sci 58.72 76.33 63.29 79.56 sci.crypt sci.med comp.os.mswindows comp vs talk 94.13 99.41 97.74 99.83 comp.sys.mac.hardware comp vs talk misc rec vs talk 57.36 76.30 60.80 78.60 talk.politics.mideast talk.politics.guns rec vs sci 57.12 78.81 57.49 81.50 rec.autos rec.sport.baseball rec vs talk talk.politics.misc talk.religion.misc sci vs talk 57.42 86.34 63.98 86.75 rec.autos rec.sport.hockey rec vs sci sci.space sci.electronics 表6目标域样本的10%训练结果 sci.med sci.space Table 6 Results of 10%training samples in the target domain/ sci vs talk talk.religion.misc talk.politics.mideast 数据集 T-LMPM T-KMPM LTL-MPM KTL-MPM 其次，由于20 News Groups文本数据集的特 comp vs rec 76.46 85.51 80.05 86.06 征数很大，为了实验的方便，用主元分析法对数 comp vs sci 70.87 84.75 75.00 83.70 据集的特征做降维预处理，取前100维构成新 的实验数据。 comp vs talk 96.16 99.32 98.66 99.69 4.2少量目标域训练样本上的实验结果与分析 rec vs talk 65.30 81.64 66.74 81.56 实验中取源域中的全部数据，分别取目标 rec vs sci 64.93 84.89 70.17 85.90 域中的1%、5%、10%的数据训练TL-MPM算法 sci vs talk 70.49 90.18 72.17 89.09 分类器和MPM算法分类器。在T-MPM和TL-为了方便实验的描述，对实验中涉及的有关符 号给出相应的定义，如表 ２ 所示。 表 ２ 实验中涉及的符号定义 Ｔａｂｌｅ ２ Ｄｅｆｉｎｉｔｉｏｎ ｏｆ ｓｙｍｂｏｌｓ ｉｎ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ 符号 定义 Ｄｓ 源域数据集 Ｄｔ 目标域数据集 Ｔ⁃ＬＭＰＭ 仅利用目标域少量数据训练得到的目标域 ＭＰＭ 线性分类器 Ｔ⁃ＫＭＰＭ 仅利用目标域少量数据训练得到的目标域 ＭＰＭ 非线性分类器 ＬＴＬ⁃ＭＰＭ 本文提出的 ＴＬ⁃ＭＰＭ 算法得到的线性分类器 ＫＴＬ⁃ＭＰＭ 本文提出的 ＴＬ⁃ＭＰＭ 算法得到的非线性分类器 ４．１ ２０Ｎｅｗｓ Ｇｒｏｕｐｓ 数据集预处理 首先对数据集分成源域训练数据和目标域训练 数据，具体的处理结果如表 ３ 所示。 表 ３ ２０Ｎｅｗｓ Ｇｒｏｕｐｓ 数据集处理结果 Ｔａｂｌｅ ３ Ｒｅｓｕｌｔｓ ｏｆ ２０Ｎｅｗｓ Ｇｒｏｕｐｓ Ｄａｔａ ｓｅｔ ｐｒｏｃｅｓｓｉｎｇ Ｄａｔａｓｅｔｓ Ｄｓ Ｄｔ ｃｏｍｐ ｖｓ ｒｅｃ ｃｏｍｐ．ｇｒａｐｈｉｃｓ ｒｅｃ．ｍｏｔｏｒｃｙｃｌｅｓ ｃｏｍｐ．ｗｉｎｄｏｗｓ．ｘ ｒｅｃ．ａｕｔｏｓ ｃｏｍｐ ｖｓ ｓｃｉ ｃｏｍｐ．ｏｓ．ｍｓｗｉｎｄｏｗｓ．ｍｉｓｃ ｓｃｉ．ｃｒｙｐｔ ｃｏｍｐ． ｓｙｓ． ｉｂｍ． ｐｃ． ｈａｒｄｗａｒｅ ｓｃｉ．ｍｅｄ ｃｏｍｐ ｖｓ ｔａｌｋ ｃｏｍｐ．ｓｙｓ．ｍａｃ．ｈａｒｄｗａｒｅ ｔａｌｋ．ｐｏｌｉｔｉｃｓ．ｍｉｄｅａｓｔ ｃｏｍｐ． ｏｓ． ｍｓｗｉｎｄｏｗｓ． ｍｉｓｃ ｔａｌｋ．ｐｏｌｉｔｉｃｓ．ｇｕｎｓ ｒｅｃ ｖｓ ｔａｌｋ ｒｅｃ．ａｕｔｏｓ ｔａｌｋ．ｐｏｌｉｔｉｃｓ．ｍｉｓｃ ｒｅｃ．ｓｐｏｒｔ．ｂａｓｅｂａｌｌ ｔａｌｋ．ｒｅｌｉｇｉｏｎ．ｍｉｓｃ ｒｅｃ ｖｓ ｓｃｉ ｒｅｃ．ａｕｔｏｓ ｓｃｉ．ｓｐａｃｅ ｒｅｃ．ｓｐｏｒｔ．ｈｏｃｋｅｙ ｓｃｉ．ｅｌｅｃｔｒｏｎｉｃｓ ｓｃｉ ｖｓ ｔａｌｋ ｓｃｉ．ｍｅｄ ｔａｌｋ．ｒｅｌｉｇｉｏｎ．ｍｉｓｃ ｓｃｉ．ｓｐａｃｅ ｔａｌｋ．ｐｏｌｉｔｉｃｓ．ｍｉｄｅａｓｔ 其次，由于 ２０Ｎｅｗｓ Ｇｒｏｕｐｓ 文本数据集的特 征数很大，为了实验的方便，用主元分析法对数 据集的特征做降维预处理，取前 １００ 维构成新 的实验数据。 ４．２ 少量目标域训练样本上的实验结果与分析 实验中取 源 域 中 的 全 部 数 据， 分 别 取 目 标 域中的 １％ 、５％ 、１０％的数据训练 ＴＬ⁃ＭＰＭ 算法 分类器和 ＭＰＭ 算法分类器。 在 Ｔ⁃ＭＰＭ 和 ＴＬ⁃ ＭＰＭ 算法中的核函数都选取高斯核函数，参数 σ 在 （０．００１，０．０１，０．１，１，１０，１００，１ ０００）中选取。 ＴＬ⁃ＭＰＭ 算法中的参数在（０．００１，０．０１，０．１，１，１０，１００，１ ０００）中 选取。 对表 ３ 处理好的 ６ 个真实分类数据集分别随 机独立重复 １０ 次实验，选取最优参数下的取值，表 ４、 表 ５ 和表 ６ 分别记录了 １０ 次独立重复实验正确率的 均值。 表 ４ 目标域样本的 １％训练结果 Ｔａｂｌｅ ４ Ｒｅｓｕｌｔｓ ｏｆ １％ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ ｉｎ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ／ ％ 数据集 Ｔ⁃ＬＭＰＭ Ｔ⁃ＫＭＰＭ ＬＴＬ⁃ＭＰＭ ＫＴＬ⁃ＭＰＭ ｃｏｍｐ ｖｓ ｒｅｃ ７１．７１ ７２．９６ ７２．５６ ７８．４２ ｃｏｍｐ ｖｓ ｓｃｉ ６６．４６ ７４．１６ ７２．２２ ７６．４９ ｃｏｍｐ ｖｓ ｔａｌｋ ９０．９６ ９９．１５ ９９．４８ ９９．７５ ｒｅｃ ｖｓ ｔａｌｋ ６０．５１ ７１．２９ ６６．２６ ７６．１４ ｒｅｃ ｖｓ ｓｃｉ ６２．４９ ７１．００ ６４．１７ ７６．４８ ｓｃｉ ｖｓ ｔａｌｋ ６８．２１ ７７．２４ ６７．９８ ７６．４４ 表 ５ 目标域样本的 ５％训练结果 Ｔａｂｌｅ ５ Ｒｅｓｕｌｔｓ ｏｆ ５％ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ ｉｎ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ／ ％ 数据集 Ｔ⁃ＬＭＰＭ Ｔ⁃ＫＭＰＭ ＬＴＬ⁃ＭＰＭ ＫＴＬ⁃ＭＰＭ ｃｏｍｐ ｖｓ ｒｅｃ ６１．４６ ８０．９２ ６４．１９ ８３．９４ ｃｏｍｐ ｖｓ ｓｃｉ ５８．７２ ７６．３３ ６３．２９ ７９．５６ ｃｏｍｐ ｖｓ ｔａｌｋ ９４．１３ ９９．４１ ９７．７４ ９９．８３ ｒｅｃ ｖｓ ｔａｌｋ ５７．３６ ７６．３０ ６０．８０ ７８．６０ ｒｅｃ ｖｓ ｓｃｉ ５７．１２ ７８．８１ ５７．４９ ８１．５０ ｓｃｉ ｖｓ ｔａｌｋ ５７．４２ ８６．３４ ６３．９８ ８６．７５ 表 ６ 目标域样本的 １０％训练结果 Ｔａｂｌｅ ６ Ｒｅｓｕｌｔｓ ｏｆ １０％ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ ｉｎ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ／ ％ 数据集 Ｔ⁃ＬＭＰＭ Ｔ⁃ＫＭＰＭ ＬＴＬ⁃ＭＰＭ ＫＴＬ⁃ＭＰＭ ｃｏｍｐ ｖｓ ｒｅｃ ７６．４６ ８５．５１ ８０．０５ ８６．０６ ｃｏｍｐ ｖｓ ｓｃｉ ７０．８７ ８４．７５ ７５．００ ８３．７０ ｃｏｍｐ ｖｓ ｔａｌｋ ９６．１６ ９９．３２ ９８．６６ ９９．６９ ｒｅｃ ｖｓ ｔａｌｋ ６５．３０ ８１．６４ ６６．７４ ８１．５６ ｒｅｃ ｖｓ ｓｃｉ ６４．９３ ８４．８９ ７０．１７ ８５．９０ ｓｃｉ ｖｓ ｔａｌｋ ７０．４９ ９０．１８ ７２．１７ ８９．０９ 第 １ 期 王晓初，等：基于最小最大概率机的迁移学习分类算法 ·８９·