218. 智能系统学报 第10卷 训练集用来选择基因和调整分类器权重，测试集用 0.95r 来估计分类性能。训练集有38个样本(27个ALL 0.90 SVM-RFE SVDD 和11个AML),测试集有34个样本(20个ALL和 14个AML)。所有样本有7129个特征，对应于从 0.85 微阵列图像中提取出的归一化基因表达值。本实验 0.80 中，将ALL视为目标样本，AML视为负类样本。本 数据集可从文献[12]中得到。本实验中的所有方 0.75 法是从7129个特征中选取100个重要特征，并且 0.70 2345678910 仅有参数C需要设置。接下来的实验中，将会讨论 已选特征的好坏，然后去衡量分类精度的性能。 图1分类精度的变化 本实验的对比方法有SVM-RFE、SVDD-radius- Fig.I The accuracy with the change RFE、SVDD-dual-objective-.RFE以及SVDD-RFE。用 从图1可以看出，SVDD-RFE相较于SVM-RFE KNN(nearest neighbor)分类器来衡量选择的特征是 可以得到更好的分类精度。且在k=6时达到最好。 否合适。KNN由于其简单性和有效性成为一种很方 但通常会选择奇数，因此接下来的实验中，选择k= 便的分类器，它的核心思想是在训练集合中找到距离 5。接下来研究参数C的变化对4种特征选择方法 测试样本点最近的k个点，然后将该测试样本点的类 性能的影响。对于SVM-RFE,C在 {0.1,1,10,100,1000}集合中取值，对于SVDD- 别设置为k个点中数量最多类的类别标签。 RFE SVDD-radius-RFE SVDD-dual-objective-RFE 因为选择KNN作为分类器，参数k的选择对分 3种方法，C在[1/n,1]中取5个线性等距间隔，n 类精度有一定影响。出于运行时间上的考虑，仅对 是训练样本的个数，即{0.037,0.28,0.52,0.76,1}。 SVM-RFE和SVDD-RFE做了参数k的比较。令k 在表1中，给出了不同C变化下，各种方法的分类召 从1~10变化，同时分别令SVM-RFE中C=100,在 回率。此外还有不进行特征选择时，直接采用KNN SVDD-RFE中C=0.1。图1给出了2种算法在不同 分类器的识别效果。 k值下的分类精度变化曲线。 表14种特征选择方法和不做特征选择的性能比较 Table 1 The comparison of training between QINN and BPNN SVM-RFE SVDD-radius-RFE AML的 平均召 运行时 ALL的召AML的 平均召 运行时 C值 ALL的召 C值 回率/%召回率/%回率/% 间/s 回率/%召回率/%回率/% 间/s 0.1 100.00 14.29 57.14 507.64 0.037 0 100.00 50.00 154058.76 1 100.00 14.29 57.14 491.95 0.28 100.00 35.71 67.86 11917.37 10 100.00 14.29 57.14 500.43 0.52 100.00 42.86 71.43 12432.45 100 100.00 14.29 57.14 432.83 0.76 100.00 42.86 71.43 11575.10 1000 100.00 14.29 57.14 431.20 100.00 42.86 71.43 10359.75 SVDD-dual-objective-RFE SVDD-RFE ALL的召 AML的 平均召 运行时 ALL的召AML的 平均召 运行时 C值 C值 回率/%召回率/%回率/% 间/s 回率/%召回率/%回率/% 间/s 0.037 100.00 21.43 60.71 44230.98 0.037 95.00 92.86 93.93 163.87 0.28 95.00 35.71 65.36 9522.17 0.28 100.00 50.00 75.00 137.82 0.52 100.00 7.14 53.57 9721.61 0.52 100.00 50.00 75.00 165.13 0.76 100.00 7.14 53.57 10253.75 0.76 100.00 50.00 75.00 155.48 1 100.00 7.14 53.57 9398.531 100.00 50.00 75.00 153.83 None ALL的召AML的 平均召 运行时 C值 回率/%召回率/%回率/% 间/s 100.00 29.00 64.50训练集用来选择基因和调整分类器权重，测试集用 来估计分类性能。 训练集有 ３８ 个样本（２７ 个 ＡＬＬ 和 １１ 个 ＡＭＬ），测试集有 ３４ 个样本（２０ 个 ＡＬＬ 和 １４ 个 ＡＭＬ）。 所有样本有 ７ １２９ 个特征，对应于从 微阵列图像中提取出的归一化基因表达值。 本实验 中，将 ＡＬＬ 视为目标样本，ＡＭＬ 视为负类样本。 本 数据集可从文献［１２］中得到。 本实验中的所有方 法是从 ７ １２９ 个特征中选取 １００ 个重要特征，并且 仅有参数 Ｃ 需要设置。 接下来的实验中，将会讨论 已选特征的好坏，然后去衡量分类精度的性能。 本实验的对比方法有 ＳＶＭ⁃ＲＦＥ、ＳＶＤＤ⁃ｒａｄｉｕｓ⁃ ＲＦＥ、ＳＶＤＤ⁃ｄｕａｌ⁃ｏｂｊｅｃｔｉｖｅ⁃ ＲＦＥ 以及 ＳＶＤＤ⁃ＲＦＥ。 用 ＫＮＮ（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）分类器来衡量选择的特征是 否合适。 ＫＮＮ 由于其简单性和有效性成为一种很方 便的分类器，它的核心思想是在训练集合中找到距离 测试样本点最近的 ｋ 个点，然后将该测试样本点的类 别设置为 ｋ 个点中数量最多类的类别标签。 因为选择 ＫＮＮ 作为分类器，参数 ｋ 的选择对分 类精度有一定影响。 出于运行时间上的考虑，仅对 ＳＶＭ⁃ＲＦＥ 和 ＳＶＤＤ⁃ＲＦＥ 做了参数 ｋ 的比较。 令 ｋ 从 １～１０ 变化，同时分别令 ＳＶＭ⁃ＲＦＥ 中 Ｃ ＝ １００，在 ＳＶＤＤ⁃ＲＦＥ 中 Ｃ ＝ ０．１。 图 １ 给出了 ２ 种算法在不同 ｋ 值下的分类精度变化曲线。 图 １ 分类精度的变化 Ｆｉｇ．１ Ｔｈｅ ａｃｃｕｒａｃｙ ｗｉｔｈ ｔｈｅ ｃｈａｎｇｅ 从图 １ 可以看出，ＳＶＤＤ⁃ＲＦＥ 相较于 ＳＶＭ⁃ＲＦＥ 可以得到更好的分类精度。 且在 ｋ ＝ ６ 时达到最好。 但通常会选择奇数，因此接下来的实验中，选择 ｋ ＝ ５ 。 接下来研究参数 Ｃ 的变化对 ４ 种特征选择方法 性 能 的 影 响。 对 于 ＳＶＭ⁃ＲＦＥ， Ｃ 在 {０．１，１，１０，１００，１０００} 集 合 中 取 值， 对 于 ＳＶＤＤ⁃ ＲＦＥ、ＳＶＤＤ⁃ｒａｄｉｕｓ⁃ＲＦＥ 和 ＳＶＤＤ⁃ ｄｕａｌ⁃ｏｂｊｅｃｔｉｖｅ⁃ＲＦＥ ３ 种方法， Ｃ 在 ［１ ／ ｎ，１］ 中取 ５ 个线性等距间隔， ｎ 是训练样本的个数，即 {０．０３７，０．２８，０．５２，０．７６，１} 。 在表 １ 中，给出了不同 Ｃ 变化下，各种方法的分类召 回率。 此外还有不进行特征选择时，直接采用 ＫＮＮ 分类器的识别效果。 表 １ ４ 种特征选择方法和不做特征选择的性能比较 Ｔａｂｌｅ １ Ｔｈｅ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｒａｉｎｉｎｇ ｂｅｔｗｅｅｎ ＱＩＮＮ ａｎｄ ＢＰＮＮ ＳＶＭ⁃ＲＦＥ Ｃ 值 ＡＬＬ 的召 回率／ ％ ＡＭＬ 的 召回率／ ％ 平均召 回率／ ％ 运行时 间／ ｓ ＳＶＤＤ⁃ｒａｄｉｕｓ⁃ＲＦＥ Ｃ 值 ＡＬＬ 的召 回率／ ％ ＡＭＬ 的 召回率／ ％ 平均召 回率／ ％ 运行时 间／ ｓ ０．１ １００．００ １４．２９ ５７．１４ ５０７．６４ ０．０３７ ０ １００．００ ５０．００ １５４ ０５８．７６ １ １００．００ １４．２９ ５７．１４ ４９１．９５ ０．２８ １００．００ ３５．７１ ６７．８６ １１ ９１７．３７ １０ １００．００ １４．２９ ５７．１４ ５００．４３ ０．５２ １００．００ ４２．８６ ７１．４３ １２ ４３２．４５ １００ １００．００ １４．２９ ５７．１４ ４３２．８３ ０．７６ １００．００ ４２．８６ ７１．４３ １１ ５７５．１０ １０００ １００．００ １４．２９ ５７．１４ ４３１．２０ １ １００．００ ４２．８６ ７１．４３ １０ ３５９．７５ ＳＶＤＤ⁃ｄｕａｌ⁃ｏｂｊｅｃｔｉｖｅ⁃ＲＦＥ Ｃ 值 ＡＬＬ 的召 回率／ ％ ＡＭＬ 的 召回率／ ％ 平均召 回率／ ％ 运行时 间／ ｓ ＳＶＤＤ⁃ＲＦＥ Ｃ 值 ＡＬＬ 的召 回率／ ％ ＡＭＬ 的 召回率／ ％ 平均召 回率／ ％ 运行时 间／ ｓ ０．０３７ １００．００ ２１．４３ ６０．７１ ４４ ２３０．９８ ０．０３７ ９５．００ ９２．８６ ９３．９３ １６３．８７ ０．２８ ９５．００ ３５．７１ ６５．３６ ９ ５２２．１７ ０．２８ １００．００ ５０．００ ７５．００ １３７．８２ ０．５２ １００．００ ７．１４ ５３．５７ ９ ７２１．６１ ０．５２ １００．００ ５０．００ ７５．００ １６５．１３ ０．７６ １００．００ ７．１４ ５３．５７ １０ ２５３．７５ ０．７６ １００．００ ５０．００ ７５．００ １５５．４８ １ １００．００ ７．１４ ５３．５７ ９ ３９８．５３１ １００．００ ５０．００ ７５．００ １５３．８３ Ｎｏｎｅ Ｃ 值 ＡＬＬ 的召 回率／ ％ ＡＭＬ 的 召回率／ ％ 平均召 回率／ ％ 运行时 间／ ｓ － １００．００ ２９．００ ６４．５０ － ·２１８· 智 能 系 统 学 报 第 １０ 卷