7.7.2特征选择举例 7.7.2特征选择举例 口例：用于癌症分类的基因选择 口基因选择的困难 ■根据癌症患者与正常人的基因表达数据，挑选出 ■人类大约有3万个左右的基因，但与某种疾病有 与癌症相关的基因： 关的基因不多； ■这种相关基因很可能就是治病基因，它可以帮助 我们查找病源，进而可以指导设计药物； ■基因数（成千上万）远远大于实验样本数（几 十). ■在选出的基因上作病患识别，可以提高识别率， 有助于临床诊断。 7.7.2特征选择举例 7.7.2特征选择举例 口单基因选择算法 口多基因选择算法 ■基于某种准则给每个基因打分，把得分低的基因 ■与分类器相联系，采用各种搜索算法或优化算法 滤掉，选取那些得分高的基因组成特征子集。 进行特征选择： ■如G-S算法：以Fisher判别指标对每个特征打 SVM Recursive Feature Elimination(SVM-RFE) 分，即根据每维特征上两类的距离和访查来评价 法：根据训练得到的SVM线形分类器的系数来 该特征的分类能力： 判断每个特征分量的重要性和分类能力，假设由 a准则函数：GS_correlao8eg=- SVM得到的分类器为f(x)=∑"，x+b, σ+ 口当"，较大时，第i个特征对分类器的影响较大； 其中H,o,,o5分别是基因g在训练样本中第一 类和第二类的均值和标准差。 口当"，较小时，第i个特征对分类器的影响较小 口在分类时，该分值可作为每个特征的分类权重。 口当"，为0时，第1个特征对分类器几乎没有影响。49 7.7.2 特征选择举例  例：用于癌症分类的基因选择  根据癌症患者与正常人的基因表达数据，挑选出 与癌症相关的基因；  这种相关基因很可能就是治病基因，它可以帮助 我们查找病源，进而可以指导设计药物；  在选出的基因上作病患识别，可以提高识别率， 有助于临床诊断。 50 7.7.2 特征选择举例  基因选择的困难  人类大约有 3 万个左右的基因，但与某种疾病有 关的基因不多；  基因数（成千上万）远远大于实验样本数（几 十）。 51 7.7.2 特征选择举例  单基因选择算法  基于某种准则给每个基因打分，把得分低的基因 滤掉，选取那些得分高的基因组成特征子集。  如 G-S 算法：以 Fisher 判别指标对每个特征打 分，即根据每维特征上两类的距离和访查来评价 该特征的分类能力： 准则函数： 其中 分别是基因 g 在训练样本中第一 类和第二类的均值和标准差。 在分类时，该分值可作为每个特征的分类权重。 52 7.7.2 特征选择举例  多基因选择算法  与分类器相联系，采用各种搜索算法或优化算法 进行特征选择；  SVM Recursive Feature Elimination (SVM-RFE) 算 法：根据训练得到的 SVM 线形分类器的系数来 判断每个特征分量的重要性和分类能力，假设由 SVM 得到的分类器为 当 wi 较大时，第 i 个特征对分类器的影响较大； 当 wi 较小时，第 i 个特征对分类器的影响较小； 当 wi 为0时，第 i 个特征对分类器几乎没有影响。 f ( ) w x b, i x   i 