7.6PCA特征提取方法与K-L变换 7.7特征选择 口基于PCA的人脸识别方法 口特征进择：从原始特征中挑选出一些最有代表性 。读取每个人的前M幅图像，构造矩阵X: 分类性能最好的特征来进行分类： ■计算：Σ=x'X X=1-H,…,xw- ■计算：[，D]=mdX方 口每个特征的状态是离散的：选或不选； ■计算：=XVD; 口从N个特征中选取k个，共C种组合；如不 ■按特征值从大到小排序，选择前几个最大的特征 限定个数，则共有2种组合一典型的优化 值对应的ξ作为变换矩阵W。 组合问题。 ■把所有训练样本做变换y=Wx,保留系数y。 ■对新样本也作变换，看与哪个y最接近。 ■与实际比较确定是否识别正确，统计识别率。 7.7特征选择 7.7特征选择 口特征选择的方法大体可分两大类： 口一种Filter算法：FOCUS ■Fter方法：不考虑所使用的学习算法。通常给 ■该算法致力于寻找一个能正确区分所有类别的最 出一个独立于分类器的指标J来评价所选择的特 小特征集合； 征子集S,然后在所有可能的特征子集中搜索出 ■例如：如区分每个人的特征包括姓名、性别、籍 使得J最大的特征子集作为最优特征子集。 贯、工作单位、身份证号.则该算法将选择： ■Wrapper方法：将特征选择和分类器结合在一 身份证号. 起，即特征子集的好坏标准是由分类器决定的， ■搜索时会检测一个特征能否正确区分样本；如不 在学习过程中表现优异的的特征子集会被选中。 能，则考察两个特征.…以此类推。 2 7.7特征选择 7.7特征选择 口一种Wrapper算法：OBLIVION 口许多特征选择算法力求解决搜索问题，经典搜索 ■该方法与最近邻法结合，根据特征子集的分类表 算法有： 现来选择特征； ■分支定界法：最优搜索，效率比盲目穷举法高； ■用顺序后退法搜索特征子集： ■单独最优特征组合法：次优搜索； 从全体特征开始，每次剔除一个特征，使得所保 ■顺序前进法 留的特征集合有最大的分类识别率（基于最近邻 ■顺序后退法 法)。依次迭代，直至识别率开始下降为止。 ■模拟退火法 合数CD- ■用leave-one-out方法估计平均识别率：用M-l个 D-10.2.C=40 ■Tabu搜索法 D-100,kC=16100 穷举假常最优 样本判断余下一个的类别，N次取平均。 D-10a-10C-1.731o5 非穷华摆索—次线 ■遗传算法 D-t00,4-5aC-1.00891r29 搜索方向从底肉上X。=中 D-1000d1C=499500 D-10900.d4.C=49995e01 从镇向下=X37 7.6 PCA 特征提取方法与K-L变换  基于 PCA 的人脸识别方法  读取每个人的前 M 幅图像，构造矩阵 X；  计算：  计算：  计算：  按特征值从大到小排序，选择前几个最大的特征 值对应的ξi 作为变换矩阵 W。  把所有训练样本做变换 y=WTx，保留系数 y。  对新样本也作变换，看与哪个 y 最接近。  与实际比较确定是否识别正确，统计识别率。 ; T Σ  X X   V, D X  svd( ); 1 2 ;  ξ  XVD [ , , ]; X  x1 μ  xM  μ 38 7.7 特征选择  特征选择：从原始特征中挑选出一些最有代表性、 分类性能最好的特征来进行分类；  每个特征的状态是离散的：选或不选；  从 N 个特征中选取 k 个，共 种组合；如不 限定个数，则共有 2N 种组合 —— 典型的优化 组合问题。 k CN 39 7.7 特征选择  特征选择的方法大体可分两大类：  Filter 方法：不考虑所使用的学习算法。通常给 出一个独立于分类器的指标 J 来评价所选择的特 征子集 S，然后在所有可能的特征子集中搜索出 使得 J 最大的特征子集作为最优特征子集。  Wrapper 方法：将特征选择和分类器结合在一 起，即特征子集的好坏标准是由分类器决定的， 在学习过程中表现优异的的特征子集会被选中。 40 7.7 特征选择  一种 Filter 算法：FOCUS  该算法致力于寻找一个能正确区分所有类别的最 小特征集合 ；  例如：如区分每个人的特征包括姓名、性别、籍 贯、工作单位、身份证号……则该算法将选择： 身份证号。  搜索时会检测一个特征能否正确区分样本；如不 能，则考察两个特征……以此类推。 41 7.7 特征选择  一种 Wrapper 算法：OBLIVION  该方法与最近邻法结合，根据特征子集的分类表 现来选择特征；  用顺序后退法搜索特征子集： 从全体特征开始，每次剔除一个特征，使得所保 留的特征集合有最大的分类识别率（基于最近邻 法）。依次迭代，直至识别率开始下降为止。  用 leave-one-out 方法估计平均识别率：用 N-1 个 样本判断余下一个的类别，N 次取平均。 42 7.7 特征选择  许多特征选择算法力求解决搜索问题，经典搜索 算法有： ￾  分支定界法 : 最优搜索，效率比盲目穷举法高；  单独最优特征组合法：次优搜索；  顺序前进法  顺序后退法  模拟退火法  Tabu 搜索法  遗传算法