经的汉男 仿生嗅觉原理」 系统及应用 第五章仿生嗅觉系统气味信息 统计学分析 当里体生安复科
第五章 仿生嗅觉系统气味信息 统计学分析
内容概要 )5.1气味信息的特征与提取 0 5.2气味信息的预处理 5.3主成分分析 5.4独立成分分析 5.5聚类分析 5.6线性判别分析 5.7支持向量机分析
内容概要 ⚫ 5.1 气味信息的特征与提取 ⚫ 5.2 气味信息的预处理 ⚫ 5.3 主成分分析 ⚫ 5.4 独立成分分析 ⚫ 5.5 聚类分析 ⚫ 5.6 线性判别分析 ⚫ 5.7 支持向量机分析
5.1气味信息的特征与提取 “模式”是一种抽象的概念。客观世界的每一种事物、主观意识及每一种思维都 可以叫做一种模式。 模式识别是随着现代计算机科学技术的发展而形成的一种模拟人类各种识别能力 和方法的技术。 模式识别的理论和方法主要包括了四大方面：统计模式识别、模糊模式识别、句 法模式识别和智能模式识别。 统计模式识别方法，又称化学计量分析方法，目前在理论上较为成熟、应用较为 广泛，这种方法主要依据模式特征数据的统计分析而建立数学模型，其特点是特征 向量是基于连续实数或离散数值，且分类是基于相似性度量（距离量度）来进行的
5.1 气味信息的特征与提取 “模式”是一种抽象的概念。客观世界的每一种事物、主观意识及每一种思维都 可以叫做一种模式。 模式识别是随着现代计算机科学技术的发展而形成的一种模拟人类各种识别能力 和方法的技术。 模式识别的理论和方法主要包括了四大方面：统计模式识别、模糊模式识别、句 法模式识别和智能模式识别。 统计模式识别方法，又称化学计量分析方法，目前在理论上较为成熟、应用较为 广泛，这种方法主要依据模式特征数据的统计分析而建立数学模型，其特点是特征 向量是基于连续实数或离散数值，且分类是基于相似性度量（距离量度）来进行的
5.1气味信息的特征与提取 任何识别过程的第一步，不论用计算机还是由人去识别，都要首先分析各种特征 的有效性并选出最具代表性的特征。 通常可以把特征分成三大类，包括物理的、结构的和数学的特征。 在仿生嗅觉领域，通常选择或提取的都是易于用计算机定量描述和判别的数学特 征，这些特征可以是原始样本数据的统计平均值、中值、极值、相关系数、协方差 矩阵的特征值和特征向量等等
5.1 气味信息的特征与提取 任何识别过程的第一步，不论用计算机还是由人去识别，都要首先分析各种特征 的有效性并选出最具代表性的特征。 通常可以把特征分成三大类，包括物理的、结构的和数学的特征。 在仿生嗅觉领域，通常选择或提取的都是易于用计算机定量描述和判别的数学特 征，这些特征可以是原始样本数据的统计平均值、中值、极值、相关系数、协方差 矩阵的特征值和特征向量等等
5.1.1特征选择 从一组特征中挑选出一些最有效的特征（最具有鉴别信息的特征)以达到降低特 征空间维数的目的，这个过程叫做特征选择。 1.特征选择的方法 依据特征选择的特点。其方法大体可分两大类： Fte方法：根据独立于分类器的指标来评价所选择的特征子集，然后在所有可 能的特征子集中搜索出使得该指标最大的特征子集作为最优特征子集。不考虑所使 用的学习算法。 Wrapper7方法：将特征选择和分类器结合在一起，在学习过程中表现优异的的 特征子集会被选中
5.1.1 特征选择 1.特征选择的方法 从一组特征中挑选出一些最有效的特征（最具有鉴别信息的特征）以达到降低特 征空间维数的目的，这个过程叫做特征选择。 依据特征选择的特点。其方法大体可分两大类： ➢ Filter方法：根据独立于分类器的指标来评价所选择的特征子集，然后在所有可 能的特征子集中搜索出使得该指标最大的特征子集作为最优特征子集。不考虑所使 用的学习算法。 ➢ Wrapper方法：将特征选择和分类器结合在一起，在学习过程中表现优异的的 特征子集会被选中
5.1.1特征选择 从一组特征中挑选出一些最有效的特征（最具有鉴别信息的特征）以达到降低特 征空间维数的目的，这个过程叫做特征选择。 1.特征选择的方法 依据特征选择的特点。其方法大体可分两大类： Filter方法：根据独立于分类器的指标来评价所选择的特征子集，然后在所有可 能的特征子集中搜索出使得该指标最大的特征子集作为最优特征子集。不考虑所使 用的学习算法。 Wrapper7方法：将特征选择和分类器结合在一起，在学习过程中表现优异的的 特征子集会被选中
5.1.1 特征选择 1.特征选择的方法 从一组特征中挑选出一些最有效的特征（最具有鉴别信息的特征）以达到降低特 征空间维数的目的，这个过程叫做特征选择。 依据特征选择的特点。其方法大体可分两大类： ➢ Filter方法：根据独立于分类器的指标来评价所选择的特征子集，然后在所有可 能的特征子集中搜索出使得该指标最大的特征子集作为最优特征子集。不考虑所使 用的学习算法。 ➢ Wrapper方法：将特征选择和分类器结合在一起，在学习过程中表现优异的的 特征子集会被选中
5.1.1特征选择 2.特征选择算法 多数的特征选择算法都力求解决搜索问题，经典算法主要有：单独最优特征 组合法、顺序后退法、顺序前进法、模拟退火法和遗传算法等。 (1)单独最优特征组合法 单独最优特征组合法依靠计算各特征单独使用时的可分性判据对特征加以排 队。取前个特征作为满足条件的特征组。 这种方法仅当单个特征的可分性判据值满足加和性或乘性条件的时候才能选 择出一组最优的特征。在很大程度上可以很快地缩减特征选择的范围，是一种较 好的特征预选方法
5.1.1 特征选择 2.特征选择算法 多数的特征选择算法都力求解决搜索问题，经典算法主要有：单独最优特征 组合法、顺序后退法、顺序前进法、模拟退火法和遗传算法等。 （1）单独最优特征组合法 单独最优特征组合法依靠计算各特征单独使用时的可分性判据对特征加以排 队。取前d个特征作为满足条件的特征组。 这种方法仅当单个特征的可分性判据值满足加和性或乘性条件的时候才能选 择出一组最优的特征。在很大程度上可以很快地缩减特征选择的范围，是一种较 好的特征预选方法
5.1.1特征选择 2.特征选择算法 (2)顺序前进法 顺序前进法是一种自下而上的搜索算法，先把所需要的特征集合初始化为一 个空集，每次向特征集合中增加一个特征，当所需要的特征集合达到要求时就把 所得到的特征集合作为算法运行的结果。 实际上，在算法的每一步，都选择一个特征加入到当前集合，使得特征选择 准则最大。当最佳改进使特征集性能变坏或达到最大允许的特征个数的时候，该 算法认为已经选择出最佳特征子集
5.1.1 特征选择 2.特征选择算法 （2）顺序前进法 顺序前进法是一种自下而上的搜索算法，先把所需要的特征集合初始化为一 个空集，每次向特征集合中增加一个特征，当所需要的特征集合达到要求时就把 所得到的特征集合作为算法运行的结果。 实际上，在算法的每一步，都选择一个特征加入到当前集合，使得特征选择 准则最大。当最佳改进使特征集性能变坏或达到最大允许的特征个数的时候，该 算法认为已经选择出最佳特征子集
5.1.1特征选择 2.特征选择算法 (3)顺序后退法 顺序后退法是一种自上而下的搜索算法，在运行之初假定整个特征集合就是 所需要的优化特征集，然后在算法的每步运行过程中逐次剔除一个对准则函数无 贡献的特征，直到剩余特征个数符合集合基数的要求。 该方法在一个较大的变量集上计算准则函数」，相对于上面提到的顺序前进法 其计算量要大，但其优势在于充分考虑特征之间的统计相关特性，因而其计算性 能和算法的鲁棒性要大大优于顺序前进法
5.1.1 特征选择 2.特征选择算法 （3）顺序后退法 顺序后退法是一种自上而下的搜索算法，在运行之初假定整个特征集合就是 所需要的优化特征集，然后在算法的每步运行过程中逐次剔除一个对准则函数无 贡献的特征，直到剩余特征个数符合集合基数的要求。 该方法在一个较大的变量集上计算准则函数J，相对于上面提到的顺序前进法 其计算量要大，但其优势在于充分考虑特征之间的统计相关特性，因而其计算性 能和算法的鲁棒性要大大优于顺序前进法
5.1.1特征选择 2.特征选择算法 (4)模拟退火法 模拟退火法来源于统计力学，假设材料粒子从高温开始，非常缓慢地降温 (退火)，则粒子就可在每个温度下达到热平衡，从理论上来讲，能够找到全局 最优解，但在初始温度的选取和邻域的选取上要怡当。 (5)遗传算法 遗传算法是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程 的计算模型，是一种通过模拟自然进化过程搜索最优解的方法
5.1.1 特征选择 2.特征选择算法 （4）模拟退火法 模拟退火法来源于统计力学，假设材料粒子从高温开始，非常缓慢地降温 （退火），则粒子就可在每个温度下达到热平衡 ，从理论上来讲，能够找到全局 最优解，但在初始温度的选取和邻域的选取上要恰当 。 （5）遗传算法 遗传算法是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程 的计算模型，是一种通过模拟自然进化过程搜索最优解的方法