引言 第三章 口Bayes.决策需要已知两种知识： ■各类的先验概率P(⊙ 概率密度函数的估计 ■各类的条件概率密度函数po,). 口知识的来源： 2009-10-13 ■对问题的一般性认识； ■一些训练数据。 口实际问题：已知一定数目的样本，对未知样本分 类（设计分类器）。 引言 引言 口基于样本的两步Bayes.决策 口基于样本的两步Bayes决策 ■首先，根据样本估计P(o)和p似w,记(o,) 样本分布的 决策规则： 和p(x|o,); 训练样本集 统计特征 判别函数 ■然后，用估计的概率密度设计贝叶斯分类器。 率密度函 决策面方程 ■希望：当样本数N一∞时，得到的分类器收敛于 ■面临的问题： 理论上的最优解。故，需 口如何利用样本集进行估计 x0,)N→pxo,) 口估计量的评价 P(o,)N→P@,) ■原则：寻找在一般情况下适用的“最优”分类器，即错 误率最小，对分类器设计在理论上有指导意义， ■重要前提：训练样本的分布能代表样本的真实分 ■由于获取统计分布及其参数很困难，实际问题中并不 布，所谓ii.d条件；且有充分的训练样本。 一定县备获取准确统计分布的条件， 引言 引言 口类的先验概率的估计（较容易)： 口类条件概率密度的估计（非常难） ■依靠经验： ■概率密度函数包含了一个随机变量的全部信息； ■概率密度函数可以是满足下面条件的任何函数： ■用训练数据中各类出现的频率估计； 。用频率估计概率的优点： px)≥0， ∫p(x)dk=L ■两种主要思路： 口无偏性： 口参数估计：概率密度函数的形式已知，而表征函 ▣相合性； 数的参数未知，通过训练数据来估计 口收敛速度快。 ·最大似然估计、Bayes估计 口非参数估计：密度函数的形式未知，也不作假 设，利用训练数据直接对概率密度进行估计 ·Parzen窗法、kn-近邻法第三章 概率密度函数的估计 2009-10-13 2 引言  Bayes决策需要已知两种知识：  各类的先验概率 P(ωi)；  各类的条件概率密度函数 p(x|ωi )。  知识的来源：  对问题的一般性认识；  一些训练数据。  实际问题：已知一定数目的样本，对未知样本分 类（设计分类器）。 3  基于样本的两步Bayes决策  首先，根据样本估计 P(ωi) 和 p(x|ωi)，记 和 ；  然后，用估计的概率密度设计贝叶斯分类器。  希望：当样本数Ｎ→∞时，得到的分类器收敛于 理论上的最优解。故，需  重要前提：训练样本的分布能代表样本的真实分 布，所谓i.i.d 条件；且有充分的训练样本。 引言 ( ) ˆ P i ˆ(| )i p x  4 引言  基于样本的两步Bayes决策  面临的问题：  如何利用样本集进行估计  估计量的评价  原则:寻找在一般情况下适用的“最优”分类器，即错 误率最小，对分类器设计在理论上有指导意义。  由于获取统计分布及其参数很困难，实际问题中并不 一定具备获取准确统计分布的条件。 训练样本集 样本分布的 统计特征： 概率密度函数 决策规则： 判别函数 决策面方程 5 引言  类的先验概率的估计（较容易）：  依靠经验；  用训练数据中各类出现的频率估计；  用频率估计概率的优点： 无偏性； 相合性； 收敛速度快。 6 引言  类条件概率密度的估计（非常难）  概率密度函数包含了一个随机变量的全部信息；  概率密度函数可以是满足下面条件的任何函数：  两种主要思路： 参数估计：概率密度函数的形式已知，而表征函 数的参数未知，通过训练数据来估计  最大似然估计、Bayes估计 非参数估计：密度函数的形式未知，也不作假 设，利用训练数据直接对概率密度进行估计  Parzen窗法、kn-近邻法