第三章概率密度估计 30引言 ■3.1参数估计 3.2非参数估计 ■33说明
1 第三章 概率密度估计 3.0 引言 3.1 参数估计 3.2 非参数估计 3.3 说明
3.0引言
2 3.0 引言
3.0引言 ■进行 Bayes决策需要事先知道两种知识: 各类的先验概率 观测向量的类条件概率密度。 知识的获取(估计): 一些训练数据; ■对问题的一般性的认识
3 3.0 引言 进行Bayes决策需要事先知道两种知识： 各类的先验概率； 观测向量的类条件概率密度。 知识的获取（估计）： 一些训练数据； 对问题的一般性的认识
3.0引言 ■类的先验概率的估计(较容易): 依靠经验; 用训练数据中各类出现的频率估计 用频率估计概率的优点: 无偏性; 相合性 收敛速度快
4 3.0 引言 类的先验概率的估计（较容易）： 依靠经验； 用训练数据中各类出现的频率估计。 用频率估计概率的优点： 无偏性； 相合性； 收敛速度快
3.0引言 类条件概率密度的估计(非常难): 概率密度函数包含了一个随机变量的全部信 息; 概率密度函数可以是满足下面条件的任何函 数 p(x)≥0,「p/(x)x=l
5 3.0 引言 类条件概率密度的估计（非常难）： 概率密度函数包含了一个随机变量的全部信 息； 概率密度函数可以是满足下面条件的任何函 数： ( ) 1. ∫ p(x) ≥ 0, p x dx =
3.0引言 ■概率密度估计的两种主要思路: 参数估计: 根据对问题的一般性的认识,假设随机 变量服从某种分布,分布函数的参数通过训 练数据来估计。 非参数估计: 不用模型,而只利用训练数据本身对概 率密度做估计
6 3.0 引言 概率密度估计的两种主要思路： 参数估计： 根据对问题的一般性的认识，假设随机 变量服从某种分布，分布函数的参数通过训 练数据来估计。 非参数估计： 不用模型，而只利用训练数据本身对概 率密度做估计
3.1参数估计
7 3.1 参数估计
3.1参数估计 ■估计随机变量X的概率密度: 给定某类训练数据一样本 1,2,yn5 ∈9 假设已知所服从的分布形式,待佔计的参 数为O。例如,假定X服从正态分布N(42, 待估参数是O=(A∑)
8 3.1 参数估计 估计随机变量 的概率密度： 给定某类训练数据 — 样本 假设已知 所服从的分布形式，待估计的参 数为 。例如，假定 服从正态分布 ， 待估参数是 X , , , , 1 2 n x x L x , d i x ∈ℜ X θ X N(µ,∑) θ = (µ,∑)
3.1参数估计 n最大似然估计( Maximum likelihood 把待估计的参数看作“数”,与后面将要讲 到的 Bayes估计中把θ看作随机变量有区别。 为了描述概率密度函数p(x)与参数的依 赖关系,用p(x;6)表示
9 3.1 参数估计 最大似然估计(Maximum Likelihood): 把待估计的参数 看作“数”，与后面将要讲 到的Bayes估计中把 看作随机变量有区别。 为了描述概率密度函数 与参数 的依 赖关系，用 表示。 θ θ p(x) θ p(x;θ )
3.1参数估计 似然函数:∏p(x:0) 等价 对数似然函数:∑lnp(x;) 最大似然估计量bn: 0an= argmax∑lnp(x;O)
10 3.1 参数估计 似然函数： 对数似然函数： 最大似然估计量 ： ∏ = n i i p x 1 ( ;θ ) ∑ = n i i p x 1 ln ( ;θ ) θ ML ˆ ∑ = = n i ML i p x 1 argmax ln ( ; ) ˆ θ θ θ 等价