引言 参数估计的基本概念 样本所 总体概率密度 推断 解决方法 口统计量：样本集的某种函数 属类别 函数的形式 AK),K=x1.x2...xN); 监督参 已蜘 已知 参数 最大似然估 口参数空间：总体分布的未知参数日所有可能取值 数估计 计 组成的集合（⊙）： 非监督 未知 已知 贝叶斯估计 口点估计的估计量和估计值： 参数估 计 ■日的估计量日=dx,x2,,xw)是样本集的函数： 非参数 已知 未知 概率 ■估计量对样本集的一次实现称为估计值。 Parzen窗法， 估 密 kw近年法 区间估计：与点估计相对应，用区间(d,d,)作为 函数 B的取值范围的一种估计，该区间称为置信区间。 估计量的评价 最大似然估计 口无偏性（数学期望）：E(同)=日， 口假设 ■参数日是确定而未知的量（不是随机量）； ■按类别把样本集分开，样本集K中的样本都是从 口有效性（风险小）：va(⊙越小，越有效； 概率密度为po)的总体中独立抽取出来的 (独立同分布，1i.d); ■概率密度函数的形式已知，参数未知。为了描述 概率密度函数p(:@)与参数日的依赖关系，用 口相合性（一致性）：样本数趋于无穷时，日依概 pw。)表示，对于同一类别可简化为p(x8)方 率趋于日，即 p1.-02s)-o. ■K中的样本不包括日，()≠i)中的信息，即不同 类别的参数在函数上是独立的. 12 最大似然估计 最大似然估计 口可分别处理各类问题：独立地按概率密度px) 口目标：根据已抽取的N个样本x,x2,,xw,估计 抽取样本集K={x,x2,w,用K估计未知参 这组样本“最可能”来自那个密度函数。(“最似” 数0. 哪个密度函数) 口样本独立抽取时的似然函数： 口基本思路：如果在日=日下，（日）最大，则日应 是“最可能”的参数值。 (0)=p(K0)=px)=IIp(x0) 口0是样本集的函数，记作0=d(x,x2,,xw),是 日的最大似然估计量. 口对数(loglarized)化似然函数： arg m()arg mx H H(0)=In/(0)=in p(x:10). =arg max∑in p(x8o), k妇7 引言 概率 密度 函数 参数 推断 Parzen窗法、 kN近邻法 最大似然估 计， 贝叶斯估计 解决方法 非参数 已知 未知 估计 非监督 未知 已知 参数估 计 监督参 已知 已知 数估计 总体概率密度 函数的形式 样本所 属类别 8 参数估计的基本概念  统计量：样本集的某种函数 f(K)，K={x1, x2 ,…, xN}；  参数空间：总体分布的未知参数θ所有可能取值 组成的集合(Θ)；  点估计的估计量和估计值：  θ的估计量 = d(x1, x2 ,…, xN)是样本集的函数；  估计量对样本集的一次实现称为估计值。  区间估计：与点估计相对应，用区间(d1, d2)作为 θ的取值范围的一种估计，该区间称为置信区间。  ˆ 9 估计量的评价  无偏性（数学期望）：  有效性（风险小）： 越小，越有效；  相合性（一致性）：样本数趋于无穷时， 依概 率趋于θ，即  ˆ E   ;  ˆ var   ˆ  0.   n n lim P      10 最大似然估计  假设  参数θ是确定而未知的量（不是随机量）；  按类别把样本集分开，样本集 Kj 中的样本都是从 概率密度为 p(x|ωj) 的总体中独立抽取出来的 （独立同分布，i.i.d）；  概率密度函数的形式已知，参数未知。为了描述 概率密度函数 p(x|ωi) 与参数θ的依赖关系，用 p(x|ωi,θ)表示，对于同一类别可简化为p(x|θ)；  Kj 中的样本不包括θj （j≠i）中的信息，即不同 类别的参数在函数上是独立的。 11 最大似然估计  可分别处理各类问题：独立地按概率密度 p(x|θ) 抽取样本集 K={x1, x2 ,…, xN}，用K估计未知参 数θ。  样本独立抽取时的似然函数：  对数(loglarized)化似然函数： 1 2 1 ( ) ( | ) ( , ,..., | ) ( | ); N N k k lp p p       K xx x x  1 ( ) ln ( ) ln ( | ). N k k Hl p        x 12  目标：根据已抽取的N个样本 x1, x2 ,…, xN，估计 这组样本“最可能”来自哪个密度函数。（“最似” 哪个密度函数）  基本思路：如果在 下，l(θ)最大，则 应 是“最可能”的参数值。  是样本集的函数，记作 ，是 θ的最大似然估计量。 最大似然估计   ˆ   ˆ  ˆ 1 2 ˆ ( , ,..., ) N   d xx x argmax ln ( | ). argmax ( ) argmax ( ) ˆ 1     N k k ML p l H        x