第六章参数估计 第1页 第六章参数估计 §61点估计的几种方法 §62点估计的评价标准 §6.3最小方差无偏估计 §64贝叶斯估让 §65区间估让 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第1页 第六章 参数估计 §6.1 点估计的几种方法 §6.2 点估计的评价标准 §6.3 最小方差无偏估计 §6.4 贝叶斯估计 §6.5 区间估计
第六章参数估计 第2页 一般常用表示参数,参数O所有可能取值 组成的集合称为参数空间,常用⊙表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。 参数估计的形式有两种:点估计与区间估计 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第2页 • 一般常用 表示参数，参数 所有可能取值 组成的集合称为参数空间，常用表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。 • 参数估计的形式有两种：点估计与区间估计
第六章参数估计 第页 °设x,x2…,x2是来自总体X的一个样本,我 们用一个统计量=(的取值作为θ的估 计值,称为θ的点估计(量),简称估计。 在这里如何构造统计量并没有明确的规定, 只要它满足一定的合理性即可。这就涉及到 两个问题 其一是如何给出估计,即估计的方法问题; 其二是如何对不同的估计进行评价,即估 计的好坏判断标准。 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第3页 • 设 x1 , x2 ,…, xn 是来自总体 X 的一个样本，我 们用一个统计量 的取值作为 的估 计值， 称为 的点估计（量），简称估计。 在这里如何构造统计量 并没有明确的规定， 只要它满足一定的合理性即可。这就涉及到 两个问题： 1 ˆ ˆ ( , , ) n = x x ˆ ˆ ➢ 其一 是如何给出估计，即估计的方法问题； ➢ 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准
第六章参数估计 第4页 56.点估计的几种方法 6.1.1替换原理和矩法估让 矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数,譬如 用样本均值估计总体均值E(X),即E(X)=x; °用样本方差估计总体方差Var(X),即Var(X)=s2 用样本的p分位数估计总体的p分位数, 用样本中位数估计总体中位数。 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第4页 §6.1 点估计的几种方法 6.1.1 替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： • 用样本均值估计总体均值E(X)，即 ； • 用样本方差估计总体方差Var(X)，即 • 用样本的 p 分位数估计总体的 p 分位数， • 用样本中位数估计总体中位数。 ˆ E X x ( ) = 2 Var( ) ˆ X s = n
第六章参数估计 第5页 例6.1.1对某型号的20辆汽车记录其每加仑汽油 的行驶里程(km),观测数据如下 29.827.628.327.930.1287299280 27928.728427.229.528.528.030.0 29.129829626.9 经计算有 =28695, 0.9185 28.6 由此给出总体均值、方差和中位数的估计分别 为:28.695,0.9185和28.6。 矩法估计的实质是用经验分布函数去替换总体 分布,其理论基础是格里纹科定理。 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第5页 例6.1.1 对某型号的20辆汽车记录其每加仑汽油 的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别 为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体 分布，其理论基础是格里纹科定理。 2 0.5 28.695, 0.9185, 28.6 n x s m = = =
第六章参数估计 第6页 二、概率函数P(x,O已知时未知参数的矩法估计 设总体具有已知的概率函数P(x,O1,…,Q),x1 x2,…,xn是样本,假定总体的阶原点矩存在, 若,…,能够表示成…,k的函数 (,…,4),则可给出诸的矩法估计为 6,=6(a1…ak),j=1,…k 其中 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第6页 二、概率函数P(x,θ)已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x, 1 , …, k )， x1 , x2 , …, xn 是样本，假定总体的k阶原点矩k存在， 若1 , …, k 能够表示成 1 , …, k 的函数j = j (1 , …,k )，则可给出诸j 的矩法估计为 其中 1 ˆ ( , , ), 1, , , j j k = = a a j k 1 1 n j j i i a x n = =
第六章参数估计 第7页 例6.1.2设总体服从指数分布,由于EX=1/2, 即λ=1/EX,故λ的矩法估计为 =1/x 另外,由于Var(X=1/,其反函数为 1=1/ 从替换原理来看,A的矩法估计也可取为 1/ s为样本标准差。这说明矩估计可能是不唯一的 这是矩法估计的一个缺点,此时通常应该尽量采 用低阶矩给出未知参数的估计。 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第7页 例6.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为 另外，由于Var(X)=1/ 2，其反函数为 因此， 从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的， 这是矩法估计的一个缺点，此时通常应该尽量采 用低阶矩给出未知参数的估计。 ˆ =1/ x =1/ Var( ) X 1 ˆ =1/s
第六章参数估计 第8页 例6.13x1,x2…,x是来自(ab)上的均匀分布 U(a,b)的样本,a与b均是未知参数,这里k2, 由于 EX a+6 Var(X) (b 不难推出 a=EX-√var(X),b=EX+√a(x 由此即可得到a,b的矩估计 a=x-√3,b=x+√3s 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第8页 例6.1.3 x1 , x2 , …, xn是来自(a,b)上的均匀分布 U(a,b)的样本，a与b均是未知参数，这里k=2， 由于 不难推出 由此即可得到a, b的矩估计： 2 ( ) , Var( ) , 2 12 a b b a EX X + − = = a EX X b EX X = − = + 3Var( ), 3Var( ), ˆ a x s b x s ˆ = − = + 3 , 3
第六章参数估计 第9页 6.12极(最)大似然估计 定义611设总体的概率函数为P(x,0),⊙是参数 0可能取值的参数空间,x1x2,…,xn是样本 将样本的联合概率函数看成伊的函数,用L(O; xn)表示,简记为L(O), L()=L(6,x1…,xn)=p(x;)·p(x2日)…p(xn;⊙) 称为样本的似然函数。 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第9页 6.1.2 极(最)大似然估计 定义6.1.1 设总体的概率函数为P(x; )，是参数 可能取值的参数空间，x1 , x2 , …, xn 是样本， 将样本的联合概率函数看成 的函数，用L( ; x1 , x2 , …, xn ) 表示，简记为L( )， 称为样本的似然函数。 1 1 2 ( ) ( ; , , ) ( ; ) ( ; ) ( ; ) L L x x p x p x p x = = n n
第六章参数估计 第10页 如果某统计量=x满足,) L(0=max 6∈Q L(O 则称是θ的极(最)大似然估让,简记为MLE Maximum Likelihood Estimate 人们通常更习惯于由对数似然函数n(0)出发寻 找的极大似然估计 当L(0)是可微函数时,求导是求极大似然估计最 常用的方法,对n(0)求导更加简单些 5 February 2021 白城师范学院
第六章 参数估计 5 February 2021 白城师范学院 第10页 如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE （Maximum Likelihood Estimate）。 1 ˆ ˆ ( , , ) n = x x ˆ L L ( ) max ( ) = ˆ 人们通常更习惯于由对数似然函数lnL( )出发寻 找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最 常用的方法，对lnL( )求导更加简单些