2010/10/14 元正态分布的贝叶斯估计 一元正态分布的贝叶斯估计 口计算μ的后验分布 口计算μ的贝叶斯估计 pulK)=PKI四p i=「p(ulK)du=4w p(K) -ap(x p()-N() ■当N=0时，产e=4o: a当N→∞时，户E→mw Nag My = Nata mNaa 6o2 ■如o6=0，则户e三4，即先验知识可靠，样本 Nag+a 不起作用。 牌安名为木监 ■如gn>g,则产e=mv;即先验知识十分不确 定，完全依靠样本信息。 10 基本思想 口利用日的先验分布p0)及训练样本提供的信息 pK0),求0的后验分布p0K):然后直接求解 贝叶斯学习 总体分布。 px|K)=∫px,01K)d0 p(x10)p(0IK)de. ■将类条件概率密度（总体分布）p(x和未知参 数的后验概率密度p(0K)联系起来： ■贝叶斯学习的结果与最大似然估计的结果近似： px|K)≈px0） 2 递推（序贯）后验概率 递推贝叶斯学习 口考虑N>1个学习样本，记样本集={xp,xw 口设p|K)=p(0),当样本数目增多，可得到后 p(K10)=p(xx10)p(K10), 验概率密度函数序列： p(0|K)= p(K 10)p(0) p0),p(0|xbp(01x,2… (K10)p()do 口如果此序列收敛予以真实数值为中心的δ函数， pxvI0)pK-IpO)a点 则称样本分布具有贝叶斯学习(Bayesian Learning) 性质： 1)p()p(do p(01Kw→)=60-0)方 p(xx 10)p(01KN-) 。pwl0)p01K-)de p|KN)=p(x6=0。)=px). 22010/10/14 2 7 一元正态分布的贝叶斯估计  计算 μ 的后验分布 2 1 ( | )() (| ) ( ) ( | ) ( )~ ( , ) N k NN k p p p p px p N            K K K 2 22 2 0 0 2 22 22 22 0 00 0 1 , 1 ; NN N N N k k N m NN N m N                x ； 其中 为样本均值 8 一元正态分布的贝叶斯估计  计算 μ 的贝叶斯估计  当 N=0 时，  当 N→∞时，  如 ，则 即先验知识可靠，样本 不起作用。  如 ，则 即先验知识十分不确 定，完全依靠样本信息。 ˆ (| ) ; N      p d  K ˆ ;  BE  0 ˆ ;  BE N  m 0 2  0  0 ˆ ;  BE    n  ˆ ;  BE N  m 贝叶斯学习 10 基本思想  利用 θ 的先验分布 p(θ) 及训练样本提供的信息 p(K|θ)，求 θ 的后验分布 p(θ|K)；然后直接求解 总体分布。  将类条件概率密度（总体分布）p(x|K) 和未知参 数的后验概率密度 p(θ|K) 联系起来；  贝叶斯学习的结果与最大似然估计的结果近似： ML ˆ p p ( | ) ( | ). x x K  θ ( | ) (, | ) (|)(| ) ; p pd pp d     x x θ θ x θθ θ Κ K K 11 递推（序贯）后验概率  考虑N > 1个学习样本，记样本集 KN={x1,…, xN}; 1 1 1 1 1 ( ) 1 1 ( ) 1 1 ( | ) ( | ) ( | ), ( | ) () (| ) ( | ) () ( | ) ( | ) () ( | ) ( | ) () ( |)(| ) . ( |)(| ) N N N N N N N N N N p N N p N N N N p pp p p p p pd pp p p p pd p p pp d                    θ x θ θ θ θ θ θ θθ x θ θθ x θ θ θθ x θ θ x θθ θ K K K K K K K K K K K 12 递推贝叶斯学习  设 ，当样本数目增多，可得到后 验概率密度函数序列：  如果此序列收敛予以真实数值为中心的δ函数， 则称样本分布具有贝叶斯学习(Bayesian Learning) 性质： 0 p p ( | ) () θ θ K  1 12 pp p ( ), ( | ), ( | , ), θ θ x θ x x  0 ( | ) ( ); N p   θ θθ K   0 ˆ ( | ) ( | ) ( ). N ppp  x x K   θ θ x