中国科学技术大学：《数理统计》课程教学资源（课件讲义）第十三讲 Bayes统计初步（Bayes方法和统计决策理论）.pdf_大学文库

第七章 Bayes,方法和统计决策理论* §7.1引言和若干基本概念一、引言我们知道数理统计中的任务是要通过样本推断总体.如果我们已经知道总体的形式与分布族，这就给了我们一种信息，称为总体信息.例如我们知道样本来自于正态总体，它暗示我们很多信息：如它的密度函数是倒立的钟形曲线，它的所有阶矩存在，任何事件的概率都可以通过查表求出.由正态总体还可导出与之相关的分布X2,t,F等.因此总体的信息是很重要的，但是获得总体的信息是要付出代价的. 例如在工业可靠性问题中，我们要想获得电子器件的寿命分布，要利用成千上万的元器，做大量的实验，再进行统计分析从而导出其分布，要费钱费力费时另外一种信息是样本信息，即从总体中抽取的样本提供给我们的信息.这是最 “鲜活”的信息.我们希望样本越多越好，我们希望通过把样本加工、整理成统计量，对总体的分布或对总体的某些数字特征作出统计推断.没有样本就没有统计推断这是任何一种统计推断都需要有的信息基于上述两种信息进行统计推断的方法和理论成为经典（古典）统计学.它的基本观点是：把样本看成来自有一定概率分布的总体，所研究的对象是总体.从19世纪至20世纪中，R.A.Fisher,K.Pearson,J.Neyman等人的杰出工作创立了经典统计学.直到20世纪五十年代这个学派占据了主导地位.经典统计学在自然科学和社会科学中的各个领域得到发展，但也暴露出它的一些缺点，导致了新的统计学的产生第三种信息称为先验信息，就是在抽样之前，有关统计问题中未知参数的一些信息.一般先验信息来自经验和历史资料.下面两例说明先验信息存在且被人们利用例7.1.1英国统计学家L.J.Savage(1961)提出一个令人信服的例子说明先验信息有时是很重要的，且看下面两试验： (1)一位常饮牛奶和茶的女士说她能辨别先倒进杯子里的是茶还是牛奶.对此做了10次试验她都说对了. (2)一位音乐家说他能够从一页乐谱辨别是海顿(Haydn)还是莫扎特(Mozart)的作品，在10次试验中他都说对了. 在上面两个试验中，如果认为试验者是猜对的，每次成功概率为05，则10次都猜中的概率为(0.5)10=2-10=0.0009766，这是一个很小的概率，几乎不可能发生. 故每次猜对概率0.5的假设被否定.他们每次说对的概率比0.5要大得多，这不能认为是猜测，而是经验帮了忙.可见经验（先验信息）在推断中不可忽视，应当加以利用例7.1.2某工厂生产一种产品，每日抽查一部分产品以检查废品率0，经过一

CHAPTER7.BAYES方法和统计决策理论* 段时间后获得大量数据，对做出估计.就当日被抽查的那批产品的废品率0只是一个固定的数，并无随机性可言，但逐日的废品率受随机因素的影响多少会有些波动.从长期看，将“一日废品率0”视为随机变量，而要估计的某日的废品率是这个随机变量的一个观察值.根据历史资料可构造一个分布 P(0=i/n)=Ti,i=0,1,2,…,n 这个对先验信息进行整理加工而得到的分布称为先验分布.先验分布总结了该厂过去产品质量情况.如果这个分布的概率大多集中在0=0附近，那该产品可以认为是“信得过产品”.假如以后多次抽样与历史资料提供的先验分布一致，使用单位就可以做出“免检产品”的决定.或者每月抽一、两次就足够了.省去大量人力和物力. 基于上述三种信息进行统计推断的方法和理论称为Bayes?统计学.它与经典统计学的主要区别在于是否利用先验信息.在使用样本上也是存在差别的.Bayes方法重视已出现的样本，对尚未发生的样本值不予考虑.Bay©s学派重视先验信息的收集、挖掘和加工，使之形成先验分布，参加到统计推断中来，以提高统计推断的效果.忽视先验分布的利用，有时是一种浪费二、先验分布与后验分布定义7.1.1（先验分布）参数空间日上的任一概率分布都称为先验分布(prior distribution). 先验分布有不同的类型，比较重要的两个概念是无信息先验和共轭先验分布另外一个问题是如何确定和选择先验分布.我们将在下一节介绍. 先验分布H()(如有密度，以π(0)记密度函数)是在抽取样本X之前对参数9可能取值的认识.后验分布H(z)(如有密度，以π(x)记其后验密度函数)是反映人们在获取样本后对的新认识.这是由于样本X也包含的信息，因此一旦获得样本X后，人们对的认识发生了变化和调整.所以后验分布H(z)可以看作是人们用总体信息和样本信息（综合称为抽样信息）对先验分布H()作调整的结果。为叙述方便计，本章中常假定有关的先验密度函数π()和后验密度函数π(x)皆存在定义7.l.2(后验分布)在获得样本X后，的后验分布(posterior distribution) 就是给定X=x条件下的条件分布，后验密度π(z)有下列计算公式： n(0)= f(x,)_f(x0)π(0 fm(c)Jef(xl9)π(0)d0 (7.1.1) (注：在离散情形下它就转变成Bayes公式)其中 f(x,θ)=f(a0)π(0) 为X和9的联合密度，而 fm()= f(xl9)π(0)d0

72.先验分布的确定* 3 为X的边缘密度！从Bayes学派的观点看获取后验分布后，对参数0的任何统计推断（估计、检验等)必需基于且只能基于的后验分. S7.2先验分布的确定* 一、主观概率 1.引言和定义在经典的统计学中概率是用公理化定义的，即用非负性、正则性和可加性三条公理定义的.概率的确定有两种方法：一是古典方法（包括几何方法）；另一种是频率方法.实际中大量使用的是频率方法，如掷均匀硬币正面出现的概率是1/2，是通过大量重复抛掷硬币试验，出现正面次数的频率在1/2附近.故经典统计研究的对象是能大量重复的随机现象，不是这类随机现象就不能用频率方法去确定有关事件的概率。在诸多社会现象、经济领域和决策问题中，“事件”常常是不能大量重复的.如气象预报“明天是晴天的概率为0.8”，就不能用频率去解释，因为天气随时间变化而变化，不可重复.又如国家统计局预测“2003年失业率0”是3-5%(0可以认为是随机变量)，这一事件也是不可重复的，因为不同年份的经济形势是不一样的.一位投资者认为明年“某种指定的股票行情上涨的可能为8%，”这一事件也是不可重复的. 因此主观概率的创立，使我们在频率解释不能适用的情形也能讨论概率.从这个意义上说，主观概率至少是确定概率的频率方法和古典方法的补充，定义7.2.1主观概率(subjective probability)是人们根据经验对事件发生机会的个人信念如对一场足球胜负的打赌，对明天是否下雨的估计，对股票市场行情明天是升是降的估计等都是采用主观概率方法.主观概率提出以来，使用的人越来越多，特别在社会、经济领域和决策分析中较为广泛使用.因为那里遇到的随机现象大多是不可重复的，无法用频率方法去确定概率 2.确定主观概率的方法 (1)对一些事件进行对比，确定相对似然性是确定主观概率的最简单办法. 例如，某工厂已设计好一种新玩具，决策者要决定是否投产，需要评估新玩具畅销的概率是多少.根据新玩具的特点，和多年经验认为畅销(A)是不畅销（④的可能性的2倍，即P(A)=2/3,P(A④=1/3，由此决定生产. (2)利用专家意见来确定主观概率的方法是常用的，例如，有一项带有风险的生意，欲估计成功的概率.为此决策者采访这方面的专家，向专家请教这生意成功的可能性有多大.专家回答大约0.6（可以请教几位专家用其平均值代替).如果决策者对专家比较了解，认为他的估计往往偏保守，决策者可以修正这一估计，认为成功的概率为0.7，即P(A)=0.7,这就是主观概率

CHAPTER7.BAYES方法和统计决策理论* (3)利用历史资料，做一些对比修正，确定主观概率」例如，某公司经营玩具，现设计一种新式玩具将投放市场，要估计未来市场销售情况.经理查阅了本公司生产的37种玩具的销售记录，得到销售状态如下：A1:畅销，A2：一般，A3:滞销，分别有29,6,2种，于是得到销售状态的概率为 P(A1)=29/37=0.784,P(A2)=6/37=0.162, P(A3)=2/37=0.054. 考虑到新玩具不仅外形新颖而且开发儿童智力，认为它更畅销一些，故对上述概率作了修正P(A1)=0.85,P(A2)=0.14,P(A3)=0.01作为该产品畅销、一般和滞销的概率二、客观法一利用先验信息确定先验分布在Bavs方法中关键的一步是如何确定先验分布.当参数0是离散时，即参数空间日为有限可列个点时，可对日中每个点确定一个主观概率，这就是前面所介绍的当参数0是连续随机变量时，即日为实轴或其上的某个区间时，构造一个先验密度就有些困难了.当的先验信息足够多时，下面的一些方法可以使用. 1.直方图方法 (1)当日为实轴上的区间时，先把日分成一些小区间，通常等长的子区间， (2)在每个小区间上决定主观概率或按历史数据算出频率】 (3)绘制直方图，纵坐标为主观概率或频率/区间长] (4)在直方图上画一光滑曲线，使下方与直方图面积相等.此曲线即为先验密度π（©）（即曲线与横轴形成的曲边梯形的面积为1）例7.2.1云南某药店销售云南三七，记录了100天的销售额，每天销售最多35kg, 最少是不超过5kg,数据见下表.要寻求每周平均销售量的概率分布，表7.2.1每周平均销售量统计表销售量(kg) [0,5(5,10](10,15)(15,20](20,25(25,30](30,35 天数 5 26 33 22 10 1 频率 0.05 0.26 0.33 0.22 0.10 0.03 0.01 解利用此直方图来确定的概率分布.按下述步骤： (1)把参数空间(0,35)分成7个小区间，每个小区间长为5个单位（两）. (2)在每个小区间上依据历史数据确定频率（表7.2.1已给出） (3)绘制频率直方图，纵坐标为”频率/5” (4)在直方图上画一光滑曲线，使下方与直方图面积相等.此曲线即为先验密度π(0)，见图7.2.1. 利用此直方图可以计算有关的概率，例如：P(20≤0≤21)=1×π(20.5)=0.03 2.相对似然法

CHAPTER7.BAYES方法和统计决策理论* 解确定先验分布的问题就转化为估计超参数和的问题.这可用“每周平均销售量统计表”作出估计.若对表中0的每个小区间用其中点代替，算得和2的估计如下 i=2.5×0.05+7.5×0.26+..+32.5×0.01=13.45 T2=(2.5-)2×0.05+(7.5-μ4)2×0.26+…+(32.5-)2×0.01=36.85 故0~N(位，2)=N(13.45,36.85),用先验分布可求下列概率，如 P20≤0≤2=P203559-13.45<21-13.45 ≤7368两≤VW3. =Φ(1.24)-Φ(1.08)=0.8925-0.8508=0.0417 在给定先验分布形式时，决定超参数的另一方法是从先验信息中获得几个分位数的估计值，然后选择超参数（即超参数的估计值），使其尽可能接近这些分位数. 例7.2.3设参数的取值范围为(-∞，∞)，先验分布为正态分布，若从先验信息得知：(1)先验的中位数为0，(2)0.25和0.75的分位数分别为-1和+1，试求此先验分布解由于0~N(4,),因此确定先验分布的问题就转化为估计4和的问题.正态分布的中位数就是4，故μ=0.由0.75的分位数为1，即0.75=P(0<1)= P(0/r<1/)=P(Z<1/r),其中Z=/r~N(0,1),查标准正态分布表÷1/r= 0.675,即T=1.481,故→0~N(4,2)=N(0,1.4812)为9的先验分布. 又若在本例中假定不是正态分布，而是Cauchy?分布，其余条件不变，即9~ π(0：α，)=B/{π[32+(0-a)2]},-o<0<o,确定先验分布的问题就转化为求a,B的估计. 由于Cauchy分布均值和方差皆不存在，但它关于a对称，故有a=0.又由条件0.25分位数为-1，即 1 1 +2=0.25 1 -xπ(B2+2 =元arctg( 解出6=1，故9~C(a,)=C(0,1) 因此同样的先验信息有2个先验分布可供选择.若2个先验分布差别不大，可任选其一.在本例中N(0,1.4812)和C(0,1)密度函数形状上相似（都关于0对称，中间高两边低)，但Cauchy分布的尾部概率较大.因此若的先验信息集中在中间，则选择正态好些，若先验信息较分散，选择Cauchy分布更合适些，三、无信息先验 Bays分析的一个重要特点就是在统计推断时要利用先验信息.但常常会出现这样的情况：没有先验信息或者只有极少的先验信息可利用，但仍想用Byes方法. 此时所需要的是一种无信息先验(noninformative prior),即对参数空间日中的任何一点没有偏爱的先验信息.这就引出了无信息先验分布的概念

72.先验分布的确定* 7 1.均匀分布与广义先验分布 (1)若日为有限集，即0只可能取有限个值，如0=0，i=1,2·n,无信息先验给日中的每个元素以概率1/n,即P(0=0)=1/m,i=1,2…n. (2)若日为R1上的有限区间[a,b],则取无信息先验为区间[a,b]上的均匀分布U(a,b) (有时也记为R(a,b) (3)问题是若参数空间日无界，无信息先验如何选取？样本分布为N(0,σ)， σ2已知，此时日=(-o,∞).若无信息先验取为π(0)三1，则π()不是通常的密度，因为∫π()d=∞.这就引出广义先验分布的概念定义设随机变量X~f(x9),0∈日，若9的先验分布π()满足下列条件： (①)π()≥0且∫6π(8)d=o ()后验密度π(x)是正常的密度函数，则称π(d)为e的广义先验密度(improper prior density). 例7.2.4设X=X1,…,Xn为从N(0,1)总体中抽取的随机样本，设π()≡ 1,求0的后验密度解由公式(7.1.1)可知 f(x0)π(8) π(x)= ezp{-∑1c:-)2] f()(0)do o exp(-0) n 这是正态分布N(,1/n)的密度，后验分布π(z)仍为正常的密度函数，故π(0)三1为广义先验密度，它也是一种无信息先验对一般常见的概率分布中的参数如何求其无信息先验分布？我们下面对位置参数和刻度参数分别介绍. 2.位置参数和刻度参数的无信息先验 (1)位置参数的无信息先验设总体分布有密度函数有形式f(x-),-oo<0<∞，为一位置参数(location parameters).让X平移c,得到Y=X+c,同时让也平移c得到n=0+c,显然Y有密度(y-),仍为位置参数.所以(X,)与(Y,)的统计问题结构相同.因此主张它们有相同的无信息先验是合理的.理解这一点的另一方法：X和Y的测量原点不同，由于测量原点的选择是非常任意的，所以无信息先验应当与这种选择无关.如果无信息先验不依赖于原点的选择，则它在等长区间内的先验概率应当一样.换言之先验密度应当恒等于1.即取0的无信息先验密度 π(0)三1. 它是一个广义先验密度这表明当为位置参数时，其无信息先验密度取为常数或者1

10 CHAPTER7.BAYES方法和统计决策理论* 所以，(4，σ)的Jeffreys先验（由于它是非正常先验，可以丢弃常数因子）为 π(4，o)=1/o2 即(4，σ)的联合无信息先验为1/σ2.它的几个特例为 ()当a已知时，I=E{-}=n/a2,故取x(=1. 2当u已知时，I0o)=E{-8}=2na2,故取xo)=1/o,∈(0，o) (3)当4和σ独立时，π(4，o)=(m)π(o)=1/o,o∈(0，∞) 由此可见，当μ和σ的无信息先验不独立时，它们的联合无信息先验为1/σ2：而当μ和o的无信息先验独立时，它们的联合无信息先验为1/a.Jeffreys最终推荐用π(4，o)=1/a为μ和σ的联合无信息先验例7.2.8设为Benoulli试验中成功概率，则在n次独立的Benoulli试验中，记成功次数为随机变量X,则X~b(n,).即 PX==(回）pr1-0n-3,=01,n 其对数似然函数为(x)=ln()+xl血0+(n-x)n(1-),故有 0=Bw{-g}=Bw倍+二}=日+2。= 故取π()xI()2=0-(1-)一，0∈(0,1)，添加正则化因子得到先验密度π()，它是一个Beta密度Be(1/2,1/2): 注7.2.1一般说来无信息先验不唯一，它们对Bay©s推断影响都很小，很少对结果产生较大的影响，所以任何无信息先验都可以接受.当今无论在统计理论和应用研究中无信息先验采用越来越多，就连经典统计学者也认为无信息先验是客观的，可以接受的.这是近几十年中Bayes学派研究中最成功的部分. 四、共轭先验分布 1.共轭先验分布的概念另外一种选择先验的方法是从理论的角度出发的，在已知样本分布的情形下，为了理论上的需要常常选参数的先验为共轭先验分布，其定义如下：定义7.2.2设F为9的先验分布族，样本X的分布为f(x9),如果对任取的π(0)∈ F及样本x,后验分布π(0z)仍属于F,则称F是一个共轭先验分布族(conjugate prior distribution family). 下面给出计算共轭先验分布的一个例子：例7.2.9设X~b(n,0).(1)设0~U(0,1),即(0,1)上的均匀分布，证明9的后验分布为Beta分布；(2)若取的先验分布为Beta分布Be(a,b),证明e的后验分布仍为Beta分布.即样本分布如果为二项分布，则共轭先验分布为Beta分布