目 录 序 第一章引言 1 第二章实验、亏值、距离……… 4 s21风险函数之比较……… 4 s2,2似然比，Blackwell表达式…… 8 52.3发展简史 19 第三章同居性及Hellinger变换………… 21 53.1同店性 21 s3.2 Hellinger离，Heilinger变换……… 29 53,3发展筒史 34 第四章独立观察值情况下似然比的极限分布…… 36 s4、1可………… 36 §4.2二元实验情形的极限分布 38 s+.3发展简史…… 59 第五章局部渐近正态族 61 5.1引言…… 61 ￥5,2局部渐近二次族(LAQ)………… 63 s5.3一个构造估计量的方法……………… 67 5.4局部Bayes性质…… 78 多5.5不变性与正则性…… 83 s5.6LAMN及LAN条件- 93 ,s5.7LAN条件的一些其它性质……………… 102 55.8Wald检验与置信椭球…… 104 55.9其他方向的推广 108 55.10发展简史……… 10 第六章独立同分布观测值…………… ………114 多6.言 114 一一2
目录 56.2标准独立同分布情况、均方可微性 ……………116 3例 125 56.4非参数情况下的一些讨论… L34 56.5估计量风险的上下界……………… 146 56.6观察个数为随机的情况………………………………157 6.7发展简史 l63 第七章 Bayes程序 trOde萨db中。·中甲,非q非萨曲:. ………168 57.1引言 .·、丶中、甲, 17.2 Bayes程序的良好性质 69 7.3 Bernstein- von Mise现象 174 57.4独立同分布情况下的一个 Bernstein- YOn mises结果……176 575Baye程序的不合理性 由,鲁 187 57.6发展简史…………………… …………190 主题索引中英文对照表 ∴…………192 参考文献 …………………………198
第一章引官 木书的目的是叙述一些在考虑统计渐近问题时非常有用的概 念及门具,其主要思想是用一些比较容易处理或比较熟悉的测度 集一{Qa:0∈}来逼近我们原有的概率测度集d一{P: 6∈6} 举例来说,假定我们观测到大量的独立同分布的随机变量X1, X2,…,X,假设它们在实轴上有哥西分布,其密度为 1十+(x-0)2 记P.,为X1,……,K,的联合分布,令Z。为另一随机变量, 它在实轴上服从正态分布Ga,,其均值为0,方差为2 本书要阐述的理论是说,当n充分大时,②,一{P9:0∈ 和 {Gpn:6∈这两个概率集对处理大部分统计问题而 言,区别甚小, 另外一个例子是,设Y1,Y2,…,Y为n个独立同分布的随 机变量,每个变量的密度为[1一|x-0|]°,其联合分布记为 Q…其次令H,为正态分布,其均值为6,方差为一上,则 no界 当n值充分大,{Q,:日B}和{H.n6∈}这两个概率 集会相当靠近, 第二章将介绍几个距离的定义,其目的是用严谨的数学定义 来解释什么是两个概率集“相当靠近”,至于利用距离的思想,可 追溯到Wald[I943]的文章.我们要用的这些距离定义亦与 Black well L1951]等人所讨论的“实验比较”关。所谓实验, 本书将依照 Black well的定义,将它定义为集上一个σ-域
第一鴦引言 k上的任何一个概率集￠一{P:θ∈},怕标集臼通常被称 为“参数空间”.有一种方便的看法是把每个0看成是一种理论, 它对实验者要进行的实验,提供一个随机模型P 有一点要注意的是在比较哥西实验{P.:6∈梁}及高斯实 验{G6,:0∈}的例子中,这两个实验有相间的参数空间6(此 处创一),但有完全不同的样本空间。哥实验的观测 值是在n维空间梁〓驼”里,而高斯实验的观测值则在一维空 间里.在第二章中我们所定义的实验距离,适川于任何两个有相 同参数空间的实验d-{P8:0母}和={9:8∈创}。在 同一章内,我们用 Blackwell典型表达法求出一个实验的标准表 达式,这个结果是在实验指标集为有限的条件下求出的。运用 这个标准表达式,我们可以证明当6为一固定合限集时,实验的收 敛(在我们的距离定义下)与似然比分布的收敛等价 第三章将讨论一些在研究似然比收敛时遇到的技巧问题。这 些技巧问题通常可用“同居条件”予以彻底简化.同时,我们还将 介绍 Hellinger变换及 Hellinger距离,它们对硏究独立变量的 实验特别有用 板限定理是第四章的主题,所讨论的是一些在独立变量实验 情况下获得的极限定理。承蒙 Hajek及idak二竹的蒜维,本章 包括了他们所称的“ Le cam三引理 第五章玥LAN条件,LAN是 local asymptotic norm- ity之缩写,它的真正惫义是用高斯移位实验( Gaussian shift experiment)对原来的实验作局部渐近逼近,此高斯实验的参数 集为一个维空间的线性指标集。本章将详述在一个参数值6周 围,因实验满足LAN条件而产生的一些结果。除此之外,本章 还提供了一个构造估计量的方法。此法步骤如下:第一,任取 个“好”的初步估计量θ,并选取一个适当的向量集{un∴:i= ,},其中,=0,{un, …,}是参数空闺 中的一组基;第二,算出对数似然比在所θ+Ma+硎 点之值,这里i,-0,1,…,k;第三,求出经过这些对数似然比
第一章引言 值的二次式拟合;第四,在④空间里算出使这二次式达到极大 之点TnT。即是我们用来估计θ的估计量 在LAN条件下,依上述方法构造的计量有渐近极小极大 性,并有渐近充分性,此估计量也满足Haj卷积定理,我们将 用 van der vaart的方法来证明此卷积定理.本章最后一节是 讨论LAMN条件,LAMN是 locally asymptotically mixed normal的缩写.这里我们主要是引用 Jeganathan的文章,其他 的例子及资料请参看 Basawa和 Prakasa Rao[1980], Basawa Fi Scott [1983], Prakasa Rao [1987], Greenwood Fn Shiryayev [1985]等书 第六章讨论独立变量的情况,我们叙述LAN条件的形式, 特别是在“标准独立同分布”情况下的形式,统计界一般所熟悉的 是建立在 Cramer条件下的极大似然理论,根第五章结果所建立 的理论虽与极大似然理论有几分相似,但是它与第二章所介绍的 概念比较连贯一致些。该理论所用的条件比( Cramer用的要弱些, 第六章将详细介绍该理论的一个充分条件,即均方可微性。最后, 我们半例说明,如何应用这套理论到其他各种情况 集七章讨论 Bayes程序( Bayes- procedure)和 Bernstein-von ses 定理,木章将叙述此定理的一种形式,讥明方法将强调其 中关键步骤 本书每章最后一节为附录,介绍该章內容的发展简史。书未 附有参考文献及中英文名词对照表.因受篇所限,本书无法 供一套完整的参芳资料,有兴趣的读者可从其他书籍提供的文献 中找到补充资料。与本书有关的书籍可参阅 Rasa wa和 Prakasa Rao [1980], Basawa H Scott [1983], Greenwood FA Shiryayev [19851, Ibragimov F Has'minskii [1981], Le Cam [19861 Pfanzagl #i Wefelmeyer [1982], Prakasa Rao [1987], Serfling [190], Strasser[1985]等书
第二章实验、亏值、距离 §21风险函数之比较 令,为,牙集内的一个σ-域,依照 Blackwell的定义 我们称、上的任何一概率测度集={P:0∈的}为一个实 验,称指标集B为参数空间。要描述Wa1d所谓的统计决策问题, 我们还需要引入一个决策集Z和一个损失函数W,其中W是定 义在6×z上取值于(一∞,+∞]的函数 假设一个统计工作者在样本空间内观察到一个值x,他要 在未知θ的情况下,从决策集z里选取一个决策x.他的取法是 先选定一个在z上的概率测度p,然后依照概率P随机抽样得 到一值.如果所抽到的是x,则他受到的损失为W2(x).因此,当 观察值为x时,他的平均损失为|w()(d),若x是按跟概率 分布P抽出则他的总平均损失为双重积分|We(x)e(dx) Pox) 我们称函数p:x八4为随机化决策程序或决策函数,称双 重积分1)|W(x)p(4r)P(dx)为决策P的风险,这是指以 聊为损失函数而为真值惰况下的风险我们记它为R(6,p), 有时为强调这些函数的关系,我们将R(日,p)记为WpP 为使上述定义有意义,显然需要附加条件,即这些积分必须存 在。为使积分存在,我们假定:对每一个θ值,infW(x)>一0, 令为Z集上使W为z的可测函数的σ-城,p2为上 的概率测度,对每一个B∈,函数p:x八P2(B)是x对、M 的可测函数。最后这个“可测”假定不仅是为了数学处理的方便
第,二童实验、子值、距离 而且是为了反映实际情况。可以想象,在实际工作中,统计工作 者或实验者之所以假设σ-域、,是因为他对、中的事件 d感兴趣并至能判断A是否发生,我们要求x和(B)为 的可测函数,原则上就是要求决策程序φ必须为能从已知的 信息而“执行”的决策程序 Wald的统计决策函数论就是基于上述结构,他的观点是运 用风险函效釆评判和比较各种决策程序之优劣, 现假设有一实验者,在斟酌两个不同的实验方法,记这两实验 为d一{Pa:∈}和 Q:θ∈},这里P是在测度 空间(,,1)上的概率测度,Q。o是测度空间(,、2)上 的概率测度。要注意此处采用的是同一个参效集8.原因是实验 者根据某种已知理论“9”而构造随机模型P∈e,如果他娶采 取另一种方祛做实验 原则上他对基本理论8的认识是不变 的,因此这两个实验的随机模型指标集6应为同一个。举例来说, 假设他要设计个物理实验来估计碳14(C4)的半衰期。他首先 假定碳14原子的寿命具有指数分布,其密度为θ",x>0, 6∈(0,∞).然后来观察n个碳14原子。下一步进行的方法则有 好几种,一种方法是观测在某一给定时间(4)内这n个碳原子 有多少(K)发生分裂、按照上述说明,理论“6”则为X提供一 个概率分布P,另一种实验方法是事先给定某个m(m≤n),然 后来洲量这m个原子分裂所需的总时间Y,一如从前,理论6为 变量Y提供一个概率分布9 对于这两个实验 {Ps6∈6}和 9:∈},我 们能作比较吗?它们的统计性质差异何在?这要看样本的大小 以及选出的t,m值。本书的目的在于讨论般理论,它可以用来 说明以下事实:实验贯与罗也许不能直接比较,但是,如果 所取的值使得EX比m值大许多,则对十在上能获得的 统计结果,我们在d上亦能获得同样好或差不多好的结果.如 果m与EX皆很大,并且丝趋于1,则与罗之差异变得
5 521风险函数之比较 很小。 读者可以取n一103,=2小时及m〓10°的特殊例子来 体会这个问题 至于测定两实验间的距离,我们使用的方法是考察分别在 和上能达到的两个风险函数之差 为此我们来定义一种函数集R(,W).函数集R(“,W) 包含所有具有下列性质的函数r():在实验上存在一个 决策程序p,它的风险函数WpPe对所有的θ暂满足不等式 WpPs≤r(6) 由于数学技巧的缘故,我仔不采用聚(,W)而用宅的逐点 闭包,即在函数逐点收敛意义下的闭包R(啁,W).如果我们假 设 ()所有的P。被同一个σ-有限测度μ控制, (2)只考虑使z为紧集的决策问题,并且,损失函数 W0(x)在z上为下半连续.则R(d,W)自然是一个闭集.至于 实验的及决策空间(z,W)的更一般定义,读者可看L6am [1986 在这些假设下,我们给出下面两个定义 定义1对任意一个损失函数W,0≤W(x)≤1,对每 个r2∈R(,W)和一个g10,1,考虑交集R(,W)∩!≤ 2+郾}。对的亏值( deficiency)8(a,>),是怼全部 W和全部r2使此交集为非空集的最小6值 定义1中所考虑的W是包括所有介于0到1之间的损失函 数W。这当然包括了许多统计问题,即使我们小范围只考满 足上述紧性条件的Z,甚至只考虑Z为有限的情况,它所包插的统 计问题仍然很多(按照 Le Cam[1986]书中给的一般定义;这种 限髓并不影响8(d,所)值). Lehmann[1988认为这个舌值 定义所包括的统计问题实在太多,他的观点当然不无道理,可是我 们无从知道每一个实验者所想要的W,我们采纳这个定义是为顾 念各种不同W的可能性
第二章实验、亏值,距离 下面是实验距离的定义。 定义2两个实验和的距离△(,另)为两亏值 8(,)和8(,)中较大的一个。 包结来说,这介定义的意义是:如果只考虑满足0≤W≤1 的损失函数W,则任何能从两实验之一获得的结果(风险)都能 在△(,)距离范围内从另外一个实验得到 上述距离定义与另外一个距离定义有密以关系,这种关系在 Le Cam[1986]书中总结为第123页上的一个定理,其意义如 下:假定我们做一个实验,在的样本宋间梁里获得一个 观察值x,则我们可应用随机化方法,按照的测度空间(多, 82)上的一个概率分布K2(y)在样本空间里构造一个观 察值Y,而使Y的分布接近于原来里设的分布Q.所谓 接近是根据如下的距离定义:令KP。为一测度,其定义为 (KP)(A)一K:(A)P(dx),f∈,1, 定义测度Q和KP之间的距离为 lQe-KP。l-sup|f4Q-|fdKP。, 这里f为任意满足丨f≤1的2可测函数,刘在相当弱的条 件之下,可以证明亏值(,)就是 inf sup. ge- KPel 这里的inf是对所有的随机化概率K和所们K的极限来取,(证 明见 Le car[1986J) 我们将称此处所用的范数 l=sup{fam:|升|≤ 为L1范数,它的另一个名称为总变差范数( total variation nom).L1-范数具有特殊的统计意义:1-1P…是检验 P对?的两类错误概率和之极小值.因此,(,)≤8的意
§2,2似然比。 Black well表达式 义就是t只要损失函数W取值于[0,1j中,则对上的任何风 险函数,我们都能生8范围内,在d上找到一个同样好的风险函 数,并且,在实验a完成后,运用随机化K,在2e误差范围内 能重新构造出中的分布Q 在上面,我们称△为“距离”,其实它只是一个伪距离因为两 个很不同的实验和扩之间的距离△(,)可能是零 因此,若△(,)一0,我们称d和所为等价或有相同类 型,在实验类型的空间上,Δ变成了距离 我们相信读者不难体会到△具有确定的统计意义。虽然如 Lehmann所说在△定义下的决策问题集是稍许大了些,但是每 个从事实验设计的人皆知道,要选出一个使每个人都赞成的决 策问题子集不是一件容易的事 在下内,我们将讨论△的另一面,证明距离△与许多统计工作 者爱用的似然比分布有密切关系 §22似然比, Black wel!表达式 本节假设参数空间6为含有个元素的有限集 现考虑实验d-{Pe:6∈},其中P6为测度空间〔 )上的概率,令S一∑P.因为S控制每个P,因此存 e∈e 在拉冬-尼可丁密度f~dP我们可以算出f在x∈身的 ds 值。这些密度值可用一个维向量来表示 (x)〓{fe(x):0∈6},(x)∈的 不失一般性,可以假设fa(x)≥0,∑f(x)-1.令 U()-{a-【-6∈6]:≥0,∑4 为华单纯形,则“(x)是U(6)中的一点,S经变换x~(x)