Lec13:非参数统计方法（二） 张伟平 May4,2011 §1拟合优度检验 参数假设检验都是在假定总体是某种具体分布的条件下进行的，但是这个假设本身不一 定成立，我们可以通过样本(X1,·,Xn)来检验它.一般地，检验 Ho:X服从某种分布 可以采用Karl Pearson提出的x2拟合优度检验 S1.1离散总体情形 (1)理论分布不含未知参数的情形 设某总体X服从一个离散分布，且根据经验得知总体落在类别a1,·,ak的理论频率分 别为p1,·,pk,现从该总体抽得一个样本量为n的样本，其落在类别a1,·,ak的观测数分 别为1，·，k.感兴趣的问题是检验理论频率是否正确，即下面假设是否正确： Ho:P(X∈a1)=p1,…,P(X∈ak)=pk. 这类问题只提零假设而不提对立假设，相应的检验方法称为拟合优度检验.显然，在零假设 下，各类别的理论频数分别为np1,·,npk,将理论频数和观测频数列于下表： 类别 ak 理论频数 nP1nP2···nPk 观测频数 n1 n2 由大数定律知，在零假设成立时，n:/n依概率收敛于p,故理论频数np:与观测频数n:接 近.而检验统计量取为 x2=(m-npi)2 isl npi 简单地，就是 X-∑O-Y 其中O为观测频数，E为期望频数 这个统计量中每项的分母的选取有点讲究，我们可以这样粗略地解释：假设n:服从Poisson 分布，则n:的均值和方差均为np,从而(n:-np)/√mp的极限分布为标准正态分布，因此X2 1
Lec13: öÎÍ⁄Oê{() ‹ï² May 4, 2011 §1 [‹`›u ÎÍbu—¥3b½oN¥,´‰N©Ÿ^áe?1, ¥˘áb ÿò ½§·, ·Ç屜L (X1, · · · , Xn) 5uß. òÑ/, u H0 : X—l,´©Ÿ å±Ê^Karl Pearson J—χ 2 [‹`›u. §1.1 l—oNú/ (1) nÿ©Ÿÿ¹ôÎÍú/ ,oNX —lòál—©Ÿ, Ö䂲oN·3aOa1, · · · , ak nÿ™«© Oèp1, · · · , pk, ylToNƒòá ˛èn , Ÿ·3aOa1, · · · , ak *ˇÍ© Oèn1, · · · , nk. a,ØK¥unÿ™«¥ƒ(, =e°b¥ƒ(: H0 : P(X ∈ a1) = p1, · · · , P(X ∈ ak) = pk. ˘aØKêJ"b ÿJÈ·b, ÉAuê{°è[‹`›u. w,, 3"b e, àaOnÿ™Í©Oènp1, · · · , npk, Únÿ™Í⁄*ˇ™ÍueL: aO a1 a2 · · · ak nÿ™Í np1 np2 · · · npk *ˇ™Í n1 n2 · · · nk dåͽÆ, 3"b§·û, ni/n ùV«¬Òupi , nÿ™Ínpi Ü*ˇ™Íni C. u⁄O˛è χ 2 = X k i=1 (ni − npi) 2 npi . {¸/, “¥ χ 2 = X (O − E) 2 E , Ÿ•O è*ˇ™Í, E èœ"™Í. ˘á⁄O˛•zë©1¿k:˘ƒ, ·Çå±˘o—/)º: bni —lPoisson ©Ÿ, Kni ˛ä⁄ê ˛ènpi , l (ni − npi)/ √npi 4Å©ŸèIO©Ÿ, œdχ 2 1
近似为k个服从自由度为1的X2分布的随机变量之和，由于∑=1(n:-np)=0,故这k个随 机变量满足一个约束，从而X2的自由度为k-1.事实上，可以严格地证明，在一定的条件下， X2的极限分布就是自由度为k-1的X2分布，但其证明超出本课程的要求范围. 下面给出一个例子来说明拟合优度检验的应用， 例1.有人制造一个含6个面的骰子，并声称是均匀的.现设计一个实验来检验此命题：连续 投掷600次，发现出现六面的频数分别为97,104,82,110,93,114.问能否在显著性水平0.2 下认为觳子是均匀的？ 解：该问题设计的总体是一个有6个类别的离散总体，记出现六个面的概率分别为即1，·，6， 则零假设可以表示为 H0:p=1/6,i=1,…,6. 在零假设下，理论频数都是100，故检验统计量X2的取值为 97-100)2+104-1002+82-1002+110-1002+93-100)2+L14-1002 =6.94 100 100 100 100 100 100 跟自由度为6-1=5的x2分布的上0.05分位数(0.2)≈7.29比较，不能拒绝零假设，即可 在显著性水平0.2下认为骰子是均匀的. 例2.孟德尔(Mendel)豌豆杂交试验。纯黄和纯绿品种杂交，因为黄色对绿色是显性的， 在Mendel第一定律（自由分离定律）的假设下，二代豌豆中应该有T5%是黄色的，25%是绿 色的。在产生的n=8023个二代豌豆中，有n1=6022个黄色，2=2001个绿色。我们的问题 是检验这些这批数据是否支持Mendel第一定律，要检验的假设是 H0:T1=0.75,T2=0.25 解：在Mendel2第一定律(Ho)下，黄色和绿色的个数期望值为 41=nm1=8023*0.75=6017.25,2=nπ2=8023*0.25=2005.75 则Pearson X2统计量为 z=∑0- .=(6022-6017.25)2/6017.25+(2001-2005.75)2/2005.75=0.015 E 自由度df=l,p-value为0.99996.因此可以认为这些数据服从Mendel第一定律。Fisher基 于Mendel的这些数据，发现其数据与理论值符合的太好，p-value=0.99996,但这么好的 拟合在几千次试验中才发生一次，因而Fisher断定数据可能有伪造的嫌疑。 (2)理论分布含若干未知参数的情形 当理论总体总含有未知的参数时，理论频数p:一般也与这些参数有关，此时应该用适 当的估计如极大似然估计代替这些参数以得到：的估计，得到的统计量记为 x2=m-n啦)2 npi 拟合优度检验的提出者Karl Pearson最初认为在零假设下，检验统计量的x2的极限分布仍等 于自由度为k-1的x2分布，R.A.Fisher发现自由度应该等于k-1减去估计的独立参数的 个数r,即k-1-r 2
Cqèk á—lgd›è1 χ 2 ©ŸëÅC˛É⁄, duPk i=1(ni − npi) = 0, ˘k áë ÅC˛˜vòáÂ, l χ 2 gd›èk − 1. Ø¢˛, å±ÓÇ/y², 3ò½^áe, χ 2 4Å©Ÿ“¥gd›èk − 1 χ 2 ©Ÿ, Ÿy²á— ëßá¶âå. e°â—òá~f5`²[‹`›uA^. ~ 1. k<õEòá¹6 á°f, ø(°¥˛!. yOòá¢5ud·K: ÎY ›ï600 g, uy—y8°™Í©Oè97, 104, 82, 110, 93, 114. ØUƒ3wÕ5Y²0.2 e@èf¥˛!? ): TØKOoN¥òák6 áaOl—oN, P—y8á°V«©Oèp1, · · · , p6, K"bå±L´è H0 : pi = 1/6, i = 1, · · · , 6. 3"be, nÿ™Í—¥100, u⁄O˛χ 2 äè (97 − 100)2 100 + (104 − 100)2 100 + (82 − 100)2 100 + (110 − 100)2 100 + (93 − 100)2 100 + (114 − 100)2 100 = 6.94, ãgd›è6 − 1 = 5 χ 2 ©Ÿ˛0.05 ©†Íχ 2 5 (0.2) ≈ 7.29 ', ÿU·˝"b, =å 3wÕ5Y²0.2 e@èf¥˛!. ~ 2. ä(Mendel) Œ,£"Xë⁄X…¨´,ßœèë⁄È…⁄¥w5ß 3Mendel1ò½Æ(gd©l½Æ)beßì Œ•ATk75†¥ë⁄ß25†¥… ⁄"3)n = 8023áì Œ•ßkn1 = 6022áë⁄ßn2 = 2001á…⁄"·ÇØK ¥u˘ ˘1Í‚¥ƒ|±Mendel1ò½Æßáub¥ H0 : π1 = 0.75, π2 = 0.25 ): 3Mendel1ò½Æ(H0)eßë⁄⁄…⁄áÍœ"äè µ1 = nπ1 = 8023 ∗ 0.75 = 6017.25, µ2 = nπ2 = 8023 ∗ 0.25 = 2005.75 KPearson χ 2⁄O˛è Z = X (O − E) 2 E = (6022 − 6017.25)2 /6017.25 + (2001 − 2005.75)2 /2005.75 = 0.015 gd›df = 1ßp − valueè0.99996. œdå±@è˘ Í‚—lMendel1ò½Æ"Fisherƒ uMendel˘ Í‚ßuyŸÍ‚Ünÿ䌋–ßp − value = 0.99996ߢo– [‹3AZg£•‚u)ògßœ Fisher‰½Í‚åUkñEv¶" (2) nÿ©Ÿ¹eZôÎÍú/ nÿoNo¹kôÎÍû, nÿ™Ínpi òÑèܢ ÎÍk', dûAT^· OX4åq,OìO˘ Îͱpi Opˆi , ⁄O˛Pè χ 2 = X k i=1 (ni − npˆi) 2 npˆi . [‹`›uJ—ˆKarl Pearson Å–@è3"be, u⁄O˛χ 2 4Å©ŸE ugd›èk − 1 χ 2 ©Ÿ, R. A. Fisher uygd›AT uk − 1 ~O’·ÎÍ áÍr, =k − 1 − r. 2
例3.从某人群中随机抽取100个人的血液，并测定他们在某基因位点处的基因型.假设该 位点只有两个等位基因A和a,这100个基因型中AA,Aa和aa的个数分别为30,40,30，则能 否在O.05的水平下认为该群体在此位点处达到Hardy-Weinberg平衡态？ 解：取零假设为 Ho:Hardy-Weinberg平衡态成立. 设人群中等位基因A的频率为p,则该人群在此位点处达到Hardy-Weinberg平衡态指的是在 人群中3个基因型的频率分别为P(AA)=p2,P(Aa)=2p(1-p)和P(aa)=(1-p)2,即零假 设可等价地写成 Ho:P(AA)=p2,P(Aa)=2p(1-p),P(aa)=(1-p)2. 在H0下，3个基因型的理论频数为100×2,100×2×2(1-)和100×(1-)2，其中分等于 估计的等位基因频率0.5，代入X2统计量表达式，得统计量的值等于4.该统计量的值大于自 由度为3-1-1=1（恰好一个自由参数被估计）的x2分布上0.05分位数3.84，故可在0.05的 水平下认为未达到Hardy-Weinberg平衡态. S1.2列联表的独立性和齐一性检验 (1)独立性检验 下面考虑很常用的列联表.列联表是一种按两个属性作双向分类的表.例如肝癌病人可 以按所在医院（属性A)和是否最终死亡（属性B)分类.目的是看不同医院的疗效是否不同. 又如婴儿可按喂养方式（属性A,分两个水平：母乳喂养与人工喂养）和小儿牙齿发育状况（属 性B,分两个水平：正常与异常)来分类.这两个例子中两个属性都只有两个水平，相应的列 联表称为“四格表”，一般地，如果第一个属性有a个水平，第二个属性有b个水平，称为a×b 表（见教材268）.实际应用中，常见的一个问题是考察两个属性是否独立.即零假设是 H。:属性A与属性B独立 这是列联表的独立性检验问题， 假设样本量为n,第（亿，）格的频数为n·记p=P(属性A,B分别处于水平i,),4= P(属性A有水平)，：=P(属性B有水平).则零假设就是P)=:巴防：将山和v,看成参数， 则总的独立参数有a-1+b-1=a+b-2个.它们的极大似然估计为 =0,= n 正好是它们的频率（证明参看教材）.其中n.=∑=1n,n=∑1·在下，第（位，） 格的理论频数为ni=n,nj/m,因此在H下，∑-1∑=1n)-np)应该较小.故取检验 统计量为 （niy-n.nj/m)2 (ni.n.j/n) 在零假设下x2的极限分布是有自由度为k-1-r=ab-1-(a+b-2)=(a-1)(b-1)的X2 分布.对于四格表，自由度为1. 3
~ 3. l,<+•ëŃ100 á<…ó, øˇ½¶Ç3,ƒœ†:?ƒœ.. bT †:êk¸á †ƒœA ⁄a, ˘100 ნ.•AA, Aa ⁄aa áÍ©Oè30, 40, 30, KU ƒ30.05 Y²e@èT+N3d†:?àHardy-Weinberg ²Ô? ): "bè H0 : Hardy-Weinberg ²Ô§·. <+• †ƒœA ™«èp, KT<+3d†:?àHardy-Weinberg ²Ôç¥3 <+•3 ნ.™«©OèP(AA) = p 2 , P(Aa) = 2p(1 − p) ⁄P(aa) = (1 − p) 2 , ="b å d/§ H0 : P(AA) = p 2 , P(Aa) = 2p(1 − p), P(aa) = (1 − p) 2 . 3H0 e, 3 ნ.nÿ™Íè100 × pˆ 2 , 100 × 2 × pˆ 2 (1 − pˆ) ⁄100 × (1 − pˆ) 2 , Ÿ•pˆ u O †ƒœ™«0.5, ì\χ 2 ⁄O˛Là™, ⁄O˛ä u4. T⁄O˛äåug d›è3 − 1 − 1 = 1 (T–òágdÎÍO) χ 2 ©Ÿ˛0.05 ©†Í3.84, å30.05 Y²e@èôàHardy-Weinberg ²Ô. §1.2 ÈL’·5⁄‡ò5u (1) ’·5u e°ƒÈ~^ÈL. ÈL¥ò´U¸á·5äVï©aL. ~X_Jæ<å ±U§3ö(·5A) ⁄¥ƒÅ™k (·5B) ©a. 8¥wÿ”ö¥ƒÿ”. qX?åUûê™(·5A, ©¸áY²: 1ZûÜ<Ûû) ⁄fl¸uòG¹(· 5B, ©¸áY²: ~Ü…~) 5©a. ˘¸á~f•¸á·5—êk¸áY², ÉA ÈL°è“oÇL”, òÑ/, XJ1òá·5ka áY², 1á·5kb áY², °èa × b L(Ñ·p268) . ¢SA^•, ~ÑòáØK¥ ¸á·5¥ƒ’·. ="b¥ H0 : ·5A Ü·5B ’·. ˘¥ÈL’·5uØK. b ˛èn, 1(i, j) Ç™Íènij . Ppij = P(·5A, B ©O?uY²i, j), ui = P(·5A kY²i), vi = P(·5B kY²j). K"b“¥pij = uivj . Úui ⁄vj w§ÎÍ, Ko’·ÎÍka − 1 + b − 1 = a + b − 2 á. ßÇ4åq,Oè uˆi = ni· n , vˆj = n·j n . –¥ßÇ™«(y²Îw·) . Ÿ•ni· = Pb j=1 nij , n·j = Pa i=1 nij . 3H0 e, 1(i, j) Çnÿ™Íènpˆij = ni·n·j/n, œd3H0 e, Pa i=1 Pb j=1(nij − npˆij ) AT. u ⁄O˛è χ 2 = Xa i=1 X b j=1 (nij − ni·n·j/n) 2 (ni·n·j/n) . 3"beχ 2 4Å©Ÿ¥kgd›èk − 1 − r = ab − 1 − (a + b − 2) = (a − 1)(b − 1) χ 2 ©Ÿ. ÈuoÇL, gd›è1. 3
(2)齐一性检验 跟列联表有关的另一类重要的检验是齐一性检验，即检验某一个属性A的各个水平对应 的另一个属性B的分布全部相同，这种检验跟独立性检验有着本质的区别.独立性问题中两 属性都是随机的：而齐一性问题中属性A是非随机的，这样涉及到的分布实际上是条件分布 虽然如此.所采用的检验方法跟独立性检验完全一样 例4.下面表是甲乙两医院肝癌病人生存情况.需要根据这些数据判断两医院的治疗效果是 否一样 甲、乙两院肝癌的近期疗效 生存 死亡 合计 甲院 150(n11) 88n12)】 238(m1.) 乙院 36(n21) 18(m22） 54(n2.) 合计 186m.1) 106(m.2 292(n) 解：这是一个齐一性检验问题.检验统计量X2的观测值为02524，远远小于自由度为1的X2 分布的上0.05分位数，故可以接受零假设，即在水平0.05下可以认为两个医院的疗效无差别 的 当有某个格子的频数较小时，如果允许的话可以合并格子是每个格子的频数足够大，实 际问题中不允许合并格子（合并后失去了实际意义），此时可以用Fisher的精确检验法. S1.3连续总体情形 设(X1,·,X)是取自总体X的一个样本，记X的分布函数为F(x),需要检验的那种分 布中含有r个总体参数01，…，0，.我们要在显著性水平α下检验 H0:F(x)=Fo(x;01,…,0r) 其中F6(x;01,·,0,)表示需要检验的那种分布的分布函数.例如，当我们要检验 Ho:XN(4,σ2) 时，r=2,01=4,02=02 上述假设可以通过适当的离散化总体分布，采用拟合优度法来做检验.首先把实数轴分 成k个子区间(aj-1,al,=1,·,k,其中ao可以取-o,ak可以取oo.这样构造了一个离散 总体，其取值就是这k个区间.记 p5=PHn(aj-1<X≤aj)=F(a:01,·,0r)-F(aj-1;01,…,0r),j=1,…,k 如果Ho成立，则概率p5应该与数据落在区间(aj-1,al的频率fj=n/n接近，其中n表示 相应的频数.当：的取值不含未知参数时，取检验统计量 X2=(-p)2 npi
(2) ‡ò5u ãÈLk',òaáu¥‡ò5u, =u,òá·5A àáY²ÈA ,òá·5B ©Ÿ ‹É”, ˘´uã’·5ukX ü´O. ’·5ØK•¸ ·5—¥ëÅ; ‡ò5ØK•·5A ¥öëÅ, ˘9©Ÿ¢S˛¥^á©Ÿ. è,Xd, §Ê^uê{ã’·5u ò. ~ 4. e°L¥`ظö_Jæ<)ú¹. Iá䂢 Í‚‰¸ö£J¥ ƒò. `!ظ_JCœ ) k ‹O ` 150(n11) 88(n12) 238(n1·) Ø 36(n21) 18(n22) 54(n2·) ‹O 186(n·1) 106(n·2) 292(n) ): ˘¥òá‡ò5uØK. u⁄O˛χ 2 *ˇäè0.2524, ugd›è1 χ 2 ©Ÿ˛0.05 ©†Í, å±…"b, =3Y²0.05 eå±@è¸áöà O . k,áÇf™Íû, XJ#N{屋øÇf¥záÇf™Ív å, ¢ SØK•ÿ#N‹øÇf(‹øî ¢Sø¬), dûå±^Fisher °(u{. §1.3 ÎYoNú/ (X1, · · · , Xn) ¥goNX òá , PX ©ŸºÍèF(x), Iáu@´© Ÿ•¹kr áoNÎÍθ1, · · · , θr. ·Çá3wÕ5Y²α eu H0 : F(x) = F0(x; θ1, · · · , θr), Ÿ•F0(x; θ1, · · · , θr) L´Iáu@´©Ÿ©ŸºÍ. ~X, ·Çáu H0 : X ∼ N(µ, σ2 ) û, r = 2, θ1 = µ, θ2 = σ 2 . F0(x; µ, σ2 ) = Z x −∞ 1 √ 2πσ2 exp − 1 2σ 2 (t − µ) 2 dt. ˛„b屜L·l—zoN©Ÿ, Ê^[‹`›{5âu. ƒkr¢Í¶© §k áf´m(aj−1, aj ], j = 1, · · · , k, Ÿ•a0 å±−∞, ak å±∞. ˘E òál— oN, Ÿä“¥˘k á´m. P pj = PH0 (aj−1 < X ≤ aj ) = F0(aj ; θ1, · · · , θr) − F0(aj−1; θ1, · · · , θr), j = 1, · · · , k. XJH0 §·, KV«pj ATÜÍ‚·3´m(aj−1, aj ] ™«fj = nj/n C, Ÿ•nj L´ ÉA™Í. pi äÿ¹ôÎÍû, u⁄O˛ χ 2 = X k j=1 (nj − npj ) 2 npj , 4
否则取 X2=卢血- 1=1 其中；是将p:中的未知参数换成适当的估计后得到的p:的估计.拒绝域取为 {x2>X2-r-1(a)} 如果p:中不含未知参数，则r=0. 使用x2进行拟合优度检验时一般要求n≥50，n≥5，j=1,·,k,如果不满足这个条 件，最好把某些组作适当合并 例5.从某连续总体中抽取一个样本量为100的样本，发现样本均值和样本标准差分别为-0.225 和1.282，落在不同区间的频数如下表所示： 区间 (-00,-1) [-1,-0.5) [-0.5,0) [0,0.5) [0.5,1) [1,oo) 观测频数 25 10 18 24 10 13 理论频数 27 14 15 14 13 17 可否在显著性水平0.05下认为该总体服从正态分布？ 解：设理论正态分布的均值和方差分别为μ和σ2，记第i个区间为(a-1,a,i=1,·,6,则 样本落在第i个格子的理论概数为100P(a-1X(n)
ƒK χ 2 = X k j=1 (nj − npˆj ) 2 npˆj , Ÿ•pˆi ¥Úpi •ôÎÍܧ·Opi O. ·˝çè χ 2 > χ2 k−r−1 (α) . XJpi •ÿ¹ôÎÍ, Kr = 0. ¶^χ 2 ?1[‹`›uûòÑá¶n ≥ 50, npˆj ≥ 5, j = 1, · · · , k, XJÿ˜v˘á^ á, Å–r, |ä·‹ø. ~ 5. l,ÎYoN•ƒòá ˛è100 , uy ˛ä⁄ IO ©Oè−0.225 ⁄1.282, ·3ÿ”´m™ÍXeL§´: ´m (−∞, −1) [−1, −0.5) [−0.5, 0) [0, 0.5) [0.5, 1) [1, ∞) *ˇ™Í 25 10 18 24 10 13 nÿ™Í 27 14 15 14 13 17 åƒ3wÕ5Y²0.05 e@èToN—l©Ÿ? ): nÿ©Ÿ˛ä⁄ê ©Oèµ ⁄σ 2 , P1i á´mè(ai−1, ai , i = 1, · · · , 6, K ·31i áÇfnÿVÍè100P(ai−1 X(n) . (2.2) 5
这里X(≤X2)≤…≤Xm是样本X1,…,Xn的次序统计量.Fn()的性质见§1.3三. 令检验统计量为 D.=-喂tB.(回-Fa (2.3) Dn常称为Fn与Fo之间的柯氏距离.由Glirenko-Cantelli定理知，如果Ho成立，则P(lim Dn= 0)=1.换言之，如果Ho成立，n又较大，Dn的值倾向于取小值.如果Dn值太大，倾向于否 定H.即检验可叙述为：当Dn≥c时否定Ho,c为临界值，待定.其拟合优度的计算公式如下： 在有了具体样本后，计算出Dn的具体值Do,则概率 p(Do)=P(Dn≥Do Ho) (2.4) 就是在柯氏距离下，样本X1,·,Xn与理论分布Fo(z)的拟合优度.若指定一个阀值α（亦称检 验水平)，则需定出一个常数Dna,使得 p(Dn,a)=P(DnDn,aHo)=a, (2.5) 则当Dn>Dn,a时否定Ho,不然就接受Ho,这就是柯氏拟合优度检验.当n较小时，Dn,a己制 成表，见附表13. Pearson x2检验与柯尔莫哥洛夫检验的比较：大体上可以这样说：在总体X为一维且理论 分布为完全已知的连续分布时，柯尔莫哥洛夫检验优于X检验.这是因为：()Pearson x统 计量之值依赖于把(-∞，+∞)分为r个区间的具体分法，包括π的选取和区间的位置，柯氏距 离supFn-Fo则没有这个依赖性.()一般说来柯氏方法鉴别力强.也就是说，在F%不是总 体X的分布时，用柯氏检验法较容易发现」 另一方面，Pearson x2检验也有它的优点：()当总体X是多维时，处理方法与一维一样， 极限分布的形式也与维数无关.()尤其重要的是：对于理论分布包含未知参数时，X检验 容易处理，但柯氏方法处理起来很难」 二、斯米尔洛夫检验 设X1,…,Xm4为抽自具有一维连续分布总体F的简单随机样本，i=1,2,且合样本独立. 设F乃(x),F2(x)是未知的两个连续函数.考虑检验问题 H0:F(x)=F2(x),-o0: 当x≤0， lim P n1 2D,≤=K 、Vn1+n2 6
˘pX(1) ≤ X(2) ≤ · · · ≤ X(n)¥ X1, · · · , XngS⁄O˛. Fn(x)5üѧ 1.3 n. -u⁄O˛è Dn = sup −∞ Dn, αûƒ½H0,ÿ,“…H0,˘“¥Öº[‹`›u. nû, Dn, αÆõ §L, ÑNL13. Pearson χ 2uÜÖ#x‚Åu': åN˛å±˘`: 3oNXèòëÖnÿ ©Ÿè ÆÎY©Ÿû, Ö#x‚Åu`uχ 2u. ˘¥œè: (i) Pearson χ 2⁄ O˛Éäù6ur(−∞, +∞)©èrá´m‰N©{, ù)r¿⁄´m†ò, ֺ lsup |Fn − F0|Kvk˘áù65. (ii) òÑ`5Öºê{ÅOÂr. è“¥`, 3F0ÿ¥o NX©Ÿû, ^Öºu{N¥uy. ,òê°, Pearson χ 2uèkß`:: (i) oNX¥ıëû, ?nê{Üòëò, 4Å©Ÿ/™èÜëÍÃ'. (ii) cŸá¥: Èunÿ©Ÿù¹ôÎÍû, χ 2u N¥?n, Öºê{?nÂ5ÈJ. !dí‚Åu Xi1, · · · , Xinièƒg‰kòëÎY©ŸoNFi{¸ëÅ ,i = 1, 2,Ö‹ ’·. F1(x), F2(x)¥ô¸áÎYºÍ. ƒuØK H0 : F1(x) = F2(x), −∞ 0; 0, x ≤ 0, lim n1→∞ n1→∞ P r n1n2 n1 + n2 Dn1, n2 ≤ x = K(x), 6
其中K(x)与(？)同.D克，n2和D1,n2分别称为单边和双边的斯米尔洛夫检验统计量 如果要检验的原假设是(2.6，取Dn1,n2作为检验统计量，则当Dm12>Dn1,n2:a时否 定Ho.临界值 nin2 Dn1,n2a=入 n1+n2 其中λ的值可由附表14查出.这就是斯米尔洛夫检验 若假设检验问题为 H0:F(z)≤F2(x)←→K:F(x)>F2(x),x∈(-o,∞)， 则用Dtz作为检验统计量 三、正态性检验 在实际工作中常常要检验一个随机变量是否服从正态分布，这叫做正态性检验.前面 介绍的Pearson X2检验、柯氏检验法等当然可以使用.但是由于上述方法是通用的，适用面 广，故有针对性不强的缺点.这些方法都没有充分利用原假设成立时的信息，检验功效不高. 对正态分布往往可以找到针对这类特定分布功效较高的检验。下面介绍的两种基于次序统 计量的正态性检验：小样本（样本大小在3-50之间）的W检验和大样本（样本大小在50-1000之 间)的D检验可以克服上述缺点，提高检验的功效.这两个方法已被列入我国统计方法的国家 标准GB4882-85之中，见参考文献9. 1.W检验(Wilk检验) 考虑检验问题： Ho:X服从正态分布←→H1:X不服从正态分布， (2.7) 设X1,…,Xn为来自正态总体X~N(4o2)的样本，X≤…≤X(m为其次序统计量. 设Y=(X-μ)/a,i=1,…,n,则Yi,…,Ynii.d.N(0,1).令 a=a-4 ei=X()-E(X(i)), m=E(Y),i=1,2,…,n 注意m1,·,mn是与μ，σ2无关的确定的数.显然有 X()=μ+0m+e,i=1,2,…,n, (2.8) 其中e=(e1,…,en)'是均值为0，协方差阵为V的n维向量. 作一直角坐标系，横轴表示Xd,纵轴表示m.由(2.8)可见，在这个坐标系中(Xa),m1),(X(2,m2), ,(Xm,mn)应该大致成一条直线，微小的差别是由随机误差e,造成的.怎样判别n个点是 否近似在一条直线上呢？我们可以计算一下X=(X1,…,Xn)'和m=(m1,…,mn)之间的 相关系数R, (含Xo-xm-m R2 含(X0-P2m0-mP 7
Ÿ•K(x)Ü(??)”. D+ n1, n2⁄Dn1, n2©O°è¸>⁄V>dí‚Åu⁄O˛. XJáub¥(2.6), Dn1, n2äèu⁄O˛, KDn1, n2 > Dn1, n2;αûƒ ½H0. .ä Dn1, n2;α = λ r n1n2 n1 + n2 , Ÿ•λäådNL14—. ˘“¥dí‚Åu. ebuØKè H0 : F1(x) ≤ F2(x) ←→ K : F1(x) > F2(x), x ∈ (−∞, ∞), K^D+ n1,n2äèu⁄O˛. n!5u∗ 3¢SÛä•~~áuòáëÅC˛¥ƒ—l©Ÿ, ˘â5u. c° 0 Pearson χ 2u!Öºu{ ,屶^. ¥du˛„ê{¥œ^, ·^° 2, kÈ5ÿr":. ˘ ê{—vkø©|^b§·û&E, uıÿp. È©Ÿ å±ÈÈ˘aA½©Ÿıpu. e°0 ¸´ƒugS⁄ O˛5u: ( å33–50Ém)W u⁄å ( å350–1000É m)Duå±é—˛„":, Jpuı. ˘¸áê{Æ\·I⁄Oê{I[ IOGB4882-85É•, ÑΩz[9]. 1. Wu(Wilku) ƒuØK: H0 : X—l©Ÿ ←→ H1 : Xÿ—l©Ÿ. (2.7) X1, · · · , Xnè5goNX ∼ N(µ, σ2 ) , X(1) ≤ · · · ≤ X(n)èŸgS⁄O˛. Yi = (Xi − µ)/σ, i = 1, · · · , n, KY1, · · · , Yn i.i.d. ∼ N(0, 1). - Y(i) = X(i) − µ σ , ei = X(i) − E(X(i)), mi = E(Y(i)), i = 1, 2, · · · , n. 5øm1, · · · , mn¥Üµ, σ2Ã'(½Í. w,k X(i) = µ + σmi + ei , i = 1, 2, · · · , n, (2.8) Ÿ•e = (e1, · · · , en) 0¥˛äè0, ê èV nëï˛. äòÜãIX, Ó¶L´X(i) ,p¶L´mi .d(2.8)åÑ,3˘áãIX•(X(1), m1), (X(2), m2), · · · ,(X(n) , mn) ATåó§ò^ÜÇ, á O¥dëÅÿ eiE§. NOná:¥ ƒCq3ò^ÜDzQ? ·Çå±OéòeX = (X1, · · · , Xn) 0 ⁄m = (m1, · · · , mn) 0 Ém É'XÍR, R 2 = Pn i=1 (X(i) − X)(mi − m) 2 Pn i=1 (X(i) − X) 2 Pn i=1 (m(i) − m) 2 . 7
显然0≤2≤1，当R越接近1，X与m的线性关系越明显.因此当Ho成立，诸X:服从N(μ，σ2)时， R接近1.可见当R2<c(c为较小的正数，待定)时倾向于否定Ho 由于N(0,)是对称分布，所以(a,…,Ym)与(-Ym,…,-)有相同的联合分布，从 而Yk)与-Ym+1-k)同分布，故mk=mn+1-k,k=1,…,n,元=0，于是 (mx(o) [n/2 R2= =1 (2.9) 含Xo-宫m 宫X- 此处b:=mn+1-i/√∑=1m.因此W=R2可作为检验统计量 夏皮诺(Shapiro)和威尔克(Wilk)对(2.9)作了修正得到检验统计量（详见参考文献[4P294): [n/2 a(Xa+1-0-Xa }/x- (2.10) i1 i=1 在n≤50时，{a:i≤[n/2]}的值已制成表，详见附表15.公式(2.10)可以用来简化统计量W的 计算 可以证明，检验统计量W的一个重要性质：即在正态假设Ho成立时，W的分布仅与样本容 量n有关（详见[4中引理5.5.4）.因而在讨论有关统计量W的问题时无妨假定样本来自N(0,1)分 布. 如前所述，W是个数对之间的相关系数的平方，因此0≤W≤1.由线性模型理论可知 在正态假设Ho下，这个数对之间基本上存在线性关系，故W取值应接近于1.因此，给定检 验水平α后，检验问题(2.7)的W检验是 当W≤W时，否定H,否则接受H (2.11) 其中W按公式(2.10)计算，临界值Wa可由附表16查出.附表16是根据W的分布仅与样本容量n有 关的这个性质，利用随机模拟法编制而成的。 例6.62为了检验一批煤灰砖中各块砖的抗压强度的变化是否服从正态分布，从中随 机取10块得抗压强度数（由小到大排列）为： 57,66,74,77,81,87,91,95,97,109 试检验这些数据是否与正态分布相等？（α=0.05） 解将数据填入下表 工( 工(11-) 工(11-0一E) ai 1 57 109 52 0.5739 2 66 97 31 0.3291 74 95 21 0.2141 4 77 91 14 0.1224 5 81 87 8 0.0399
w,0 ≤ R2 ≤ 1,R2C1, XÜmÇ5'X²w. œdH0§·, ÃXi—lN(µ, σ2 )û, R2C1. åÑR2 < c (cèÍ, ñ½)ûñïuƒ½H0. duN(0, 1)¥È°©Ÿß§±(Y(1), · · · , Y(n))Ü(−Y(n) , · · · , −Y(1)) kɔȋ©Ÿßl Y(k)Ü−Y(n+1−k)”©Ÿ, mk = mn+1−k, k = 1, · · · , n, m = 0,u¥ R 2 = Pn i=1 miX(i) 2 Pn i=1 (X(i) − X) 2 Pn i=1 m2 i = h [n/ P 2] i=1 bi(X(n+1−i) − X(i)) i2 Pn i=1 (X(i) − X) 2 , (2.9) d?bi = mn+1−i pPn i=1 m2 i .œdW = R2 åäèu⁄O˛. gôÏ(Shapiro)⁄%é(Wilk)È(2.9)ä ?u⁄O˛(çÑΩz[4] P294): W = [ X n/2] i=1 ai X(n+1−i) − X(i) 2 Xn i=1 X(i) − X 2 (2.10) 3n ≤ 50û, {ai : i ≤ [n/2]}äÆõ§L, çÑNL15. ˙™(2.10)å±^5{z⁄O˛W Oé. å±y²,u⁄O˛Wòáá5ü: =3bH0§·û, W©Ÿ=Ü N ˛nk'(çÑ[4]•⁄n5.5.4). œ 3?ÿk'⁄O˛WØKûÃîb½ 5gN(0, 1)© Ÿ. Xc§„, W¥náÍÈÉmÉ'XͲê, œd0 ≤ W ≤ 1.dÇ5 .nÿå 3bH0e, ˘náÍÈÉmƒ ˛3Ç5'X, WäACu1. œd, â½u Y²α, uØK(2.7)Wu¥ W ≤ Wαû, ƒ½H,ƒK…H. (2.11) Ÿ•WU˙™(2.10)Oé,.äWαådNL16—. NL16¥ä‚W©Ÿ=Ü N˛nk '˘á5ü, |^ëÅ [{?õ §. ~6.6.2 è uò1uù<•à¨<|ÿr›Cz¥ƒ—l©Ÿ, l•ë Å10¨|ÿr›Í(då¸) è: 57, 66, 74, 77, 81, 87, 91, 95, 97, 109 £u˘ Í‚¥ƒÜ©ŸÉ ?(α = 0.05) ) ÚÍ‚W\eL i x(i) x(11−i) x(11−i) − x(i) ai 1 57 109 52 0.5739 2 66 97 31 0.3291 3 74 95 21 0.2141 4 77 91 14 0.1224 5 81 87 6 0.0399 8
其中，a这一列的值由附表15根据n=10查得.经计算得 10 10 0=834， 10 710834=83.4, i=1 i=1 1 ∑x%-102-71736-10×695.56=2180.4, i=1 i=1 ∑a,(c-0-r0）=46.494, (cn =2161.692 =1 于是有 =[aw-/an-- 10 2161.7 =0.99 2180.4 由a=0.05,n=10,查附表16得W0.05=0.84250时很难计算附表15中的相应的值.为此人们提出了D检验.达戈斯底 纳(Dagostino)建议在n>50时用 (6-)X D- (2.12) (元)3 作为检验统计量.由此导出的检验方法，称为D检验 可以证明，在正态假设Ho成立时，D的分布仅与样本容量n有关，且 E(D)≈0.28209479，Var(D)≈0.02998598/V元 将D标准化得 Y=Vm(D-0.28209479) 0.02998598 可以证明：当正态性假定Ho成立，且n→o∞时有 y乡N0,1) 但是统计量Y趋向于标准正态分布的速度很慢，以致于=100时，Y的分布与标准正态分布 仍有不可忽略的偏差.故Dagostina用随机模拟法获得Y的分位数值（见附表17） 大量模拟表明，在Ho成立时，Y的值集中在零左右，在正态性假定不成立时，Y的值不是 偏小就是偏大，因此检验问题(2.7)水平为α的D检验是 当Y≤Y-a2或Y2Ya/2时，否定H;否则就接受H. (2.13) 其中Ya/2和Yi-a/2分别是Y的上侧a/2和1-a/2分位数，其值可从附表17查出. 9
Ÿ•, ai˘òädNL15ä‚n = 10. ²Oé X 10 i=1 x(i) = 834, 1 10 X 10 i=1 x(i) = x = 1 10 834 = 83.4 , X 10 i=1 (x(i) − x) 2 = X 10 i=1 x 2 (i) − 10x 2 = 71736 − 10 × 6955.56 = 2180.4 , X 5 i=1 ai(x(11−i) − x(i)) = 46.494, hX 5 i=1 ai(x(11−i) − x(i)) i2 = 2161.692 u¥k W = hX 5 i=1 ai(x(11−i) − x(i)) i2 X 10 i=1 (x(i) − x) 2 = 2161.7 2180.4 = 0.99 dα = 0.05, n = 10,NL16W0.05 = 0.842 50ûÈJOéNL15•ÉAä. èd 50û^ D = Pn i=1 (i − n+1 2 )X(i) ( √ n ) 3 s Pn i=1 (X(i) − X) 2 (2.12) äèu⁄O˛. dd—uê{, °èDu. å±y², 3bH0§·û, D©Ÿ=Ü N˛nk', Ö E(D) ≈ 0.28209479, p V ar(D) ≈ 0.02998598/ √ n ÚDIOz Y = √ n(D − 0.28209479) 0.02998598 å±y²: 5b½H0§·, Ön → ∞ûk Y L −→ N(0, 1) ¥⁄O˛Y ™ïuIO©ŸÑ›È˙, ±óun = 100û, Y ©ŸÜIO©Ÿ Ekÿå—† . Dagostina ^ëÅ [{ºY ©†Íä(ÑNL17) . å˛ [L², 3H0§·û, Y ä8•3"Üm, 35b½ÿ§·û, Y äÿ¥ †“¥†å, œduØK(2.7)Y²èαDu¥ Y ≤ Y1−α/2½Y ≥ Yα/2û, ƒ½H;ƒK“…H. (2.13) Ÿ•Yα/2⁄Y1−α/2©O¥Y ˛˝α/2⁄1 − α/2 ©†Í, ŸäålNL17—. 9
