简介 1.1多总体均值的比较 1 1.2 单因素多元方差分析...。 3 1.2.1处理效应的同时置信区间 13 1.3双因素多元方差分析 19 1.3.1效应差异的同时置信区间 26 1.4轮廓分析中的应用 。。 28 Previous Next First Last Back Forward 1
简介 1.1 多总体均值的比较 . . . . . . . . . . . . . . . 1 1.2 单因素多元方差分析 . . . . . . . . . . . . . . 3 1.2.1 处理效应的同时置信区间 . . . . . . . 13 1.3 双因素多元方差分析 . . . . . . . . . . . . . . 19 1.3.1 效应差异的同时置信区间 . . . . . . . 26 1.4 轮廓分析中的应用 . . . . . . . . . . . . . . . 28 Previous Next First Last Back Forward 1
1.1多总体均值的比较 ·常常需要对g个p维总体（或者处理）的均值进行比较(g≥2). 从g个总体中随机抽样得到独立样本（或者随机的将，个体 分配到第飞个处理)： 总体1X11,X12,,X1n 总体2：X21,X22,,X2n2 总体g:Xg1,Xg2,,Xgng ·感兴趣的问题是：g个总体的均值向量是否相同？若不同，均值 向量的哪些分量显著不同？ ·一元/多元方差分析(ANOVA/MANOVA)就是解决此类问题 的主要工具 Previous Next First Last Back Forward
1.1 多总体均值的比较 • 常常需要对 g 个 p 维总体 (或者处理) 的均值进行比较 (g ≥ 2). 从 g 个总体中随机抽样得到独立样本 (或者随机的将 nk 个体 分配到第 k 个处理): 总体 1: X11, X12, . . . , X1n1 总体 2: X21, X22, . . . , X2n2 . . . 总体 g: Xg1, Xg2, . . . , Xgng • 感兴趣的问题是:g 个总体的均值向量是否相同? 若不同, 均值 向量的哪些分量显著不同? • 一元/多元方差分析 (ANOVA/MANOVA) 就是解决此类问题 的主要工具. Previous Next First Last Back Forward 1
。 如果所有的nk-p都很大(k=1,,g),则对g个总体/处理 的均值进行比较时常假设 -Xk1,Xk2,,Xknk i.i.dp元分布(uk,k),k=1,2,,9 一g个总体的样本单元之间相互独立 ·当样本量较小时，我们一般需要更多的假设： -Xki,Xk2;...,Xknk i.i.d~Np(k,Ek),k 1,2,...,g -∑1=…=卫g 一g个总体的样本单元之间相互独立 Previous Next First Last Back Forward 2
• 如果所有的 nk − p 都很大 (k = 1, . . . , g), 则对 g 个总体/处理 的均值进行比较时常假设 – Xk1, Xk2, . . . , Xknk i.i.d p元分布 (µk , Σk), k = 1, 2, . . . , g – g 个总体的样本单元之间相互独立 • 当样本量较小时, 我们一般需要更多的假设: – Xk1, Xk2, . . . , Xknk i.i.d ∼ Np(µk , Σk), k = 1, 2, . . . , g – Σ1 = · · · = Σg – g 个总体的样本单元之间相互独立 Previous Next First Last Back Forward 2
1.2单因素多元方差分析 ·当实验仅涉及一个因素，该因素有不同的水平（处理），个体完 全随机分配到因素的各水平下来研究各水平的平均差异时，称 为单因素方差分析(One-way ANOVA) ·对9个处理的均值进行比较，常用的想法是对样本波动性按照 来源进行分解： 1.因为处理的平均值差异带来的波动性（组间波动性） 2.因为测量误差或同一处理组内个体的差异（组内波动性） 一元Anova(完全随机化设计) 对p=1,我们回顾一下单因素一元方差分析方法.此时 ·第k组样本Xk1,Xk2,·,Xknk i.i.d心N1(k,o2),k= 1,2,9 Previous Next First Last Back Forward 3
1.2 单因素多元方差分析 • 当实验仅涉及一个因素, 该因素有不同的水平 (处理), 个体完 全随机分配到因素的各水平下来研究各水平的平均差异时, 称 为单因素方差分析 (One-way ANOVA). • 对 g 个处理的均值进行比较, 常用的想法是对样本波动性按照 来源进行分解: 1. 因为处理的平均值差异带来的波动性 (组间波动性) 2. 因为测量误差或同一处理组内个体的差异 (组内波动性) 一元 Anova(完全随机化设计) 对 p = 1, 我们回顾一下单因素一元方差分析方法. 此时 • 第 k 组样本 Xk1, Xk2, . . . , Xknk i.i.d ∼ N1(µk, σ2 ), k = 1, 2, . . . , g Previous Next First Last Back Forward 3
·各组样本之间相互独立 ·感兴趣的假设是H0:1=…4g+H1:k卡L,s.t.k卡 想法 ·将均值表达/分解为k=4十Tk,其中μ表示总平均，k= k一μ表示第k个总体的效应，为保证可识别性，常施加限制 ∑kTk=0或Tg=0之类的 ·样本XkN(u+Tk,o2),j=1,,nk;k=1,9.即 Xkj =H+Tk ekj;ekis i.i.d~N(0,a2) 为保证可识别性，R默认令T1=0,SAS默认令Tg=0. ·此时考虑的零假设等价于Ho:T=·=Tk=0这等价于要 对回归系数进行检验 Previous Next First Last Back Forward 4
• 各组样本之间相互独立 • 感兴趣的假设是 H0 : µ1 = · · · µg ↔ H1 : ∃k ̸= l, s.t. µk ̸= µl 想法 • 将均值表达/分解为 µk = µ + τk, 其中 µ 表示总平均, τk = µk − µ 表示第 k 个总体的效应, 为保证可识别性, 常施加限制 ∑ k τk = 0 或 τg = 0 之类的. • 样本 Xkj ∼ N(µ + τk, σ2 ), j = 1, . . . , nk; k = 1, . . . , g. 即 Xkj = µ + τk + ekj , e ′ kj s i.i.d ∼ N(0, σ 2 ) 为保证可识别性, R默认令 τ1 = 0, SAS默认令 τg = 0. • 此时考虑的零假设等价于 H0 : τ1 = · · · = τk = 0 这等价于要 对回归系数进行检验 Previous Next First Last Back Forward 4
·似然比检验方法是可行的，但习惯上常使用方差分解的想法来 导出检验统计量. ·方差分析由上述分解，基于样本可以进行类似的分解： Ikj= 玉十（伍k-)十(xk与-Ek) 观测值=总的样本平均+估计的处理效应+残差 这等价于 -玉 (色一到 (工k-玉k) Overall variability Between-group var.Within-group var. 其中五=是∑k,k为μ的估计，n=∑knk,k=∑，rk, =(⑦k一)为k的估计，(xk-k)为ek的估计. Previous Next First Last Back Forward
• 似然比检验方法是可行的, 但习惯上常使用方差分解的想法来 导出检验统计量. • 方差分析 由上述分解, 基于样本可以进行类似的分解: xkj = x¯ + (¯xk − x¯) + (xkj − x¯k) 观测值 = 总的样本平均 + 估计的处理效应 + 残差 这等价于 xkj − x¯ | {z } Overall variability = (¯xk − x¯) | {z } Between-group var. + (xkj − x¯k) | {z } Within-group var. 其中 x¯ = 1 n ∑ k,j xkj 为 µ 的估计, n = ∑ k nk, x¯k = 1 nk ∑ j xkj , τˆk = (¯xk − x¯) 为 τk 的估计, (xkj − x¯k) 为 ekj 的估计. Previous Next First Last Back Forward 5
·对假设检验问题Ho:T1=··=Tk=0,通过评定处理效应相 对于残差对样本波动性的贡献程度来进行.波动性可以通过平 方和(SS,sum of squares)来度量，因此 SStoL SStr SSres ∑-到=∑n(-到}+∑e-) k, k.i ·从而当 F= SSur/(g-1) SSres/(n-g) >Fg-1.n-g(a) 时拒绝零假设Ho.计算上常表示为下面的方差分析表： Source Sum of Degree of of variation squares(SS) freedom(df) MS Treatments SSurt 9-1 SSir/(g-1) Residual SSres n-g SSres/(n-g) Total SStoL n-1 Previous Next First Last Back Forward 6
• 对假设检验问题 H0 : τ1 = · · · = τk = 0, 通过评定处理效应相 对于残差对样本波动性的贡献程度来进行. 波动性可以通过平 方和 (SS, sum of squares) 来度量, 因此 SStot = SStr + SSres ∑ k,j (xkj − x¯) 2 = ∑ k nk(¯xk − x¯) 2 + ∑ k,j (xkj − x¯k) 2 • 从而当 F = SStr/(g − 1) SSres/(n − g) > Fg−1,n−g(α) 时拒绝零假设 H0. 计算上常表示为下面的方差分析表: Source Sum of Degree of of variation squares(SS) freedom(df) MS Treatments SStrt g − 1 SStrt/(g − 1) Residual SSres n − g SSres/(n − g) Total SStot n − 1 Previous Next First Last Back Forward 6
多元方差分析(MANOVA)现在将前面讨论的Anova推广到观 测Xk,为p元向量场合，此时的方差分析方法即称为多元方差分析 法(MANOVA). 假设（完全随机化设计） ·第k组样本Xk1,Xk2,,Xknk i.i.d~Nn(k,),k=1,2,,g ·各组样本之间相互独立 。感兴趣的假设是H0:山1=…4g什H1:k卡L,s.t.k卡凸1 类似于一元场合，我们有 。总体模型可以表示为 Xk与=μ+Tk+ekj,其中ekis i.i..d心Nn(0,) 其中为保证参数识别性，假设∑kkTk=0或者其他约束 Previous Next First Last Back Forward
多元方差分析 (MANOVA) 现在将前面讨论的 Anova 推广到观 测 Xkj 为 p 元向量场合, 此时的方差分析方法即称为多元方差分析 法 (MANOVA). 假设(完全随机化设计) • 第 k 组样本 Xk1, Xk2, . . . , Xknk i.i.d ∼ Np(µk , Σ), k = 1, 2, . . . , g • 各组样本之间相互独立 • 感兴趣的假设是 H0 : µ1 = · · · µg ↔ H1 : ∃k ̸= l, s.t. µk ̸= µl 类似于一元场合, 我们有 • 总体模型可以表示为 Xkj = µ + τ k + ekj , 其中 e ′ kj s i.i.d ∼ Np(0, Σ) 其中为保证参数识别性, 假设 ∑ k nkτ k = 0 或者其他约束. Previous Next First Last Back Forward 7
·样本波动性分解 Xkj-x=(k)+(Xkj-Xk) 于是总平方和与交叉乘积 马K,-XX,-刘y-∑m(-x0x-xy B +∑(X-x)(Xk-X)1 k.j W ·相应的自由度 m-1=g-)+(-) Previous Next First Last Back Forward f
• 样本波动性分解 Xkj − X¯ = (X¯ k − X¯ ) + (Xkj − X¯ k) 于是总平方和与交叉乘积 ∑ k,j (Xkj − X¯ )(Xk,j − X¯ ) ′ | {z } T = ∑ k nk(X¯ k − X¯ )(X¯ k − X¯ ) ′ | {z } B + ∑ k,j (Xkj − X¯ k)(Xkj − X¯ k) ′ | {z } W • 相应的自由度 ∑g i=1 ni − 1 = (g − 1) + (∑g i=1 ni − g ) Previous Next First Last Back Forward 8
·从而对假设Ho:T1=…=Tg=0,Wk'sA*检验统计量( 和似然比检验等价) A*= W B+W ·从而当B相对于W比较“小”，则A将靠近1，否则△比较 小 ·因此当A*较小时候拒绝Ho, ·统计量△·的精确分布在一些特殊情况下可以得出，但对一般 场合难以得出 Previous Next First Last Back Forward 9
• 从而对假设 H0 : τ 1 = · · · = τ g = 0, Wilk’s Λ ∗检验统计量 ( 和似然比检验等价) Λ ∗ = |W| |B + W| • 从而当 B 相对于 W 比较 “小”, 则 Λ ∗ 将靠近 1, 否则 Λ ∗ 比较 小. • 因此当 Λ ∗ 较小时候拒绝 H0. • 统计量 Λ ∗ 的精确分布在一些特殊情况下可以得出, 但对一般 场合难以得出. Previous Next First Last Back Forward 9