简介 1.1 最大似然估计.. 1 1.2 最大似然估计的性质 12 l.3 Wishart分布，. 17 1.4评估正态性假设... 21 1.5异常点检测 32 1.6正态化变换 35 Previous Next First Last Back Forward 1
简介 1.1 最大似然估计 . . . . . . . . . . . . . . . . . . 1 1.2 最大似然估计的性质 . . . . . . . . . . . . . . 12 1.3 Wishart 分布 . . . . . . . . . . . . . . . . . . 17 1.4 评估正态性假设 . . . . . . . . . . . . . . . . . 21 1.5 异常点检测 . . . . . . . . . . . . . . . . . . . 32 1.6 正态化变换 . . . . . . . . . . . . . . . . . . . 35 Previous Next First Last Back Forward 1
多元正态分布的参数：和∑可以使用不同的统计推断方法来估 计. 1.1最大似然估计 设X1,,Xnii.dNn(μ，)，则负对数似然函数为 a,)x号1og1四+2∑(x-r空'(x-四 =2ogl+2r四-∑(x:-刘'x-刘划 +分u-刘②'(u-刘 Previous Next First Last Back Forward 1
多元正态分布的参数 µ 和 Σ 可以使用不同的统计推断方法来估 计. 1.1 最大似然估计 设 X1, . . . , Xni.i.d ∼ Np(µ, Σ), 则负对数似然函数 为 l(µ, Σ) ∝ n 2 log|Σ| + 1 2 ∑n i=1 (xi − µ) ′Σ −1 (x − µ) = n 2 log|Σ| + 1 2 tr[Σ−1∑n i=1 (xi − x¯) ′ (xi − x¯)] + n 2 (µ − x¯) ′Σ −1 (µ − x¯) Previous Next First Last Back Forward 1
最大化似然函数等价于最小化上述函数.令“.=0和“= 0,(忽略Σ的对称性)我们得到 -81∑x-四=0， n1--1∑x-x-四z-1=0 从而得到解 =x应= ∑x-(x- 注意到 1(,)≥（位，），等号成立当且仅当μ=立 从而 min l(u,)=min 1(庄，) μ，2>0 320 Previous Next First Last Back Forward 2
最大化似然函数等价于最小化上述函数. 令 ∂l(µ,Σ) ∂µ = 0 和 ∂l(µ,Σ) ∂Σ = 0, (忽略 Σ 的对称性) 我们得到 −Σ −1∑n i=1 (xi − µ) = 0, nΣ −1 − Σ −1∑n i=1 (xi − µ)(xi − µ) ′Σ −1 = 0 从而得到解 µˆ = x¯, Σ =ˆ 1 n ∑n i=1 (x − µˆ)(x − µˆ) ′ 注意到 l(µ, Σ) ≥ l(ˆµ, Σ), 等号成立当且仅当 µ = ˆµ 从而 min µ,Σ>0 l(µ, Σ) = min Σ>0 l(ˆµ, Σ) Previous Next First Last Back Forward 2
下面的引理证明了立是（位，）的最小值点.从而得到最大似然估计 fmle=元， 其中文=∑=1X 引理1.设B为p阶正定矩阵，n>0为实数，在对所有p阶正定矩 阵∑有 21ogl四+r-B周≥log+罗1--logn) 当且仅当∑=品B时等号成立. 证明.由B>0,故存在可逆对称阵C,使得B=CC.记立= C-1C-1,则=B,有 21ogl闷+r-周=1 og+1ogl闷l+ri-1 i=1 Previous Next First Last Back Forward 3
下面的引理证明了 Σˆ 是 l(ˆµ, Σ) 的最小值点. 从而得到最大似然估计 µˆmle = x¯, Σˆmle = 1 n ∑n i=1 (xi − x¯)(xi − x¯) ′ 其中 x¯ = 1 n ∑n i=1 Xi. 引理 1. 设 B 为 p 阶正定矩阵, n > 0 为实数, 在对所有 p 阶正定矩 阵 Σ 有 n 2 log|Σ| + 1 2 tr[Σ−1B] ≥ n 2 log|B| + pn 2 (1 − logn) 当且仅当 Σ = 1 nB 时等号成立. 证明. 由 B > 0, 故存在可逆对称阵 C, 使得 B = CC. 记 Σ = ˜ C −1ΣC −1 , 则 |Σ| = |B||Σ˜|, 有 n 2 log|Σ| + 1 2 tr[Σ−1B] = n 2 log|B| + n 2 log|Σ˜| + 1 2 tr[Σ˜ −1 ] = n 2 log|B| + 1 2 ∑p i=1 [nlogλi + 1 λi ], Previous Next First Last Back Forward 3
其中入1≥…≥入p>0为立的特征根，于是 典ogl四+ri-B}=登ogll+鹏 nlogi] 注意到函数g()=是+nlog()在入=1/n处达到极小值，故上式当 入1=…入p=时达到极小值，即立=1，等价地 2=C2C=1cC=1B. ▣ 使用上述引理来证明∑的最大似然估计时候，需要B=∑”1(X:- )'(X:-)>0成立.这是一随机矩阵，因此我们需要证明当n>p 时，P(B>0)=1. Previous Next First Last Back Forward 4
其中 λ1 ≥ · · · ≥ λp > 0 为 Σ˜ 的特征根, 于是 min Σ>0 { n 2 log|Σ| + 1 2 tr[Σ−1B]} = n 2 log|B| + 1 2 min λj>0 ∑p i=1 [ 1 λi + nlogλi] 注意到函数 g(λ) = 1 λ + nlog(λ) 在 λ = 1/n 处达到极小值, 故上式当 λ1 = · · · λp = 1 n 时达到极小值, 即 Σ =˜ 1 n Ip, 等价地 Σ =ˆ CΣ˜C = 1 n CC = 1 n B. 使用上述引理来证明 Σ 的最大似然估计时候, 需要 B = ∑n i=1(Xi− x¯) ′ (Xi − x¯) > 0 成立. 这是一随机矩阵, 因此我们需要证明当 n > p 时,P(B > 0) = 1. Previous Next First Last Back Forward 4
定理1.设样本x1,,xnii.d~Nn(仙，)，记文=员∑1x, B=∑-1(x-)(x-)/,则 (1)文与B相互独立，且元~N(4,): (2)P(B>0)=1的充要条件是n>p. (3)和B为充分完备统计量. 证明.(1)记x=[x1,,xn'为n×p阶矩阵，则x~Nnxp(1n4,In⑧ ).再记下为n阶正交矩阵，其最后一行为(1/√元，，1/√m.作 变换 z=Tx=[z1,,2n]' 于是z~Nn×p(1n,In⑧)，因此1，·，zn相互独立，注意 到 T1n4=(0,,0,m'μ=(0，，0，m 所以名心N(0,),i=1,,n-1,2n心N(√元4，).而 元=1x1n=22T1n=20,0,同/=n/n Previous Next First Last Back Forward 5
定理 1. 设样本 x1, . . . , xn i.i.d ∼ Np(µ, Σ), 记 x¯ = 1 n ∑n i=1 xi, B = ∑n i=1(xi − x¯)(xi − x¯) ′ , 则 (1) x¯ 与 B 相互独立, 且 x¯ ∼ Np(µ, 1 n Σ); (2) P(B > 0) = 1 的充要条件是 n > p. (3) x¯ 和 B 为充分完备统计量. 证明. (1) 记 x = [x1, . . . , xn] ′ 为 n×p 阶矩阵, 则 x ∼ Nn×p(1nµ ′ , In⊗ Σ). 再记 Γ 为 n 阶正交矩阵, 其最后一行为 (1/√ n, . . . , 1/√ n). 作 变换 z = Γx := [z1, . . . , zn] ′ 于是 z ∼ Nn×p(Γ1nµ ′ , In ⊗ Σ), 因此 z1, . . . , zn 相互独立, 注意 到 Γ1nµ ′ = (0, . . . , 0, √ n) ′ µ ′ = (0, . . . , 0, √ nµ) ′ 所以 zi ∼ Np(0, Σ), i = 1, . . . , n − 1, zn ∼ Np( √ nµ, Σ). 而 x¯ = 1 n x ′ 1n = 1 n z ′Γ1n = 1 n z ′ (0, . . . , 0, √ n) ′ = zn/ √ n Previous Next First Last Back Forward 5
B x(I -111)x=T(I-11)'z --r(riy-a =1 从而文和B相互独立 (2)记(n-1)×p矩阵Z=(21,之n-1)',则B=Z4Z*,且 Rank(B)=Rank(Z.),于是命题(2)等价于要证明P(Rank(Z,)= p)=1÷n>p.必要性显然.现证充分性.若n>p,由于增加行不 会导致Z,的秩减少，因此只需证明n=p+1时满秩即可.由 P(21,,2p线性相关) 》P(24为1，，4-1,4+1，的线性组合 =pP(a为z2,,2p的线性组合)=0. 最后一式由Z1,Z2,,Z。相互独立同分布可知不可能为线性相关， Previous Next First Last Back Forward 6
B = x ′ (In − 1 n 1n1 ′ n)x = z ′Γ(In − 1 n 1n1 ′ n)Γ′ z = z ′ z − 1 n (z ′Γ1n)(z ′Γ1n) ′ = n∑−1 i=1 ziz ′ i . 从而 x¯ 和 B 相互独立. (2) 记 (n − 1) × p 矩阵 Z∗ = (z1, . . . , zn−1) ′ , 则 B = Z ′ ∗Z∗, 且 Rank(B) = Rank(Z∗), 于是命题 (2) 等价于要证明 P(Rank(Z∗) = p) = 1 ⇔ n > p. 必要性显然. 现证充分性. 若 n > p, 由于增加行不 会导致 Z∗ 的秩减少, 因此只需证明 n = p + 1 时满秩即可. 由 P(z1, . . . , zp线性相关) ≤ ∑p i=1 P(zi为z1, . . . , zi−1, zi+1, . . . , zp的线性组合) = pP(z1为z2, . . . , zp的线性组合) = 0. 最后一式由 Z1, Z2, . . . , Zp 相互独立同分布可知不可能为线性相关. Previous Next First Last Back Forward 6
(3)由因子分解定理可证充分性，完备性根据指数族性质可得。 口 在有了μ和∑的最大似然估计立和后，我们是否可以通过使 用：和替换前面定义过的回归系数，相关系数，条件协方差阵和偏 相关系数等中的μ和∑来得到相应的最大似然估计？由下面引理知 道这是可以的 引理2.设0的最大似然估计为0，若0→(0)为一一变换，则() 的最大似然估计为（⊙）. 求相关系数的最大似然估计. TExample ⊥Example 解由相关系数R=D-1∑D-1,∑→(D,R)为 一一变换，因此由Σ 的最大似然估计为立mle知D的最大似然估计为D=√diag(可)，从 而R的最大似然估计为 R=D-ISmleD-1. Previous Next First Last Back Forward
(3) 由因子分解定理可证充分性, 完备性根据指数族性质可得. 在有了 µ 和 Σ 的最大似然估计 µˆ 和 Σˆ 后, 我们是否可以通过使 用 µˆ 和 Σˆ 替换前面定义过的回归系数, 相关系数, 条件协方差阵和偏 相关系数等中的 µ 和 Σ 来得到相应的最大似然估计? 由下面引理知 道这是可以的. 引理 2. 设 θ 的最大似然估计为 ˆθ, 若 θ → ϕ(θ) 为一一变换, 则 ϕ(θ) 的最大似然估计为 ϕ( ˆθ). ↑Example 求相关系数的最大似然估计. ↓Example 解由相关系数 R = D −1ΣD −1 ,Σ → (D, R) 为一一变换, 因此由 Σ 的最大似然估计为 Σˆmle 知 D 的最大似然估计为 Dˆ = √ diag(Σ), 从 而 R 的最大似然估计为 Rˆ = Dˆ −1ΣˆmleDˆ −1 . Previous Next First Last Back Forward 7
其（亿，》元为 ij=- ∑火=1(r:-元(xk-元） ∑K=1ck:-工4P∑k=1(xk-E7 TExample 假设样本X=(Xi,,Xny~N(4,),P表示X:和X;的 相关系数，试在样本x1,·,xn下，检验假设H0:p,=0. ↓Example 解：在当前样本下，可以得到P,的最大似然估计为·由于 (X,X,)服从二元正态，且在零假设下可以证明 n-2 t=pijl 1-阀 ~In-2 即使(X,X)不服从二元正态，当样本量充分大时，上式仍然近似成 立.因此可以得到检验法则为 t>ta/2(n-2) Previous Next First Last Back Forward 8
其 (i, j) 元为 ρˆij = ∑n k=1(xki − x¯·i)(xkj − x¯·j ) √∑n k=1(xki − x¯·i) 2 ∑n k=1(xkj − x¯·j ) 2 . ↑Example 假设样本 X = (X1, . . . , Xp) ′ ∼ Np(µ, Σ), ρij 表示 Xi 和 Xj 的 相关系数, 试在样本 x1, . . . , xn 下, 检验假设 H0 : ρij = 0. ↓Example 解: 在当前样本下, 可以得到 ρij 的最大似然估计为 ρˆij . 由于 (Xi, Xj ) 服从二元正态, 且在零假设下可以证明 t = ˆρij√ n − 2 1 − ρˆ 2 ij ∼ tn−2 即使 (Xi, Xj ) 不服从二元正态, 当样本量充分大时, 上式仍然近似成 立. 因此可以得到检验法则为 |t| > tα/2(n − 2). Previous Next First Last Back Forward 8
假设样本X=(X1,,Xp)/~Nn(4,),p表示X:和X,的 TExample 相关系数，试在样本x1,,xn下，求p的1-α置信区间. ↓Example 解：记p,的最大似然估计为，则由Fisher变换 芒亮运银wN(法微) z=210g1-1 容易得到og芒兴的1-a置信区间为 ByVn-ae+月=红，刘 1 从而得到P,的1-a置信区间为 e2L-1e20-1 e2+1’e20+1 Previous Next First Last Back Forward 9
↑Example 假设样本 X = (X1, . . . , Xp) ′ ∼ Np(µ, Σ), ρij 表示 Xi 和 Xj 的 相关系数, 试在样本 x1, . . . , xn 下, 求 ρij 的 1 − α 置信区间. ↓Example 解: 记 ρij 的最大似然估计为 ρˆij , 则由Fisher 变换 zij = 1 2 log 1 + ˆρij 1 − ρˆij 近似 ∼ N ( 1 2 log 1 + ρij 1 − ρij , 1 n − 3 ) 容易得到 1 2 log 1+ρij 1−ρij 的 1 − α 置信区间为 [ zij − 1 √ n − 3 zα/2, zij + 1 √ n − 3 zα/2] = [zL, zU ] 从而得到 ρij 的 1 − α 置信区间为 [ e 2zL − 1 e 2zL + 1 , e 2zU − 1 e 2zU + 1 ] . Previous Next First Last Back Forward 9