目录 1.1 矩阵和向量基础.. 2 1.2 正定阵，非负定阵和投影阵。.·」 9 1.3 矩阵的因子分解·. 13 1.4分块矩阵 16 1.5矩阵的广义逆 18 1.6矩阵的拉直运算.. 21 1.7矩阵的微商和变换的雅可比 Previous Next First Last Back Forward 1
目录 1.1 矩阵和向量基础 . . . . . . . . . . . . . . . . . 2 1.2 正定阵, 非负定阵和投影阵 . . . . . . . . . . . 9 1.3 矩阵的因子分解 . . . . . . . . . . . . . . . . . 13 1.4 分块矩阵 . . . . . . . . . . . . . . . . . . . . 16 1.5 矩阵的广义逆 . . . . . . . . . . . . . . . . . . 18 1.6 矩阵的拉直运算 . . . . . . . . . . . . . . . . . 21 1.7 矩阵的微商和变换的雅可比 . . . . . . . . . . 25 Previous Next First Last Back Forward 1
1.1 矩阵和向量基础 多元数据常用矩阵和向量来表示，本讲我们回顾一下基础的矩阵 代数.本节小写黑体字母表示向量，如x:大写黑体字母表示矩阵，如 X 一.向量 。n维列向量：X'=x1,,x ·长度：xl=Vc子+…+x明 ·x和y的夹角：cos(O)=xi=xi x'y ·向量x在y上的投影=务y=光六=xos(O)六= y(yy)-yx=Px,其中0为x和y的夹角.P,=y(yy)-y 称为投影阵 Previous Next First Last Back Forward 2
1.1 矩阵和向量基础 多元数据常用矩阵和向量来表示, 本讲我们回顾一下基础的矩阵 代数. 本节小写黑体字母表示向量, 如 x; 大写黑体字母表示矩阵, 如 X. 一. 向量 • n 维列向量: x ′ = [x1, . . . , xn] • 长度: ∥x∥ = √ x 2 1 + · · · + x2 n • x 和 y 的夹角: cos(θ) = x′y ∥x∥∥y∥ = ∥x∥∥y∥ • 向量 x 在 y 上的投影 = x′y y′y y = ∥y∥ y ∥y∥ = ∥x∥cos(θ) y ∥y∥ = y(y ′y) −1y ′x = Pyx, 其中 θ 为 x 和 y 的夹角. Py = y(y ′y) −1y ′ 称为投影阵. Previous Next First Last Back Forward 2
向量集x1,·,x,线性相关(linearly dependent):存在不全为 零的常数c1,·,Cp使得 C91x1十·+CpXp=0 如果不存在满足上式的常数c1,,Cp,则称向量集x1,·,x线 性无关(linearly independent). 一任何含有零向量的向量集总是线性相关的 -向量集x1,,x知线性无关的充要条件是：如果一组常数 C1,,Cp使得C1x1+…十Cpxp=0,则必有c1=…=Cp=0. 一设x1,,x知是非零向量，它们线性相关的充要条件是：存在i, 使得 xi =b1x1+...+bi-1xi-1+bi+1xi+1+..+bpxp 其中b1,·,bp为常数 Previous Next First Last Back Forward 3
• 向量集 x1, . . . , xp线性相关(linearly dependent): 存在不全为 零的常数 c1, . . . , cp 使得 c1x1 + · · · + cpxp = 0 如果不存在满足上式的常数 c1, . . . , cp, 则称向量集 x1, . . . , xp线 性无关(linearly independent). – 任何含有零向量的向量集总是线性相关的 – 向量集 x1, . . . , xp 线性无关的充要条件是: 如果一组常数 c1, . . . , cp 使得 c1x1+· · ·+cpxp = 0, 则必有 c1 = · · · = cp = 0. – 设 x1, . . . , xp 是非零向量, 它们线性相关的充要条件是: 存在 i, 使得 xi = b1x1 + · · · + bi−1xi−1 + bi+1xi+1 + · · · + bpxp 其中 b1, · · · , bp 为常数. Previous Next First Last Back Forward 3
称R”的子集H为幾性空间，如果 (1)对任意的x∈H,y∈H必有x+y∈H,以及 Definition (2)cx∈H对一-切实数c成立. ·{x=[x1,,xnJ'∈R"z1+…+xn=0}为Rm的线性子空 间 。对给定的x∈R”,所有正交于x的向量构成线性空间 ·给定”中的一些向量x1,,x,令 C(x,xx)=(∑cxlC,,c)'ER™y 则C(x1,·,xk)为线性空间，称为是x1,·,xk所张成的线 性空间。 Previous Next First Last Back Forward 4
称 R n 的子集 H 为线性空间, 如果 (1) 对任意的 x ∈ H, y ∈ H 必有 x + y ∈ H, 以及 (2) cx ∈ H 对一切实数 c 成立. Definition • {x = [x1, . . . , xn] ′ ∈ R n |x1 + · · · + xn = 0} 为 R n 的线性子空 间 • 对给定的 x ∈ R n , 所有正交于 x 的向量构成线性空间 • 给定 R n 中的一些向量 x1, . . . , xk, 令 L(x1, . . . , xk) = { ∑k i=1 cixi|(c1, . . . , ck) ′ ∈ R n } 则 L(x1, . . . , xk) 为线性空间, 称为是 x1, . . . , xk 所张成的线 性空间. Previous Next First Last Back Forward 4
·n×p维矩阵A=[x1,,x]的列向量生成的线性空间记为 C(A).可以证明Rank(A)=dim(C(A) ·设H和G是两个线性子空间，若对任意的a∈H,b∈G, 有a'b=0,则称H和G正交，记作H⊥G.进一步，若 H+G=R",则称G为H的正交补空间，记作G=H+. -若A为投影阵，则C(A)与C(I-A)互为正交补空间. -A为任意矩阵，则C(A)=C(AA),C(A)=C(A'A) ·(零空间)称线性子空间N(A)={xAx=0}为矩阵A的零 空间.N(A)是A零特征根对应的特征向量所张成的线性空间. 从而 dim(N(A)+ramk(A)=q(A的列数) 易知N(A'A)=N(A),N(AA)=N(A). Previous Next First Last Back Forward 5
• n × p 维矩阵 A = [x1, . . . , xp] 的列向量生成的线性空间记为 L(A). 可以证明 Rank(A) = dim(L(A)). • 设 H 和 G 是两个线性子空间, 若对任意的 a ∈ H, b ∈ G, 有 a ′b = 0, 则称 H 和 G正交, 记作 H ⊥ G. 进一步, 若 H + G = R n , 则称 G 为 H 的正交补空间, 记作 G = H ⊥. – 若 A 为投影阵, 则 L(A) 与 L(I − A) 互为正交补空间. – A 为任意矩阵, 则 L(A) = L(AA′ ), L(A ′ ) = L(A ′A). • (零空间）称线性子空间 N (A) = {x|Ax = 0} 为矩阵 A 的零 空间. N (A) 是 A 零特征根对应的特征向量所张成的线性空间. 从而 dim(N (A)) + rank(A) = q(A的列数) 易知 N (A ′A) = N (A), N (AA′ ) = N (A ′ ). Previous Next First Last Back Forward 5
二.矩阵，行列式.逆和秩 ·np个实数排出的n行p列阵称为n×p维（实）矩阵.n=p 时称为方阵 ·若A为方阵，且A'=A,则称A为对称阵：若A=-A,则称 A为斜对称阵 ·方阵A称为是正交矩阵，若AA'=A'A=1;方阵A称为 是幂等的，若A2=A;对称的幂等阵称为是投影阵 若A=(a)为p阶方阵，记A川=∑nera11a22·apjp, 其中(1，，jp)为(1,2，…，p）的任-置换.∑m是对全 Definition 部可能的p!个置换求和，.=1或-1相应地取决于偶置 换或奇置换.A称为A的行列式. Previous Next First Last Back Forward 6
二. 矩阵, 行列式, 逆和秩 • np 个实数排出的 n 行 p 列阵称为 n × p 维 (实) 矩阵. n = p 时称为方阵. • 若 A 为方阵, 且 A ′ = A, 则称 A 为对称阵; 若 A ′ = −A, 则称 A 为斜对称阵. • 方阵 A 称为是正交矩阵, 若 AA′ = A ′A = I; 方阵 A 称为 是幂等的, 若 A 2 = A; 对称的幂等阵称为是投影阵. 若 A = (aij ) 为 p 阶方阵, 记 |A| = ∑ π ϵπa1j1 a2j2 · · · apjp , 其中 (j1, . . . , jp) 为 (1, 2, · · · , p) 的任一置换. ∑ π 是对全 部可能的 p! 个置换求和, ϵπ = 1 或 -1 相应地取决于偶置 换或奇置换. |A| 称为 A 的行列式. Definition Previous Next First Last Back Forward 6
·A=∑=1aA,其中A为元素a的代数余子式。 ·设A为p阶方阵，则aA=aPA. ·设A和B分别为p×q和q×p的矩阵，则|In+AB=Ig+BA ·若A为正交阵，则A=±1 设A为p阶方阵，若A≠0，则称A是非退化阵；若 |A川=0，则称A是退化阵.设A是p阶非退化阵，若存 Definition 在一个唯一的矩阵B,使得AB=BA=I2,则称B为矩 阵A的逆，记为B=A-1. ·(A)-1=(A-1)y,(AC)-1=C-1A-1,|A-1|=1A4-1 ·上（下）三角矩阵的逆仍为上（下）三角矩阵。 Previous Next First Last Back Forward 7
• |A| = ∑p j=1 aijAij , 其中 Aij 为元素 aij 的代数余子式. • 设 A 为 p 阶方阵, 则 |aA| = a p |A|. • 设 A 和 B 分别为 p×q 和 q×p 的矩阵, 则 |Ip+AB| = |Iq+BA| • 若 A 为正交阵, 则 |A| = ±1 设 A 为 p 阶方阵, 若 |A| ̸= 0, 则称 A 是非退化阵; 若 |A| = 0, 则称 A 是退化阵. 设 A 是 p 阶非退化阵, 若存 在一个唯一的矩阵 B, 使得 AB = BA = Ip, 则称 B 为矩 阵 A 的逆, 记为 B = A −1 . Definition • (A ′ ) −1 = (A −1 ) ′ , (AC) −1 = C −1A −1 , |A −1 | = |A| −1 • 上 (下) 三角矩阵的逆仍为上 (下) 三角矩阵. Previous Next First Last Back Forward 7
·若A和B分别为p和q阶可逆方阵，C和D分别为p×q阶 和q×p矩阵.令T=A+CBD,则 T-1=A-1-A-1C(B-1+DA-1C)-1DA-1 设A为p×q矩阵，若存在A的一个r阶子方阵的行列 式不为零，而A的所有r+1阶子方阵的行列式均为零，则 Definition 称A的秩为r,记为Rank(A)=r. Rank(A)=Rank(A')=Rank(A'A)=Rank(AA') ·Rank(A)=0,当且仅当A=0. ·0≤Rank(A)≤min(p,q). ·Rank(AB)≤min(Rank(A),Rank(B) Previous Next First Last Back Forward
• 若 A 和 B 分别为 p 和 q 阶可逆方阵, C 和 D 分别为 p × q 阶 和 q × p 矩阵. 令 T = A + CBD, 则 T −1 = A −1 − A −1C(B −1 + DA−1C) −1DA−1 设 A 为 p × q 矩阵, 若存在 A 的一个 r 阶子方阵的行列 式不为零, 而 A 的所有 r + 1 阶子方阵的行列式均为零, 则 称 A 的秩为 r, 记为 Rank(A) = r. Definition • Rank(A) = Rank(A ′ ) = Rank(A ′A) = Rank(AA′ ) • Rank(A) = 0, 当且仅当 A = 0. • 0 ≤ Rank(A) ≤ min(p, q). • Rank(AB) ≤ min(Rank(A), Rank(B)). Previous Next First Last Back Forward 8
·Rank(A+B)≤Rank(A)+Rank(B). ·若A和C为非退化方阵，则Ramk(ABC)=Rank(B). 1.2 :正定阵，非负定阵和投影阵 称p阶对称阵A为正定矩阵，如果对一切x≠0，x∈RP, 有x'Ax>0.记作A>0; Definition 称p阶对称阵A为非负定矩阵，如果对一切x∈P,有 x'Ax≥0.记作A≥0. 正定阵和非负定阵的一些性质： ·一个对称阵是正（非负）定的，当且仅当它的特征根为正（非 负). Previous Next First Last Back Forward 9
• Rank(A + B) ≤ Rank(A) + Rank(B). • 若 A 和 C 为非退化方阵, 则 Rank(ABC) = Rank(B). 1.2 正定阵, 非负定阵和投影阵 称 p 阶对称阵 A 为正定矩阵, 如果对一切 x ̸= 0, x ∈ R p , 有 x ′Ax > 0. 记作 A > 0; 称 p 阶对称阵 A 为非负定矩阵, 如果对一切 x ∈ R p , 有 x ′Ax ≥ 0. 记作 A ≥ 0. Definition 正定阵和非负定阵的一些性质: • 一个对称阵是正 (非负) 定的, 当且仅当它的特征根为正 (非 负). Previous Next First Last Back Forward 9
。若A>0.则A-1>0 ·若A>0,B>0,A-B>0,则B-1-A-1>0,且1A>|BL 。若A>0.将A分块为 4=6 其中A11为方阵，则A11>0,A22>0,A112=A11- A12A2A21>0,A22.1=A22-A21AA12>0. ·若A≥0，则必存在正交矩阵T使得 T'AT=diag{入1，λ2，，λp} 其中入：≥0，i=1,.,p为A的特征根. 在非负定矩阵中，有一类重要的矩阵叫投影阵（对称幂等阵）.它有以 下性质： Previous Next First Last Back Forward 10
• 若 A > 0, 则 A −1 > 0. • 若 A > 0, B > 0, A − B > 0, 则 B −1 − A −1 > 0, 且 |A| > |B|. • 若 A > 0, 将 A 分块为 A = ( A11 A12 A21 A22 ) 其中 A11 为方阵, 则 A11 > 0, A22 > 0, A11·2 = A11 − A12A −1 22 A21 > 0, A22·1 = A22 − A21A −1 11 A12 > 0. • 若 A ≥ 0, 则必存在正交矩阵 Γ 使得 Γ ′AΓ = diag{λ1, λ2, . . . , λp} 其中 λi ≥ 0, i = 1, . . . , p 为 A 的特征根. 在非负定矩阵中, 有一类重要的矩阵叫投影阵(对称幂等阵). 它有以 下性质: Previous Next First Last Back Forward 10