1214 作业: P2419,22,24.P261 看书 206 215 226 230 答疑时间:周二,周五下午3:30-5:30; 地点:理学院数学楼1108室或大厅
1 看书： 1214 答疑时间：周二,周五 下午 3:30-5:30； 地点: 理学院数学楼1108室 或大厅。 224 19, 22, 24. P 作业： P P 206 215 − P246 1. P P 226 230 −
§5最小二乘法与广义逆 (一)一个变量的最小二乘法 R(a) 3x=10 例4x=7记a=4,b=7 5x=8 ax=b.在R(a)中找一个向量p使b-p最小 p=ax,把作为x的近似值 (ORa=p,(b-pla, p=ax 0=(a, b-ax=a(b-ax=a'b a ax b b X - p=ax L aa aa
2 §5 最小二乘法与广义逆 , 8 7 10 , 5 4 3 5 8 4 7 3 10 = = = = = a b x x x 例 记 （一）一个变量的最小二乘法： a b p R(a) a b ax a b ax a b a ax b p b p a p ax T T T R a = − = − = − = − ⊥ = 0 ( , ) ( ) ( ) , ( ) , ( ) , . . ( ) . 把 作为 的近似值 在 中找一个向量 使 最小 p ax x x ax b R a p b p = = − , a. a a a b p ax a a a b x T T T T = → = =
(二)多变元的最小二乘法:设A是m×n矩阵, 记A=(an,a2,…,an),AX=∑xa∈R( 当AX=b无解时,即bgR(A), 记(b)x=P=AX∈R(A),这时(b-P)⊥R(A) a∈R(4,a=AY,有0=(a,b-p) (a, b-AY)=(AY, 6-AX)=Y!A(b-AX) →(b-AX)=0→AAX=Ab 把AAX=Ab称为正则方程,它的解是 AX=b的最小二乘解
3 , ( ), ( , , , ), ( ), ( ) , 1 1 2 A X b b R A A A X x R A A m n n i n i i = = = = 当 无解时 即 记 二 多变元的最小二乘法：设 是 矩阵 ( ) 0 . ( , ) ( , ) ( ). ( ), , 0 ( , ) A b AX A AX A b b AX AY b AX Y A b AX R A AY b p T T T T T → − = → = = − = − = − = = − 有 ( ) ( ), ( ) ( ) 记 b R(A) = p = AX R A 这时 b− p ⊥R A 的最小二乘解. 把 称为正则方程，它的解是 AX b A AX A b T T = =
当r(4)=n时,r(AA)=r(4)=n AA可逆.→>X=(4A)(Ab), AX=b有唯一最小二乘解 b在R(A)的投影是: P=AX=A(AA(Ab 记投影变换为σ,由上述讨论,对vb∈Rm ,o∈R(A)o=R(A),此时,R(A)2=kera R"=R(AOR(A=OV o kero, R"到R(4)的正交投影o在自然基下 的矩阵为A(4A)2(A)
4 r(A) n , r(A A) r(A) n, T 当 = 时 = = ， 此时， 记投影变换为 ，由上述讨论 对 ( ) ( ) ker , ( ), ( ), ( ) ker , , = = = = ⊥ ⊥ R R A R A V b R A V R A R A b R m m . . ( ) ( ), 1 有唯一最小二乘解 可逆 AX b A A X A A A b T T T = → = − ( ) ( ). ( ) : 1 p AX A A A A b b R A T − T = = 在 的投影是 ( ) ( ). ( ) T 1 T m A A A A R R A − 的矩阵为 到 的正交投影 在自然基下
a→>B=oa Ⅹ→Y=AX 这里Rm→R(A) 6 H p=A(A A)A b 定理20:设A是m×n矩阵,r(4)=n,则R到 R(A)的正交投影在自然基下的矩阵为 P=A(4 AA 反之,若线性变换在一组基下的矩阵是 P=A(A'A)A' 则a是R到R(4)的正交投景
5 X →Y = AX → = b p A A A A b R R A T T m 1 ( ) ( ) − = → 这里 ( ) . ( ) 20 , ( ) , T 1 T m P A A A A R A A m n r A n R − = = 的正交投影在自然基下的矩阵为 定理 ：设 是 矩阵 则 到 反之, 1 , ( ) , ( ) . T T m P A A A A R R A − = 若线性变换 在一组基下的矩阵是 则 是 到 的正交投影
(1)o=R(A), (2)kerσ=N(A)=R(A) AA)Ab=0今(AA)A4b=0分Ab=0, kero=N(A=R(A R"=oV e kero=R(AOR(A) o是R"到R(A)的正交投影 Vb∈kera,有A(AA)Ab=0,r(A)=n 兮(AA)4b=0,分Ab=0,→b∈N(A)
6 (2) ker ( ) ( ) , (1) ( ), ⊥ = = = N A R A V R A T 是R 到R(A)的正交投影. m ⊥ − − = = = = = ker ( ) ( ) ( ) 0 ( ) 0 0, 1 1 N A R A A A A A b A A A b A b T T T T T T ker ( ) ( ) . ⊥ R = V = R A R A m ( ) 0, 0, ( ) ker , ( ) 0, ( ) 1 1 T T T T T T A A A b A b b N A b A A A A b r A n = = → = = − − 有
1.当A不是列满秩,正则方程AAX=Ab即 AX=p的解不唯一,把这些解中长度最短的 称为AX=b的最优最小二乘解.用广义逆 2P=A(AA)4与R(4基向量 (或生成元)的选取无关 3利用前m次的结果来简化第m+1次的计算: (AA+aa)=[(1(A'A)aa(Aa 1+a(A Aa (n -ab)=In+a(-B'a)p
7 . , 1. , 称为 的最优最小二乘解 的解不唯一 把这些解中长度最短的 当 不是列满秩 正则方程 即 AX b AX p A A AX A b T T = = = 用广义逆 1 2. ( ) ( ) . T T P A A A A R A − = 与 基向量 （或生成元）的选取无关 ] 1 ( ) ( ) ( ) ( ) [( ) 3. 1 1 1 1 1 1 a A A a A A aa A A A A aa A A m m T T T T T T T T − − − − − + + = − 利用前 次的结果来简化第 + 次的计算： T T n T n I I I 1 1 1 ( ) ( ) − − − = + −
§5-3广义逆 定义:矩阵A的More- Penrose广义逆A是指同时 满足下列等式的矩阵X AXA=A; XAX=X,(AX)=AX; (XA)=XA 即AX互为广义逆.在实数域中AX,MA为对称阵 定理:任意矩阵的More- Penrose义逆存在且 唯一事实上,若A=LU其中LU为列行独立阵) 则A=U(UU7)(LL)L ,0 A=P 00 P(L,00=LU
8 , . , . ; ; ( ) ; ( ) : 1 即 互为广义逆 在实数域中 为对称阵 满足下列等式的矩阵 定义 ：矩阵 的 广义逆 是指同时 A X A X X A AXA A XAX X A X A X X A X A X A Moore Penrose A T T = = = = − + 1 1 1 . , , , , ( ) ( ) . T T T T A Moore Penrose A LU L U A U UU L L L + − − − = = 定理 ：任意矩阵 的 广义逆存在且 唯一事实上 若 （其中 为列 行独立阵） 则 ( ) 0 0 0 0 0 r r r I I A P Q P I Q LU = = = §5-3 广义逆
(1)R(L)=R(A):由A=LU知 列可由的列线性表出,且r(A)=r(L) (2)R(U)=R(A)由A=LU知 的行可由的行线性表出,且r(A)=r(U/) A的求法见《高等代数学》; 可以直接验证A满足广义逆定义中4个等式 对于线性方程组AX=b, 若A可逆,则X=Ab=A+b A列满秩,则X=(4A)1A1b=Ab
9 , ( ) . , , 1 1 A X A A A b A b A X A b A b AX b T − T + − + = = = = = 列满秩 则 若 可逆 则 对于线性方程组 可以直接验证 满足广义逆定义中4个等式. 的求法见《高等代数学》； + + A A (1) ( ) ( ). , ( ) ( ). (2) ( ) ( ). , ( ) ( ). T T R L R A A LU A L r A r L R U R A A LU A U r A r U = = = = = = 由 知 的列可由 的列线性表出 且 由 知 的行可由 的行线性表出 且
当A不是列满秩时方程组AX=p的解不唯 X=p+O,p∈R(4),O∈N(A 且分解式唯一,即有空间分解 R=R(A)ON(A) x=(A+0,+O)=+|l2 O=0时,长度最短且P满足,AX=p X=P2=Pb0+0,p0∈R(A) 故只要X∈R(A)即可
10 AX p = 的解不唯一 0 0 , ( ), ( ) , T X R A N A = + 且分解式唯一 =0 , 时 长度最短 ( ) ( ) n T R R A N A = 即有空间分解 0 0 0 = 0, ( ), ( ) . T T X R A X R A = + 故只要 即可 2 2 2 2 0 0 0 0 X = + + = + ( , ) 0 且 满足 , AX p = 当 不是列满秩时 A 方程组