第十七讲矛盾方程（组）的解--最小二乘法
第十七讲 矛盾方程（组）的解---最小二乘法 1
一、从实验数据处理谈起 设有一组实验数据t1,s1),(2, S2),…,(n,Sn),希望由实验数 据拟合给定规律，从而测出待测量 的有关参数。 假定规律为：s=Ct+C2,由于存在误差S1≠C4+C2(i=1,2,…,n) 令 2
一、从实验数据处理谈起 设有一组实验数据(t1，s1)，(t2， s2)，……，(tn，sn)，希望由实验数 据拟合给定规律，从而测出待测量 的有关参数。 假定规律为： 2 s=c1t c + ，由于存在误差 i 2 ≠ + t c i 1 s c (( 1,2, , ) i n = 令 t s 2
A= 则：Ax=b实际无解，或者说矩阵 方程Ax=b成为矛盾方程（不自洽、非相容），虽说无解，但在物理上 看，我们需要而且也理当有“解”。怎么办？ 一 般处理是，定义一种目标函数，例如： E(G,9)=∑w(s-c4-c2)2 w,>0为加权系数 使误差E(c,S)最小化。w=1=1~n)时E(G,c)广Ax-b6 3
1 1 2 2 1 2 1 1 , , 1 n n t s t s c A xb c t s = = = ，则：Ax=b 实际无解，或者说矩阵 方程 Ax=b 成为矛盾方程（不自洽、非相容），虽说无解，但在物理上 看，我们需要而且也理当有“解”。怎么办？ 一般处理是，定义一种目标函数，例如： 2 1 2 1 2 1 (, ) ( ) 0 n ii i i i E c c w s ct c w = = −− > ∑ 为加权系数 使误差 1 2 Ec c (, )最小化。wi=1(i=1～n)时 2 1 2 2 E c c Ax b (, )＝ − 3
二、最小二乘法（解） 对于矛盾方程Ax=b,最小二乘法是求其“解”的一种方法。即求 使Ax-bl2=min的解。 引理：设A∈Cmx”,A{1,3}由如下方程的通解构成： AX=A43)→A1,3}={A3)+(I-A3》A)ZZ∈Cm} 其中，A1,3)为A{1,3}中的某个矩阵。 证：1·方程既然相容，设X是其某个解，则 (①)AXA=AA,3)A=A→X∈A{1 (i)(AX)H=(AA13)H=AA1,3)=AX→X∈A3} 4
二、 最小二乘法（解） 对于矛盾方程 Ax=b，最小二乘法是求其“解”的一种方法。即求 使 Ax b − =2 min的解。 引理： m n A C × 设 ∈ ,A{1,3}由如下方程的通解构成： (1,3) (1,3) (1,3) {1,3} { ( ) } n m AX AA A A I A A Z Z C × = → = +− ∈ 其中，A(1,3)为 A{1,3}中的某个矩阵。 证：1。 方程既然相容，设 X 是其某个解，则 (1,3) (1,3) (1,3) ( ) {1} ( ) ( ) ( ) {3} H H i AXA AA A A X A iii AX AA AA AX X A = =→∈ = = = →∈ 4
即方程的解必在A{1,3}中。 2设X为A的一个{1,3}-逆矩阵，则 AX=AAAX=(A3)(AX)月 =(4)”AXA =(43)“(AX4A) =(AAL3）”=A43) 即，A的{1,3}-逆矩阵必满足方程AX=AA1,3) 5
即方程的解必在 A{1,3}中。 2 。 设 X 为 A 的一个{1,3}-逆矩阵，则 ( ) ( ) ( ) ( ) ( ) iii (1,3) (1,3) (1,3) (1,3) (1,3) (1,3) ( ) H H H H HH H H H AX AA AX AA AX A AX A A AXA AA AA = = = = = = 即，A 的{1,3}-逆矩阵必满足方程 AX=AA(1,3) 5
.A1,3}={方程AX=A43的所有解} ={4)+(I-3》A)ZZ∈Cm} 令X=A3)+(1-A,3)A)Z,则 (iAX A=AA05A+AZA-AA03 AZA=A X∈A{1 (iii)AX=AA03)+(A-AA03A)Z=A40.3)=(AX)H XEA(3) 定理：矩阵方程Ax=b的最小二乘解为x=A1,3b,其中A1,)为A的 任何一个{1,3}-逆矩阵，反之，存在X,对于任何b∈Cm均有Xb 成为Ax=b的最小二乘解，则X∈AL,3}。 6
{ } { } (1,3) (1,3) (1,3) n m {1,3} ( ) A AX AA A I A AZZ C × ∴= = +− ∈ 方程 的所有解 ＝ 令 (1,3) (1,3) X A I A AZ ＝ ＋（ － ) ，则 (1,3) (1,3) (1,3) (1,3) (1,3) ( ) {1} ( ) ( ) ( ) {3} H i AX A AA A AZA AA AZA A X A iii AX AA A AA A Z A A AX X A = +− = ∈ = +− = = ∈ 定理：矩阵方程 Ax=b 的最小二乘解为 (1,3) xAb = ，其中 A(1,3)为 A 的 任何一个{1,3}-逆矩阵，反之，存在 X，对于任何 m b C∈ 均有 Xb 成为 Ax=b 的最小二乘解，则 X A ∈ {1,3}。 6
证明：Ax-b=(Ax-PxAb)+(Px4b-b) (Ax-Pb)∈R(A),(Pxb-b)=-(I-PR)b=-PR44b∈R-(A)） 所以，A-b6=A-Pb+Pb-b≥b-Pb 故Ax-b取得极小值的条件是x为方程Ax=P(4b的解。任取 一个A》∈AL,3},我们知道A4L3》=P)。而对于x=A3b,有 Ax=AA3b=Pb(但最小二乘解是否一定具有A1,3b的形式呢？) 方程Ax=AA1,3b的通解为 7
证明： () () ( )( ) Ax b Ax P b P b b −= − + − RA RA ( ) ( ) ( ) ( ) ( ) ( ),( ) ( ) ( ) R A R A R A R A Ax P b R A P b b I P b P b R A ⊥ ⊥ − ∈ − =− − =− ∈ 所以， 2 222 2 () () ( ) 222 Ax b Ax P b P b b b P b − = − + − ≥− RA RA R A ， 故 2 2 Ax b − 取得极小值的条件是 x 为方程 Ax P b = R A( ) 的解。任取 一个 (1,3) A A ∈ {1,3}，我们知道 (1,3) AA P = R A( )。而对于 (1,3) xAb = ，有 (1,3) Ax AA b P b = = R A( ) （但最小二乘解是否一定具有 A(1,3) b 的形式呢？） 方程 (1,3) Ax AA b = 的通解为 7
x=(4013)A403b+y-A03)Ay yeC"y=403)b+z ={4b+I-A》A∈C} 显然最小二乘解并不一定都具有A,3b的形式。 反之，若对于b∈Cm,x=Xb均使Ax=Pob=AA13b,即 Vb,有AXb=AA1,3b→AX=AAL,3)→X∈A1,3} 最小二乘解一般不唯一。 8
{ } { } (1,3) (1,3) (1,3) (1,3) (1,3) (1,3) ( ) n n x A AA b y A Ay y C y A b z A b I A Azz C = +− ∈ = + = +− ∈ 显然最小二乘解并不一定都具有 A(1,3)b 的形式。 反之，若对于 (1,3) , m ∀∈ = b C x Xb A b AA b 均使 x=PR(A) = ， 即 (1,3) (1,3) ∀ = → = →∈ b AXb AA b AX AA X A ,有 {1,3} 最小二乘解一般不唯一。 8
三、极小范数最小二乘解 定理2：设A∈Cm”,b∈Cm，则x=Ab是方程Ax=b的极小范数 最小二乘解。反之，若存在X∈Cmxm,若对于所有b∈Cm,x=Xb均 成为方程Ax=b的极小范数最小二乘解，则X=A。 证：最小二乘解满足Ax=AA1,3%b,其极小范数解唯一，且为 x=A0.(AA0.3B)=A+b 反之，Vb∈Cm,Xb均成为唯一的极小范数最小二乘解Ab, 所以：X=A。 9
三、极小范数最小二乘解 定理 2 ：设 , mn m AC bC × ∈ ∈ ，则 x＝ A+ b 是方程 Ax＝b 的极小范数 最小二乘解。反之，若存在 n m X C × ∈ ，若对于所有 m b C∈ ，x＝Xb 均 成为方程 Ax＝b 的极小范数最小二乘解，则 X＝ A+ 。 证：最小二乘解满足 Ax＝AA(1,3)b，其极小范数解唯一，且为 (1,4) (1,3) x A AA b A b ( ) + = = 反之， , m ∀ ∈b C Xb均成为唯一的极小范数最小二乘解 A b+ ， 所以：X＝ A+ 。 9
定理3：矩阵方程AXB=D的极小范数最小二乘解唯一，且为 X=ADB 证明略（教材P86) 作业：P343-344,1,2,5 10
定理 3：矩阵方程 AXB＝D 的极小范数最小二乘解唯一，且为 X A DB + + = 证明略（教材 P86） 作业：P343－344，1，2，5 10