§9.7向量到子空闻的距离最小二乘积
1 一. 向量到子空间的距离 二. 最小二乘法
.向量到子空间的距离 1.向量间的距离 (1)定义:长度a-月称为向量a和β的距离,记为 (a,月) (2)基本性质 ①a(a,B)=d(6,a) ②(a,B)≥0,并且仅当a=F的等号才成立; ③(三角形不等式)a(a,B)≤a(a,y)+l(y,B)
2 一. 向量到子空间的距离 1. 向量间的距离 (1) 定义：长度 − 称为向量 和 的距离，记为 d ( , .) (2) 基本性质 ① d d ( , , ) = ( ) ② d ( , 0, ) 并且仅当 的等号才成立； ③（三角形不等式） = d d d ( , , , . ) + ( ) ( )
2向量到子空间的距离 (1)固定向量a,如果与子空间w每个向量垂直, 称a垂直于子空间W记a⊥W. 如果W=L(a1,a2,…a),则 a⊥W兮a⊥a1,=1,2,…,k (2)向量到子空间中的各向量的距离以垂线为最短 B2P如图示意,对给定B,设y是W中 的满足B-y⊥W的向量,要证明
3 (1) 固定向量 ，如果与子空间 中每个向量垂直， 2.向量到子空间的距离 W 称 垂直于子空间 记 W W ⊥ W . 如果 W L = ( , , , ), 1 2 k 则 , 1,2, , . ⊥ ⊥ = W i k i (2) 向量到子空间中的各向量的距离以垂线为最短. − − − 的满足 的向量，要证明 如图示意，对给定 ，设 是 中 − ⊥ W
对vδ∈W有B-y≤B-8 证明:B-0=(B-)+(y-6)因子空间, y∈W,∈W,则y-6∈W,故β-y⊥y-δ 由勾股定理|-y2+y-8}=|B-a 即(1)成立 最小二乘法 1.问题提出,实系数线性方程组
4 对 W 有 − − （1） 证明： 因 是子空间， 由勾股定理 − = − + − ( ) ( ), W W W , , 则 − W , 故 − ⊥ − 2 2 2 − + − = − 即（1）成立. 二. 最小二乘法 1.问题提出，实系数线性方程组
Ax=b4=()eR,b=[h,l,…,](2) 可能无解,即任意x1,x2…,xn都可能使 ∑(anx+a12+…+anxn-b) (3) 不等于零,设法找实数组x,x,…,x使(3)最小 这样的x,x…,x为方程组(2)的最小三乘解, 此问题叫最小二乘法问题
5 ( ) 1 2 , , , , , n s AX b A a R b b b b ij n = = = （2） 可能无解，即任意 x x x 1 2 , , , n 都可能使 ( ) 2 1 1 2 2 1 n i i in n i i a x a x a x b = + + + − （3） 不等于零，设法找实数组 2 使（3）最小 0 0 0 1 , , , n x x x 这样的 2 为方程组（2）的最小二乘解， 0 0 0 1 , , , n x x x 此问题叫最小二乘法问题
2问题的解决 在(1)之下再设 ∑4x,立吗…∑4x=Ax.(4) j=1 用距离的概念,(3)就是|Y-B2 由(4)知 x1C1+x2C2+… 190299
6 2.问题的解决 在（1）之下再设 1 2 1 1 1 , , , , . n n n j j j j nj j j j j Y a x a x a x AX = = = = = （4） 用距离的概念，（3）就是 2 Y B− . 由（4）知 1 1 2 2 1 2 , , , , Y x x x A = + + + = s s s
找X使(3)最小,等价于找子空间L(a1,a2,…,a、) 中向量Y使B到它的距离(-B比到L(a1,a2…,ax, 中其它向量的距离都短 设C=B-Y=B-AX,为此必C⊥L(a1,a2…,a,) 这等价于(C,a1)=(C,a2)=…=(C,a,)=0,(5) 即a1C=0,a2C=0,…,aC=0, 这样(5)等价于A(B-AX)=0或AAX=AB(6)
7 找 X 使（3）最小，等价于找子空间 1 2 ( , , , ) L s 中向量 Y 使 B 到它的距离 ( ) Y B− 比到 1 2 ( , , , ) L s 中其它向量的距离都短. 设 C B Y B AX = − = − , 为此必 1 2 ( , , , ) C L ⊥ s 这等价于 1 2 ( , ) ( , ) ( , ) 0, C C C = = = = s （5） 即 1 2 0, 0, , 0, C C Cs = = = 这样（5）等价于 A B AX ( − =) 0或 A AX A B = （6）
(6)就是最小二乘解所满足的代数方程 例.已知某种材料在生产过程中的废品率与某种 化学成份x有关下列表中记载了某工厂生产 中y与相应的x的几次数值: y%)1000.90.90.810.600.560.35 x(%)3.637383.94.0414.2 我们想找出y对x的一个近似公式
8 我们想找出 对 的一个近似公式. （6）就是最小二乘解所满足的代数方程. 例. 已知某种材料在生产过程中的废品率 与某种 y y y x x x 化学成份 有关.下列表中记载了某工厂生产 中 与相应的 的几次数值： y(%) x(%) 1.00 0.9 0.9 0.81 0.60 0.56 0.35 3.6 3.7 3.8 3.9 4.0 4.1 4.2
解把表中数值画出图来看,发现它的变化趋势 近于一条直线.因此我们决定选取x的一次式 ax+b来表达当然最好能选到适当的a,b使得 下面的等式 3.6a+b-100=0,3.7a+b-09=0 3.8a+b-0.9=0,3.9+b-0.81=0, 4.0a+b-0.60=0,4.la+b-0.56=0, 4.2a+b-0.35=0
9 解 把表中数值画出图来看，发现它的变化趋势 近于一条直线.因此我们决定选取 x 的一次式 ax b + 来表达.当然最好能选到适当的 a b, 使得 下面的等式 3.6 1.00 0, a b + − = 3.7 0.9 0 a b + − = 3.8 0.9 0, a b + − = 3.9 0.81 0, a b + − = 4.0 0.60 0, a b + − = 4.1 0.56 0, a b + − = 4.2 0.35 0 a b + − =
都成立.实际上是不可能的。任何a,b代入上面各式 都发生些误差.于是想找到a,b使得上面各式的误差 的平方和最小,即找a,b使 (36a+b-1.002+(3.7a+b-09)2+(38a+b-09)2 +(3.9a+b-081)2+(4.0a+b-060)2+(41a+b-0.56)2 +(4.2a+b-0.35) 最小.易知
10 的平方和最小，即找 使 都发生些误差.于是想找到 使得上面各式的误差 都成立.实际上是不可能的。任何 a b, 代入上面各式 a b, a b, 2 2 2 (3.6 1.00) (3.7 0.9) (3.8 0.9) a b a b a b + − + + − + + − 2 2 2 + + − + + − + + − (3.9 0.81) (4.0 0.60) (4.1 0.56) a b a b a b 2 + + − (4.2 0.35) a b 最小.易知