第四节 向量到子空间的距离· 最小二乘法 在欧氏空间中可以引入向量间的距离概念。 定义8长度 称为向量和的距离，记 为d(,) 不难证明距离的三条基本性质： (1)d(,)=d( (2)d(,)0当且仅当 时等号 成立。 (3)d(,)d(,)+d(
第四节 向量到子空间的距离 • 最小二乘法 在欧氏空间中可以引入向量间的距离概念。 定义 8 长度| |称为向量 和 的距离，记 为d( , ). 不难证明距离的三条基本性质： （1） d( , ) = d( , )； （2） d( , ) 0 当且仅当 = 时等号 成立。 （3） d( , ) d( , ) + d( , )
在中学几何中学过一个点到一个平面（或一 条直线)上所有点的距离以垂线为最短，下面可 以证明一个固定向量和一个子空间中各向量间的 距离也以“垂线最短”。 先设一个子空间W,它是由向量 19 29· 所生成，即W=L(1, 29 ).说一个向量 垂直于子空间W,就是指向量 垂直于W中任 意一个向量。 现给定，设是W中的向量，满 垂直于W,则对W中任意向量，有
在中学几何中学过一个点到一个平面（或一 条直线）上所有点的距离以垂线为最短，下面可 以证明一个固定向量和一个子空间中各向量间的 距离也以“垂线最短”。 先设一个子空间W, 它是由向量 1 , 2 , …, k所生成，即W=L( 1 , 2 , …, k ). 说一个向量 垂直于子空间W，就是指向量 垂直于 W 中任 意一个向量。现给定 ，设 是 W中的向量，满 足 垂直于 W，则对W中任意向量 ，有 | | | |
证明 )+( 因W是子空间， W, W,则 W,故 垂 毫舌股定理 2+1 2= 故 这个几何事实可以用来解决一些实际问题。 其中的一个应用就是解决最小二乘法问题
证明 = （ ）+ （ ） 因 W 是子空间， W ， W ，则 W ，故 垂 直于 。 W 由勾股定理 | | 2+ | | 2= | | 2 故 | | | | 这个几何事实可以用来解决一些实际问题。 其中的一个应用就是解决最小二乘法问题
最小二乘法问题：线性方程组 4111+a12x2+…+41,x,-b1=0 21x1+422x2+…+2x,-b2=0 (1) anx1+an2x2++ansxs-b=0 可能无解，即任何一组数x1,x2,,x,都能使 2a+as++a- (2) 不等于0。我们设法找x,x2,,x,使（2)最小， 称为方程组(1)的最小二乘解。这种问题就叫最 小二乘问题。 回
最小二乘法问题：线性方程组 + + + − = + + + − = + + + − = 0 0 0 1 1 2 2 21 1 22 2 2 2 11 1 12 2 1 1 n n ns s n s s s s a x a x a x b a x a x a x b a x a x a x b 可能无解，即任何一组数x1 , x2 , …, xs都能使 = + + + − n i ai x ai x ais xs bi 1 2 1 1 2 2 ( ... ) 不等于0。我们设法找 x1 0 , x2 0 , …, xs 0使（2）最小， 称为方程组（1）的最小二乘解。这种问题就叫最 小二乘问题。 （1） （2）
令 11 2 41s da L22 … A= B- … x= y= j Ax (3) 上页
令 , ... ........................ ... ... = n n nsss a a a a a a a a a A 1 2 21 22 2 11 12 1 = bn bb B 21 , = x s xx x 21 Ax a x a x a x y s j nj j s j j j s j j j = = ===11 2 1 1 （ 3 ）
用距离的概念，（2)】 就是IyB2。 由(3) 41 12 41s y=x +x2 2 +.+xn 把A的各列向量分别记为 11 ,由它 们生成的子空间为L( ,2,,y就是其 中的向量。 回
用距离的概念，（2）就是 | y B| 2 。 由（3） + + + = ns s s n n n a a a x a a a x a a a y x 2 1 2 22 12 2 1 21 11 1 ... 把A的各列向量分别记为 1 , 2 , …, s，由它 们生成的子空间为L( 1 , 2 , …, s )，y 就是其 中的向量
于是，找x使（2)最小，就是在L(1, )中找到一个向量y,使得B到它的距离比到 该子空间中其他向量的距离都短。 y=Ax=xa+xa+...+xa 是所求向量，则 C-B-y=B-Ax 必须垂直于子空间L(,2., 、),从而 有 (C,a)=(C,a2)=.=(C,a,)=0 即 afC=0,aC=0,.aC=0 而 ,a,,Q刚好排成矩阵AT,于是有
于是，找 x 使（2）最小，就是在L( 1 , 2 , …, s )中找到一个向量 y, 使得 B 到它的距离比到 该子空间中其他向量的距离都短。 设 Ax x x xs s y = = 11 + 2 2 + ... + 是所求向量，则 C = B − y = B − Ax 必须垂直于子空间L( 1 , 2 , …, s )，从而 有 (C,1 ) = (C, 2 ) = ... = (C, s ) = 0 即 1 C = 0 2 C = 0 C = 0 T s T T , ,..., 而 T s T T 1 ,2 ,..., 刚好排成矩阵AT，于是有
AC=A"(B-Ax)=0 ATAx=ATB 这就是最小二乘解所满足的代数方程，它是一个 线性方程组。 例1设有一组实验数据：(1,2)，(2,3)，(3,5)， (4,7)。从数据点的趋势看接近直线，实验者希 望使直线y=a+bx最好的拟合数据点，求最佳 拟合直线。 解把数据代入y-a+bx得 1 2 1 2 记作 Ax=B 3 b 357 回
A C = A (B − Ax) = 0 T T 或 A Ax A B T T = 这就是最小二乘解所满足的代数方程，它是一个 线性方程组。 例1 设有一组实验数据: (1, 2), (2, 3), (3, 5), (4, 7)。从数据点的趋势看接近直线，实验者希 望使直线y = a + bx 最好的拟合数据点，求最佳 拟合直线。 解 把数据代入y = a + bx 得 = 7 5 3 2 4 3 2 1 1 1 1 1 b a 记作 Ax = B
其最小二乘解为 x=(AA)ATB 其中 4 10 1 (1030 2 -- 则最佳拟合直线为y=1.7x
其最小二乘解为 x A A A B 0 T −1 T = ( ) 其中 = = 10 30 4 10 1 4 1 3 1 2 1 1 1 2 3 4 1 1 1 1 A A T = = 51 17 7 5 3 2 1 2 3 4 1 1 1 1 A B T = 1 7 0 0 . x 则最佳拟合直线为y = 1.7x 。 从而