山东理王大溪 SHANDONG UNIVERSITY OF TECHNOLOGY 9.7 向量到子空间的距离 ·最小二乘法
9.7 向量到子空间的距离 ·最小二乘法
山求濯工大深 一、 距离的定义 定义1长度|心一B1称为向量心和B的距离，记为 d(a,B). ·距离的基本性质： 1)d(a,B)=d(B,x); 2)d(,B)≥0，并且仅当a=B时等号才成立； 3)d(a,β)≤d(a,y)+d(y,β)（三角不等式）
一、距离的定义 • 距离的基本性质：
山东理子大家 SHANDONG UNIVERSITY OF TECHNOLOGY 二、向量到子空间各向量间的最短距离 在几何中我们知道一个点到一个平面（或一条直线）上所有点 的距离以垂线最短.下面可以证明一个固定向量和一个子空 间中各向量的距离也是以“垂线最短”. 先设一个子空间W,它是由向量1，Q2,.,Ck所生成，即 W=L(1,2,.,k).说一个向量&垂直于子空问W,就 是指向量垂直于W中任何一个向量
二、向量到子空间各向量间的最短距离 在几何中我们知道一个点到一个平面(或一条直线)上所有点 的距离以垂线最短. 下面可以证明一个固定向量和一个子空 间中各向量的距离也是以“垂线最短”
山求濯工大深 容易验证心垂直于W的充分必要条件是（⊥Ci, (1,2,.,力. 现在来证明向量到子空间各向量间的距离以垂线最短 设B是给定的一向量，Y是W中的向量，且满足B-Y 垂直于W.要证明B到W中各向量的距离以垂线最短， 就是要证明，对W中任一向量6，有 Iβ-Y≤IB-δ|
( ᵯ= 1, 2, ⋯ , ᵯ) . 现在来证明向量到子空间各向量间的距离以垂线最短
山东理工大 SHANDONG UNIVERSITY OF TECHNOLOGY 0.0 0-0 W 0-0 图9-2
- - - W 图 9-2
山东理工大深 SHANDONG UNIVERSITY OF TECHNOLOGY 证明 G年(G力+(G力. 因W是子空间，Y∈W,6∈W,则Y-δ∈W. 故(B-Y)1(y-6),由勾股定理，有 IB-y2+y-62=lB-612, 故 IB-y川≤IB-. 证毕
证明 ᵯ− ᵯ= (ᵯ− ᵯ) + (ᵯ− ᵯ) . 由勾股定理，有 故 证毕
山东理王大军 SHANDONG UNIVERSITY OF TECHNOLOGY 三、最小二乘法 1.引例己知某种材料在生产过程中的废品率y与某种化学 成分x有关.下列表中记载了某工厂生产中y与相应的X的 几次数值： y(%) 1.000.90.90.81 0.60 0.560.35 x(%) 3.6 3.73.83.9 4.0 4.1 4.2 我们想找出y对X的一个近似公式
三、最小二乘法 1. 引例 几次数值：
山求濯工大深 SHANDONG UNIVERSITY OF TECHNOLOGY 解 把表中数值画出图来看，发现它的变化趋势近于一条 直线.因此我们决定选取X的一次式X十b来表达· 当然最好能选到适当的☑，b使得下面的等式 8.0+0-0.8ǖ=00， 都成立.实际上是不可能的 任何a,b代入上面各式都 会发生些误差
解 把表中数值画出图来看，发现它的变化趋势近于一条 直线. 当然最好能选到适当的 a , b 使得下面的等式 3.6789 40.12ᵯ + ᵯ − 1.0009 81.60056 .35 = = 0 , 0 , 都成立. 实际上是不可能的. 任何 a , b 代入上面各式都 会发生些误差
山东理子大 SHANDONG UNIVERSITY OF TECHNOLOGY 于是想找a,b使得上面各式的误差的平方和最小， 即找a,b使 (3.6☐+☐-1.00)2+(3.70+☐-0.9)2 +(3.8☐+☐-0.9)2+(3.9☐+☐-0.81)2 +(4.0☐+☐-0.60)2+(4.1☐+☐-0.56)2 +(4.20+☐-0.35)2 最小.这里讨论的是误差的平方即二乘方，故称为 最小二乘法.现在转向一般的最小二乘法问题
于是想找 a , b 使得上面各式的误差的平方和最小， 即找 a , b 使 (3.6ᵯ + ᵯ − 1.00 )2 + (3.7ᵯ + ᵯ − 0.9 )2 + (3.8ᵯ + ᵯ − 0.9 )2 + (3.9ᵯ + ᵯ − 0.81 )2 + (4.0ᵯ + ᵯ − 0.60 )2 + (4.1ᵯ + ᵯ − 0.56 )2 + (4.2ᵯ + ᵯ − 0.35 )2 最小. 这里讨论的是误差的平方即二乘方，故称为 最小二乘法. 现在转向一般的最小二乘法问题
加求翟王大深 SHANDONG UNIVERSITY OF TECHNOLOGY 2.定义 定义2 线性方程组 a11x1+a12x2+.+a1sXs-b1=0, a21x1+a22X2+.+a2sxs-b2=0, (1) an1x1+an2x2 +ansxs-bn =O 可能无解.即任何一组数x1,X2,.,X,都可能使 ∑ (aix1 +ai2x2 +.aisxs-bi)2 (2) i=1
2. 定义 定义2 线性方程组 可能无解. 即任何一组数 x1 , x2 , . , xs 都可能使