武汉大学：《数值分析》课程教学资源（PPT课件讲稿）第六章 曲线拟合 6.2-6.3 线性拟合问题、线性最小二乘问题

第六章曲线拟合 61.2曲线拟合问题 仍然是已知x1…,xm;y1…,ym求一个简单易 算的近似函数f(x)来拟合这些数据。 但是①m很大; y1本身是测量值,不准确,即y≠∫(x 这时没必要取x)=y,而要使p=f(x)-y1总体上 尽可能地小。 这种构造近似函数的方法称为曲线均 称为拟合函数 称为“残差

第六章 曲线拟合 6.1.2 曲线拟合问题 仍然是已知 x1 … xm ; y1 … ym, 求一个简单易 算的近似函数 f(x) 来拟合这些数据。 但是① m 很大； ② yi 本身是测量值，不准确，即 yi  f (xi ) 这时没必要取 f(xi ) = yi , 而要使 i=f(xi ) − yi 总体上 尽可能地小。 这种构造近似函数 的方法称为曲线拟合，f(x) 称为拟合函数 称为“残差

使pP(x)-y尽可能地小"有不同的准 则 常见做法: 较复杂, P284 ◆使max|P(x;)-y最小 ◆使∑Px)-1|最小 不可导,求解困难,P283 ◆使∑|P(x)-n最小

常见做法： ◆使 max 1im | P(xi ) − yi | 最小 较复杂， P284 ◆使  最小 = − m i i i P x y 1 | ( ) | 不可导，求解困难，P283 ◆使  最小 = − m i i i P x y 1 2 | ( ) | “使 i=P(xi ) − yi 尽可能地小”有不同的准 则

62线性拟合问题 62.l‖意义下的线性拟合(线性最小 乘问题) 确定拟合函数f(x)=cq(x)+c2Q2(x)+…+cpn(x) ,对于一组数据(xpy)(=1,2,…,m)使得 ∑n2=∑[y-f(x i=1 达到极小,这里n<=m Denote q(x1) q(x2) aD P (m)

6.2 线性拟合问题 6.2.1 ||.||2 意义下的线性拟合（线性最小二 乘问题） 确定拟合函数 ，对于一组数据(xi , yi ) (i = 1, 2, …, m) 使得 达到极小，这里 n <＝ m。 1 1 2 2 ( ) ( ) ( ) ... ( ) n n f x c x c x c x = + + +    2 2 2 2 1 1 || || [ ( )] m m i i i i i r y f x  = = = = −   Denote: 1 2 ( ) ( ) , 1,2, ( ) i i i i m x x i n x         = =        

q(x1)(2(x1) P (X,) q(x2)q2(x2) A=[④12Φ2…①n q(xn)q2(xn)…9n(xmn V1 1 b r12=∑p2=∑[y-f(x)2=b-Ax l 称方程组Ax=b为超定方程组

1 1 2 1 1 1 2 2 2 2 1 2 1 2 ( ) ( ) ( ) ( ) ( ) ( ) [ , , , ] ( ) ( ) ( ) n n n m m n m x x x x x x A x x x              =    =         1 1 1 2 2 2 , , m m n y c y c b r x y c                = = =                         2 2 2 2 2 2 1 1 || || [ ( )] || || m m i i i i i r y f x b Ax  = = = = − = −   称方程组Ax=b为超定方程组

记E(C12C2 )=∑m2=∑[y-f(x) i=1 =∑[y-∑c0,(x) E实际上是c,C1,…,cn的多元函 数,在E的极值点应有 dE 0,j=0,…,n C 记bk=∑q1,g=∑9my

记 E 实际上是 c0 , c1 , …, cn 的多元函 数，在 E 的极值点应有 0 , 0, ... , j E j n c  = =  2 2 1 2 1 1 2 1 1 ( , ,..., ) [ ( )] [ ( )] m m n i i i i i m n i j j i i j E c c c y f x y c x   = = = = = = − = −    1 1 , m m jk ji ki ji i i i b g y    = = 记 = =  

得到关于c1,C2,,cn的方程组 bu 81 b 12 2 g b b n-1.1 n-ln n-1 6n-1 b C g 法方程组(或正规方程组)

得到关于c1 ,c2 ,…,cn的方程组 11 12 1 1 1 12 22 2 2 2 1,1 1,2 1, 1 1 1 2 ... ... n n n n n n n n n n nn n n b b b c g b b c g b b b b c g b b b c g − − − − −                     =                     法方程组(或正规方程组)

例1数据 020406080100 f181.477.774.272470.3688 f(t)=803-0.lt 40 100t

例1 数据 t i 0 20 40 60 80 100 fi 81.4 77.7 74.2 72.4 70.3 68.8

63线性最小二乘问题 设A是mxn阶矩阵(m>n),称线性方程组 Ax=b (1) 为超定方程组;这里x∈Rb∈Rm 如果A的秩r(A)=n,称A为列满秩矩阵 记残向量r=b-Aⅹ,考虑确定一个向量x, 使‖r2=|b-Ax×|2达到最小的问题称为线 性最小二乘问题,这样的x称为方程组(1)的最 小二乘解

6.3 线性最小二乘问题 设A是m×n阶矩阵(m>n), Ax=b (1) 为超定方程组; 这里x∈Rn ,b∈Rm. 如果A的秩r(A)=n, 称A为列满秩矩阵. 记残向量r=b-Ax，考虑确定一个向量x， 使‖r‖2 2＝‖b-Ax‖2 2 , 达到最小的问题称为线 性最小二乘问题， 这样的x称为方程组(1)的最 小二乘解

63.4最小二乘解的存在惟一性 结论1:设A是m×n阶矩阵,x∈Rn,b∈Rm 由线性方程组理论可知,线性方程组 AX-b (24) 有解的充分必要条件是 r(A)r(Ab).(25)

6.3.4 最小二乘解的存在惟一性 结论1 ：设A是m×n阶矩阵，x∈Rn , b∈Rm. Ax=b (24) r (A)= r (A|b). (25)

定理637设方程组24)有解,令x是其一个 解.那么,方程组(24)的所有解的集合为 {x}+N(A).方程组(24)有惟一解的充分必要条 件是mu(A)=0这里,nul(A)表示A的核子空 间的维数

定理6.3.7 (24)有解，令x是其一个 解. 那么，方程组(24)的所有解的集合为 {x}+N(A). 方程组(24)有 惟一解的充分必要条 件是null(A)=0. 这里， null (A)表示A的核子空 间的维数