m教材《数值分析》陈晓江主编武汉理工大学出版社Y参考书目《数值分析》李庆扬、王能超、易大义编清华大学出版社施普林格出版社《科学和工程计算基础》施妙根、顾丽珍编清华大学出版社上页下页返园
上页 下页 返回 教材 《数值分析》 陈晓江主编 武汉理工大学出版社 参考书目 《数值分析》 李庆扬、王能超、易大义编 清华大学出版社 施普林格出版社 《科学和工程计算基础》 施妙根、顾丽珍编 清华大学出版社
第三章拟合与逼近第一节问题的提出第二节曲线拟合的最小二乘法第三节最佳平方逼近上页下页返园
上页 下页 返回 第三章 拟合与逼近 第一节 问题的提出 第二节 曲线拟合的最小二乘法 第三节 最佳平方逼近
81问题的提出实例：考察某种纤维的强度与其拉伸倍数的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数是记录：编号拉伸倍数X，强度Y编号拉伸倍数强度yX51.9135.511.42255.2141.331565.52.11.842.52.166.456. 352.72.86176.562.7185. 32.57. 1783.53196.5882.773.52098.544218.981042293.523114.54.29.58. 112243.5108. 14.6上页纤维强度随拉伸倍数增加而增加。下页返园
上页 下页 返回 实例：考察某种纤维的强度与其拉伸倍数的关系,下表是实 际测定的24个纤维样品的强度与相应的拉伸倍数是记录: 编 号 拉伸倍数 强 度 编 号 拉伸倍数 强 度 1 1.9 1.4 13 5 5.5 2 2 1.3 14 5.2 5 3 2.1 1.8 15 6 5.5 4 2.5 2.5 16 6.3 6.4 5 2.7 2.8 17 6.5 6 6 2.7 2.5 18 7.1 5.3 7 3.5 3 19 8 6.5 8 3.5 2.7 20 8 7 9 4 4 21 8.9 8.5 10 4 3.5 22 9 8 11 4.5 4.2 23 9.5 8.1 12 4.6 3.5 24 10 8.1 xi yi xi yi 纤维强度随拉伸倍数增加而增加。 §1 问题的提出
画出这24个点8这24个点大致分布在一条直线附近26因此可以认为强度5与拉伸倍数的主要关系应是线性关系3P(x)=a +ax2其中ao,a为待定参数72356894101我们希望P(x)=a.+ax与所有的数据点样本点(x,,y,)越接近越好上页必须找到一种度量标准来衡量什么曲线最接近所有数据点下页返园
上页 下页 返回 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 关系应是线性关系 与拉伸倍数 的主要 因此可以认为强度 x y 画出这24个点 P(x) a0 a1 x 其 中a0 ,a1为待定参数 越接近越好 我们希望 ( ) 与所有的数据点(样本点)( , ) 0 1 i i P x a a x x y 必须找到一种度量标准来衡量什么曲线最接近所有数据点 这24个点大致分布 在一条直线附近
设已知Xi….Xm;Ji.ym求一个简单易算的近似函数 P(x) ~ f(x)。①m很大;但是①y,本身是测量值，不准确，即y;f(x)这时没必要取P(x)=yi，而要使P(x)-y,总体上尽可能小。太复杂?常见做法：不可导，求解困难?公使max|P(x）一y;最小1≤i≤mn>使IP(x,)-,最小IP(x)-y,P最小>使i=l上页下页返园
上页 下页 返回 设已知 x1 . xm ; y1 . ym, 求一个简单易算的近似函 数 P(x) f(x)。 但是 ① m 很大； ② yi 本身是测量值，不准确，即yi f (xi ) 这时没必要取P(xi ) = yi , 而要使 P(xi ) yi 总体上尽可能小。 常见做法： 使 最小 max | ( ) | 1 i i i m P x y 太复杂 使 最小 m i i i P x y 1 | ( ) | 不可导，求解困难 使 最小 m i i i P x y 1 2 | ( ) |
82曲线拟合的最小二乘法一、多项式拟合的最小二乘法对于一组数据(xi,J)(i=1,2,…,m)，确定多项式P(x)=a, +ax+...+a,x"使得 β=[P(x,)-y,I 达到最小，这里 n<<m。p实际上是ao,ai,……,an的多元函数，即(ao,a,..a.)--Z[a aix, . a,x -y,]"0Φ=0, k= ,.,n在?的极值点应有Oak上页下页返园
上页 下页 返回 §2 曲线拟合的最小二乘法 对于一组数据(xi , yi ) (i = 1, 2, ., m) ， n n P(x) a a x . a x 0 1 实际上是 a0 , a1 , ., an 的多元函数，即 [ ] m i i n a a an a a xi an xi y 1 2 0 1 0 1 ( , , . , ) . 在 的极值点应有 k n ak 0 , 0, . , 一、多项式拟合的最小二乘法 m i i i P x y 1 2 使得 [ ( ) ] 达到最小，这里n << m。 确定多项式
(ao,a,..,a,)-2[a, +ax, +..+ a,x' -y,]-Z[P(x,) -y,]"=0, k=,.,n法方程组（或正规方程组OakaP(x,)Φ =22[P(x,)-y,]2Z[P(x,)-y;.x0=aakaaki=li-lmn回归系数=22[Za,x; -yilxhi=1j=02[2-2yx=2a;i=0boobonaCmZtch=Zy记bjkyitt=i=1i=1ba上页no下页返园
上页 下页 返回 [ ] m i i n a a an a a xi an xi y 1 2 0 1 0 1 ( , , . , ) . k n ak 0 , 0, . , k i m i i i k a P x P x y a ( ) 0 2 [ ( ) ] 1 k i m i n j i j a j xi y x 1 0 2 [ ] n j m i k i i m i j k aj xi y x 0 1 1 2 记 n n n n n n c c a a b b b b . . . . . . . . . . . . . . . . . 0 0 0 00 0 法方程组(或正规方程组) 回归系数 k i m i P xi yi x 1 2 [ ( ) ] m i j k bjk xi 1 m i k k i xi c y 1 [ ] m i i i P( x ) y 1 2
定理最小二乘拟合多项式存在唯一(n<m)。定理B=的解确是的最小点。即：设为解，则任意=(bob... bn)r对应的多项式 F(x)=b,x必有(a)=2 [P(x,)-y,} ≤Z [F(x,)-y,} =p(b)=证明: (b)-()= [F(x,)-,- [P(x,)-,}==E [F(x,)-P(x,)+P(x,)-y}-Z[P(x,)-y;}i=1i=l2=Z [F(x,)-P(x,)} +2Z[F(x,)-P(x,)[P(x)-y]im0Z[F(x,)- P(x,)P+2Z(b, -a,)Z(x,)-y;]≥0i=1j=1i=1上页注：最小二乘法首先要求设定P(x）的形式。下页P(x)不一定是多项式，通常根据经验确定。返园
上页 下页 返回 定理 Ba = c 的解确是 的最小点。即：设a 为解，则任 意 b = (b0 b1 . bn ) T 对应的多项式 必有 n j j F x bj x 0 ( ) m i m i a P xi yi F xi yi b 1 1 2 2 ( ) [ ( ) ] [ ( ) ] ( ) 证明： m i i i m i b a F xi yi P x y 1 2 1 2 ( ) ( ) [ ( ) ] [ ( ) ] m i i i m i F xi P xi P xi yi P x y 1 2 1 2 [ ( ) ( ) ( ) ] [ ( ) ] m i i i i i m i F xi P xi F x P x P x y 1 1 2 [ ( ) ( )] 2 [ ( ) ( )][ ( ) ] 0 注：最小二乘法首先要求设定P(x) 的形式。 P(x) 不一定是多项式，通常根据经验确定。 定理 最小二乘拟合多项式存在唯一(n < m)。 [ ] [ ] n j m i i i j j j i m i i i F x P x b a x P x y 1 1 2 1 ( ) ( ) 2 ( ) ( ) 0
例1.回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系故可选取线性函数P(x) =a +a,xm使得达到最小p(ao,a,)=E[(a, +a,x,)-y,}i=1mae=2Z[(a, +ax,)-y,]=0令daoi-1ma=2[(ao +aix,)-y;lx; = 0da,i=lm(2x,)a,=Zy;+得maoi=lmm?上页ZCx,)ao +(Zx;)a =)X,yi下页i=1i-1i=1返园
上页 下页 返回 例1.回到本节开始的实例，从散点图可以看出 纤维强度和拉伸倍数之间近似与线性关系 P(x) a0 a1 x 故可选取线性函数 使得 m i i i a a a a x y 1 2 0 1 0 1 ( , ) [( ) ] 达到最小 m i i i a a x y a 1 0 1 0 2 [( ) ] 0 m i i i xi a a x y a 1 0 1 1 2 [( ) ] 0 令 m i m i i i ma x a y 1 1 0 1 ( ) m i m i i i m i i i x a x a x y 1 1 1 1 2 0 ( ) ( ) 得
mZ0x, =127.5m=24i18-mZx=829.617-i16F=爱5; =113.1Yi合14F=3x,y; = 731.62i=124a +127.5a, = 113.12356789410127.5a.+829.61a, =731.6a, =0.8587解得a. =0.1505即为所求的最小二乘解P(x)=0.1505+0.8587x上页下页拟合曲线与散点的关系如图返园
上页 下页 返回 m 24 a 0 0 .1505 P(x) 0.1505 0.8587x 即为所求的最小二乘解 解得 a 1 0 .8587 m i x i 1 127 . 5 731 . 6 1 m i i i x y 829 .61 1 2 m i x i 113 . 1 1 m i i y 24 a 0 127 . 5 a 1 113 . 1 127.5a0 829.61 a 1 731.6 拟合曲线与散点的关系如图 1 2 3 4 5 6 7 8 9 10 1234567891 2 3 4 5 6 7 8 9 10 123456789