第二章最小二乘拟合
1 第二章 最小二乘拟合
函数逼近问题 ■给定未知函数f(x)的若干采样点：{(x,f(x)}”。,构造 函数(x)使得 p(x)=f(x),i=0,1,,n 或者要求满足某种范数意义下的最小化 mino(x)-f(x。 ■函数通近的常用方法 ·插值 ●均方逼近（最小二乘法） ●一致逼近 g)≈fx) 3 2
¡ 给定未知函数 的若干采样点： ，构造 函数 使得 或者要求满足某种范数意义下的最小化 ¡ 函数逼近的常用方法 l 插值 l 均方逼近（最小二乘法） l 一致逼近 2 f (x) 0 {( , ( ))} n i i i x f x (x) ( ) ( ), 0,1, , . i i x f x i n min ( ) ( ) p x f x x0 x1 x2 x x3 x4 g(x) f(x)
拟合函数 在实际问题中，数据不可避免的会有误差，插值函数 会将这些误差也包括在内 ·若误差较大时，用插值方法构造函数的效果不好 ■用通近的方法构造函数 ●不要求过所有的点【可以减少误差影响) ●尽可能表现数据的趋势，靠近这些点 16 14 12 10 8 y=1.538x-0.360 十十十十 46810
¡ 在实际问题中，数据不可避免的会有误差，插值函数 会将这些误差也包括在内 ¡ 若误差较大时，用插值方法构造函数的效果不好 ¡ 用逼近的方法构造函数 l 不要求过所有的点（可以减少误差影响） l 尽可能表现数据的趋势，靠近这些点 3
拟合函数 e. ■如何刻画数据点和逼近函数之间的靠近程度？ ■ 给定一组观察或测量得到的一组离散数据序列{(x,y,) ,选定函数空间Φ，构造函数p(x)EΦ，使得函数p(x) 最优的靠近离散数据序孙，y)，即向量 =(p(x),p(x),,p(xm)'与Y=(%,乃2，ynY的误差或距离 最小 ■如何定义向量之间的距离：向量范数 RIg-Y=∑o(x)-y 最小平均逼近 R0-y-2m()-f) 最小平方逼近 R =le-Y lle=max (1o,(x)-y, 最小一致逼近 4
¡ 如何刻画数据点和逼近函数之间的靠近程度？ ¡ 给定一组观察或测量得到的一组离散数据序列 ，选定函数空间 ，构造函数 ，使得函数 最优的靠近离散数据序列 ，即向量 与 的误差或距离 最小 ¡ 如何定义向量之间的距离：向量范数 4 1 ( , ) m i i i x y (x) (x) 1 ( , ) m i i i x y 1 2 ( ), ( ), , ( ) T Q m x x x 1 2 ( , , , ) T Y m y y y 1 1 1 || || ( ) m i i i R Q Y x y 1/2 2 2 2 1 || || ( ) m i i i R Q Y x y 1 || || max | ( ) | i i i m R Q Y x y 最小平均逼近 最小平方逼近 最小一致逼近
拟合函数 ■Gauss:和Legendre分别发明 ■ 景小二乘法：R=-②)) ●均方误差 ●按均方误差达到最小 ●优点：易于求解 ■景小二乘法是最基本的函数逼近方法，被广泛应用于 运筹学、统计学、逼近论等各个领城 ·问题：如何选定函数空间心？ ●专业知识或工作经验 ·观察数据 5
¡ Gauss和Legendre分别发明 ¡ 最小二乘法： l 均方误差 l 按均方误差达到最小 l 优点：易于求解 ¡ 最小二乘法是最基本的函数逼近方法，被广泛应用于 运筹学、统计学、逼近论等各个领域 ¡ 问题：如何选定函数空间 ？ l 专业知识或工作经验 l 观察数据 5 2 2 2 1 ( ) m i i i R R x y
线性拟合和二次拟合函数 ■景小二乘问题：给定数据序列{《(x,y,)%和函数空间 D=spanio (x)(x)....(x)}, 求函数p(x)∈Φ，使得 min((x)-y) peΦ 其中p(x)=a,p,(x)+a2p2(x)+…+anpn(x)a,∈R,i=1,2,.n ■若定义 (a,a,a)=∑(o(x)-y）广=∑(a,g()+a,0(x)++a,0.(x)-y) 则最小二乘问题可写成 min O(a1,a2,…,an） 41,a2,.,an∈ 6
¡ 最小二乘问题：给定数据序列 和函数空间 求函数 ，使得 其中 ¡ 若定义 则最小二乘问题 可写成 6 1 ( , ) m i i i x y 1 2 span{ ( ), ( ), , ( )}, n x x x (x) 2 1 min ( ) m i i i x y 1 1 2 2 ( ) ( ) ( ) ( ), , 1,2, n n i x a x a x a x a i n 2 2 1 2 1 1 2 2 1 1 ( , , , ) ( ) ( ) ( ) ( ) m n n i i i i n n i i i i Q a a a x y a x a x a x y 1 2 1 2 , , , min ( , , , ) n n a a a Q a a a
线性拟合和二次拟合函数 将Q(a,a2,,a)=∑(a0,(x)+a,p,(x,)+…+a,,(x)-y)2写成矩阵的 表示形式：记 p(x1) p2(x1) 9n(x1) 4 y A= p(x2) 02(x2) … e(x2) ,X= ,b= y2 .: p1(xm）p2(xm) … (Xm)mxn ymm 则有 (x)=Ax-b=xAAx-2xTATb+bb 二次型取最小值的条件 (=0→2A'Ax-2A'b=0→AAK=Ab Ox
¡ 将 写成矩阵的 表示形式：记 则有 ¡ 二次型取最小值的条件 7 2 1 2 1 1 2 2 1 ( , , , ) ( ) ( ) ( ) m n i i n n i i i Q a a a a x a x a x y 1 1 2 1 1 1 1 1 2 2 2 2 2 2 1 2 1 1 ( ) ( ) ( ) ( ) ( ) ( ) , , , ( ) ( ) ( ) n n m m n m m n n n m m x x x a y x x x a y x x x a y A x b 2 2 ( ) || || 2 T T T T T Q x Ax b x A Ax x A b b b ( ) 0 2 2 0 Q T T T T x A Ax A b A Ax A b x
线性拟合和二次拟合函数 线性拟合：取函数空间Φ=span{L,x,p(x)=a+bx,则 AAx=Ab 8
¡ 线性拟合：取函数空间 ， ，则 8 span{1, x} (x) a bx T T A Ax A b 1 1 2 1 1 1 m m i i i i m m m i i i i i i i m x y a b x x x y
线性拟合和二次拟合函数 ■ 二次拟合：取函数空间Φ=span{L,x,x2},p(x)=a+bx+cx2, 则 m ATAx=ATb b 立 9
¡ 二次拟合：取函数空间 ， ， 则 9 2 span{1, x, x } 2 (x) a bx cx T T A Ax A b 2 1 1 1 2 3 1 1 1 1 2 3 4 2 1 1 1 1 m m m i i i i i i m m m m i i i i i i i i i m m m m i i i i i i i i i m x x y a x x x b x y c x x x x y
线性拟合和二次拟合函数 形如aer曲线拟合：取函数空间Φ={aer|a,beR}》 ●非线性空间 ●线性化：作变换z=lny,有 z=Iny Ino(x)In(ae )=Ina+bx =A+Bx ·利用线性拟合求A,B ·类似地，可求形如a+加曲线拟合 ■注意：变换后的所得拟合曲线，已经不在是平方误差 极小意义下的拟合曲线 10
¡ 形如 曲线拟合：取函数空间 l 非线性空间 l 线性化：作变换 ，有 l 利用线性拟合求 ¡ 类似地，可求形如 曲线拟合 ¡ 注意：变换后的所得拟合曲线，已经不在是平方误差 极小意义下的拟合曲线 10 bx ae { | , } bx ae a b z ln y ln ( ) ln( ) ln bx x ae a bx A Bx ln i i z y A,B 1 a bx