首都师范大学：《数值计算方法》课程教学资源（PPT课件讲稿）第3章 曲线拟合的最小二乘法

第3章曲线拟合的最小二乘法 给出一组离散点,确定一个函数逼近原函数,插值是这样的一种手段 在实际中,数据不可避免的会有误差,插值函数会将这些误差也包括在内。 因此,我们需要一种新的逼近原函数的手段: ①不要求过所有的点(可以消除误差影响) ②尽可能表现数据的趋势,靠近这些点

第3章 曲线拟合的最小二乘法 给出一组离散点，确定一个函数逼近原函数，插值是这样的一种手段。 在实际中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。 因此，我们需要一种新的逼近原函数的手段： ①不要求过所有的点（可以消除误差影响）； ②尽可能表现数据的趋势，靠近这些点

有时候,问题本身不要求构造的函数过所有的点。如:5个风景点,要修一条公 路S使得S为直线,且到所有风景点的距离和最小 对如上2类问题,有一个共同的数学提法:找函数空间上的函数g, 使得g到/的距离最小 先讲些预备知识

有时候，问题本身不要求构造的函数过所有的点。如：5个风景点，要修一条公 路S使得S为直线，且到所有风景点的距离和最小。 先讲些预备知识 对如上2类问题，有一个共同的数学提法：找函数空间上的函数g， 使得g到f的距离最小

预备知识 定义1:向量范数 映射:,|:R”→RU{O}满足: ①非负性 20,且Ⅺ=0X=0 ②齐次性Va∈RaXx=1a:|(‖ ③三角不等式|X+ysx+11 称该映射为向量的一种范数 我们定义两点的距离为-Y

定义1：向量范数 映射： : {0} 满足： → +  R R n ①非负性 X  0,且 X = 0  X = 0 ②齐次性 aR, aX = a  X ③三角不等式 X +Y  X + Y 称该映射为向量的一种范数 预备知识 我们定义两点的距离为： X −Y

常见的范数有: X=∑xX={x,x2…x} i=1 x2=1∑(x),x={1x,…x} X=max(x,X=x,x2",x, 定义2函数,g的关于离散点列加的离散内积为: (f,g)D=∑f(x)g(x) 0

常见的范数有：  n  n i i X (x ) , X x , x , , x 1 2 1 2 2 =  =  = X = max{ xi }, X =x1 , x2 ,  , xn    n  n i i X x , X x , x , , x 1 2 1 1 =  =  = 定义2：函数f，g的关于离散点列   n i i x =0 的离散内积为： = = n i D i i f g f x g x 0 ( , ) ( ) ( )

定义3:函数f离散范数为 b=2/((x) 提示:该种内积,范数的定义与向量的2一范数一致 我们还可以定义函数的离散范数为: f|b=(x),f(x)…,f(x,)1=max(f(x,f(x)…f(x,) /lD=K(x)f(x)…,f(x,)=∑(x)

定义3：函数f的离散范数为 = = n i D i i f f x f x 0 ( ) ( ) 提示：该种内积，范数的定义与向量的2－范数一致 我们还可以定义函数的离散范数为： ( ) ( ) ( ) 0 1 0 1 0 1 1 0 ( ), ( ), , ( ) max ( ), ( ), , ( ) ( ), ( ), , ( ) ( ) D n n n D n i i f f x f x f x f x f x f x f f x f x f x f x  = = = = =

曲线拟合的最小二乘问题 定义y.定义在区间1b上的函数,{x为区间上n+1个互不相同 的点,为给定的某一函数类。求Φ上的函数g(x)满足 fax)和g(a)的距离最小 如果这种距离取为2一范数的话,称为最小二乘问题

f(x)为定义在区间[a,b]上的函数， 为区间上n+1个互不相同 的点， 为给定的某一函数类。求 上的函数g(x)满足 f(x)和g(x)的距离最小   0 n i i x =   如果这种距离取为2－范数的话，称为最小二乘问题 曲线拟合的最小二乘问题 定义

下面我们来看看最小二乘问题: 求8∈0使得凡=(∑g(x)-(x)最小 设 d=Spm{qo2(12…n} g(x)=a0(0(x)+…+ann(x) ou g(x)-f(x)ll=min o(x)-f(x 即|f(x)-(a9(x)+…+an9(x) 关于系数{ao212…an}最小

下面我们来看看最小二乘问题： 求 g(x) 使得 ( ) 最小 = = − n i i i R g x f x 0 2 2 ( ) ( ) 设  = span{0 ,1 , n } ( ) ( ) ( ) g x = a0 0 x ++ an n x ( ) n n D f (x) a (x) a (x) − 0 0 ++  D D g(x) − f (x) = min (x) − f (x)    最小 则 即 关于系数 {a0 ,a1 , an }

f(x)-(an(x)+…+a9(x)l2 =f-2(a09(x)+…+an9n(x) +|a0q(x)+…+an9n(x 2 =‖f2-2∑a(f,)+∑aa(2) k=0 i,k=0 =Q(ao2a12…an) 由于它关于系数{a02a1,…an}最小,因此有: 0.i=0.….n 即∑a4(9,9)=(9)2=0,…n k=0

( ) ( ) ( ) 2 0 0 2 0 0 2 0 0 2 0 , 0 0 1 ( ) ( ) ( ) 2( , ( ) ( )) ( ) ( ) 2 , , ( , , , ) n n D D n n D n n D n n D k k i k i k k i k n f x a x a x f f a x a x a x a x f a f a a Q a a a          = = − + + = − + + + + + = − + =   由于它关于系数 {a0 ,a1 , an } 最小，因此有： i n a Q i = 0, = 0,,   即 a f i i n n k k i k ( , ) ( , ), 0, , 0  = =  =   

写成矩阵形式有: (a)…(,9,)Y2(m) n,90)D n79n丿D Pn)D 由{qo,,qn}的线性无关性,知道该方程存在唯一解 法方程

写成矩阵形式有： ( ) ( ) ( ) ( ) ( ) ( )           =                     n D D n D n n D n D n D f f a a           , , , , , , 0 0 0 0 0 0        法方程 由 {0 ,1 , n } 的线性无关性，知道该方程存在唯一解

例 ①y=a+b 第一步:函数空间的基{x},然后列出法方程 )b(.,))Ya)_(( (x)(x,x)2人b( X 5丿D ②y=ax2+b 第一步:函数空间的基{x21},然后列出法方程 2 D X a D X D x)b0)2人b((/b

① y = a + bx ( ) ( ) ( ) ( ) ( ) ( )         =                D D D D D D f x f b a x x x x , ,1 ,1 , 1,1 1, 第一步：函数空间的基 1, x ，然后列出法方程 ② y = ax + b 2 ( ) ( ) ( ) ( ) ( ) ( )         =                D D D D D D f f x b a x x x x ,1 , 1, 1,1 , 1, 2 2 2 2 2 第一步：函数空间的基  ,1 2 x ，然后列出法方程 例：