) 中图学技术大荸学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 第3章曲线拟合的最小二乘法 给出一组离散点,确定一个函数逼近原函数,插值是这样的一种手段。 在实际中,数据不可避免的会有误差,插值函数会将这些误差也包括在内 因此,我们需要一种新的逼近原函数的手段: ①不要求过所有的点(可以消除误差影响) ②尽可能表现数据的趋势,靠近这些点
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 第3章 曲线拟合的最小二乘法 给出一组离散点，确定一个函数逼近原函数，插值是这样的一种手段。 在实际中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。 因此，我们需要一种新的逼近原函数的手段： ①不要求过所有的点（可以消除误差影响）； ②尽可能表现数据的趋势，靠近这些点
) 中图学技术大荸学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 有时候,问题本身不要求构造的函数过所有的点。如:5个风景点,要修一条公 路S使得S为直线,且到所有风景点的距离和最小 对如上2类问题,有一个共同的数学提法:找函数空间上的函数g, 使得g到/的距离最小 先讲些预备知识
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 有时候，问题本身不要求构造的函数过所有的点。如：5个风景点，要修一条公 路S使得S为直线，且到所有风景点的距离和最小。 先讲些预备知识 对如上2类问题，有一个共同的数学提法：找函数空间上的函数g， 使得g到f的距离最小
中图苔技术大荸数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 预备知识 定义1:向量范数 映射:|:|:R"→RU{0}满足: ①非负性 20,且=0X=0 ②齐次性a∈R|ak=a|X ③三角不等式‖+y≤x+|y 称该映射为向量的一种范数 我们定义两点的距离为X-y
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 定义1：向量范数 映射： : {0} 满足： → + R R n ①非负性 X 0,且 X = 0 X = 0 ②齐次性 aR, aX = a X ③三角不等式 X +Y X + Y 称该映射为向量的一种范数 预备知识 我们定义两点的距离为： X −Y
) 中图学技术大荸学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 常见的范数有: ‖x1=∑xX={x1,x2…x x2=1∑(x)2,X={,x2…x =max{x},X={x1x2,…∵孓小 oo 定义2:函数,g的关于离散点列{x。的离散内积为: (,g)D=∑f(x)g(x)
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 常见的范数有： n n i i X (x ) , X x , x , , x 1 2 1 2 2 = = = X = max{ xi }, X =x1 , x2 , , xn n n i i X x , X x , x , , x 1 2 1 1 = = = 定义2：函数f，g的关于离散点列 n i i x =0 的离散内积为： = = n i D i i f g f x g x 0 ( , ) ( ) ( )
) 中图学技术大荸学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 定义3:函数f的离散范数为 ln=∑f(x)f(x) 0 提示:该种内积,范数的定义与向量的2一范数一致 我们还可以定义函数的离散范数为: Ifl =(f(xo), f(x,) f(x,)=max ((xo),f(x,),",f(*m) /lb=K(x)f(x)…f(x)=∑儿(x)
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 定义3：函数f的离散范数为 = = n i D i i f f x f x 0 ( ) ( ) 提示：该种内积，范数的定义与向量的2－范数一致 我们还可以定义函数的离散范数为： ( ) ( ) ( ) 0 1 0 1 0 1 1 0 ( ), ( ), , ( ) max ( ), ( ), , ( ) ( ), ( ), , ( ) ( ) D n n n D n i i f f x f x f x f x f x f x f f x f x f x f x = = = = =
) 中图学技术大荸学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 曲线拟合的最小二乘问题 定义m0为定义在区间1ab上的函数,{x}为区间上n+个互不相同 的点,Φ为给定的某一函数类。求①上的函数g(x)满足 fax)和g(x)的距离最小 如果这种距离取为2一范数的话,称为最小二乘问题
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS f(x)为定义在区间[a,b]上的函数， 为区间上n+1个互不相同 的点， 为给定的某一函数类。求 上的函数g(x)满足 f(x)和g(x)的距离最小 0 n i i x = 如果这种距离取为2－范数的话，称为最小二乘问题 曲线拟合的最小二乘问题 定义
) 中图学技术大荸学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 下面我们来看看最小二乘问题 求8()使得R2=1∑(g(x)-f(x)2最小 设 ①=pm{o,q12…(n} 8(x)=a0(0(x)+…+ann(x) ou g(x)f(x)ll=min o(x)-f(xll 即f(x)-(a9(x)+…+an9n(x) 关于系数{a02a12…an}最小
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 下面我们来看看最小二乘问题： 求 g(x) 使得 ( ) 最小 = = − n i i i R g x f x 0 2 2 ( ) ( ) 设 = span{0 ,1 , n } ( ) ( ) ( ) g x = a0 0 x ++ an n x ( ) n n D f (x) a (x) a (x) − 0 0 ++ D D g(x) − f (x) = min (x) − f (x) 最小 则 即 关于系数 {a0 ,a1 , an }
) 中图学技术大荸学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS f(x)-(a%(x)+…+an9,(x) ‖f。-2(f,c49(x)+…+an,(x) +|a(x)+…+ann(x D ik=0 由于它关于系数{ao212…an}最小,因此有 aO 0.i=0. 即∑ak(9,0)=(,91)1=0,…n k=0
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS ( ) ( ) ( ) 2 0 0 2 0 0 2 0 0 2 0 , 0 0 1 ( ) ( ) ( ) 2( , ( ) ( )) ( ) ( ) 2 , , ( , , , ) n n D D n n D n n D n n D k k i k i k k i k n f x a x a x f f a x a x a x a x f a f a a Q a a a = = − + + = − + + + + + = − + = 由于它关于系数 {a0 ,a1 , an } 最小，因此有： i n a Q i = 0, = 0,, 即 a f i i n n k k i k ( , ) ( , ), 0, , 0 = = =
) 中图学技术大荸学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 写成矩阵形式有: (9)…(on2n)D丫a)(,9)b (n9)…(o n37n丿D Pn)D 由{(21…n}的线性无关性,知道该方程存在唯一解 法方程
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 写成矩阵形式有： ( ) ( ) ( ) ( ) ( ) ( ) = n D D n D n n D n D n D f f a a , , , , , , 0 0 0 0 0 0 法方程 由 {0 ,1 , n } 的线性无关性，知道该方程存在唯一解
中图苔技术大荸数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 例 ①y=a+b x 第一步:函数空间的基{x,然后列出法方程 1)(,x)ba)((f)b (x)(x,x)人b(;,x) ②y=ax2+b 第一步:函数空间的基 ,然后列出法方程 D D 0)人b((/)
数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS ① y = a + bx ( ) ( ) ( ) ( ) ( ) ( ) = D D D D D D f x f b a x x x x , ,1 ,1 , 1,1 1, 第一步：函数空间的基 1, x ，然后列出法方程 ② y = ax + b 2 ( ) ( ) ( ) ( ) ( ) ( ) = D D D D D D f f x b a x x x x ,1 , 1, 1,1 , 1, 2 2 2 2 2 第一步：函数空间的基 ,1 2 x ，然后列出法方程 例：
