中国矿亚大鉴CHINAUNIVERSITY OFMININGANDTECHNOLOGYCH5曲线拟合和函数逼近81最小二乘原理和多项式拟合82一般最小二乘拟合83正交多项式曲线拟合84最佳平方逼近
CHINA UNIVERSITY OF MINING AND TECHNOLOGY CH5 曲线拟合和函数逼近 §1 最小二乘原理和多项式拟合 §2 一般最小二乘拟合 §3 正交多项式曲线拟合 §4 最佳平方逼近
中国矿亚大學CHINAUNIVERSITYOFMININGANDTECHNOLOGY给出一组离散点，确定一个函数逼近原函数，插值是的一种手段。但在实际问题中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。因此，我们需要一种新的逼近原函数的手段：①不要求过所有的点（可以减小误差影响）：②尽可能表现数据的趋势，靠近这些点。如：5个风景点，要修一条公路主干道S使得S为直线，且到所有风景点的距离和最小，而不要求公路通过所有的风景点
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 给出一组离散点，确定一个函数逼近原函数，插值是的一种手段。 但在实际问题中，数据不可避免的会有误差，插值函数会将这些误差也 包括在内。因此，我们需要一种新的逼近原函数的手段： ①不要求过所有的点（可以减小误差影响）； ②尽可能表现数据的趋势，靠近这些点。 如： 5个风景点，要修一条公路主干道 S使得 S为直线，且到所有风景点 的距离和最小，而不要求公路通过所有的风景点
中国矿亚大警CHINA UNIVERSITY OF MININGAND TECHNOLOGY81最小二乘法实例：考察某种纤维的强度与其拉伸倍数的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录：编编编拉伸强度拉伸倍拉伸倍号号号倍数(x)数(x)数(x)强度(y)强度(v)()51741. 91. 495. 5422105. 251843. 51. 332. 11.81165. 5194.54.242. 512202.56. 36.44.63. 552. 72.8136.5218.568.962. 72. 5142297. 15. 3813153. 58239.56.58.1262482. 787103.58.1
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 实例：考察某种纤维的强度与其拉伸倍数的关系,下表是实 际测定的24个纤维样品的强度与相应的拉伸倍数的记录: §1 最小二乘法 编 号 拉伸 倍数(x) 强度(y) 编 号 拉伸倍 数(x) 强度(y) 编 号 拉伸倍 数(x) 强度 (y) 1 1.9 1.4 9 5 5.5 17 4 4 2 2 1.3 10 5.2 5 18 4 3.5 3 2.1 1.8 11 6 5.5 19 4.5 4.2 4 2.5 2.5 12 6.3 6.4 20 4.6 3.5 5 2.7 2.8 13 6.5 6 21 8.9 8.5 6 2.7 2.5 14 7.1 5.3 22 9 8 7 3.5 3 15 8 6.5 23 9.5 8.1 8 3.5 2.7 26 8 7 24 10 8.1
中国矿亚大警CHINA UNIVERSITY OF MININGAND TECHNOLOGY纤维强度随拉伸倍数增加而增加，并且24个点大致分布6在一条直线附近，5因此可以认为强度y与拉伸倍数x的主3.要关系应是线性关系。10456789y()= β+ βix-(1)其中β,β为待定参数
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 纤维强度随拉伸倍 9 数增加而增加，并 且24个点大致分布 在一条直线附近， 因此可以认为强度 y与拉伸倍数x的主 要关系应是线性关 系。 y x x 0 1 ( ) = β + β -(1) 其中 β 0 , β 1为待定参数
中国矿亚大整CHINAUNIVERSITYOFMININGANDTECHNOLOGY找一种度量标准来衡量什么曲线最接近所有数据点一、最小二乘法原理A8, = y(x)- yi在回归分析中称为残差一般使用o=？=((x)-)2称为平方误差i=0i=0作为衡量y(x)与数据点(x，y)偏离程度大小的度量标准从而确定(I)中的待定系数，求解y(x)
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 找一种度量标准来衡量什么曲线最接近所有数据点 一、最小二乘法原理 i i i 令 δ = y ( x ) − y 一般使用 ∑= = m i i 0 2 2 2 δ δ 在回归分析中称为残差 ∑= = − m i i i y x y 0 2 ( ( ) ) 作为衡量y ( x )与数据点 ( xi , yi)偏离程度大小的度量标 准 称为平方误差 从而确定(1)中的待定系数，求解y (x )
中国矿亚天整CHINA UNIVERSITYOF MININGANDTECHNOLOGY二、线性最小二乘拟合1．基本思想给定(x,,J,)(i=0,l,,m)，设x,v的关系为 y=S(x)其中S(x)来自函数类Φ如(1)中y(x)来自线性函数类设函数类Φ的基函数为(x)(i=0,1,,n）一般要求n≤mΦ = span(p,(x),P,(x),...,P,(x)S(x)= ap,(x)+ap(x)...+a,p,(x)e@Iol, =8? =(S(x,)- y,)仍然定义平方误差i=0=0
CHINA UNIVERSITY OF MINING AND TECHNOLOGY y = S x( ) 其中 S ( x )来自函数类 Φ 如 ( 1 ) 中 y ( x )来自线性函数类 ( , )( 0,1, , ) i i x yi m = " ( x)( i 0 , 1 , , n ) 设函数类 Φ的基函数为 ϕi = " 一般要求 n ≤ m 0 1 { ( ), ( ), , ( )} n Φ = span x x x ϕ ϕ ϕ " 2 2 2 0 m i i δ δ = = ∑ 2 0 (( ) ) m i i i Sx y = 仍然定义平方误差 = − ∑ 00 11 () () () () Sx a x a x a x = ϕ + + ϕ ϕ " n n ∈ Φ 二、线性最小二乘拟合 ⒈ 基本思想 给定 ，设x ,y的关系为
中国矿亚大医CHINAUNIVERSITY OF MININGANDTECHNOLOGY[8*2 =Z(S*(x)-y)21-0= minol2 = min Z(S(x,)- y,)22S(x)edS(x)eΦi=0称满足条件(2)的求函数 S*(x)=a;,(x)的方法为i=0线性最小二乘拟合S*(x)=a,p,(x)为最小二乘解=0S(x)=a,g,(x)为拟合函数,a,(j=0,1,…,n)为拟合系数j=0s*称为最小二乘解的最小偏差
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 2 2 δ * ∑= = − m i i i S x y 0 2 ( * ( ) ) ∑= ∈ Φ = − m i i i S x S x y 0 2 ( ) min ( ( ) ) 2 2 ( ) min δ ∈ Φ = S x -(2) ∑ 为最小二乘解 = = n j j j S x a x 0 * * ( ) ϕ ( ) ( ) ( )为拟合函数 , ( 0 , 1 , , )为拟合系数 0 S x a x a j j n n j = ∑ j j = " = ϕ 2 δ * * 0 *( ) ( ) n j j j Sx a x ϕ = 称满足条件(2)的求函数 的方法为 = ∑ 线性最小二乘拟合 。 称为最小二乘解的最小偏差
中国矿亚大整CHINAUNIVERSITY OFMININGANDTECHNOLOGY2. 法方程组S(x)=a,p,(x)由j=0y=)2可知=S(x)a,p,(x)i=0i=01=0为拟合系数a(j=0,1,,n)的函数二次函数因此可假设y(ao,at,,an) =Z(Za,p,(x.)-y.)i=0j=0因此求最小二乘解转化为求y(a,a,.,a,)的最小值点a,a,.,a,的问题
CHINA UNIVERSITY OF MINING AND TECHNOLOGY ∑ ∑ = = = − m i i n j j j i a x y 0 2 0 ∑ ( ϕ ( ) ) = = − m i i i S x y 0 2 ( ( ) ) ⒉ 法方程组 2 2 δ ∑= = n j j j S x a x 0 由 ( ) ϕ ( ) 为拟合系数 a j ( j = 0 , 1 , " , n )的函数 可知 因此可假设 ( , , , ) 0 1 n ψ a a " a ∑ ∑ = = = − m i i n j j j i a x y 0 2 0 ( ϕ ( ) ) 因此求最小二乘解转化为 二次函数 01 01 (, , ) , , n n ψ aa a aa a 求 " " ∗ ∗ ∗ 的最小值点 的问题
中国矿亚大医CHINA UNIVERSITYOF MININGANDTECHNOLOGY由多元函数取极值的必要条件y(ao.aa,) - 0k=0,1...,nOakay=Z[2(Za,g,(x,)-y,)Pk(x,) = 0得aaki=0j=0Z(Za,p,(x,)g(x,)- y,px(x)] =0即i=0j=0mI2Zajp,(x,)p(x)-Zy,e(x)双i=0i=0 j=0
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 由多元函数取极值的必要条件 0 ( , , , ) 0 1 = ∂ ∂ k n a ψ a a " a k = 0 , 1 , " , n [ 2 ( ( ) ) ( )] 0 0 k i m i i n j j j i ∑ ∑ a ϕ x y ϕ x = = = − a k ∂ ∂ψ 得 = 0 即 ∑∑ ∑ = = = = m i i k i m i k i n j j j i a x x y x 0 0 0 ϕ ( )ϕ ( ) ϕ ( ) [ ( ) ( ) ( )] 0 0 0 ∑ ∑ − = = = k i m i i n j j j i k i a ϕ x ϕ x y ϕ x
中国矿亚大鉴CHINA UNIVERSITY OF MININGAND TECHNOLOGY2Za,,(x):(x)=Zye:(x)i=0i=0j=0Z(g,(x,)p(x,)la, =Zy,pk(x,)j=0 1=0i=04k=0,1,.".,n即aZgo(x)p(x,)+aZo(x,)p(x,)+.+a,,(x,)p(x,)i=0i=0i=0mZyp(x)k =0,1,...,ni=0
CHINA UNIVERSITY OF MINING AND TECHNOLOGY ∑∑ ∑ = = = = m i i k i m i k i n j j j i a x x y x 0 0 0 ϕ ( )ϕ ( ) ϕ ( ) ∑ ∑ ∑ = = = = m i i k i n j k i j m i j i x x a y x 0 0 0 [ ϕ ( )ϕ ( )] ϕ ( ) k = 0 , 1 , " , n -(4) ∑ ∑ ∑ ∑ = = = = = + + + m i i k i k i m i k i n n i m i k i i m i i y x a x x a x x a x x 0 0 0 1 1 0 0 0 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ϕ ϕ ϕ ϕ ϕ " ϕ ϕ k = 0 , 1 , " , n 即