《数值逼近》第四章 平方逼近

第四章平方逼近 教学目的及要求: 掌握最小二乘法、初步掌握平方逼近及直交多项式、平方度量意义下函数的逼近 问题。 本书第二章是用数量 lp-f=maxp(x)-f(x) 来度量逼近多项式p(x)与已知函数f(x)的近似程度。若 pn(x)-f(x)→>0,n→>则意味着序列{pn(x)在区间[ab]上一致收敛到f(x)。 致逼近度量,亦称 Tchebyshev度量是很重要的一类度量标准。然而由于它的 非线性特性,使得最佳一致逼近多项式的构造问题十分困难。 对于许多问题来讲,人们需要求出的是在确定意义下的“整体”近似。本章 讨论一类新的度量-平方度量意义下函数的逼近问题。先从最小二乘法谈起。 §1.最小二乘法 最小二乘法起源于以测量和观测为基础的天文学。Gaus在1794年利用最小 乘法解决了多余观测问题,当时他只有十七岁。可以用下面的简单例子描述这 类问题 假定通过观测或实验得到如下一组数据(即列表函数): k 2 4 5 6 0 2 5 7 14 13 41.11.3 18 623

第四章 平方逼近 教学目的及要求： 掌握最小二乘法、初步掌握平方逼近及直交多项式、平方度量意义下函数的逼近 问题。 本书第二章是用数量 p f max p(x) f (x) a x b − = −   来 度 量 逼 近 多 项 式 p(x) 与已知函数 f (x) 的 近 似 程 度 。 若 p (x) − f (x) → 0,n → , n 则意味着序列 pn (x) 在区间 [a,b] 上一致收敛到 f (x) 。 一致逼近度量，亦称 Tchebyshev 度量是很重要的一类度量标准。然而由于它的 非线性特性，使得最佳一致逼近多项式的构造问题十分困难。 对于许多问题来讲，人们需要求出的是在确定意义下的“整体”近似。本章 讨论一类新的度量----平方度量意义下函数的逼近问题。先从最小二乘法谈起。 §1. 最小二乘法 最小二乘法起源于以测量和观测为基础的天文学。Gauss 在 1794 年利用最小 二乘法解决了多余观测问题，当时他只有十七岁。可以用下面的简单例子描述这 类问题。 假定通过观测或实验得到如下一组数据（即列表函数）： k 1 2 3 4 5 6 7 8 k x 0 1 2 3 4 5 6 7 k y 1.4 1.3 1.4 1.1 1.3 1.8 1.6 2.3

我们的目的是一简单的式子表出这些数据间的关系。从分析数据看出,这些点差 不多分布在一条直线上,因此我们自然想到用线性式y=ax+b表示它们之间的 关系。这就须定出参数a和b的值来。这实际上是多余观测问题,用插值法不能 确定出a和b的值。代定参数的确定归结为矛盾方程组的求解问题。 假定有某方法可以定出a和b,则按y=a+bx,给出一个x便可以算出一个 我们记 a+bx y称为y的估计值,显然它们不会是完全相同的,它们之间的差(通常称为残 差 6k=yk-yk(k=1…8) 无疑是衡量被确定的参数a和b(也就是近似多项式y=ax+b)好坏的重要标志。 可以规定许多原则来确定参数a,b。例如 (1)参数的确定,将使残差绝对值中最大的一个达到最小,即 max|A为最小 (2)参数的确定,将使残差绝对值之和达到最小,即∑|为最小; (3)参数的确定,将使残差的平方和达到最小,即∑62为最小 (1)和(2)两个原则是很直观的,也很理想,但很不好用;而原则(3) 既直观又很好用。按原则(3)确定待定参数,从而得到近似多项式的方法,就 是通常所说的最小二乘法。这一方法的理论根据是,概率理论已证明,只有这样 的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小的影响。 回到所提出的问题上来,即用最小二乘法确定参数ab。按最小二乘法,应 使

我们的目的是一简单的式子表出这些数据间的关系。从分析数据看出，这些点差 不多分布在一条直线上，因此我们自然想到用线性式 y = ax + b 表示它们之间的 关系。这就须定出参数 a 和 b 的值来。这实际上是多余观测问题，用插值法不能 确定出 a 和 b 的值。代定参数的确定归结为矛盾方程组的求解问题。 假定有某方法可以定出 a 和 b ，则按 y = a + bx ，给出一个 x 便可以算出一个 y 。我们记 y = a + bx (k =1,  ,8). k k y 称为 k y 的估计值，显然它们不会是完全相同的，它们之间的差（通常称为残 差） = y − y (k =1,  ,8) k k k  无疑是衡量被确定的参数 a 和 b （也就是近似多项式 y = ax + b ）好坏的重要标志。 可以规定许多原则来确定参数 a,b 。例如 （1） 参数的确定，将使残差绝对值中最大的一个达到最小，即 k k T = max  为最小； （2） 参数的确定，将使残差绝对值之和达到最小，即  k k  为最小； （3） 参数的确定，将使残差的平方和达到最小，即  2 k  为最小。 （1） 和（2）两个原则是很直观的，也很理想，但很不好用；而原则（3） 既直观又很好用。按原则（3）确定待定参数，从而得到近似多项式的方法，就 是通常所说的最小二乘法。这一方法的理论根据是，概率理论已证明，只有这样 的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小的影响。 回到所提出的问题上来，即用最小二乘法确定参数 a,b 。按最小二乘法，应 使

S(a,b)=∑(y-(a+b) 取最小值。因此,应有 =2∑(y1-(a+b)=0 =2∑(y2-(a+b,)x1=0 由此,得到如下线性方程组 p+b∑x=∑y 经过简单计算,这个方程组成为 8a+28b=122 28a+140b=47.3 解之可得a=1.142b=0.110,从而得近似多项式p1(x)=1.142+0110x 现在转入讨论更为一般的情形。设已知列表函数y=f(x,)=0,1,…,m),并且 我们想用一个通常的n(<m)次多项式 Pn(x)=a0+a1x+…+an 去近似它。问题是应该如何选择a,1,…an使pn(x)能较好地近似列表函数 ∫(x)。按最小二乘法,应该选择aoa1…,an使得 S(aa1…,an)=∑(f(x)-P2(x) 取最小。注意到S是非负的,且是a02a1…an的2次多项式,它必有最小值。 求S对a0,a1…,an的偏导数,并令其等于零,得到

= = − + s i i a bi S a b y 1 2 ( , ) ( ( )) 取最小值。因此，应有 2 ( ( )) 0. 2 ( ( )) 0, 8 1 8 1 = − + =   = − + =     = = i i i i i i i y a b x b S y a b a S 由此，得到如下线性方程组： . , 8 1 8 1 2 8 1 8 1 8 1 8 1 0       = = = = = = + = + = i i i i i i i i i i i i a x b x x y a i b x y 经过简单计算，这个方程组成为    + = + = 28 140 47.3 . 8 28 12.2 , a b a b 解之可得 a = 1.142,b = 0.110, 从而得近似多项式 ( ) 1.142 0.110 . 1 p x = + x 现在转入讨论更为一般的情形。设已知列表函数 y f (x )(i 0,1, ,m), i = i =  并且 我们想用一个通常的 n( m) 次多项式 n n n p x = a + a x ++ a x 0 1 ( ) （1.1） 去近似它。问题是应该如何选择 a a an , , , 0 1  使 p (x) n 能较好地近似列表函数 f (x) 。按最小二乘法，应该选择 a a an , , , 0 1  使得 = = − m i n i n i S a a a f x p x 0 2 0 1 ( , ,, ) ( ( ) ( )) 取最小。注意到 S 是非负的，且是 a a an , , , 0 1  的 2 次多项式，它必有最小值。 求 S 对 a a an , , , 0 1  的偏导数，并令其等于零，得到

anx;"x1=0(k=0…,n) 进一步,可以将它们写成 k+n y x. +a (k=0,1,…,n) 引进记号 =∑x和l4=∑yx 则上述方程组为 So do t Sn+a (1.3) 它的系数行列式是 由s(i=0,1…2n)的定义及行列式性质,可以断言 x=(7+D2u 此处符号W表 Vandermonde行列式,而∑是对所有可能的5(=01…m)求和 (每个5可以取值x,x1,…,xm并且当≠j时5≠5)。 由(1.4)式及 Vandermonde行列式的性质可知,当x,x1,…,xm互异时

( ) 0 ( 0,1, , ). 0 y a0 a1 x a x x k n k i m i n  i − − i −− n i = =  = 进一步，可以将它们写成 ( 0,1, , ). 0 0 1 1 0 0 0 y x a x a x a x k n m i k n n i m i k i m i k i m i k  i i =  +  ++  =  = + = + = = 引进记号 = = m i k k i s x 0 和 , 0 = = m i k k i i u y x 则上述方程组为        + + + = + + + = + + + = + + . , , 0 1 1 2 1 0 2 1 1 1 0 0 1 1 0 n n n n n n n n n s a s a s a u s a s a s a u s a s a s a u     (1.3) 它的系数行列式是 . 1 2 1 2 1 0 1 1 n n n n n n s s s s s s s s s X       + + + = 由 s (i 0,1, ,2n) i =  的定义及行列式性质，可以断言 ( ( , , , )) . ( 1)! 1 2 1  0 1 + n+ = W n n X     (1.4) 此处符号 W 表 Vandermonde 行列式，而  是对所有可能的 (i 0,1, ,n)  i =  求和 （每个 i  可以取值 , , , , 0 1 m x x  x 并且当 i  j 时  i   j ）。 由（1.4）式及 Vandermonde 行列式的性质可知，当 m x , x , , x 0 1  互异时

W(50,51,…,n) ≠ 从而,Xn1≠0(>0)方程组(1.3)有唯一解a,a,…,an,且它们使(12)取 极小值如此,我们应用最小二乘法找到了f(x)的近似多项式pn(x) 在利用最小二乘法组成和式(2)时,所有点x都起到了同样的作用,但是 有时依据某种理由认为∑中的某些项的作用大些,而另外一些作用小些(例如, 些y是由精度较高的仪器或操作上比较熟练的人员获得的,自然应该予以较 大的信任),这在数学上表现为用和 ∑(x)-p(x) 替代和(1.2)取最小值p>0,且∑P=1,p通常称之为权;而(.5)为加权和 例1设已知函数f(x)的表列值为 0.2 0.5 0.7 0.85 1.221 1.649 2.014 2.340 2.718 试按最小二乘法构造f(x)的二次近似多项式 解经过简单计算可得关于参数a0,a1和a2的方程组(参阅下面的第一个 表): 5a0+3.250a1+2.503a2=9942 3.250a0+2.503a1+2090a2=7.185 2.503a0+2.090a1+1.826a2=5857 解之,得a2=0.928,a1=0.751,a0=1.036故 p2x)=0.928x2+0.751x+1036

0. 1 1 1 ( , , , ) 0 1 2 2 1 2 0 0 1 0 1 =  n n n n n n W n                     从而， 0( 0), Xn+1   方程组 (1.3) 有唯一解 , , , , a0 a1  an 且它们使 (1.2) 取 极小值.如此，我们应用最小二乘法找到了 f (x) 的近似多项式 p (x) n . 在利用最小二乘法组成和式 (1.2) 时，所有点 i x 都起到了同样的作用，但是 有时依据某种理由认为  中的某些项的作用大些，而另外一些作用小些（例如， 一些 i y 是由精度较高的仪器或操作上比较熟练的人员获得的，自然应该予以较 大的信任），这在数学上表现为用和  ( ( ) ( )) = − m i i i n i f x p x 0 2  替代和 (1.2) 取最小值.  0,  i 且 1, 1  = = n i i i 通常称之为权；而 (1.5) 为加权和. 例 1 设已知函数 f (x) 的表列值为 x 0.2 0.5 0.7 0.85 1 y 1.221 1.649 2.014 2.340 2.718 试按最小二乘法构造 f (x) 的二次近似多项式. 解 经过简单计算可得关于参数 a0 , a1 和 a2 的方程组（参阅下面的第一个 表）： 5 a0 +3.250 a1 +2.503 a2 =9.942 3.250 a0 +2.503 a1 +2.090 a2 =7.185 2.503 a0 +2.090 a1 +1.826 a2 =5.857 解之，得 a2 =0.928, a1 =0.751, a0 =1.036.故 p (x) 2 =0.928 2 x +0.751 x +1.036

.o234y xy X y 0.2 0.00810002 12210.2440049 0.5 0.12500631.6490.8240412 0.7 03430240201414100997 0.85 072306140.5222.3401.9891.690 271827182718 32502.50320901.82699427.1855857 下表给出了px)在结点处的误差 0.7 0.85 1.221 1.649 2.014 2.340 2.718 P2(x)123 1644 2.017 2.344 2.715 y-P2(x)02200100 -0.004 0.003 用多项式pn(x)=a+a1x+…+an,x"去近似一个给定的列表函数(即给 出的一组观测值y=f(x)时,需要确定的参数是an,a41…an;而pn(x)可以 看成是a02a12…,an的线性函数但是有时在利用观测或实验数据去确定一个经 验公式时,往往要确定的函数和待定参数之间不具有线性形式的关系这样问题 就变得有些复杂然而,常常可以通过变量替换使其线性化例如 有时,我们希望用如下类型的函数 16) 去近似一个由一组观测数据(列表)所描绘的函数,其中P和q是待定的两个参 数显然S已非P和q的线性函数怎样线性化呢?为此,我们在(16)式两端取对 数,得到 In s=In p+gIn t

0 x 1 x 2 x 3 x 4 x y xy x y 2 1 1 1 1 1 0.2 0.5 0.7 0.85 1 0.04 0.25 0.49 0.723 1 0.008 0.125 0.343 0.614 1 0.002 0.063 0.240 0.522 1 1.221 1.649 2.014 2.340 2.718 0.244 0.824 1.410 1.989 2.718 0.049 0.412 0.997 1.690 2.718 5 3.250 2.503 2.090 1.826 9.942 7.185 5.857 下表给出了 p (x) 2 在结点处的误差. x 0.2 0.5 0.7 0.85 1 y 1.221 1.649 2.014 2.340 2.718 p (x) 2 1.223 1.644 2.017 2.344 2.715 y p (x) − 2 -0.002 0.005 -0.003 -0.004 0.003 用多项式 ( ) n n n p x = a + a x ++ a x 0 1 去近似一个给定的列表函数（即给 出的一组观测值 ( ) i i y = f x ）时，需要确定的参数是 , , , ; a0 a1  an 而 p (x) n 可以 看成是 a a an , , , 0 1  的线性函数.但是有时在利用观测或实验数据去确定一个经 验公式时，往往要确定的函数和待定参数之间不具有线性形式的关系.这样问题 就变得有些复杂.然而，常常可以通过变量替换使其线性化.例如： (1) 有时，我们希望用如下类型的函数： (1.6) q s = pt 去近似一个由一组观测数据（列表）所描绘的函数，其中 p 和 q 是待定的两个参 数.显然 s 已非 p 和 q 的线性函数.怎样线性化呢？为此，我们在 (1.6) 式两端取对 数，得到 ln s = ln p + qln t

记hs=y,hp=ao,a=q,x=hnt,则(16)式变成 这是一个一次多项式,它的系数a0和a1可以用最小二乘法求得 (i)我们经常希望用函数 去近似一个以给定的列表函数,其中A、C是待定的参数这时,我们可以在(17) 的两端取对数 In s=In a+ct 记hS=y,hnA=aC1=a,x=t,则(7)式变成 y=ao t air 这样,仍可用最小二乘法定出ao,a1(从而也就定出了AC),得到近似函数 s=Aecr 例2设已知如下一组实验数据 t=2.2273.54.1 S=65605350 试求一个()型的函数去近似它 解计算以紧凑的形式表示如下: x=hn t y=In s 0.3424 0.1172 1.8129 0.6207 0.4314 0.1861 1.7782 0.7671 0.5441 0.29601.7243 0.9382 0.6128 0.3755 1.6990 10411 1.9307 0.9748 7.0144 3671

记 ln s = y ，ln p = a0，a1= q ， x =ln t ，则 (1.6) 式变成 y = a0 + a1x . 这是一个一次多项式，它的系数 a0 和 a1 可以用最小二乘法求得. (ii) 我们经常希望用函数 (1.7) Ct S = Ae 去近似一个以给定的列表函数，其中 A、C 是待定的参数.这时，我们可以在 (1.7) 的两端取对数： ln S = ln A+Ct 记 ln S = y ，ln A= a0,C1 = a1, x = t ，则 (1.7) 式变成 y = a0 + a1x 这样，仍可用最小二乘法定出 0 1 a ,a （从而也就定出了 A,C ），得到近似函数 Ct S = Ae . 例 2 设已知如下一组实验数据： t =2.2 2.7 3.5 4.1 S =65 60 53 50 试求一个 (1.7) 型的函数去近似它. 解 计算以紧凑的形式表示如下： x0 x = ln t 2 x y = ln S xy 1 0.342 4 0.117 2 1.812 9 0.620 7 1 0.431 4 0.186 1 1.778 2 0.767 1 1 0.544 1 0.296 0 1.724 3 0.938 2 1 0.612 8 0.375 5 1.699 0 1.041 1 4 1.930 7 0.974 8 7.014 4 3.367 1

lo 由此得方程组 4an+1.9307a1=70144, 1.9307a0+0.9748a1=3.3671 解之得a0=lp=1.963,p=91.9,q=a1=-0.434,从而 919t0434 §2空间12) 设已知一列表函数y=f(x1)i=0,1…,m)为了构造函数f(x)的一个 n(∞)时,也就可把pn(x)理解为按照上述的平方度量收敛于

S0 S1 S2 u0 u1 由此得方程组 1.930 7 0.974 8 3.367 1. 4 1.930 7 7.014 4, 0 1 0 1 + = + = a a a a 解之得 ln 1.963, 91.9, 0.434, a0 = p = p = q = a1 = − 从而 91.9 . −0.434 S = t §2 空间 L (x) 2 设已知一列表函数 y f (x )(i 0,1, ,m). i = i =  为了构造函数 f (x) 的一个 n( m) 次近似多项式 p (x), n 按最小二乘法，应使和 ( ( ) ( )) = = − m i n i i S p x f x 0 2 取最小值.这相当于在结点 x (i m) i = 0,1,  , 处约束 p (x), n 看 p (x) n 近似列表函 数 f (x) 的程度如何，也只是看在这 m+1 个结点上的情况（亦即平方偏差 ( ( ) ( )) 2 n i i p x − f x ）.有时也需要考虑在全区间 a,b 上构造函数 f (x) 的近似多项 式 p (x), n 此时自然应以积分 (p (x) f (x)) dx b a n − 2 代替和  取最小值.实际上，在数值分析中常以数量 ( ( ) ( ))  − = − b a p f p x f x dx 2 来度量函数 p(x) 与 f (x) 的接近程度. 只要回想一下 n 维欧式空间中的两点距离公式，就知道上述数量可以类似地 理解为函数空间中的元素 p(x) 与 f (x) 两者间的距离 . 而 当 p − f → (n →) n 0 时，也就可把 p (x) n 理解为按照上述的平方度量收敛于

f(x),记 p,(x)2→f(x) 在实变函数论中讨论D2空间理论时,人们正是这样来理解一个序列的收敛(或 极限)概念的 为了实用的需要,我们还有必要进步去扩充上述观点,设p(x)是一个在 区间[a,b上()可积的非负函数,它至多只在一个测度为零的集合上可能等于 零以后我们常把p(x) 成为权函数 对于任意一个定义在区间[ab]上的可测函数∫(x),如果p(x)f(x)为(L) 可积,则就说f(x)属于Ln[]类;如果p(x)(x)为(L)可积,则说f(x) 属于L6 由不等式 x)(x)≤p(x)1+f2(x) 可以看出,凡L2中的函数都在L内(即L2cL)又由不等式 (x)g(x)≤ f2(x)+g2(x) 可知L中每两个函数之积恒属于L 现在介绍一下范数的概念D中的每一个函数f(x),都赋予一个数值 =C在, 并称它为∫的广义绝对值或范数由此 -8=(-8(

f (x) ，记 ( ) ( ), . 2 pn x ⎯→ f x n →  在实变函数论中讨论 2 L 空间理论时，人们正是这样来理解一个序列的收敛（或 极限）概念的. 为了实用的需要，我们还有必要进一步去扩充上述观点，设 (x) 是一个在 区间 a,b 上（L）可积的非负函数，它至多只在一个测度为零的集合上可能等于 零.以后我们常把 (x) 成为权函数. 对于任意一个定义在区间 a,b 上的可测函数 f (x) ，如果 (x) f (x) 为（L） 可积，则就说 f (x) 属于 L a,b  类；如果 ( )( ( )) 2  x f x 为（L）可积，则说 f (x) 属于 L a,b 2  类. 由不等式 ( ) ( ) ( ) ( ) , 2 1 2 f x x f x x +    可以看出，凡 2 L 中的函数都在 L 内（即 L  L 2 ）.又由不等式 ( ) ( ) ( ) ( ) 2 2 2 f x g x f x g x +  ， 可知 2 L 中每两个函数之积恒属于 L . 现在介绍一下范数的概念. 2 L 中的每一个函数 f (x) ，都赋予一个数值 ( ) ( )  = b a f x f x dx 2  ， 并称它为 f 的广义绝对值或范数.由此 ( ) ( ) ( )  − = − b a f g x f x g x dx 2 

便给出了两个函数∫和g之间的距离或接近程度的度量所谓平方逼近正式按照 这种度量来衡量其逼近程度的 下面关于范数的三条基本性质是容易验证的: 1.|f|≥0,并且当切仅当∫=0时f‖=0 ·/lc为一任意常数; f+g≤|fl1+|l 看来只有性质3是需要仔细验证的事实上,在 Schwarz不等式 fgdxsef dx pg 的两边乘以2并各加上 t og dx 得到 +2hs(ra)+(〔 再将上式两边各自开平方,就恰好得到了性质3中的不等式 利用泛函分析的术语来说,若是一个函数类中的元素(函数),按某种方式 赋予范数的概念之后,而范数恰好具有性质1,2,和3,那么就说该函数类构成 一个赋范空间如此看来,函数类L2对于上面规定的范数来所恰好构成一个赋范 空间,不妨仍用L来表示这个空间,同时还不妨把其中的所有元素(函数)称 之为该空间的点 读者还不难自行验证,当[ab]上一切连续函数f(x)(多项式自然包括在内) 赋以范数f=max/f(x)之后,恰好构成一个赋范空间原因是性质1,2,3都 是具备的

便给出了两个函数 f 和 g 之间的距离或接近程度的度量.所谓平方逼近正式按照 这种度量来衡量其逼近程度的. 下面关于范数的三条基本性质是容易验证的： 1． f  0, 并且当切仅当 f  0 时 f = 0 ； 2． cf = c  f , c 为一任意常数； 3． f + g  f + g . 看来只有性质 3 是需要仔细验证的.事实上，在 Schwarz 不等式 2 1 2 2 1 2                 b a b a b a fgdx f dx g dx 的两边乘以 2 并各加上   + b a b a f dx g dx 2 2   得到 ( ) 2 2 1 2 2 1 2 2                +      +     b a b a b a  f g dx f dx g dx . 再将上式两边各自开平方，就恰好得到了性质 3 中的不等式. 利用泛函分析的术语来说，若是一个函数类中的元素（函数），按某种方式 赋予范数的概念之后，而范数恰好具有性质 1，2，和 3，那么就说该函数类构成 一个赋范空间.如此看来，函数类 2 L 对于上面规定的范数来所恰好构成一个赋范 空间，不妨仍用 2 L 来表示这个空间，同时还不妨把其中的所有元素（函数）称 之为该空间的点. 读者还不难自行验证，当 a,b 上一切连续函数 f (x) （多项式自然包括在内） 赋以范数 f f (x) axb = max 之后，恰好构成一个赋范空间.原因是性质 1，2，3 都 是具备的