大学静学实扮 鬼定觉代歙方翟组的录小二最 曲线拟合 使点(xy)与曲线y=/x) 的距高8尽量小户1,n 实验1§2.1汽车刹车距高建立了刹车距离d与车速v f(r) 的关系 d,=k1v,+k2y2,i=1,2,…,n 方程个数超过了未知数个数,称为超定方程组 最小二乘准则 已知一组数据,即平面上n个点x),p=1n寻求一个函数 (曲线)y=fx).使(x)在某种准则下与所有数据点最为接近 使f(x1)与y1(i=1,2…,n)之差的平方和 即曲线拟合得最好 (即图中δ的平方和)最小 曲线拟合-黛恤量小二晁油的基本思路 线性最小二乘法的求解 先选定一组函数rA(x),r2(x),,rm(x),m<n,令 J(a1,a2…an)=∑心∑a(x,)-2(2) f(, r(ray)+.tamr(x) (1) 其中a1a2…am为待定系数 ∑n(x,∑a4r1(x,)-y,=0 0 记J(a,a2…am)=∑82=∑[f(x,)-y )(忘(xn()-小0 =∑∑a(x)-yF r1(x1)…rn(x1) 按照最小二乘准则,问题归结为:求a1a2…am使 r1(xn)…Fn(xn) J(a1a2y…an)最小 (3)→(RRa=Ry(4) 学学实 线性最小二乘法的求解 5问题 2.为什么要规定m<n?若m=n或m>n,会如何? r1(x1)…m(x1) 当RR可逆时(4)有唯一解R 分强令f(x)=a(x)+…+ am(F(G=1,n a=(RR r1(xn)…r(xn) r1(x1)…rn( a={a1,…an Ra=y y1,…ynj 同题 1.怎样选择Gr(x,…rn(o),以保证系数 {apa)有唯一解? 若m>m,a有无穷多解若m=,R可逆时a有唯一解 {a1,a有唯一解←RR可逆←Rank(RR)=m 若m<n,超定方程组,a无解;求最小二乘解 ←Rank(R)=m←R列满秩 问题3.线性最小二乘中的“线性”指的是什么 ←{r(x),…,rm(x)}在x点线性无关(产=1,…n) f(x)对a线性,于是求解线性方程组(RR=Ry5 超定线性代数方程组的最小二乘解 实验1§2.1汽车刹车距离建立了刹车距离d与车速v 的关系： 2 1 2 d = k v + k v 方程个数超过了未知数个数，称为超定方程组 d k v k v i n i i i , 1,2, , 2 = 1 + 2 = L 数据拟合 已知一组数据，即平面上 n个点(xi ,yi ), i=1,…n, 寻求一个函数 （曲线）y=f(x), 使f(x)在某种准则下与所有数据点最为接近， 即曲线拟合得最好。 数据拟合问题的提法 (#) + + + + + + + + + x y y=f(x) (xi ,yi ) δi 使点(xi ,yi ) 与曲线 y=f(x) 的距离δi尽量小,i=1,…n 曲线拟合 最小二乘准则 δ i i L i 使 f(x )与 y (i=1,2, ,n)之差的平方和 (即图中 的平方和)最小 先选定一组函数 r1(x), r2(x), …rm(x), m<n, 令 f(x)=a1r1(x)+a2r2(x)+ …+amrm(x) （1） 其中 a1,a2, …am 为待定系数。 曲线拟合--线性最小二乘法的基本思路 记 2 2 1 2 1 1 2 1 1 (, , ) [() ] [ ( ) ] (2) n n m i ii i i n m kk i i i k Ja a a f x y ar x y δ = = = = == − = − ∑ ∑ ∑ ∑ L 按照最小二乘准则, 问题归结为：求 a1,a2, …am 使 J(a1,a2, …am) 最小。 线性最小二乘法的求解 ( 1, ) 0 k m a J k = L = ∂ ∂ ( 3 ) ( )[ ( ) ] 0 ( )[ ( ) ] 0 1 1 1 1 1 ⎪ ⎪ ⎪ ⎩ ⎪ ⎪ ⎪ ⎨ ⎧ − = − = ⇒ ∑ ∑ ∑ ∑ = = = = n i m k m i k k i i n i m k i k k i i r x a r x y r x a r x y L L ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = n m n m n m y y y a a a r x r x r x r x R M M L LL L 1 1 1 1 1 1 , , ( ) ( ) ( ) ( ) 记 (3) (R R)a R y (4) T T ⇒ = ( , , ) [ ( ) ] (2) 2 1 1 1 2 k i i n i m k m k J a a a = ∑ ∑ a r x − y = = L (R R)a R y (4) T T = 当 RTR 可逆时(4)有唯一解 ( ) (5) 1 a R R R y T − T = 线性最小二乘法的求解 n m n n m m r x r x r x r x R × ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ( ) ( ) ( ) ( ) 1 1 1 1 L LL L 问题 1.怎样选择 {r1(x), …rm(x)}，以保证系数 {a1,…am}有唯一解？ {a1,…am}有唯一解 ← RTR可逆 ←Rank(RTR)=m ← Rank(R)=m ← R列满秩 ← {r1(x), …rm(x)}在xi 点线性无关 (i=1,…n) 分 析 2.为什么要规定m<n?若m=n或m>n,会如何? 若m>n，a有无穷多解 若m<n，超定方程组, a无解；求最小二乘解 若m=n，R可逆时a有唯一解 强令f(xi)= a1r1(xi )+ …+amrm(xi )= yi (i=1, …n) (即曲线 f(x)过全部数据点，此时J=0) 得 n m n n m m r x r x r x r x R × ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ( ) ( ) ( ) ( ) 1 1 1 1 L L L L Ra= y, T n T m y y y a a a [ , ] [ , ] 1 1 L L = = 问题 分 析 问题 3. 线性最小二乘中的“线性”指的是什么 f(x)对a线性，于是求解线性方程组 R R a R y T T ( ) =