西安电子科技大学：《矩阵论》研究生课程教学课件（讲义，2015）21 范数理论

UNIVE 矩阵论 主讲教师：徐乐 2015年1月13日星期二

2015年1月13日星期二 矩 阵 论 主讲教师：徐乐

上讲回顾 第20讲全面最小二乘法 ·法向回归 ·全面最小二乘法(Totally Least Square Method) lexu@mail.xidian.edu.cn 矩阵论

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 2 上讲回顾 第20讲全面最小二乘法  法向回归  全面最小二乘法（Totally Least Square Method）

法向回归 冬再看实验数据处理 ·一组测量数据(ts),欲拟和直线s=ct+C2 ·最小二乘法采取目标函数E(c,c2)=∑s,-ct-c=min 一它隐含了在测量中，t是精确测量的，只有s才测得不准确， 而在实际测量中t,s都无法准确测量 ·法向回归 -点(t,s,)到直线s=ct+c,的距离为 s:-cit;-c2 .-c4-ol S=C t+C2 lexu@mail.xidian.edu.cn 矩阵论

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 3 法向回归 再看实验数据处理  一组测量数据(ti,si),欲拟和直线 • 最小二乘法采取目标函数 – 它隐含了在测量中，ti是精确测量的，只有si才测得不准确， 而在实际测量中ti,si都无法准确测量 • 法向回归 – 1 2 s ct c     2 n 1 2 i 1i 2 i 1 E c ,c s c t c min     1 2 2 1 1 1 i i s ct c c    t s  1 2 s ct c   t s i i ,  i 1i 2 2 1 1 s ct c 1 c   

法向回归 冬法向回归的目标函数 rj容-e-e-m Viteb.-ct-el 6,--)+0-+4g 2l 点(t,s,)到直线s=ct+c,的距离 c,=s-ct 冬最小二乘法的目标函数 ∑-c4-c,°=min c,=s-ct lexu@mail.xidian.edu.cn 矩阵论

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 4 法向回归 法向回归的目标函数 最小二乘法的目标函数 i 1i 2 2 1 1 s ct c 1 c      2 2 n 1 2 i 1i 2 2 i 1 1 1 E c ,c s c t c min 1 c                2 2 ss tt ss tt st 1 st 2 1 l l l l 4l c 2l c s ct          n 2 i 1i 2 i 1 s c t c min    st 1 tt 2 1 l c l c s ct     

全面最小二乘法 全面最小二乘法 Totally Least Square Method ·全面最小二乘法解决矛盾方程问题 ·令C=[AIb],A=[EIε]，v= ·则全面最小二乘解即求如下方程的非零解y (C+△)v=0 -v的最后分量不能为零，而其中△应满足△=min ·说明 ·最小二乘解一定存在，但全面最小二乘解不一定 ·存在全面最小二乘解时，若为C的单重奇异值，全面最小二乘 解唯一，否则，解不唯一 lexu@mail.xidian.edu.cn 矩阵论雪

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 5 全面最小二乘法 全面最小二乘法  Totally Least Square Method  全面最小二乘法解决矛盾方程问题 • 令 • 则全面最小二乘解即求如下方程的非零解v – v的最后分量不能为零，而其中△应满足  说明 • 最小二乘解一定存在，但全面最小二乘解不一定 • 存在全面最小二乘解时，若为C的单重奇异值，全面最小二乘 解唯一，否则，解不唯一    x C A|b , E| ,v 1           C v0       F min

全面最小二乘法 冬引理 ·设X∈Cmxn 61 ·且存在奇异值分解X=U ·其中01≥02≥…≥0>0 … VH (s<r) ·则K-Ye=minK-Zle rankz=s 正交相抵或酉相抵的矩阵与F范数相同 lexu@mail.xidian.edu.cn 矩阵论

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 6 全面最小二乘法 引理  设 • 且存在奇异值分解 • 其中  又设  则 m n X Cr   1 H r m n XU V 0                 12 r       0 1 H s m n Y U V (s r) 0                  F F m n z C rankz s X Y min X Z      正交相抵或酉相抵的矩阵与F范数相同

全面最小二乘法 定理1 ·设A∈Cm如 ·且[Ab]∈Ca具有如下的奇异值分解 VH,(,2022…之0) ·则使方程(C+△)=0具有非零解，且F范数最小 的△存在，并且△=O+1 lexu@mail.xidian.edu.cn 矩阵论

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 7 全面最小二乘法 定理1  设 • 且 具有如下的奇异值分解  则使方程(C+△)v=0具有非零解，且F范数最小 的△存在，并且 m n A Cn   m (n 1) Ab Cn 1        1 H 1 2 n1 n 1 C U V ,( ) 0                        F  n 1

全面最小二乘法 定理2 ·设ont为C的n-k+1重奇异值 ·且Vk,Vk+2,,Vn+1相应的为CHC的属于(n- k+1)重特征值σ的正交归一特征向量 则使方程(C+△)=0具有非零的解且F范数最小 s 的△为A=-Cy,v/v ·而方程的解则为v=V。 ▣其中V,∈S.=span{Vk+1,Vk+2,Vn} lexu@mail.xidian.edu.cn 矩阵论

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 8 全面最小二乘法 定理2  设σn+1为C的n-k+1重奇异值  且vk+1,vk+2，…，vn+1相应的为CHC的属于(n￾k+1)重特征值 的正交归一特征向量  则使方程(C+△)v=0具有非零的解且F范数最小 的△为  而方程的解则为v=vs  其中 2 n 1 H H Cv v v v ss s s v S span v , v , v s c k1 k2 n1        

全面最小二乘法 定理3 ·在定理2的条件下，全面最小二乘解存在的充要 条件为 ·t时weq=[desa0 ·则最小二乘解为x=。} lexu@mail.xidian.edu.cn 矩阵论 9

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 9 全面最小二乘法 定理3  在定理2的条件下，全面最小二乘解存在的充要 条件为 • 向量 不正交于Sc • 此时 • 则最小二乘解为 T n 1 n e0 0          个   1  c y v q q S, 0                   1 x  y 

第21讲 范数理论 冬范数理论及其应用 ·向量范数 ·矩阵范数 ·应用 lexu@mail.xidian.edu.cn 矩阵论● 10

lexu@mail.xidian.edu.cn mail.xidian.edu.cn 矩 阵 论 10 第21讲 范数理论 范数理论及其应用  向量范数  矩阵范数  应用