高维微分学—向量值映照的背景 复旦力学谢锡麟 016年3月15日 1知识要素 11向量值映照 定义1.1(m维 Euclid空间).m维 Euclid空间定义为m元有序实数组的全体 R"{x={1,…,m]|x2∈R,=1,…,m}, 记为Rm,此处利用列矩阵或列向量表示m元有序实数组.进一步,可按矩阵的加法与数乘定义 Rm上的线性结构,由此Rm成为线性空间 定义1.2(向量值映照). Euclid空间之间的映照可称为向量值映照,可一般性的表示如下 ) f(x):R"3x= >f(a)= ∈R 式中分表示定义域现R可称为定义域空间或自变量空间,R称为值域空间或因变量空间 12范数与距离 定义1.3(范数与赋范线性空间).在线性空间X上,对∨x∈X其范数定义为 ·|x:X3x+|xlx∈R, 满足 1.非负性:px≥0,Hx∈X;非退化性:当x≠0∈X时,||x>0 2.正齐次性:|r|x=| a|lalx,x∈X,Va∈R; 3.三角不等式:|x+yx≤|x+lyx,x,y∈X 范数可以用来刻画线性空间中任意元素的“大小”.定义有范数的线性空间称为赋范线性空间,可 记为(X,|·|x)
微积分讲稿 谢锡麟 高维微分学——向量值映照的背景 复旦力学 谢锡麟 2016 年 3 月 15 日 1 知识要素 1.1 向量值映照 定义 1.1 (m 维 Euclid 空间). m 维 Euclid 空间定义为 m 元有序实数组的全体 R m , {x = [x 1 , · · · , xm] T | x i ∈ R, i = 1, · · · , m }, 记为 R m, 此处利用列矩阵或列向量表示 m 元有序实数组. 进一步, 可按矩阵的加法与数乘定义 R m 上的线性结构, 由此 R m 成为线性空间. 定义 1.2 (向量值映照). Euclid 空间之间的映照可称为向量值映照, 可一般性的表示如下 f(x) : R m ⊃ Df ∋ x = x 1 . . . x m 7→ f(x) = f 1 (x) . . . f m(x) ∈ R n , 式中 Df 表示定义域. 现 R m 可称为定义域空间或自变量空间, R n 称为值域空间或因变量空间. 1.2 范数与距离 定义 1.3 (范数与赋范线性空间). 在线性空间 X 上, 对 ∀ x ∈ X 其范数定义为 | · |X : X ∋ x 7→ |x|X ∈ R, 满足: 1. 非负性: |x|X > 0, ∀ x ∈ X; 非退化性: 当 x ̸= 0 ∈ X 时, |x|X > 0; 2. 正齐次性: |αx|X = |α||x|X, ∀ x ∈ X, ∀ α ∈ R; 3. 三角不等式: |x + y|X 6 |x|X + |y|X, ∀ x, y ∈ X. 范数可以用来刻画线性空间中任意元素的 “大小”. 定义有范数的线性空间称为赋范线性空间, 可 记为 (X, | · |X). 1
高维微分学一一向量值映照的背景 谢锡麟 定义1.4(距离与距离空间).在空间X上,对Vx,y∈X定义期间的距离为 d(x,y):X3{x,y}→d(x,y)∈R 满足 非负性:d(x,y)≥0,x,y∈X;非退化性:当d(x,y)=0∈R等价于x=y∈X. 2.对称性:d(x,y)=d(y,x),Vx,y∈X; 3.三角不等式:d(x,y)≤d(xr,x)+d(z,y),x,y,z∈X 距离可以用来刻画空间中任意二个元素之间的“差别”.定义有距离的空间称为距离空间或度量 空间. 定理11(范数自然诱导距离).对任意赋范线性空间(X,|·|x),其上自然有距离 d(x,y):X×X3{x,y}→d(xr,y)全|-yx∈x Rm上的范数可以定义为 叫g:、∑,或者∑ x,或者|xlgn全max|r2 本书一般采用第一种定义.基于Rm上的范数,可自然有其上的距离d(x,y)|a-ylgm, Va,y∈R 13 Euclid空间中的点列 定义1.5( Euclid空间中的点列).Rm中点列{ppeN可理解为如下的对应关系 3n口xp∈R 定义16( Euclid空间中的点列极限).如果R"中的点列{xp}peN具有如下行为 ve>0,Ne∈N,成立xp∈B2(xro),Vp>N 记为lim ∈R 性质12( Euclid空间中点列极限的基本性质).类比于实数轴上点列极限, Euclid空间中点 列极限亦具有如下基本性质 极限存在唯一性 如有3、-20∈Rm 则有y0=z0 彐lim ∈Rl 2.有界性如果彐 d lim Ep=3o∈Rm,则有 M,6M∈R+,s.t.| pirm≤M,vp∈N
微积分讲稿 谢锡麟 高维微分学 —— 向量值映照的背景 谢锡麟 定义 1.4 (距离与距离空间). 在空间 X 上, 对 ∀ x, y ∈ X 定义期间的距离为 d(x, y) : X ∋ {x, y} 7→ d(x, y) ∈ R, 满足: 1. 非负性: d(x, y) > 0, ∀ x, y ∈ X; 非退化性: 当 d(x, y) = 0 ∈ R 等价于 x = y ∈ X. 2. 对称性: d(x, y) = d(y, x), ∀ x, y ∈ X; 3. 三角不等式: d(x, y) ≤ d(x, z) + d(z, y), ∀ x, y, z ∈ X. 距离可以用来刻画空间中任意二个元素之间的 “差别”. 定义有距离的空间称为距离空间或度量 空间. 定理 1.1 (范数自然诱导距离). 对任意赋范线性空间 (X, | · |X), 其上自然有距离 d(x, y) : X × X ∋ {x, y} 7→ d(x, y) , |x − y|X ∈ X. R m 上的范数可以定义为 |x|Rn , vuut∑m i=1 |x i | 2, 或者 |x|Rn , ∑m i=1 |x i |, 或者 |x|Rn , max x=1,···m |x i |. 本书一般采用第一种定义. 基于 R m 上的范数, 可自然有其上的距离 d(x, y) , |x − y|Rm, ∀ x, y ∈ R m. 1.3 Euclid 空间中的点列 定义 1.5 (Euclid 空间中的点列). R m 中点列 {xp}p∈N 可理解为如下的对应关系 N ∋ n 7→ xp ∈ R m. 定义 1.6 (Euclid 空间中的点列极限). 如果 R m 中的点列 {xp}p∈N 具有如下行为 ∀ ε > 0, ∃Nε ∈ N, 成立xp ∈ Bε(x0), ∀ p > Nε, 记为 lim xp = x0 ∈ R m. 性质 1.2 (Euclid 空间中点列极限的基本性质). 类比于实数轴上点列极限, Euclid 空间中点 列极限亦具有如下基本性质. 1. 极限存在唯一性 如有 { ∃ lim xp = y0 ∈ R m ∃ lim xp = z0 ∈ R m , 则有y0 = z0. 2. 有界性 如果 ∃ lim xp = y0 ∈ R m, 则有 ∃M, δM ∈ R +, s.t. |xp|Rm ≤ M, ∀p ∈ N. 2
高维微分学—向量值映照的背景 谢锡麟 定理1.3( Euclid空间中点列极限的分析结论).类比于实数轴上点列极限, Euclid空间中点 列极限亦具有如下分析结论 1.闭方块套定理 2. Bolzane- weierstrass定理,有界点列必有收敛子列 3.点列极限的 cauchy收敛原理 2应用事例 3拓广深化 不仅可在Ecid空间Rm上定义范数,而且可在有界线性算子空间、矩阵空间、复空间、函 数空间等线性空间上定义范数.藉此,可建立一般赋范线性空间上的微分学 事例1(有界线性算子空间的范数,.一般以x(X;Y)表示赋范线性空间(X,|·|x)与(Y, y)之间的有界线性算子的全体有界线性算子指映照∈x(X;Y),满足 线性性(ax+By)=as(x)+Bs(y),a,B∈R,x,y∈X; 有界性彐M∈R+s.|ly(x)|x≤Mllx,Vr∈X 可在(X;Y)上定义线性结构 ·加法(a+a)(x)全s(x)+a(x),Vx∈X 数乘(a)(x)2a·a(x),x∈X 由此,x(X;Y)称为线性空间 进一步,可在(X;Y)上定义范数 1·1x(x:出(X;Y)3a/lz(x)会supa()y lx:0/21x∈R 且此范数满足相容性条件 a别x(x;z)≤|-1(;z).x(x:),Va∈x(Y;2),团∈(X;Y) 证明检验成为范数的条件 1.非负性及非退化性.显然有 alx(x:y)≥0,Va∈x(Xx;Y) 如有|ax(x)=0,则对vx∈X,有|a()y=0,即=0∈x(X;Y).反之,如有 =0∈x(X;Y),则显然有|1(xy)=0
微积分讲稿 谢锡麟 高维微分学 —— 向量值映照的背景 谢锡麟 定理 1.3 (Euclid 空间中点列极限的分析结论). 类比于实数轴上点列极限, Euclid 空间中点 列极限亦具有如下分析结论. 1. 闭方块套定理 2. Bolzane-Weierstress 定理, 有界点列必有收敛子列 3. 点列极限的 Cauchy 收敛原理 2 应用事例 3 拓广深化 不仅可在 Euclid 空间 R m 上定义范数, 而且可在有界线性算子空间、矩阵空间、复空间、函 数空间等线性空间上定义范数. 藉此, 可建立一般赋范线性空间上的微分学. 事例 1 (有界线性算子空间的范数). 一般以 L (X; Y ) 表示赋范线性空间 (X, | · |X) 与 (Y, | · |Y ) 之间的有界线性算子的全体. 有界线性算子指映照 A ∈ L (X; Y ), 满足 • 线性性 A (αx + βy) = αA (x) + βA (y), ∀ α, β ∈ R, ∀ x, y ∈ X; • 有界性 ∃ M ∈ R+ s.t. |A (x)|X ≤ M|x|x, ∀ x ∈ X. 可在 L (X; Y ) 上定义线性结构 • 加法 (A + B)(x) , A (x) + B(x), ∀ x ∈ X; • 数乘 (αA )(x) , α · A (x), ∀ x ∈ X. 由此, L (X; Y ) 称为线性空间. 进一步, 可在 L (X; Y ) 上定义范数 | · |L (X;Y ) : L (X; Y ) ∋ A 7→ |A |L (X;Y ) , sup |x|X̸=0 |A (x)|Y |x|X ∈ R, 且此范数满足相容性条件: |A B|L (X;Z) 6 |A |L (Y ;Z) |B|L (X;Y ) , ∀ A ∈ L (Y ;Z), B ∈ L (X; Y ). 证明 检验成为范数的条件. 1. 非负性及非退化性. 显然有 |A |L (X;Y ) > 0, ∀ A ∈ L (X; Y ). 如有 |A |L (X;Y ) = 0, 则对 ∀ x ∈ X, 有 |A (x)|Y = 0, 即 A = 0 ∈ L (X; Y ). 反之, 如有 A = 0 ∈ L (X; Y ), 则显然有 |A |L (X;Y ) = 0. 3
高维微分学—向量值映照的背景 谢锡麟 2.正齐次性 入(x:Y) 全sup (A∞)(x)hy Lo(a)ly 川-1(x:),VA∈R xx≠ =lA sup arIx 3.三角不等式 (x+)(x)y=la(x)+(x)y≤|(x)y+|(x)y My(x r)lalx + e(x r)lalx 由此可有x+闭(x:y)≤l1(xy)+1别lx(x 综述所述,有|1(xy)为范数 至于相容性条件,考虑到 a)(x)z≤|alx(y;z)|(x)≤|al2(y;z)别z(x:)lx 即有 a别(xz)≤|lx(;z)llx(x:y) 事例2(矩阵的平方和范数).一般以卫m×n表示m行n列矩阵的全体;可按矩阵的加法与 数乘定义其上线性结构进一步,可定义矩阵范数如下 IRmin: Rmxn2A→|A|gmxm√AaAa∈ 且此矩阵函数范数满足矩阵范数额外要求的“相容性条件” |ABlx≤|A|xBlx,VA∈Rx,B∈R”xt 证明由定义 △ 易见其满足非负性、非退化性、正齐次性.对于三角不等式,考虑 JA+ B12mxn=(Aia + Bia)(Aia+Bia)=| mxn +[ Bmxn +2Aia Bia ≤|4mxn+|B 2 JAmxn+ BI2mxn +2 ARmxn BIRmxn=(ARmxn+ BIRmxn)2 即有|A+ BIRman≤| ARman+|BlR nXTL 就相容性条件,可有 AB=∑∑(AB=∑∑(∑AB ≤ A2 Bn=|Ax。B总x
微积分讲稿 谢锡麟 高维微分学 —— 向量值映照的背景 谢锡麟 2. 正齐次性. |λA |L (X;Y ) , sup |x|X̸=0 |(λA )(x)|Y |x|X = |λ| sup |x|X̸=0 |A (x)|Y |x|X = |λ||A |L (X;Y ) , ∀ λ ∈ R. 3. 三角不等式. |(A + B)(x)|Y = |A (x) + B(x)|Y 6 |A (x)|Y + |B(x)|Y 6 |A |L (X;Y ) |x|X + |B|L (X;Y ) |x|X. 由此可有 |A + B|L (X;Y ) 6 |A |L (X;Y ) + |B|L (X;Y ) . 综述所述, 有 |A |L (X;Y ) 为范数. 至于相容性条件, 考虑到 |(A B)(x)|Z 6 |A |L (Y ;Z) |B(x)|Y 6 |A |L (Y ;Z) |B|L (X;Y ) |x|X, 即有 |A B|L (X;Z) 6 |A |L (Y ;Z) |B|L (X;Y ) . 事例 2 (矩阵的平方和范数). 一般以 R m×n 表示 m 行 n 列矩阵的全体; 可按矩阵的加法与 数乘定义其上线性结构. 进一步, 可定义矩阵范数如下 | · |Rm×n : R m×n ∋ A 7→ |A|Rm×n , √ AiαAiα ∈ R, 且此矩阵函数范数满足矩阵范数额外要求的 “相容性条件” |AB|Rr×t 6 |A|Rr×s |B|Rs×t , ∀ A ∈ R r×s , B ∈ R s×t . 证明 由定义 |A|Rm×n , √ AiαAiα, 易见其满足非负性、非退化性、正齐次性. 对于三角不等式, 考虑 |A + B| 2 Rm×n = (Aiα + Biα) (Aiα + Biα) = |A| 2 Rm×n + |B| 2 Rm×n + 2AiαBiα 6 |A| 2 Rm×n + |B| 2 Rm×n + 2 vuut∑m i=1 ∑n α=1 A2 iα vuut∑m i=1 ∑n α=1 B2 iα = |A| 2 Rm×n + |B| 2 Rm×n + 2|A|Rm×n |B|Rm×n = (|A|Rm×n + |B|Rm×n ) 2 , 即有 |A + B|Rm×n 6 |A|Rm×n + |B|Rm×n . 就相容性条件, 可有 |AB| 2 Rr×t = ∑r i=1 ∑ t α=1 (AB) 2 iα = ∑r i=1 ∑ t α=1 (∑s k=1 AikBkα)2 6 ∑r i=1 ∑ t α=1 (∑s k=1 A 2 ik) (∑s k=1 B 2 kα) = |A| 2 Rr×s |B| 2 Rs×t . 4
高维微分学—向量值映照的背景 谢锡麟 事例3(矩阵的谱范数).矩阵空间上亦可定义如下范数 · l s: R3A→| Aspec max{ VAldes(AA-入m)=0}∈R, 且此矩阵范数满足“相容性条件” b spec≤|A VA∈Rs,B∈ 证明对A∈Rxm,则AA必然为对称阵(如果A非零),故其特征值均为非负的实数 有估计式 AD)=0}xlm,x∈R 以下验证作为范数的条件 1.非负性及非退化性.由上式,显然|A|spec>0,yA∈Rnxm 当| A spec=0,亦即A2=0(i=1,…,m),按线性代数中对称矩阵的正交相似对角化,可 有彐Q∈Orth,满足 Q(AA)Q 0∈Rmxm 则有A1A=0∈Rmxm.故 i(A1A)i1=|Ail最 亦即A∈Rnxm的第讠列为零向量,也就是A=0∈Rnxm 反之,如果A=0∈Rxm,显然有| A s=0 2.正齐次性.易见 3.三角不等式.由上述估计式,可见有 Arrn 1am≠ o aRm 因为|(A+B)xlgn≤ AcoRn+| BarN,所以 I(A+B)alRn Aal BcRy ≤sup t sup ,Vx∈R", x|am≠0 故有|A+Blpe≤| Als+| BIs.综述所述,|A|spe为范数 关于相容性,由于| As=sup AzlIn>Arg,因此 cRm I(AB)aRr=A(B:)lRr Aspec BlRs Aspec blspecalrt 故有 Ab spec≤| AlspeclB|s
微积分讲稿 谢锡麟 高维微分学 —— 向量值映照的背景 谢锡麟 事例 3 (矩阵的谱范数). 矩阵空间上亦可定义如下范数 | · |spec : R n×m ∋ A 7→ |A|spec , max 16i6m { √ λi | det(ATA − λiIm) = 0} ∈ R, 且此矩阵范数满足 “相容性条件” |AB|spec 6 |A|spec|B|spec, ∀ A ∈ R r×s , B ∈ R s×t . 证明 对 ∀ A ∈ R n×m, 则 ATA 必然为对称阵 (如果 A 非零), 故其特征值均为非负的实数, 有估计式 |Ax| 2 Rn = x T(ATA)x 6 max 16i6m {λi | det(ATA − λI) = 0}|x| 2 Rm, ∀ x ∈ R m. 以下验证作为范数的条件: 1. 非负性及非退化性. 由上式, 显然 |A|spec > 0, ∀ A ∈ R n×m. 当 |A|spec = 0, 亦即 λi = 0 (i = 1, · · · , m), 按线性代数中对称矩阵的正交相似对角化, 可 有 ∃ Q ∈ Orth, 满足 QT(ATA)Q = λ1 . . . λm = 0 ∈ R m×m, 则有 ATA = 0 ∈ R m×m. 故 i T i (ATA)ii = |Aii | 2 Rn = 0, i = 1, · · · , m, 亦即 A ∈ R n×m 的第 i 列为零向量, 也就是 A = 0 ∈ R n×m. 反之, 如果 A = 0 ∈ R n×m, 显然有 |A|spec = 0. 2. 正齐次性. 易见. 3. 三角不等式. 由上述估计式, 可见有 |A|spec = sup |x|Rm̸=0 |Ax|Rn |x|Rm . 因为 |(A + B)x|Rn 6 |Ax|Rn + |Bx|Rn , 所以 |(A + B)x|Rn |x|Rm 6 sup |x|Rm̸=0 |Ax|Rn |x|Rm + sup |x|Rm̸=0 |Bx|Rn |x|Rm , ∀ x ∈ R m, 故有 |A + B|spec 6 |A|spec + |B|spec. 综述所述, |A|spec 为范数. 关于相容性, 由于 |A|spec = sup |x|Rm̸=0 |Ax|Rn |x|Rm > |Ax|Rn |x|Rm , 因此 |(AB)x|Rr = |A(Bx)|Rr 6 |A|spec|Bx|Rs 6 |A|spec|B|spec|x|Rt , 故有 |AB|spec 6 |A|spec|B|spec. 5
高维微分学—向量值映照的背景 谢锡麟 矩阵也可以看做是Rm空间到Rn空间的线性映照,因此矩阵A∈Rn×m的范数也可以定 2):xm3A口14(哪)=m01∈R 并且易见有|4|2(my)=4lsc 4建立路径
微积分讲稿 谢锡麟 高维微分学 —— 向量值映照的背景 谢锡麟 矩阵也可以看做是 R m 空间到 R n 空间的线性映照, 因此矩阵 A ∈ R n×m 的范数也可以定 义为 | · |L (Rm;Rn) : R n×m ∋ A 7→ |A|L (Rm;Rn) , sup |x|Rm̸=0 |Ax|Rn |x|Rm ∈ R, 并且易见有 |A|L (Rm;Rn) = |A|spec. 4 建立路径 6