第一讲 线性代数基础1.1线性空间与内积空间1.1.1线性空间线性空间是线性代数最基本的概念之一，它是定义在某个数域上并满足一定条件的一个集合.我们首先给出数域的概念，定义1.1（数域）设F是包含0和1的一个数集，如果F中的任意两个数的和，差，积，商（除数不为0)仍然在F中，则称F为一个数域常见的数域有：有理数域O.实数域R和复数域C定义1.2（线性空间）设S是一个非空集合，F是一个数域，在S上定义一种代数运算，称为加法，记为“+"（即对任意α,βES都存在唯一的ES,使得=α+β),并定义一个从F×S到S的代数运算称为数乘，记为"”（即对任意kEF和任意αES,都存在唯一的βES,使得β=k·α).如果这两个运算满足下面的规则，则称（S.十，.）是数域F上的一个线性空间：·加法四条规则(I)交换律：α+β=β+,Va,βeS(2)结合律:(α+β)+=α+(β+)，VQ,B,ES;(3)零元素：存在一个元素0,使得α+0=α，VαES(4)逆运算：对任意αES,都存在负元素βES,使得α+β=0,记β=-α;·数乘四条规则(I)单位元:1·Q=a,1EF,VQES;(2)结合律:k(Iα)=(kl)·α,Vk,lEF, αES;(3)分配律:(k+l)a=k.α+l.avk,lEF,aαES;(4)分配律:k(a+p)=k·a+k·,VkEF,a,βES为了表示方便，通常省略数乘符号，即将k·α写成kα例1.1常见的线性空间有：·R"→所有n维实向量组成的集合，是R上的线性空间；·Cn→所有n维复向量组成的集合，是C上的线性空间·Rmxn→所有m×n阶实矩阵组成的集合，是R上的线性空间；·Cmxn→所有m×n阶复矩阵组成的集合，是C上的线性空间.·Pn→所有次数不超过n的多项式组成的集合7
第一讲 线性代数基础 1.1 线性空间与内积空间 1.1.1 线性空间 线性空间是线性代数最基本的概念之一, 它是定义在某个数域上并满足一定条件的一个集合. 我们 首先给出数域的概念. 定义 1.1 (数域) 设 F 是包含 0 和 1 的一个数集, 如果 F 中的任意两个数的和, 差, 积, 商 (除数不为 0) 仍然在 F 中, 则称 F 为一个数域. 常见的数域有: 有理数域 Q, 实数域 R 和复数域 C. 定义 1.2 (线性空间) 设 S 是一个非空集合, F 是一个数域. 在 S 上定义一种代数运算, 称为加法, 记为 “+” (即对任意 α, β ∈ S, 都存在唯一的 γ ∈ S, 使得 γ = α + β), 并定义一个从 F × S 到 S 的代数运算, 称为数乘, 记为 “·” (即对任意 k ∈ F 和任意 α ∈ S, 都存在唯一的 β ∈ S, 使得 β = k · α). 如果这两个 运算满足下面的规则, 则称 (S, +, · · ·) 是数域 F 上的一个线性空间: • 加法四条规则 (1) 交换律: α + β = β + α, ∀ α, β ∈ S; (2) 结合律: (α + β) + γ = α + (β + γ), ∀ α, β, γ ∈ S; (3) 零元素: 存在一个元素 0, 使得 α + 0 = α, ∀ α ∈ S; (4) 逆运算: 对任意 α ∈ S, 都存在负元素 β ∈ S, 使得 α + β = 0, 记 β = −α; • 数乘四条规则 (1) 单位元: 1 · α = α, 1 ∈ F, ∀ α ∈ S; (2) 结合律: k · (l · α) = (kl) · α, ∀ k, l ∈ F, α ∈ S; (3) 分配律: (k + l) · α = k · α + l · α, ∀ k, l ∈ F, α ∈ S; (4) 分配律: k · (α + β) = k · α + k · β, ∀ k ∈ F, α, β ∈ S. 为了表示方便, 通常省略数乘符号, 即将 k · α 写成 kα. 例 1.1 常见的线性空间有: • R n → 所有 n 维实向量组成的集合, 是 R 上的线性空间; • C n → 所有 n 维复向量组成的集合, 是 C 上的线性空间; • R m×n → 所有 m × n 阶实矩阵组成的集合, 是 R 上的线性空间; • C m×n → 所有 m × n 阶复矩阵组成的集合, 是 C 上的线性空间. • Pn → 所有次数不超过 n 的多项式组成的集合. 7
第一讲线性代数基础.8.·C[a.b]→区间[a.b]上所有连续函数组成的集合·CP[a,b]→区间[a,b]上所有p次连续可微函数组成的集合线性相关性和维数设S是数域F上的一个线性空间，12..，是S中的一组向量.如果存在k个不全为零的数Q1,02..,kF使得1+022+...+=0,则称1,F2..，线性相关，否则就是线性无关设1,2，...，是S中的一组向量.如果ES可以表示为F=Q121+Q2F2+..+k其中1,Q2....,kEF则称可以由1,2，...，线性表示，或者称是1,2.·.*,的线性组合设向量组[r1,2,..,m),如果存在其中的r(r≤m)个线性无关向量i,i2..…,i，使得所有向量都可以由它们线性表示，则称Ti,i2.，为向量组r1,2.,正m】的一个极大线性无关组并称这组向量的秩为r,记为rank((z1,2,...,m))=r设1,2，工是S中的一组线性无关向量.如果S中的任意一个向量都可以由1,2...，线性表示，则称r1,T2....，工n是S的一组基，并称S是n维的，即S的维数为n,记为dim(S)=n.如果S中可以找到任意多个线性无关向量，则称S是无限维的子空间设S是一个线性空间，W是S的一个非空子集合.如果W关于S上的加法和数乘也构成一个线性空间，则称W为S的一个线性子空间，有时简称子空间例1.2设S是一个线性空间，则由零向量组成的子集{0]是S的一个子空间，称为零子空间.另外，S本身也是S的子空间.这两个特殊的子空间称为S的平凡子空间，其他子空间都是非平凡子空间下面给出子空间的判别定理定理1.1设S是数域F上的一个线性空间，W是S的一个非空子集合.则W是S的一个子空间的充要条件是W关于加法和数乘封闭，即(I)对任意α,βEW,有+βEW;(2) 对任意 k EF和任意 αEW,有 kα E W.下面是关于子空间的维数的一个很重要性质定理1.2（维数公式）设S1,S2是线性空间S的两个有限维线性子空间，则Si+S2和SinS2也都是S的线性子空间,且dim(Si + S2) + dim(Si n S2) = dim(Si) + dim(S2)
· 8 · 第一讲 线性代数基础 • C[a, b] → 区间 [a, b] 上所有连续函数组成的集合. • C p [a, b] → 区间 [a, b] 上所有 p 次连续可微函数组成的集合. 线性相关性和维数 设 S 是数域 F 上的一个线性空间, x1, x2, . . . , xk 是 S 中的一组向量. 如果存在 k 个不全为零的数 α1, α2, . . . , αk ∈ F, 使得 α1x1 + α2x2 + · · · + αkxk = 0, 则称 x1, x2, . . . , xk 线性相关, 否则就是线性无关. 设 x1, x2, . . . , xk 是 S 中的一组向量. 如果 x ∈ S 可以表示为 x = α1x1 + α2x2 + · · · + αkxk, 其中 α1, α2, . . . , αk ∈ F, 则称 x 可以由 x1, x2, . . . , xk 线性表示, 或者称 x 是 x1, x2, . . . , xk 的线性组合. 设向量组 {x1, x2, . . . , xm}, 如果存在其中的 r (r ≤ m) 个线性无关向量 xi1 , xi2 , . . . , xir , 使得所有 向量都可以由它们线性表示, 则称 xi1 , xi2 , . . . , xir 为向量组 {x1, x2, . . . , xm} 的一个极大线性无关组, 并称这组向量的秩为 r, 记为 rank({x1, x2, . . . , xm}) = r. 设 x1, x2, . . . , xn 是 S 中的一组线性无关向量. 如果 S 中的任意一个向量都可以由 x1, x2, . . . , xn 线性表示, 则称 x1, x2, . . . , xn 是 S 的一组基, 并称 S 是 n 维的, 即 S 的维数为 n, 记为 dim(S) = n. 如 果 S 中可以找到任意多个线性无关向量, 则称 S 是无限维的. 子空间 设 S 是一个线性空间, W 是 S 的一个非空子集合. 如果 W 关于 S 上的加法和数乘也构成一个线 性空间, 则称 W 为 S 的一个线性子空间, 有时简称子空间. 例 1.2 设 S 是一个线性空间, 则由零向量组成的子集 {0} 是 S 的一个子空间, 称为零子空间. 另外, S 本身也是 S 的子空间. 这两个特殊的子空间称为 S 的平凡子空间, 其他子空间都是非平凡子空间. 下面给出子空间的判别定理. 定理 1.1 设 S 是数域 F 上的一个线性空间, W 是 S 的一个非空子集合. 则 W 是 S 的一个子空间的 充要条件是 W 关于加法和数乘封闭, 即 (1) 对任意 α, β ∈ W, 有 α + β ∈ W; (2) 对任意 k ∈ F 和任意 α ∈ W, 有 kα ∈ W. 下面是关于子空间的维数的一个很重要性质. 定理 1.2 (维数公式) 设 S1, S2 是线性空间 S 的两个有限维线性子空间, 则 S1 + S2 和 S1 ∩ S2 也都是 S 的线性子空间, 且 dim(S1 + S2) + dim(S1 ∩ S2) = dim(S1) + dim(S2)
1.1线性空间与内积空间.9.直和设S1S是线性空间S的两个线性子空间，如果S+S中的任一元素都可以唯一表示成T=+2,ES,2S2则称Si+S为直和，记为SiS2关于线性子空间的直和的判定，有下面的结论，定理1.3设S1，S2是线性空间S的两个线性子空间，则下面的论述等价(1)Si+S2是直和;(2)S1+S2中的零元素表示方法唯—,即若0=T1+T2,T1ES1,2ES2,则T1=2=0(3) SinS2 = [0);(4) dim(Si) + dim(S2) = dim(S + S2);例1.3设AeCmxn，则. Cn = Ker(A) @ Ran(A*); Cm = Ker(A*) Ran(A)定理1.4设S1是线性空间S的一个线性子空间，则存在S的另一个线性子空间S2，使得S= SiS2矩阵的秩设AECmxn，则称A的列向量组的秩为A的列秩,称A的行向量组的秩为A的行秩.可以验证、矩阵A的列秩与行秩是相等的.因此我们统一称它们为矩阵A的秩，记为rank(A)关于矩阵的秩，我们有下面的性质引理1.1设A,BECmxn，则. rank(A) ≤min(m, n) ;. rank(A*) = rank(A) ;· rank(A*A) = rank(AA*) = rank(A) ;·对任意非奇异矩阵PECmxm和QECnxn,有rank(PA) = rank(AQ) = rank(A) = rank(PAQ);rank(A+B) <rank(A)+rank(B);·rank(A)=rank(B）当且仅当存在非奇异矩阵PECmxm和QECnxn使得A=PBQ：·若AECmxk,BECkxn,则rank(A) +rank(B) -k ≤ rank(AB) ≤ minrank(A), rank(B))
1.1 线性空间与内积空间 · 9 · 直和 设 S1, S2 是线性空间 S 的两个线性子空间, 如果 S1 + S2 中的任一元素 x 都可以唯一表示成 x = x1 + x2, x1 ∈ S1, x2 ∈ S2, 则称 S1 + S2 为直和, 记为 S1 ⊕ S2. 关于线性子空间的直和的判定, 有下面的结论. 定理 1.3 设 S1, S2 是线性空间 S 的两个线性子空间, 则下面的论述等价 (1) S1 + S2 是直和; (2) S1 + S2 中的零元素表示方法唯一, 即若 0 = x1 + x2, x1 ∈ S1, x2 ∈ S2, 则 x1 = x2 = 0. (3) S1 ∩ S2 = {0}; (4) dim(S1) + dim(S2) = dim(S1 + S2); 例 1.3 设 A ∈ C m×n, 则 • C n = Ker(A) ⊕ Ran(A∗ ); • C m = Ker(A∗ ) ⊕ Ran(A). 定理 1.4 设 S1 是线性空间 S 的一个线性子空间, 则存在 S 的另一个线性子空间 S2, 使得 S = S1 ⊕ S2. 矩阵的秩 设 A ∈ C m×n, 则称 A 的列向量组的秩为 A 的列秩, 称 A 的行向量组的秩为 A 的行秩. 可以验证, 矩阵 A 的列秩与行秩是相等的. 因此我们统一称它们为矩阵 A 的秩, 记为 rank(A). 关于矩阵的秩, 我们有下面的性质. 引理 1.1 设 A, B ∈ C m×n, 则 • rank(A) ≤ min{m, n} ; • rank(A∗ ) = rank(A) ; • rank(A∗A) = rank(AA∗ ) = rank(A) ; • 对任意非奇异矩阵 P ∈ C m×m 和 Q ∈ C n×n, 有 rank(P A) = rank(AQ) = rank(A) = rank(P AQ); • rank(A + B) ≤ rank(A) + rank(B); • rank(A) = rank(B) 当且仅当存在非奇异矩阵 P ∈ C m×m 和 Q ∈ C n×n 使得 A = P BQ; • 若 A ∈ C m×k , B ∈ C k×n, 则 rank(A) + rank(B) − k ≤ rank(AB) ≤ min{rank(A), rank(B)}
第一讲线性代数基础.10.设,2，...,记span[r1,2,...,k]≤[Q171+0272+..+Qkk:a1,Q2,..,akEC]则span[a1,2,.….,rk}构成Cn的一个线性子空间，称为由1,2...,k张成的子空间．特别地，记span(A)为由A的所有列向量张成的子空间设AECmxn，则A可以看作是从Cn到Cm的一个线性变换（或线性映射)：A:T→Ar我们分别称Ker(A) ≤[ECn: Ar=0)CCn和Ran(A)会(yeCm:y=Ar,rECn) ccm为A的零空间(核）和像空间(列空间，值域).可以证明，Ker(A)是Cn的线性子空间,Ran(A)是Cm的线性子空间，且Ran(A)=span(A)引理1.2设AECmxn，则有· dim(Ran(A) = rank(A)· dim(Ker(A)) + dim(Ran(A)) = n· dim(Ran(A*A)) = dim(Ran(A*)· Ran(A*A) = Ran(A*)· Ker(A*A) = Ker(A)1.1.2内积空间内积空间就是带有内积运算的线性空间，是n维欧氏空间的推广定义1.3(内积空间）设 S是数域F上的一个线性空间，定义一个从 S×S到F的代数运算，记为“(，)",即对任意,yE S,都存在唯一的f EF,使得f=(r,y).如果该运算满足(l) (r,y)=(y,r), Vr,yeS;(2) (r+y,2) =(r,2) +(y,2), Vr,y,zES;(3) (kr,y)=k(r,y), VkeF, ,yES;(4)（,)≥0,等号当且仅当=0时成立；则称（，）为S上的一个内积（innerproduct，有时也称为标量积，scalarproduct），而定义了内积的线性空间称为内积空间特别地，定义在实数域R上的内积空间称为Euclidean空间(或欧氏空间),定义在复数域C上的内积空间称为酉空间
· 10 · 第一讲 线性代数基础 设 x1, x2, . . . , xk ∈ C n, 记 span{x1, x2, . . . , xk} ≜ { α1x1 + α2x2 + · · · + αkxk : α1, α2, . . . , αk ∈ C } , 则 span{x1, x2, . . . , xk} 构成 C n 的一个线性子空间, 称为由 x1, x2, . . . , xk 张成的子空间. 特别地, 记 span(A) 为由 A 的所有列向量张成的子空间. 设 A ∈ C m×n, 则 A 可以看作是从 C n 到 C m 的一个线性变换 (或线性映射): A : x → Ax 我们分别称 Ker(A) ≜ { x ∈ C n : Ax = 0 } ⊆ C n 和 Ran(A) ≜ { y ∈ C m : y = Ax, x ∈ C n } ⊆ C m 为 A 的零空间(核) 和像空间(列空间, 值域). 可以证明, Ker(A) 是 C n 的线性子空间, Ran(A) 是 C m 的线 性子空间, 且 Ran(A) = span(A). 引理 1.2 设 A ∈ C m×n, 则有 • dim(Ran(A)) = rank(A) • dim(Ker(A)) + dim(Ran(A)) = n • dim(Ran(A∗A)) = dim(Ran(A∗ )) • Ran(A∗A) = Ran(A∗ ) • Ker(A∗A) = Ker(A) 1.1.2 内积空间 内积空间就是带有内积运算的线性空间, 是 n 维欧氏空间的推广. 定义 1.3 (内积空间) 设 S 是数域 F 上的一个线性空间, 定义一个从 S × S 到 F 的代数运算, 记为 “(· , ·)”, 即对任意 x, y ∈ S, 都存在唯一的 f ∈ F, 使得 f = (x, y). 如果该运算满足 (1) (x, y) = (y, x), ∀ x, y ∈ S; (2) (x + y, z) = (x, z) + (y, z), ∀ x, y, z ∈ S; (3) (kx, y) = k(x, y), ∀ k ∈ F, x, y ∈ S; (4) (x, x) ≥ 0, 等号当且仅当 x = 0 时成立; 则称 (· , ·) 为 S 上的一个 内积 (inner product , 有时也称为 标量积, scalar product ), 而定义了内积的线 性空间称为 内积空间. 特别地, 定义在实数域 R 上的内积空间称为 Euclidean 空间 (或欧氏空间), 定义在复数域 C 上的内积空 间称为 酉空间
1.1线性空间与内积空间. 11 .例1.4在线性空间Cn上定义内积(r,y)=yr=Tiyiiz则Cn构成一个内积空间.这种方式定义的内积就称为欧拉内积（Euclideaninnnerproduct）例1.5对任意A,BERmxn,定义(A, B) = tr(BTA),其中tr(）表示矩阵的迹，即对角线元素之和，则可以证明（A,B）是一个内积，因此Rmxn构成一个欧氏空间1.1.3正交与正交补定义1.4(正交）设S是内积空间，,yES,如果（,y)=0,则称与y正交，记为y设Si是S的子空间，ES,如果对任意yESi都有（,y)=0,则称与Si正交，记为Si;设Si,S2是S的两个子空间，如果对任意ESi,都有rlS2，则称Si与S2正交，记为SilS2定理1.5设S1,S2是内积空间S的两个子空间，如果SiS2,则Si+S2是直和定义1.5(正交补）设S1是内积空间S的一个子空间，则S1的正交补定义为S(ES:TIST即S中所有与S1正交的元素组成的集合容易验证，子空间S的正交补S也是S的一个子空间，另外，我们还可以得到下面的结论定理1.6设Si是内积空间S的一个有限维子空间，则S存在唯一，且S= Si@ St例1.6设AECmxn，则Ker(A*) = Ran(A).证明.首先证明Ker(A*)CRan(A)，设yEKer(A*),则A*y=0.设z是Ran(A)中的任意一个向量，则存在ECn,使得z=Ar.于是zy = (Ar)*y =a*(A*y) = 0,即y E Ran(A)+.所以Ker(A) C Ran(A)+
1.1 线性空间与内积空间 · 11 · 例 1.4 在线性空间 C n 上定义内积 (x, y) = y ∗x = ∑n i=1 xiy¯i , 则 C n 构成一个内积空间. 这种方式定义的内积就称为 欧拉内积 (Euclidean innner product ). 例 1.5 对任意 A, B ∈ R m×n, 定义 (A, B) = tr(B ⊺A), 其中 tr(·) 表示矩阵的迹, 即对角线元素之和, 则可以证明 (A, B) 是一个内积, 因此 R m×n 构成一个欧 氏空间. 1.1.3 正交与正交补 定义 1.4 (正交) 设 S 是内积空间, x, y ∈ S, 如果 (x, y) = 0, 则称 x 与 y 正交, 记为 x⊥y; 设 S1 是 S 的子空间, x ∈ S, 如果对任意 y ∈ S1 都有 (x, y) = 0, 则称 x 与 S1 正交, 记为 x⊥S1; 设 S1, S2 是 S 的两个子空间, 如果对任意 x ∈ S1, 都有 x⊥S2, 则称 S1 与 S2 正交, 记为 S1⊥S2. 定理 1.5 设 S1, S2 是内积空间 S 的两个子空间, 如果 S1⊥S2, 则 S1 + S2 是直和. 定义 1.5 (正交补) 设 S1 是内积空间 S 的一个子空间, 则 S1 的正交补定义为 S ⊥ 1 ≜ { x ∈ S : x⊥S1 } , 即 S 中所有与 S1 正交的元素组成的集合. 容易验证, 子空间S1 的正交补 S ⊥ 1 也是 S 的一个子空间. 另外, 我们还可以得到下面的结论. 定理 1.6 设 S1 是内积空间 S 的一个有限维子空间, 则 S ⊥ 1 存在唯一, 且 S = S1 ⊕ S⊥ 1 . 例 1.6 设 A ∈ C m×n, 则 Ker(A ∗ ) = Ran(A) ⊥. 证明. 首先证明 Ker(A∗ ) ⊆ Ran(A) ⊥. 设 y ∈ Ker(A∗ ), 则 A∗y = 0. 设 z 是 Ran(A) 中的任意一个向量, 则存在 x ∈ C n, 使得 z = Ax. 于是 z ∗ y = (Ax) ∗ y = x ∗ (A ∗ y) = 0, 即 y ∈ Ran(A) ⊥. 所以 Ker(A∗ ) ⊆ Ran(A) ⊥
第一讲线性代数基础.12.另一方面，设yERan(A),则对任意向量zERan(A),都有y*z=0.又AA*yERan(A),所以(A*y)*(A*y) = y*(AA*y) = 0,口即A*y=0,也就是说yEKer(A*).所以Ran(A)CKer(A*)1.2向量范数与矩阵范数1.2.1向量范数定义1.6（向量范数）若函数f：Cn→R满足(1)f(a)≥0,VECn且等号当且仅当=0时成立;(非负性,nonnegativity)(2) f(αr) =a·f(r),V E Cn,α E C(正齐次性, homogeneity)(3)f(+y)≤f(α)+f(y),Vr,yECn;(三角不等式,triangularinequality)则称f(r)为Cn上的范数(norm),通常记作l·+相类似地，我们可以定义实数空间R"上的向量范数+如果f只满足f(r）≥0,正齐次性和三角不等式，则称为半范数（seminorm）.例1.7常见的向量范数：·1-范数：l1=[/+[2/+…+[n];·2-范数：ll2=V1/2+2/2+..+n/2;·00-范数：Ill=max;≤iST·p-范数：1/p=1≤p<8定义1.7(范数的等价性）设 II-Ilα与 II-Ils是Cn空间上的两个向量范数，若存在正常数 ci,C2,使得ci≤≤c2对任意ECn都成立，则称Il·Ila与I·ll是等价的。定理1.7Cn空间上的所有向量范数都是等价的，特别地，有2≤V2l≤1≤nl00
· 12 · 第一讲 线性代数基础 另一方面, 设 y ∈ Ran(A) ⊥, 则对任意向量 z ∈ Ran(A), 都有 y ∗ z = 0. 又 AA∗y ∈ Ran(A), 所以 (A ∗ y) ∗ (A ∗ y) = y ∗ (AA∗ y) = 0, 即 A∗y = 0, 也就是说 y ∈ Ker(A∗ ). 所以 Ran(A) ⊥ ⊆ Ker(A∗ ). □ 1.2 向量范数与矩阵范数 1.2.1 向量范数 定义 1.6 (向量范数) 若函数 f : C n → R 满足 (1) f(x) ≥ 0, ∀ x ∈ C n 且等号当且仅当 x = 0 时成立; (非负性, nonnegativity) (2) f(αx) = |α| · f(x), ∀ x ∈ C n, α ∈ C (正齐次性, homogeneity) (3) f(x + y) ≤ f(x) + f(y), ∀x, y ∈ C n; (三角不等式, triangular inequality) 则称 f(x) 为 C n 上的 范数 (norm ), 通常记作 ∥ · ∥. † 相类似地, 我们可以定义实数空间 R n 上的向量范数. † 如果 f 只满足 f(x) ≥ 0, 正齐次性和三角不等式, 则称为 半范数 (seminorm ). 例 1.7 常见的向量范数: • 1-范数: ∥x∥1 = |x1| + |x2| + · · · + |xn|; • 2-范数: ∥x∥2 = √ |x1| 2 + |x2| 2 + · · · + |xn| 2; • ∞-范数: ∥x∥∞ = max 1≤i≤n |xi |; • p-范数: ∥x∥p = (∑n i=1 |xi | p )1/p , 1 ≤ p < ∞. 定义 1.7 (范数的等价性) 设 ∥ · ∥α 与 ∥ · ∥β 是 C n 空间上的两个向量范数, 若存在正常数 c1, c2, 使得 c1∥x∥α ≤ ∥x∥β ≤ c2∥x∥α 对任意 x ∈ C n 都成立, 则称 ∥ · ∥α 与 ∥ · ∥β 是等价的. 定理 1.7 C n 空间上的所有向量范数都是等价的, 特别地, 有 ∥x∥2 ≤ ∥x∥1 ≤ √ n ∥x∥2, ∥x∥∞ ≤ ∥x∥1 ≤ n ∥x∥∞
1.2向量范数与矩阵范数.13 -Il≤lll2≤Vnll有限维赋范线性空间上的所有范数都是等价的定理1.8(Cauchy-Schwartz不等式）设（）是Cn上的内积，则对任意,yECn有I(r,y)/2≤ (r,a) (y,y)且等号成立的充要条件是工与y线性相关证明.若y=0,则结论显然成立假设y≠0,则对任意αEC有0 0. 取=(y,y)(y,a)0≤(,)-(r,y)(y,y)由于(y,a)=(,9),所以上式即为I(r,y)P ≤ (r,r) (y,y)下面考虑等号成立的条件充分性：如果工与y线性相关，则通过直接验证即可知等号成立(y,r)则必要性：假设等号成立.如果y=0,则显然r与y线性相关.现假定y≠0.取α(y,y)I(z, y)2(a -ay, - og) = (z, z) - = 0,(y,y)口即-ay=0.所以与y线性相关任何一个内积都可以定义一个相应的范数推论1.9设(,)是 Cn上的内积,则l≤V(,)是Cn上的一个向量范数更一般地，我们有下面的Holder不等式定理1.10(Holder不等式）设（，）是Rn上的Euclidean内积，则对任意，yER"，有[(, 3)? ≤I1llp I3ll,1其中p,>0,且=1Pd
1.2 向量范数与矩阵范数 · 13 · ∥x∥∞ ≤ ∥x∥2 ≤ √ n ∥x∥∞. † 有限维赋范线性空间上的所有范数都是等价的. 定理 1.8 (Cauchy-Schwartz 不等式) 设 (·, ·) 是 C n 上的内积, 则对任意 x, y ∈ C n, 有 |(x, y)| 2 ≤ (x, x) · (y, y) 且等号成立的充要条件是 x 与 y 线性相关. 证明. 若 y = 0, 则结论显然成立. 假设 y ̸= 0, 则对任意 α ∈ C 有 0 ≤ (x − αy, x − αy) = (x, x) − α¯(x, y) − α ( (y, x) − α¯(y, y) ) . 由于 y ̸= 0, 所以 (y, y) > 0. 取 α¯ = (y, x) (y, y) , 代入上式可得 0 ≤ (x, x) − (y, x) (y, y) (x, y). 由于 (y, x) = (x, y), 所以上式即为 |(x, y)| 2 ≤ (x, x) · (y, y). 下面考虑等号成立的条件. 充分性: 如果 x 与 y 线性相关, 则通过直接验证即可知等号成立. 必要性: 假设等号成立. 如果 y = 0, 则显然 x 与 y 线性相关. 现假定 y ̸= 0. 取 α = (y, x) (y, y) , 则 (x − αy, x − αy) = (x, x) − |(x, y)| 2 (y, y) = 0, 即 x − αy = 0. 所以 x 与 y 线性相关. □ 任何一个内积都可以定义一个相应的范数. 推论 1.9 设 (·, ·) 是 C n 上的内积, 则 ∥x∥ ≜ √ (x, x) 是 C n 上的一个向量范数. 更一般地, 我们有下面的 Holder 不等式. 定理 1.10 (Holder 不等式) 设 (·, ·) 是 R n 上的 Euclidean 内积, 则对任意 x, y ∈ R n, 有 |(x, y)| 2 ≤ ∥x∥p · ∥y∥q, 其中 p, q > 0, 且 1 p + 1 q = 1
.14.第一讲线性代数基础定理1.11（范数的连续性）设·I是Cn上的一个向量范数，则f(a）≤l是Cn上的连续函数1.2.2矩阵范数定义1.8（矩阵范数）若函数f：Cmxn→R满足(I)f(A)≥0,VAECmxn且等号当且仅当A=0时成立；(2) f(αA)=·f(A), V AECmxn,αEC;(3) f(A+B)≤f(A)+ f(B), VA,BE Cmxn则称f(）为Cmxn上的范数，通常记作I·l设·是Cmxn上的范数，若对任意AECmxn和任意ECn，有(1.1)IAl≤All·ll,则称矩阵范数·l与向量范数相容,这里的Ar和分别为Cm和Cn上的向量范数+类似地，我们可以定义Rmxn上的矩阵范数设f是Cnxn上的范数，如果f还满足(4) f(AB) ≤f(A)f(B), VA, B E Cnxn则称f是相容的矩阵范数十在本讲义中，如果不加特别指出，所涉及的矩阵范数都是指相容的矩阵范数类常用的矩阵范数就是由向量范数导出的算子范数引理1.3（算子范数，诱导范数，导出范数）设·Ⅱ是R"上的向量范数，则IIArllIAmaxArsupZER,0lz=1是Rnxn上的范数，称为算子范数，或诱导范数，导出范数例1.88常见的矩阵范数·F-范数TEai12IAF=1?P-范数（算子范数）I/ArllpIAll,= sup2401llp
· 14 · 第一讲 线性代数基础 定理 1.11 (范数的连续性) 设 ∥ · ∥ 是 C n 上的一个向量范数, 则 f(x) ≜ ∥x∥ 是 C n 上的连续函数. 1.2.2 矩阵范数 定义 1.8 (矩阵范数) 若函数 f : C m×n → R 满足 (1) f(A) ≥ 0, ∀ A ∈ C m×n 且等号当且仅当 A = 0 时成立; (2) f(αA) = |α| · f(A), ∀ A ∈ C m×n, α ∈ C; (3) f(A + B) ≤ f(A) + f(B), ∀A, B ∈ C m×n; 则称 f(x) 为 C m×n 上的范数, 通常记作 ∥ · ∥. 设 ∥ · ∥ 是 C m×n 上的范数, 若对任意 A ∈ C m×n 和任意 x ∈ C n, 有 ∥Ax∥ ≤ ∥A∥ · ∥x∥, (1.1) 则称矩阵范数 ∥ · ∥ 与向量范数相容, 这里的 ∥Ax∥ 和 ∥x∥ 分别为 C m 和 C n 上的向量范数. † 类似地, 我们可以定义 R m×n 上的矩阵范数. 设 f 是 C n×n 上的范数, 如果 f 还满足 (4) f(AB) ≤ f(A)f(B), ∀ A, B ∈ C n×n 则称 f 是相容的矩阵范数. † 在本讲义中, 如果不加特别指出, 所涉及的矩阵范数都是指相容的矩阵范数. 一类常用的矩阵范数就是由向量范数导出的算子范数. 引理 1.3 (算子范数, 诱导范数, 导出范数) 设 ∥ · ∥ 是 R n 上的向量范数, 则 ∥A∥ ≜ sup x∈Rn, x̸=0 ∥Ax∥ ∥x∥ = max ∥x∥=1 ∥Ax∥ 是 R n×n 上的范数, 称为算子范数, 或诱导范数, 导出范数. 例 1.8 常见的矩阵范数: • F-范数 ∥A∥F = vuut ∑n i=1 ∑n j=1 |aij | 2 ; • p-范数 (算子范数) ∥A∥p = sup x̸=0 ∥Ax∥p ∥x∥p
1.2向量范数与矩阵范数.15.引理1.4可以证明：(I)1-范数(列范数):All1max(2)00-范数（行范数)：Aloomaxi<(3)2-范数：IAll2=VP(ATA)计算2-范数时需要求谱半径，因此通常比计算1-范数和00-范数更困难.但在某些情况下可以用下面的范数等价性来估计二个矩阵的2-范数定理1.12（矩阵范数的等价性）Rnxn空间上的所有范数都是等价的，特别地，有14 4I2 V IA,114 [4/2 1 ,IIA≤IAli≤n/Allo:h1IA≤A≤VAl2Vn除此之外，我们还有下面的性质引理15设ARx，则A≤A1·A且,fl)4l2,(l)1<is定理1.13范数的性质：(1)对任意相容范数II·I,有IIA*I≤IA;(2)对任意算子范数II·I,有IIA≤IIAl·Iil,IIABI≤IIAI·BI,即算子范数是相容范数;(3)Ar2≤AlF·l2,ABF≤AF·BF，即F-范数是相容范数；(4)F-范数不是算子范数；(5）·2和I·IlF是酉不变范数，即对任意酉矩阵U,V,有[UA|2=[IAVI2=|UAV2=IIA2,UAF=AVF=UAVIF=IAlF(6)AT2=A2,AT=IA0;(7）若A是正规矩阵，则A2=p(A),因此，A2≤A,其中-是任意算子范数
1.2 向量范数与矩阵范数 · 15 · 引理 1.4 可以证明: (1) 1-范数 (列范数): ∥A∥1 = max 1≤j≤n (∑n i=1 |aij | ) ; (2) ∞-范数 (行范数): ∥A∥∞ = max 1≤i≤n ∑n j=1 |aij | ; (3) 2-范数: ∥A∥2 = √ ρ(A⊺A) . 计算 2-范数时需要求谱半径, 因此通常比计算 1-范数和 ∞-范数更困难. 但在某些情况下可以用下面的 范数等价性来估计一个矩阵的 2-范数. 定理 1.12 (矩阵范数的等价性) R n×n 空间上的所有范数都是等价的, 特别地, 有 1 √ n ∥A∥1 ≤ ∥A∥2 ≤ √ n ∥A∥1, 1 √ n ∥A∥∞ ≤ ∥A∥2 ≤ √ n ∥A∥∞, 1 n ∥A∥∞ ≤ ∥A∥1 ≤ n ∥A∥∞, 1 √ n ∥A∥1 ≤ ∥A∥F ≤ √ n ∥A∥2. 除此之外, 我们还有下面的性质. 引理 1.5 设 A ∈ R n×n, 则 ∥A∥ 2 2 ≤ ∥A∥1 · ∥A∥∞, 且 max 1≤i,j≤n {|aij |} ≤ ∥A∥2 ≤ n max 1≤i,j≤n {|aij |}. 定理 1.13 范数的性质: (1) 对任意相容范数 ∥ · ∥, 有 ∥Ak∥ ≤ ∥A∥ k ; (2) 对任意算子范数 ∥ · ∥, 有 ∥Ax∥ ≤ ∥A∥ · ∥x∥, ∥AB∥ ≤ ∥A∥ · ∥B∥, 即算子范数是相容范数; (3) ∥Ax∥2 ≤ ∥A∥F · ∥x∥2, ∥AB∥F ≤ ∥A∥F · ∥B∥F , 即 F-范数是相容范数; (4) F-范数不是算子范数; (5) ∥ · ∥2 和 ∥ · ∥F 是酉不变范数, 即对任意酉矩阵 U, V , 有 ∥UA∥2 = ∥AV ∥2 = ∥UAV ∥2 = ∥A∥2 , ∥UA∥F = ∥AV ∥F = ∥UAV ∥F = ∥A∥F (6) ∥A⊺∥2 = ∥A∥2, ∥A⊺∥1 = ∥A∥∞ ; (7) 若 A 是正规矩阵, 则 ∥A∥2 = ρ(A), 因此, ∥A∥2 ≤ ∥A∥, 其中 ∥ · ∥ 是任意算子范数
第一讲线性代数基础.16.1.2.3序列的收敛首先给出向量序列收敛的定义定义1.9(向量序列的收敛）设（(k)]%-，是Cn中的一个向量序列.如果存在向量=[r1，F2,..anJTECn使得lima(k)=,i=1,2..,n,其中()表示(K)的第i个分量.则称(r()) (按分量)收敛到,即工是(k)的极限,记为lim a(k),=T→相类似地，我们可以给出矩阵序列收敛的定义定义1.10（矩阵序列的收敛）设【A(#)=[a()])是Cmxn中的一个矩阵序列.如果存在矩阵A：[aij] e Cmxn 使得lim a)=aj,i=1,2,...,m, j=1,2,..,n,则称A(K)收敛到A,即A是A()的极限，记为lim A(k) = A.ko0关于向量序列和矩阵序列的收敛性，我们有下面的结论[82]定理1.14设向量序列 (r(k))%=0 CC",矩阵序列[A(k)=[a)])C Cmxn,则r(k)=一lim()-=0,其中·为任一向量范数;(1)imA(k)=A一limA(k)-A=0,其中I·为任一矩阵范数;(2)Iimlim A(k)=0 lim A(k)=0,VrERn(3)-下面是关于收敛速度的定义定义1.11设点列(e)0=,收敛，且limE=0.若存在一个有界常数0<c<00,使得-[=k+1]limC400EkP则称点列eI是P次（渐进)收敛的.若1<P<2或P=1且C=0,则称点列是超线性收敛的1.3矩阵与投影1.3.1特征值与特征向量
· 16 · 第一讲 线性代数基础 1.2.3 序列的收敛 首先给出向量序列收敛的定义. 定义 1.9 (向量序列的收敛) 设 { x (k) }∞ k=1 是 C n 中的一个向量序列. 如果存在向量 x = [x1, x2, . . . , xn] ⊺ ∈ C n 使得 lim k→∞ x (k) i = xi , i = 1, 2, . . . , n, 其中 x (k) i 表示 x (k) 的第 i 个分量. 则称 { x (k) } (按分量) 收敛到 x, 即 x 是 x (k) 的极限, 记为 lim k→∞ x (k) = x. 相类似地, 我们可以给出矩阵序列收敛的定义. 定义 1.10 (矩阵序列的收敛) 设 { A(k) = [ a (k) ij ]}∞ k=0 是 C m×n 中的一个矩阵序列. 如果存在矩阵 A = [aij ] ∈ C m×n 使得 lim k→∞ a (k) ij = aij , i = 1, 2, . . . , m, j = 1, 2, . . . , n, 则称 A(k) 收敛到 A, 即 A 是 A(k) 的极限, 记为 lim k→∞ A (k) = A. 关于向量序列和矩阵序列的收敛性, 我们有下面的结论 [82]. 定理 1.14 设向量序列 {x (k)}∞ k=0 ⊂ C n, 矩阵序列 { A(k) = [ a (k) ij ]}∞ k=0 ⊂ C m×n, 则 (1) lim k→∞ x (k) = x ⇐⇒ lim k→∞ ∥x (k) − x∥ = 0, 其中 ∥ · ∥ 为任一向量范数; (2) lim k→∞ A(k) = A ⇐⇒ lim k→∞ ∥A(k) − A∥ = 0, 其中 ∥ · ∥ 为任一矩阵范数; (3) lim k→∞ A(k) = 0 ⇐⇒ lim k→∞ A(k)x = 0, ∀ x ∈ R n. 下面是关于 收敛速度 的定义. 定义 1.11 设点列 {εk}∞ k=1 收敛, 且 lim k=∞ εk = 0. 若存在一个有界常数 0 < c < ∞, 使得 lim k→∞ |εk+1| |εk| p = c, 则称点列 {εk} 是 p 次 (渐进) 收敛的. 若 1 < p < 2 或 p = 1 且 c = 0, 则称点列是超线性收敛的. 1.3 矩阵与投影 1.3.1 特征值与特征向量