向量範數

  從度量上講：內積、積分、投影講是一個意思。都是: $\phi : R^n \rightarrow R \quad$的映射。我們將這樣的 $\phi$ 在廣義上稱爲某種度量。首先，矩陣是無法比較大小的，例如 a=[3,5] 和 b=[4,4] ，問a和b這兩個向量那個大？所以，任何需要度量的東西都需要投影到 $R$ 空間。這裏，我們取 a 和 b 的範數（滿足非負性、齊次性和三角不等式）來將他們投影到 $R$ 空間，得到 ||a|| = ||b||，這樣，我們知道這兩個向量是相等的。

  那麼，對於矩陣 $M$ 怎樣比較大小呢？換句話我們怎樣選擇 $\phi$ s.t. $||M|| \rightarrow R$? 那麼，我們自然而然會想到矩陣範數（除了滿足範數的三條型之外，對於 $n \times n$ 的矩陣，我們希望其滿足 相容性，即所謂的服從乘法範數（sub-multiplicative norm）： ||AB||<=||A|| ||B||. ）。如果不考慮相容性，那麼矩陣範數和向量範數就沒有區別，因爲 $m\times n$ 矩陣全體和 $m \times n$ 維向量空間同構。引入相容性主要是爲了保持矩陣作爲線性算子的特徵，這一點和算子範數的相容性一致，並且可以得到Mincowski定理（有限維線性空間的所有範數都等價）以外的信息。

向量範數：
1-norm:   $||x||_1=\sum_{i=1}^N{|x_i|}$

2-norm:   $||x||_2=\big(\sum_{i=1}^N{|x_i|^2}\big)^{\frac{1}{2}}$

$\infty$-norm:   $||x||_1=\max \limits_{i} {|x_i|}$

p-norm:  $||x||_p=\big(\sum_{i=1}^N{|x_i|^p}\big)^{\frac{1}{p}}$

矩陣範數：

1-norm:   $||A||_1=\max \limits_{j} \sum_{i=1}^N {|a_{i,j}|}$  列和範數

2-norm:   $||A||_2=\sqrt{\lambda_1}$,   $\lambda_1$爲 $A^TA$ 的最大特徵值。該範數也被稱爲譜範數。

$\infty$-norm: $||A||_1=\max \limits_{i} \sum_{j=1}^N {|a_{i,j}|}$   行和範數

F-norm:  $||x||_p=\big(\sum_{i=1}^M \sum_{j=1}^{N} {|a_{i,j}|^2}\big)^{\frac{1}{2}}$ ，Frobenius-norm，即矩陣元素絕對值的平方和再開平方。

誘導範數

把矩陣看作線性算子，利用算子範數的性質，那麼，矩陣範數可以由向量範數誘導得到：
║A║ = max{║Ax║：║x║=1}= max{║Ax║/║x║： x≠0}
它自動滿足對向量範數的相容性
║Ax║ ≤ ║A║║x║ 即： ║AB║ ≤ ║A║║B║。

容易驗證F-norm是相容的，但當min{m,n}>1時, F-norm 不能由向量範數誘導（$||E_{11}+E_{22}||_F=2&gt;1$）。可以證明任一種矩陣範數總有與之相容的向量範數。來自這裏。

另外還有以下結論：
$║AB║_F \le ║A║_F ║B║_2$

$║AB║_F \le ║A║_2 ║B║_F$

矩陣的譜半徑

定義： 設 A 是 n 階方陣，$\lambda_i$ 是其特徵值，i=1,2，…，n。則稱特徵值的絕對值的最大值爲 A 的譜半徑，記爲 $\rho(A)$。
注：注意要將譜半徑與譜範數（2-範數）區別開來，譜範數是指A的最大奇異值，即$A^TA$的最大特徵值的算術平方根。譜半徑是矩陣的函數，但不是矩陣範數。譜半徑和範數的關係是以下幾個結論：
定理1：
譜半徑不大於矩陣範數，即$\rho(A) \le ||A||$。
因爲任一特徵對λ，x,Ax=λx，可得Ax=λx。兩邊取範數並利用相容性即得結果。
定理2：
對於任何方陣A以及任意正數e，存在一種矩陣範數使得║A║<ρ（A)+e。
定理3(Gelfand定理）：
$\rho(A)= \lim \limits_{k \rightarrow \infty} ║A_k║_1/k$。
推論：
推論1：矩陣序列 $I,A,A_2，…A_k，…$ 收斂於零的充要條件是$\rho(A) &lt; 1$。
推論2：級數 $I+A+A2+...$ 收斂到（I-A)-1的充要條件是 $\rho(A) &lt; 1$。
酉不變範數
定義：
如果範數║·║滿足║A║=║UAV║對任何矩陣A以及酉矩陣U,V成立，那麼這個範數稱爲酉不變範數。
容易驗證，2-範數和F-範數是酉不變範數。因爲酉變換不改變矩陣的奇異值，所以由奇異值得到的範數是酉不變的，比如2-範數是最大奇異值，F-範數是所有奇異值組成的向量的2-範數。反之可證明，所有的酉不變範數都和奇異值有密切聯繫：
Von Neumann定理：在酉不變範數和對稱度規函數（symmetric gauge function）之間存在一一對應關係。也就是說任何酉不變範數事實上就是所有奇異值的一個對稱度規函數。

範數的等價

  對任何兩個向量範數$||\bullet ||_{\alpha}$ 和 $||\bullet||_{\beta}$，我們有
$r||A||_{\alpha} \le ||A||_{\beta} \le s||A||_{\alpha}$
對某個正數 $r$ 與 $s$，$K^{m\times n}$中所有矩陣 A 成立。換句話說，它們是等價的範數；它們在$K^{m\times n}$上誘導了相同的拓撲。這裏，再提一下前文提到的Minkowski定理：有限維線性空間的所有範數都等價。
此外，當，A爲方陣時，對任何向量範數 $||\bullet||$，存在惟一一個正數 $k$ 使得 $k||A||$ 是一個（服從乘法）矩陣範數，即滿足相容性。

• 一個矩陣範數||·||α稱爲“極小的”，如果不存在其它矩陣範數||·||β滿足||·||β≤||·||α。
• $||A||_p$表示由向量p-範數誘導的矩陣範數。
• 向量範數之間另一個有用的不等式是$||A||_2 \le \sqrt{||A||_1||A||_{\infty}}$ 。

空間範數

基本性質
有限維空間上的範數具有良好的性質，主要體現在以下幾個定理：

• 性質1：對於有限維賦範線性空間的任何一組基，範數是元素（在這組基下）的座標的連續函數。
• 性質2（Minkowski定理）：有限維線性空間的所有範數都等價。
• 性質3（Cauchy收斂原理）：實數域（或複數域）上的有限維線性空間（按任何範數）必定完備。
• 性質4：有限維賦範線性空間中的序列按座標收斂的充要條件是它按任何範數都收斂。