範數概念

一、向量範數

1 範數-Norm- the concept

向量的範數可以簡單形象的理解爲向量的長度，或者向量到零點的距離，或者相應的兩個點之間的距離。

向量的範數定義：向量的範數是一個函數||x||, 滿足:

    非負性||x|| >= 0，齊次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。

常用的向量的範數：
L1範數:  ||x|| 爲x向量各個元素絕對值之和。
L2範數:  ||x||爲x向量各個元素平方和的1/2次方，L2範數又稱Euclidean範數或者Frobenius範數
Lp範數:  ||x||爲x向量各個元素絕對值p次方和的1/p次方

L∞範數:  ||x||爲x向量各個元素絕對值最大那個元素的絕對值，如下：

橢球向量範數: ||x||A  = sqrt[T(x)Ax]， T(x)代表x的轉置。定義矩陣C 爲M個模式向量的協方差矩陣，設C’是其逆矩陣，則Mahalanobis距離定義爲||x||C’  = sqrt[T(x)C’x], 這是一個關於C’的橢球向量範數。

2 距離-Distance-Concept

    歐式距離（對應L2範數）：最常見的兩點之間或多點之間的距離表示法，又稱之爲歐幾里得度量，它定義於歐幾里得空間中。n維空間中兩個點x1(x11,x12,…,x1n)與 x2(x21,x22,…,x2n)間的歐氏距離：

也可以用表示成向量運算的形式：

  

曼哈頓距離：曼哈頓距離對應L1-範數，也就是在歐幾里得空間的固定直角座標系上兩點所形成的線段對軸產生的投影的距離總和。例如在平面上，座標（x1, y1）的點P1與座標（x2, y2）的點P2的曼哈頓距離爲：，要注意的是，曼哈頓距離依賴座標系統的轉度，而非系統在座標軸上的平移或映射。

切比雪夫距離，若二個向量或二個點x1和x2，其座標分別爲(x11, x12, x13, ... , x1n)和(x21, x22, x23, ... , x2n)，則二者的切比雪夫距離爲：d = max(|x1i - x2i|)，i從1到n。對應L∞範數。

閔可夫斯基距離(Minkowski Distance)，閔氏距離不是一種距離，而是一組距離的定義。對應Lp範數，p爲參數。

閔氏距離的定義：兩個n維變量（或者兩個n維空間點）x1(x11,x12,…,x1n)與 x2(x21,x22,…,x2n)間的閔可夫斯基距離定義爲： 

其中p是一個變參數。

當p=1時，就是曼哈頓距離，

當p=2時，就是歐氏距離，

當p→∞時，就是切比雪夫距離，       

根據變參數的不同，閔氏距離可以表示一類的距離。 

Mahalanobis距離：也稱作馬氏距離。在近鄰分類法中，常採用歐式距離和馬氏距離。

參考資料：http://blog.csdn.net/v_july_v/article/details/8203674

二、矩陣範數

定義 矩陣範數：

一個在M*N的矩陣上的矩陣範數(matrix norm)是一個從 M*N線性空間到實數域上的一個函數，記爲||.||，它

對於任意的M*N矩陣A和B及所有實數a，滿足以下四條性質：

1. ||A||>=0;
2. ||A||=0 iff A=O （零矩陣）; （1和2可統稱爲正定性）
3. ||aA||=|a| ||A||; （齊次性）
4. ||A+B||<= ||A|| + ||B||. （三角不等式）

在一些教科書上定義的矩陣範數是對於N*N階矩陣的，這種定義往往要求矩陣滿足相容性，即

5.||AB||<=||A|| ||B||. （相容性）

在本文中，對於矩陣範數的定義僅要求前4條性質，而滿足第5個性質的矩陣範數稱爲服從乘法範數（sub-

multiplicative norm）

一般來講矩陣範數除了正定性，齊次性和三角不等式之外，還規定其必須滿足相容性：║XY║≤║X║║Y║。所以矩陣範數通常也稱爲相容範數。　如果║·║α是相容範數，且任何滿足║·║β≤║·║α的範數║·║β都不是相容範數，那麼║·║α稱爲極小範數。對於n階實方陣(或複方陣)全體上的任何一個範數║·║，總存在唯一的實數k>0，使得k║·║是極小範數。

注：如果不考慮相容性，那麼矩陣範數和向量範數就沒有區別，因爲m*n矩陣全體和m*n維向量空間同構。引入相容性主要是爲了保持矩陣作爲線性算子的特徵，這一點和算子範數的相容性一致，並且可以得到Mincowski定理以外的信息。

誘導範數

把矩陣看作線性算子，那麼可以由向量範數誘導出矩陣範數　║A║ = max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0} ，它自動滿足對向量範數的相容性　║Ax║ ≤ ║A║║x║，　並且可以由此證明　║AB║ ≤ ║A║║B║。

注：1.上述定義中可以用max代替sup是因爲有限維空間的單位閉球是緊的(有限開覆蓋定理)，從而上面的連續函數可以取到最值。

2.顯然，單位矩陣的算子範數爲1。

常用的三種p-範數誘導出的矩陣範數是：

1-範數：║A║1 = max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| } (列和範數，A每一列元素絕對值之和的最大值)　(其中∑|ai1|第一列元素絕對值的和∑|ai1|=|a11|+|a21|+...+|an1|,其餘類似)；

2-範數：║A║2 = A的最大奇異值 = ( max{ λi(A^H*A) } ) ^{1/2} (歐幾里德範數,譜範數,即A^H*A特徵值λi中最大者λ1的平方根，其中A^H爲A的轉置共軛矩陣)；

∞-範數：║A║∞ = max{ ∑|a1j|, ∑|a2j| ,..., ∑|amj| } (行和範數，A每一行元素絕對值之和的最大值)　(其中爲∑|a1j| 第一行元素絕對值的和，其餘類似)；

其它的p-範數則沒有很簡單的表達式。

對於p-範數而言，可以證明║A║p=║A^H║q，其中p和q是共軛指標。

簡單的情形可以直接驗證：║A║1=║A^H║∞，║A║2=║A^H║2，一般情形則需要利用║A║p=max{y^H*A*x：║x║p=║y║q=1}。

非誘導範數

有些矩陣範數不可以由向量範數來誘導，比如常用的Frobenius範數(也叫Euclid範數，簡稱F-範數或者E-範數)：║A║F= ( ∑∑ aij^2 )^1/2 (A全部元素平方和的平方根)。容易驗證F-範數是相容的，但當min{m,n}>1時F-範數不能由向量範數誘導(||E11+E22||F=2>1)。可以證明任一種矩陣範數總有與之相容的向量範數。例如定義　║x║=║X║，其中X=[x,x,…,x]是由x作爲列的矩陣。由於向量的F-範數就是2-範數，所以F-範數和向量的2-範數相容。

另外還有以下結論：　║AB║F <= ║A║F ║B║2 以及 ║AB║F <= ║A║2 ║B║F

1、矩陣的譜半徑和範數的關係

定義：A是n階方陣，λi是其特徵值，i=1,2,…,n。則稱特徵值的絕對值的最大值爲A的譜半徑，記爲ρ(A)。　注意要將譜半徑與譜範數(2-範數)區別開來，譜範數是指A的最大奇異值，即A^H*A最大特徵值的算術平方根。譜半徑是矩陣的函數，但不是矩陣範數。

2、譜半徑和範數的關係是以下幾個結論：

定理1：譜半徑不大於矩陣範數，即ρ(A)≤║A║。

因爲任一特徵對λ,x,Ax=λx，可得Ax=λx。兩邊取範數並利用相容性即得結果。

定理2：對於任何方陣A以及任意正數e，存在一種矩陣範數使得║A║<ρ(A)+e。

定理3(Gelfand定理)：ρ(A)=lim_{k->∞} ║A^k║^{1/k}。

利用上述性質可以推出以下兩個常用的推論：

推論1：矩陣序列 I,A,A^2,…A^k,… 收斂於零的充要條件是ρ(A)<1。

推論2：級數 I+A+A^2+... 收斂到(I-A)^{-1}的充要條件是ρ(A)<1。

酉不變範數

 

定義：如果範數║·║滿足║A║=║UAV║對任何矩陣A以及酉矩陣U,V成立，那麼這個範數稱爲酉不變範數。　容易驗證，2-範數和F-範數是酉不變範數。因爲酉變換不改變矩陣的奇異值，所以由奇異值得到的範數是酉不變的，比如2-範數是最大奇異值，F-範數是所有奇異值組成的向量的2-範數。　反過來可以證明，所有的酉不變範數都和奇異值有密切聯繫：　定理(Von Neumann定理)：在酉不變範數和對稱度規函數(symmetric gauge function)之間存在一一對應關係。　也就是說任何酉不變範數事實上就是所有奇異值的一個對稱度規函數。[1]