範數

範數（norm），是具有“長度”概念的函數。在線性代數、泛函分析及相關的數學領域，在泛函分析中，它定義在賦範線性空間中，並滿足一定的條件，即①非負性；②齊次性；③三角不等式。它常常被用來度量某個向量空間（或矩陣）中的每個向量的長度或大小。擁有範數的向量空間就是賦範向量空間。同樣，擁有半範數的向量空間就是賦半範向量空間。

範數包括向量範數和矩陣範數，向量範數表徵向量空間中向量的大小，矩陣範數表徵矩陣引起變化的大小。一種非嚴密的解釋就是，對應向量範數，向量空間中的向量都是有大小的，這個大小如何度量，就是用範數來度量的，不同的範數都可以來度量這個大小，就好比米和尺都可以來度量遠近一樣；對於矩陣範數，學過線性代數，我們知道，通過運算AX=BAX=B，可以將向量X變化爲B，矩陣範數就是來度量這個變化大小的。

常用的三種p-範數推導出的矩陣範數：

1-範數：

║A║₁ = max{ ∑|a_i1|，∑|a_i2|，……，∑|a_in| } （列和範數，A每一列元素絕對值之和的最大值）（其中∑|a_i1|第一列元素絕對值的和∑|a_i1|=|a₁₁|+|a₂₁|+...+|a_n1|，其餘類似）；

2-範數：

║A║₂ = A的最大奇異值 = (max{ λ_i(A^H*A)}) ^1/2 （譜範數，即A^H*A特徵值λ_i中最大者λ₁的平方根，其中A^H爲A的轉置共軛矩陣）；

∞-範數：

║A║_∞ = max{ ∑|a_1j|，∑|a_2j|,...，∑|a_mj| } （行和範數，A每一行元素絕對值之和的最大值）（其中∑|a_1j| 爲第一行元素絕對值的和，其餘類似）；

其它的p-範數則沒有很簡單的表達式。

對於p-範數而言，可以證明║A║_p=║A^H║_q，其中p和q是共軛指標。

簡單的情形可以直接驗證：║A║₁=║A^H║_∞，║A║₂=║A^H║₂，一般情形則需要利用║A║_p=max{y^H*A*x：║x║_p=║y║_q=1}。

在實際的訓練中對應的參數空間（最後用於結構風險最小化的時候，對應的x是一個列向量，即用到的是向量範數）

即有下面的形式：

L-P範數 
與閔可夫斯基距離的定義一樣，L-P範數不是一個範數，而是一組範數，其定義如下： 

根據P 的變化，範數也有着不同的變化，一個經典的有關P範數的變化圖如下： 

 

上圖表示了p從無窮到0變化時，三維空間中到原點的距離（範數）爲1的點構成的圖形的變化情況。以常見的L-2範數（p=2）爲例，此時的範數也即歐氏距離，空間中到原點的歐氏距離爲1的點構成了一個球面。

實際上，在0≤p<1≤p<1時，Lp並不滿足三角不等式的性質，也就不是嚴格意義下的範數。因此這裏的L-P範數只是一個概念上的寬泛說法。

L0範數 

當P=0時，也就是L0範數，由上面可知，L0範數並不是一個真正的範數，它主要被用來度量向量中非零元素的個數。用上面的L-P定義可以得到的L-0的定義爲： 

在通常情況下，大家都用的是： ||x||=權向量中非零參數的個數

對於L0範數，其優化問題爲： 

在實際應用中，由於L0範數本身不容易有一個好的數學表示形式，給出上面問題的形式化表示是一個很難的問題，故被人認爲是一個NP難問題。所以在實際情況中，L0的最優問題會被放寬到L1或L2下的最優化。

L1範數 
L1範數是我們經常見到的一種範數，它的定義如下： 

表示向量x中非零元素的絕對值之和。

L1範數有很多的名字，例如我們熟悉的曼哈頓距離、最小絕對誤差等。

對於L1範數，它的優化問題如下：

（注：Ax=b中，A是包含所有訓練數據的矩陣。 x是正在尋找的解決方案向量。 b是標籤矢量；由於x存在很多解，但由於L1範數的特點是表示非零向量的絕對值之和，故偏重於將向量中無關緊要的元素變成零，從而得到的是稀疏解）
由於L1範數的天然性質，對L1優化的解是一個稀疏解，因此L1範數也被叫做稀疏規則算子。

通過L1可以實現特徵的稀疏，去掉一些沒有信息的特徵，例如在對用戶的電影愛好做分類的時候，用戶有100個特徵，可能只有十幾個特徵是對分類有用的，大部分特徵如身高體重等可能都是無用的，利用L1範數就可以過濾掉。

L2範數 
L2範數是我們最常見最常用的範數了，我們用的最多的度量距離歐氏距離就是一種L2範數，它的定義如下： 

表示向量元素的平方和再開平方。 

對於L2範數，它的優化問題如下： 

L2範數通常會被用來做優化目標函數的正則化項，防止模型爲了迎合訓練集而過於複雜造成過擬合的情況，從而提高模型的泛化能力。

L-∞範數

當P=∞時，也就是L-∞範數，它主要被用來度量向量元素的最大值。用上面的L-P定義可以得到的L∞的定義爲： 

與L0一樣，在通常情況下，大家都用的是： ||x||∞=max(|xi|)來表示L∞