最優化方法：L1和L2正則化regularization

1. 正則化（Regularization）

機器學習中幾乎都可以看到損失函數後面會添加一個額外項，常用的額外項一般有兩種，一般英文稱作

ℓ1-norm和ℓ2-norm，中文稱作L1正則化和L2正則化，或者L1範數和L2範數。

L1正則化和L2正則化可以看做是損失函數的懲罰項。所謂『懲罰』是指對損失函數中的某些參數做一些限制。對於線性迴歸模型，使用L1正則化的模型建叫做Lasso迴歸，使用L2正則化的模型叫做Ridge迴歸（嶺迴歸）。

1. L1和L2的定義

L1正則化，又叫Lasso Regression

如下圖所示，L1是向量各元素的絕對值之和

 

L2正則化，又叫Ridge Regression

如下圖所示，L2是向量各元素的平方和

 

表示特徵的係數，從上式可以看到正則化項是對係數做了處理（限制）。

L1正則化和L2正則化的說明如下：

• L1正則化是指權值向量w中各個元素的絕對值之和，通常表示爲||w||1
• L2正則化是指權值向量w中各個元素的平方和然後再求平方根（可以看到Ridge迴歸的L2正則化項有平方符號），通常表示爲||w||2
  • L1正則化可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用於特徵選擇
  • L2正則化可以防止模型過擬合（overfitting）；一定程度上，L1也可以防止過擬合

• 一般都會在正則化項之前添加一個係數，Python中用α表示，一些文章也用λ表示。這個係數需要用戶指定。

二、L1  L2 區別：

相同點：都用於避免過擬合

不同點：L1可以讓一部分特徵的係數縮小到0，從而間接實現特徵選擇。所以L1適用於特徵之間有關聯的情況。

              L2讓所有特徵的係數都縮小，但是不會減爲0，它會使優化求解穩定快速。所以L2適用於特徵之間沒有關聯的情況

1. L2 regularizer ：使得模型的解偏向於 norm 較小的 W，通過限制 W 的 norm 的大小實現了對模型空間的限制，從而在一定程度上避免了 overfitting 。不過 ridge regression 並不具有產生稀疏解的能力，得到的係數 仍然需要數據中的所有特徵才能計算預測結果，從計算量上來說並沒有得到改觀。會選擇更多的特徵，這些特徵都會接近於0。   最優的參數值很小概率出現在座標軸上，因此每一維的參數都不會是0。當最小化||w||時，就會使每一項趨近於0
2. L1 regularizer ： 它的優良性質是能產生稀疏性，因爲最優的參數值很大概率出現在座標軸上，這樣就會導致某一維的權重爲0 ，產生稀疏權重矩陣, 導致 W 中許多項變成零。 稀疏的解除了計算量上的好處之外，更重要的是更具有“可解釋性”。
 

 

三、再討論幾個問題

1.爲什麼參數越小代表模型越簡單？

　　越是複雜的模型，越是嘗試對所有樣本進行擬合，包括異常點。這就會造成在較小的區間中產生較大的波動，這個較大的波動也會反映在這個區間的導數比較大。

　　只有越大的參數纔可能產生較大的導數。因此參數越小，模型就越簡單。

2.實現參數的稀疏有什麼好處？

　　因爲參數的稀疏，在一定程度上實現了特徵的選擇。一般而言，大部分特徵對模型是沒有貢獻的。這些沒有用的特徵雖然可以減少訓練集上的誤差，但是對測試集的樣本，反而會產生干擾。稀疏參數的引入，可以將那些無用的特徵的權重置爲0.

3.L1範數和L2範數爲什麼可以避免過擬合？

　　加入正則化項就是在原來目標函數的基礎上加入了約束。當目標函數的等高線和L1,L2範數函數第一次相交時，得到最優解。

　　L1範數：

　　L1範數符合拉普拉斯分佈，是不完全可微的。表現在圖像上會有很多角出現。這些角和目標函數的接觸機會遠大於其他部分。就會造成最優值出現在座標軸上，因此就會導致某一維的權重爲0 ，產生稀疏權重矩陣，進而防止過擬合。

　　L2範數：

　　L2範數符合高斯分佈，是完全可微的。和L1相比，圖像上的棱角被圓滑了很多。一般最優值不會在座標軸上出現。在最小化正則項時，可以是參數不斷趨向於0.最後活的很小的參數。

 

稀疏模型與特徵選擇

上面提到L1正則化有助於生成一個稀疏權值矩陣，進而可以用於特徵選擇。爲什麼要生成一個稀疏矩陣？

稀疏矩陣指的是很多元素爲0，只有少數元素是非零值的矩陣，即得到的線性迴歸模型的大部分系數都是0. 通常機器學習中特徵數量很多，例如文本處理時，如果將一個詞組（term）作爲一個特徵，那麼特徵數量會達到上萬個（bigram）。在預測或分類時，那麼多特徵顯然難以選擇，但是如果代入這些特徵得到的模型是一個稀疏模型，表示只有少數特徵對這個模型有貢獻，絕大部分特徵是沒有貢獻的，或者貢獻微小（因爲它們前面的係數是0或者是很小的值，即使去掉對模型也沒有什麼影響），此時我們就可以只關注係數是非零值的特徵。這就是稀疏模型與特徵選擇的關係。

L1和L2正則化的直觀理解

這部分內容將解釋爲什麼L1正則化可以產生稀疏模型（L1是怎麼讓係數等於零的），以及爲什麼L2正則化可以防止過擬合。

L1正則化和特徵選擇

假設有如下帶L1正則化的損失函數：

J=J0+α∑w|w|(1)
其中J0是原始的損失函數，加號後面的一項是L1正則化項，α是正則化係數。注意到L1正則化是權值的絕對值之和，J是帶有絕對值符號的函數，因此J是不完全可微的。機器學習的任務就是要通過一些方法（比如梯度下降）求出損失函數的最小值。當我們在原始損失函數J0後添加L1正則化項時，相當於對J0做了一個約束。令L=α∑w|w|，則J=J0+L，此時我們的任務變成在L約束下求出J0取最小值的解。考慮二維的情況，即只有兩個權值w1和w2，此時L=|w1|+|w2|對於梯度下降法，求解J0的過程可以畫出等值線，同時L1正則化的函數L也可以在w1w2的二維平面上畫出來。如下圖：

 

圖1 L1正則化

圖中等值線是J0的等值線，黑色方形是L函數的圖形。在圖中，當J0等值線與L圖形首次相交的地方就是最優解。上圖中J0與L在L的一個頂點處相交，這個頂點就是最優解。注意到這個頂點的值是(w1,w2)=(0,w)。可以直觀想象，因爲L函數有很多『突出的角』（二維情況下四個，多維情況下更多），J0與這些角接觸的機率會遠大於與L其它部位接觸的機率，而在這些角上，會有很多權值等於0，這就是爲什麼L1正則化可以產生稀疏模型，進而可以用於特徵選擇。

而正則化前面的係數α，可以控制L圖形的大小。α越小，L的圖形越大（上圖中的黑色方框）；α越大，L的圖形就越小，可以小到黑色方框只超出原點範圍一點點，這是最優點的值(w1,w2)=(0,w)中的w可以取到很小的值。

類似，假設有如下帶L2正則化的損失函數：

J=J0+α∑ww2(2)

同樣可以畫出他們在二維平面上的圖形，如下：

圖2 L2正則化

二維平面下L2正則化的函數圖形是個圓，與方形相比，被磨去了棱角。因此J0與L相交時使得w1或w2

等於零的機率小了許多，這就是爲什麼L2正則化不具有稀疏性的原因。

 

L2正則化和過擬合

擬合過程中通常都傾向於讓權值儘可能小，最後構造一個所有參數都比較小的模型。因爲一般認爲參數值小的模型比較簡單，能適應不同的數據集，也在一定程度上避免了過擬合現象。可以設想一下對於一個線性迴歸方程，若參數很大，那麼只要數據偏移一點點，就會對結果造成很大的影響；但如果參數足夠小，數據偏移得多一點也不會對結果造成什麼影響，專業一點的說法是『抗擾動能力強』。

那爲什麼L2正則化可以獲得值很小的參數？

以線性迴歸中的梯度下降法爲例。假設要求的參數爲θ，hθ(x)是我們的假設函數，那麼線性迴歸的代價函數如下：

J(θ)=12m∑i=1m(hθ(x(i))−y(i))2(3)
那麼在梯度下降法中，最終用於迭代計算參數θ的迭代式爲：

θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(4)
其中α是learning rate. 上式是沒有添加L2正則化項的迭代公式，如果在原始代價函數之後添加L2正則化，則迭代公式會變成下面的樣子：

θj:=θj(1−αλm)−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(5)

其中λ就是正則化參數。從上式可以看到，與未添加L2正則化的迭代公式相比，每一次迭代，θj都要先乘以一個小於1的因子，從而使得θj不斷減小，因此總得來看，θ是不斷減小的。

最開始也提到L1正則化一定程度上也可以防止過擬合。之前做了解釋，當L1的正則化係數很小時，得到的最優解會很小，可以達到和L2正則化類似的效果。

 

正則化參數的選擇

L1正則化參數

通常越大的λ可以讓代價函數在參數爲0時取到最小值。下面是一個簡單的例子，這個例子來自Quora上的問答。爲了方便敘述，一些符號跟這篇帖子的符號保持一致。

假設有如下帶L1正則化項的代價函數：

F(x)=f(x)+λ||x||1

其中x是要估計的參數，相當於上文中提到的w以及θ. 注意到L1正則化在某些位置是不可導的，當λ足夠大時可以使得F(x)在x=0時取到最小值。如下圖：

 

圖3 L1正則化參數的選擇

分別取λ=0.5和λ=2，可以看到越大的λ越容易使F(x)在x=0時取到最小值。

L2正則化參數

從公式5可以看到，λ越大，θj衰減得越快。另一個理解可以參考圖2，λ越大，L2圓的半徑越小，最後求得代價函數最值時各參數也會變得很小。

Reference

過擬合的解釋：
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss2.html

正則化的解釋：
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss1.html

正則化的解釋：
http://blog.csdn.net/u012162613/article/details/44261657

正則化的數學解釋（一些圖來源於這裏）：
http://blog.csdn.net/zouxy09/article/details/24971995