正則化方法：防止過擬合，提高泛化能力
在訓練數據不夠多時，或者overtraining時，常常會導致overfitting（過擬合）。其直觀的表現如下圖所示，隨着訓練過程的進行，模型複雜度增加，在training data上的error漸漸減小，但是在驗證集上的error卻反而漸漸增大——因爲訓練出來的網絡過擬合了訓練集，對訓練集外的數據卻不work。
爲了防止overfitting，可以用的方法有很多，下文就將以此展開。有一個概念需要先說明，在機器學習算法中，我們常常將原始數據集分爲三部分：training data、validation data，testing data。這個validation data是什麼？它其實就是用來避免過擬合的，在訓練過程中，我們通常用它來確定一些超參數（比如根據validation data上的accuracy來確定early stopping的epoch大小、根據validation data確定learning rate等等）。那爲啥不直接在testing data上做這些呢？因爲如果在testing data做這些，那麼隨着訓練的進行，我們的網絡實際上就是在一點一點地overfitting我們的testing data，導致最後得到的testing accuracy沒有任何參考意義。因此，training data的作用是計算梯度更新權重，validation data如上所述，testing data則給出一個accuracy以判斷網絡的好壞。
避免過擬合的方法有很多：early stopping、數據集擴增（Data augmentation）、正則化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。
L2 regularization（權重衰減）
L2正則化就是在代價函數後面再加上一個正則化項：
C0代表原始的代價函數，後面那一項就是L2正則化項，它是這樣來的：所有參數w的平方的和，除以訓練集的樣本大小n。λ就是正則項係數，權衡正則項與C0項的比重。另外還有一個係數1/2，1/2經常會看到，主要是爲了後面求導的結果方便，後面那一項求導會產生一個2，與1/2相乘剛好湊整。
L2正則化項是怎麼避免overfitting的呢？我們推導一下看看，先求導：
可以發現L2正則化項對b的更新沒有影響，但是對於w的更新有影響:
在不使用L2正則化時，求導結果中w前係數爲1，現在w前面係數爲 1−ηλ/n ，因爲η、λ、n都是正的，所以 1−ηλ/n小於1，它的效果是減小w，這也就是權重衰減（weight decay）的由來。當然考慮到後面的導數項，w最終的值可能增大也可能減小。
另外，需要提一下，對於基於mini-batch的隨機梯度下降，w和b更新的公式跟上面給出的有點不同：
對比上面w的更新公式，可以發現後面那一項變了，變成所有導數加和，乘以η再除以m，m是一個mini-batch中樣本的個數。
到目前爲止，我們只是解釋了L2正則化項有讓w“變小”的效果，但是還沒解釋爲什麼w“變小”可以防止overfitting？一個所謂“顯而易見”的解釋就是：更小的權值w，從某種意義上說，表示網絡的複雜度更低，對數據的擬合剛剛好（這個法則也叫做奧卡姆剃刀），而在實際應用中，也驗證了這一點，L2正則化的效果往往好於未經正則化的效果。當然，對於很多人（包括我）來說，這個解釋似乎不那麼顯而易見，所以這裏添加一個稍微數學一點的解釋（引自知乎）：
過擬合的時候，擬合函數的係數往往非常大，爲什麼？如下圖所示，過擬合，就是擬合函數需要顧忌每一個點，最終形成的擬合函數波動很大。在某些很小的區間裏，函數值的變化很劇烈。這就意味着函數在某些小區間裏的導數值（絕對值）非常大，由於自變量值可大可小，所以只有係數足夠大，才能保證導數值很大。
而正則化是通過約束參數的範數使其不要太大，所以可以在一定程度上減少過擬合情況。
L1 regularization
在原始的代價函數後面加上一個L1正則化項，即所有權重w的絕對值的和，乘以λ/n（這裏不像L2正則化項那樣，需要再乘以1/2，具體原因上面已經說過。
同樣先計算導數：
上式中sgn(w)表示w的符號。那麼權重w的更新規則爲：
比原始的更新規則多出了η * λ * sgn(w)/n這一項。當w爲正時，更新後的w變小。當w爲負時，更新後的w變大——因此它的效果就是讓w往0靠，使網絡中的權重儘可能爲0，也就相當於減小了網絡複雜度，防止過擬合。
另外，上面沒有提到一個問題，當w爲0時怎麼辦？當w等於0時，|W|是不可導的，所以我們只能按照原始的未經正則化的方法去更新w，這就相當於去掉η*λ*sgn(w)/n這一項，所以我們可以規定sgn(0)=0，這樣就把w=0的情況也統一進來了。（在編程的時候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）
Early stopping
對模型進行訓練的過程即是對模型的參數進行學習更新的過程，這個參數學習的過程往往會用到一些迭代方法，如梯度下降（Gradient descent）學習算法。Early stopping便是一種迭代次數截斷的方法來防止過擬合的方法，即在模型對訓練數據集迭代收斂之前停止迭代來防止過擬合。
Early stopping方法的具體做法是，在每一個Epoch結束時（一個Epoch集爲對所有的訓練數據的一輪遍歷）計算validation data的accuracy，當accuracy不再提高時，就停止訓練。這種做法很符合直觀感受，因爲accurary都不再提高了，在繼續訓練也是無益的，只會提高訓練的時間。那麼該做法的一個重點便是怎樣才認爲validation accurary不再提高了呢？並不是說validation accuracy一降下來便認爲不再提高了，因爲可能經過這個Epoch後，accuracy降低了，但是隨後的Epoch又讓accuracy又上去了，所以不能根據一兩次的連續降低就判斷不再提高。一般的做法是，在訓練的過程中，記錄到目前爲止最好的validation accuracy，當連續10次Epoch（或者更多次）沒達到最佳accuracy時，則可以認爲accuracy不再提高了。此時便可以停止迭代了（Early Stopping）。這種策略也稱爲“No-improvement-in-n”，n即Epoch的次數，可以根據實際情況取，如10、20、30…
Dropout
L1、L2正則化是通過修改代價函數來實現的，而Dropout則是通過修改神經網絡本身來實現的，它是在訓練網絡時用的一種技巧（trike）。它的流程如下：
假設我們要訓練上圖這個網絡，在訓練開始時，我們隨機地“刪除”一半的隱層單元，視它們爲不存在，得到如下的網絡：
保持輸入輸出層不變，按照BP算法更新上圖神經網絡中的權值（虛線連接的單元不更新，因爲它們被“臨時刪除”了）。
以上就是一次迭代的過程，在第二次迭代中，也用同樣的方法，只不過這次刪除的那一半隱層單元，跟上一次刪除掉的肯定是不一樣的，因爲我們每一次迭代都是“隨機”地去刪掉一半。第三次、第四次……都是這樣，直至訓練結束。
以上就是Dropout，它爲什麼有助於防止過擬合呢？可以簡單地這樣解釋，運用了dropout的訓練過程，相當於訓練了很多個只有半數隱層單元的神經網絡（後面簡稱爲“半數網絡”），每一個這樣的半數網絡，都可以給出一個分類結果，這些結果有的是正確的，有的是錯誤的。隨着訓練的進行，大部分半數網絡都可以給出正確的分類結果，那麼少數的錯誤分類結果就不會對最終結果造成大的影響。