機器學習-之正則化詳解

本文爲轉載文章

轉載地址：https://www.cnblogs.com/jianxinzhou/p/4083921.html

1. The Problem of Overfitting

1

還是來看預測房價的這個例子，我們先對該數據做線性迴歸，也就是左邊第一張圖。

如果這麼做，我們可以獲得擬合數據的這樣一條直線，但是，實際上這並不是一個很好的模型。我們看看這些數據，很明顯，隨着房子面積增大，住房價格的變化趨於穩定或者說越往右越平緩。因此線性迴歸並沒有很好擬合訓練數據。

我們把此類情況稱爲欠擬合(underfitting)，或者叫作叫做高偏差(bias)。

這兩種說法大致相似，都表示沒有很好地擬合訓練數據。高偏差這個詞是 machine learning 的研究初期傳下來的一個專業名詞，具體到這個問題，意思就是說如果用線性迴歸這個算法去擬合訓練數據，那麼該算法實際上會產生一個非常大的偏差或者說存在一個很強的偏見。

第二幅圖，我們在中間加入一個二次項，也就是說對於這幅數據我們用二次函數去擬合。自然，可以擬合出一條曲線，事實也證明這個擬合效果很好。

另一個極端情況是，如果在第三幅圖中對於該數據集用一個四次多項式來擬合。因此在這裏我們有五個參數θ₀到θ_4，這樣我們同樣可以擬合一條曲線，通過我們的五個訓練樣本，我們可以得到如右圖的一條曲線。

一方面，我們似乎對訓練數據做了一個很好的擬合，因爲這條曲線通過了所有的訓練實例。但是，這實際上是一條很扭曲的曲線，它不停上下波動。因此，事實上我們並不認爲它是一個預測房價的好模型。

所以，我們把這類情況叫做過擬合(overfitting)，也叫高方差(variance)。

與高偏差一樣，高方差同樣也是一個歷史上的叫法。從第一印象上來說，如果我們擬合一個高階多項式，那麼這個函數能很好的擬合訓練集（能擬合幾乎所有的訓練數據），但這也就面臨函數可能太過龐大的問題，變量太多。

同時如果我們沒有足夠的數據集（訓練集）去約束這個變量過多的模型，那麼就會發生過擬合。

2

過度擬合的問題通常發生在變量（特徵）過多的時候。這種情況下訓練出的方程總是能很好的擬合訓練數據，也就是說，我們的代價函數可能非常接近於 0 或者就爲 0。

但是，這樣的曲線千方百計的去擬合訓練數據，這樣會導致它無法泛化到新的數據樣本中，以至於無法預測新樣本價格。在這裏，術語"泛化"指的是一個假設模型能夠應用到新樣本的能力。新樣本數據是指沒有出現在訓練集中的數據。

之前，我們看到了線性迴歸情況下的過擬合。類似的情況也適用於邏輯迴歸。

3

那麼，如果發生了過擬合問題，我們應該如何處理？

過多的變量（特徵），同時只有非常少的訓練數據，會導致出現過度擬合的問題。因此爲了解決過度擬合，有以下兩個辦法。

方法一：儘量減少選取變量的數量

具體而言，我們可以人工檢查每一項變量，並以此來確定哪些變量更爲重要，然後，保留那些更爲重要的特徵變量。至於，哪些變量應該捨棄，我們以後在討論，這會涉及到模型選擇算法，這種算法是可以自動選擇採用哪些特徵變量，自動捨棄不需要的變量。這類做法非常有效，但是其缺點是當你捨棄一部分特徵變量時，你也捨棄了問題中的一些信息。例如，也許所有的特徵變量對於預測房價都是有用的，我們實際上並不想捨棄一些信息或者說捨棄這些特徵變量。

方法二：正則化

正則化中我們將保留所有的特徵變量，但是會減小特徵變量的數量級（參數數值的大小θ(j)）。

這個方法非常有效，當我們有很多特徵變量時，其中每一個變量都能對預測產生一點影響。正如我們在房價預測的例子中看到的那樣，我們可以有很多特徵變量，其中每一個變量都是有用的，因此我們不希望把它們刪掉，這就導致了正則化概念的發生。

接下來我們會討論怎樣應用正則化和什麼叫做正則化均值，然後將開始討論怎樣使用正則化來使學習算法正常工作，並避免過擬合。

2. Cost Function

1

在前面的介紹中，我們看到了如果用一個二次函數來擬合這些數據，那麼它給了我們一個對數據很好的擬合。然而，如果我們用一個更高次的多項式去擬合，最終我們可能會得到一個曲線，它能很好地擬合訓練集，但卻並不是一個好的結果，因爲它過度擬合了數據，因此，一般性並不是很好。

讓我們考慮下面的假設，我們想要加上懲罰項，從而使參數 θ₃ 和 θ₄ 足夠的小。

這裏我的意思就是，上圖的式子是我們的優化目標，也就是說我們需要儘量減少代價函數的均方誤差。

對於這個函數我們對它添加一些項，加上 1000 乘以 θ₃ 的平方，再加上 1000 乘以 θ₄ 的平方，

1000 只是我隨便寫的某個較大的數字而已。現在，如果我們要最小化這個函數，那麼爲了最小化這個新的代價函數，我們要讓 θ₃ 和 θ₄ 儘可能小。因爲，如果你在原有代價函數的基礎上加上 1000 乘以 θ₃ 這一項 ，那麼這個新的代價函數將變得很大，所以，當我們最小化這個新的代價函數時， 我們將使 θ₃ 的值接近於 0，同樣 θ₄ 的值也接近於 0，就像我們忽略了這兩個值一樣。如果我們做到這一點（ θ₃ 和 θ₄ 接近 0 ），那麼我們將得到一個近似的二次函數。

因此，我們最終恰當地擬合了數據，我們所使用的正是二次函數加上一些非常小，貢獻很小項（因爲這些項的 θ₃、 θ₄ 非常接近於0）。顯然，這是一個更好的假設。

2

更一般地，這裏給出了正規化背後的思路。這種思路就是，如果我們的參數值對應一個較小值的話（參數值比較小），那麼往往我們會得到一個形式更簡單的假設。

在我們上面的例子中，我們懲罰的只是 θ₃ 和 θ_{4 ，}使這兩個值均接近於零，從而我們得到了一個更簡單的假設，實際上這個假設大抵上是一個二次函數。

但更一般地說，如果我們像懲罰 θ₃ 和 θ₄ 這樣懲罰其它參數，那麼我們往往可以得到一個相對較爲簡單的假設。

實際上，這些參數的值越小，通常對應于越光滑的函數，也就是更加簡單的函數。因此 就不易發生過擬合的問題。

我知道，爲什麼越小的參數對應於一個相對較爲簡單的假設，對你來說現在不一定完全理解，但是在上面的例子中使 θ₃ 和 θ₄ 很小，並且這樣做能給我們一個更加簡單的假設，這個例子至少給了我們一些直觀感受。

來讓我們看看具體的例子，對於房屋價格預測我們可能有上百種特徵，與剛剛所講的多項式例子不同，我們並不知道 θ₃ 和 θ₄ 是高階多項式的項。所以，如果我們有一百個特徵，我們並不知道如何選擇關聯度更好的參數，如何縮小參數的數目等等。

因此在正則化裏，我們要做的事情，就是把減小我們的代價函數（例子中是線性迴歸的代價函數）所有的參數值，因爲我們並不知道是哪一個或哪幾個要去縮小。

因此，我們需要修改代價函數，在這後面添加一項，就像我們在方括號裏的這項。當我們添加一個額外的正則化項的時候，我們收縮了每個參數。

順便說一下，按照慣例，我們沒有去懲罰 θ₀，因此 θ₀ 的值是大的。這就是一個約定從 1 到 n 的求和，而不是從 0 到 n 的求和。但其實在實踐中
這隻會有非常小的差異，無論你是否包括這 θ₀ 這項。但是按照慣例，通常情況下我們還是隻從 θ₁ 到 θ_n 進行正則化。

下面的這項就是一個正則化項

並且 λ 在這裏我們稱做正則化參數。

λ 要做的就是控制在兩個不同的目標中的平衡關係。

第一個目標就是我們想要訓練，使假設更好地擬合訓練數據。我們希望假設能夠很好的適應訓練集。

而第二個目標是我們想要保持參數值較小。（通過正則化項）

而 λ 這個正則化參數需要控制的是這兩者之間的平衡，即平衡擬合訓練的目標和保持參數值較小的目標。從而來保持假設的形式相對簡單，來避免過度的擬合。

對於我們的房屋價格預測來說，我們之前所用的非常高的高階多項式來擬合，我們將會得到一個非常彎曲和複雜的曲線函數，現在我們只需要使用正則化目標的方法，那麼你就可以得到一個更加合適的曲線，但這個曲線不是一個真正的二次函數，而是更加的流暢和簡單的一個曲線。這樣就得到了對於這個數據更好的假設。

再一次說明下，這部分內容的確有些難以明白，爲什麼加上參數的影響可以具有這種效果？但如果你親自實現了正規化，你將能夠看到這種影響的最直觀的感受。

3

在正則化線性迴歸中，如果正則化參數值 λ 被設定爲非常大，那麼將會發生什麼呢？

我們將會非常大地懲罰參數θ₁ θ₂ θ₃ θ₄ … 也就是說，我們最終懲罰θ₁ θ₂ θ₃ θ₄ …  在一個非常大的程度，那麼我們會使所有這些參數接近於零。

如果我們這麼做，那麼就是我們的假設中相當於去掉了這些項，並且使我們只是留下了一個簡單的假設，這個假設只能表明房屋價格等於 θ₀ 的值，那就是類似於擬合了一條水平直線，對於數據來說這就是一個欠擬合 (underfitting)。這種情況下這一假設它是條失敗的直線，對於訓練集來說這只是一條平滑直線，它沒有任何趨勢，它不會去趨向大部分訓練樣本的任何值。

這句話的另​​一種方式來表達就是這種假設有過於強烈的"偏見" 或者過高的偏差 (bais)，認爲預測的價格只是等於 θ₀ 。對於數據來說這只是一條水平線。

因此，爲了使正則化運作良好，我們應當注意一些方面，應該去選擇一個不錯的正則化參數 λ 。當我們以後講到多重選擇時我們將討論一種方法來自動選擇正則化參數 λ  ，爲了使用正則化，接下來我們將把這些概念應用到到線性迴歸和邏輯迴歸中去，那麼我們就可以讓他們避免過度擬合了。

3. Regularized Linear Regression

之前我們已經介紹過，嶺迴歸的代價函數如下：

對於線性迴歸(的求解)，我們之前運用了兩種學習算法，一種基於梯度下降，一種基於正規方程。

1

梯度下降，如下：

2

正規方程，如下：

3

現在考慮 M（即樣本量）， 比 N（即特徵的數量）小或等於N。

通過之前的博文，我們知道如果你只有較少的樣本，導致特徵數量大於樣本數量，那麼矩陣 X^TX 將是不可逆矩陣或奇異（singluar）矩陣，或者用另一種說法是這個矩陣是退化（degenerate）的，那麼我們就沒有辦法使用正規方程來求出 θ 。

幸運的是，正規化也爲我們解決了這個問題，具體的說只要正則參數是嚴格大於零，實際上，可以證明如下矩陣：

將是可逆的。因此，使用正則還可以照顧任何 X^TX 不可逆的問題。

所以，你現在知道如何實現嶺迴歸，利用它，你就可以避免過度擬合，即使你在一個相對較小的訓練集裏有很多特徵。這應該可以讓你在很多問題上更好的運用線性迴歸。

在接下來的視頻中，我們將把這種正則化的想法應用到 Logistic 迴歸，這樣我們就可以讓 logistic 迴歸也避免過度擬合，從而表現的更好。

4. Regularized Logistic Regression

Regularized Logistic Regression 實際上與 Regularized Linear Regression 是十分相似的。

同樣使用梯度下降：

如果在高級優化算法中，使用正則化技術的話，那麼對於這類算法我們需要自己定義costFunction。

For those methods what we needed to do was to define the function that's called the cost function.

這個我們自定義的 costFunction 的輸入爲向量 θ ，返回值有兩項，分別是代價函數 jVal 以及 梯度gradient。

總之我們需要的就是這個自定義函數costFunction，針對Octave而言，我們可以將這個函數作爲參數傳入到 fminunc 系統函數中（fminunc 用來求函數的最小值，將@costFunction作爲參數代進去，注意 @costFunction 類似於C語言中的函數指針），fminunc返回的是函數 costFunction 在無約束條件下的最小值，即我們提供的代價函數 jVal 的最小值，當然也會返回向量 θ 的解。

上述方法顯然對正則化邏輯迴歸是適用的。