斯坦福大學機器學習第五課"正則化“
本次課程主要包括4部分：
1) The Problem of Overfitting(過擬合問題)
2) Cost Function(成本函數)
3) Regularized Linear Regression(線性迴歸的正則化)
4) Regularized Logistic Regression(邏輯迴歸的正則化)
以下是每一部分的詳細解讀。
1) The Problem of Overfitting(過擬合問題)
擬合問題舉例-線性迴歸之房價問題：
a) 欠擬合(underfit, 也稱High-bias)
b) 合適的擬合：
c) 過擬合(overfit,也稱High variance)
什麼是過擬合(Overfitting):
如果我們有非常多的特徵，那麼所學的Hypothesis有可能對訓練集擬合的非常好，但是對於新數據預測的很差。
過擬合例子2：邏輯迴歸：
與上一個例子相似，依次是欠擬合，合適的擬合以及過擬合：
a) 欠擬合
b) 合適的擬合
c) 過擬合
如何解決過擬合問題：
首先，過擬合問題往往源自過多的特徵，例如房價問題，如果我們定義瞭如下的特徵：
那麼對於訓練集，擬合的會非常完美：
所以針對過擬合問題，通常會考慮兩種途徑來解決：
a) 減少特徵的數量：
-人工的選擇保留哪些特徵；
-模型選擇算法（之後的課程會介紹）
b) 正則化
-保留所有的特徵，但是降低參數theta(j)的值；
-正則化的好處是當特徵很多時，每一個特徵都會對預測y貢獻一份合適的力量；
2) Cost Function(成本函數)
依然從房價預測問題開始，這次採用的是多項式迴歸：
a) 合適的擬合：
b) 過擬合
直觀來看，如果我們想解決這個例子中的過擬合問題，最好能將(x^3, x^4)的影響消除，也就是讓(theta3 接近於0, 同時theta4也接近於0).
假設我們對theta3, theta4進行懲罰，並且令其很小，一個簡單的辦法就是給原有的Cost function加上兩個略大懲罰項，例如：
這樣在最小化Cost function的時候，就可以使得theta3 接近於0, 同時theta4也接近於0.
正則化：
參數(theta0, theta1, ...,)取小一點的值，這樣的優點：
-“簡化”的hypothesis；
-不容易過擬合；
對於房價問題：
-特徵包括：(x1, x2, ... , x100)
-參數包括：(theta_0, theta_1, ..., theta_n)
我們對除(theta_0)之外的參數進行懲罰，也就是正則化：
正式的定義：經過正則化的Cost Function有如下的形式：
其中lambda稱爲正則化參數，我們的目標依然是最小化J(theta)
例如，對於正則化的線性迴歸模型來說，我們選擇theta來最小化如下的正則化成本函數：
將 lambda 設置爲一個極大的值（例如對於我們的問題，設lambda = 10^10） 如果
-算法依然會正常的工作, 將 lambda設置的很大不會影響算法本身；
-算法在去除過擬合問題上會失敗；
-算法的結構將是欠擬合（underfitting),即使訓練數據非常好也會失敗；
-梯度下降算法不一定會收斂；
這樣的話，除了theta0，其他的參數都約等於0, h_theta(x) = theta0, 將得到類似如下的欠擬合圖形：
關於正則化，以下引自李航博士《統計學習方法》1.5節關於正則化的一些描述：
模型選擇的典型方法是正則化。正則化是結構風險最小化策略的實現，是在經驗風險上加一個正則化項(regularizer)或罰項(penalty term)。正則化項一般是模型複雜度的單調遞增函數，模型越複雜，正則化值就越大。比如，正則化項可以是模型參數向量的範數。
正則化符合奧卡姆剃刀(Occam's razor)原理。奧卡姆剃刀原理應用於模型選擇時變爲以下想法：在所有可能選擇的模型中，能夠很好地解釋已知數據並且十分簡單纔是最好的模型，也就是應該選擇的模型。從貝葉斯估計的角度來看，正則化項對應於模型的先驗概率。可以假設複雜的模型有較大的先驗概率，簡單的模型有較小的先驗概率。
3) Regularized Linear Regression(線性迴歸的正則化)
線性迴歸包括成本函數，梯度下降算法及正規方程解法等幾個部分，不清楚的讀者可以回顧第二課及第三課的筆記，這裏將分別介紹正則化後的線性迴歸的成本函數，梯度下降算法及正規方程等。
首先來看一下線性迴歸正則化後的Cost function:
我們的目標依然是最小化J(theta)，從而得到相應的參數theta. 梯度下降算法是其中的一種優化算法，由於正則化後的線性迴歸Cost function有了改變，因此梯度下降算法也需要相應的改變：
注意，對於參數theta，梯度下降算法需要區分theta0和theta1, theta2, ... ,theta_n。
同樣的正規方程的表達式也需要改變，對於：
X 是m * (n+1)矩陣
y是m維向量：
正則化後的線性迴歸的Normal Equation的公式爲：
假設樣本數m小於等於特徵數x, 如果沒有正則化，線性迴歸Normal eqation如下：
[theta = (X^T X)^{-1}X^T y]
如果(X^T X)不可逆怎麼辦？之前的辦法是刪掉一些冗餘的特徵，但是線性迴歸正則化後，如果\(\lambda > 0\)，之前的公式依然有效：
其中括號中的矩陣可逆。
4) Regularized Logistic Regression(邏輯迴歸的正則化)
和線性迴歸相似，邏輯迴歸的Cost Function也需要加上一個正則化項（懲罰項），梯度下降算法也需要區別對待參數(theta).
再次回顧一些邏輯迴歸過擬合的情況，形容下面這個例子：
其中Hypothesis是這樣的：
邏輯迴歸正則化後的Cost Function如下：
梯度下降算法如下：
其中h_theta(x) = \frac{1}{1+e^{-\theta^Tx}}\).
參考資料：
李航博士《統計學習方法》
http://en.wikipedia.org/wiki/Regularization_%28mathematics%29
http://en.wikipedia.org/wiki/Overfitting