正則化可以用來改善或者減少過擬合問題
處理過擬合問題有以下方法：
1.丟棄一些不能幫助我們正確預測的特徵
2.正則化。保留所有的特徵，但是減少參數大小
過擬合問題：一般是因爲擬合函數參數過多，含有過多高次項參數，使得擬合函數盡全力去擬合所有數據，從而造成過擬合，而對新數據的泛化能力弱。如下圖：
如圖三所示，由於X^3, X^4高次項導致了過擬合的產生，當
時，我們就能很好擬合數據了。
將損失函數改爲如下：
其中
爲正則化參數， 當
較大時，對應的
將一定程度減小
對於正則化，我們針對除偏置以外的權重進行懲罰。
一正則化線性迴歸：
1.正則化後的損失函數：
2.對偏置進行更新：
3.對各個權重進行更新：
即：
可以看出，正則化線性迴歸的梯度下降算法的變化在於，每次都在原有算法更新規則的基礎上使得權重減少一個額外的值
二正則化邏輯迴歸：
1.正則化損失函數：
2.對偏置進行更新：
3.對權重進行更新：
