模型訓練是圍繞解決模型的欠擬合問題展開的，通過最小化損失函數來減小模型預測值與真實值之間的誤差。因爲數據集中總會有一些噪聲，模型在擬合數據時可能會把噪聲也擬合進來，導致模型過擬合。
正則化是對損失函數的一種懲罰，即對損失函數中的某些參數進行限制。一般認爲，參數值較小的模型比較簡單，能更好地適應不同的數據集，泛化能力更強。正則化中最常用的正則項是L1範數和L2範數。
- L1範數是權重向量中各元素的絕對值之和，一般用‖ω‖1表示；
- L2範數是權重向量中各元素的平方和然後再求平方根，一般用‖ω‖2表示。假設模型只有兩個參數ω1和ω2，則L1範數爲‖ω‖1=|ω1|+|ω2|，L2範數爲‖ω‖2=
![]()
.
.L1範數和L2範數都可以降低模型過擬合的風險。L1範數是將權值變得更稀疏，可以使權值變爲0從而用於特徵選擇，使模型具有很好的可解釋性。L2範數不會使權值變爲0，而僅是儘可能地小，進而使每個特徵對模型的預測結果僅產生較小的影響。
對於L1範數，我們在參數ω1和ω2確定的平面上，分別畫出原始損失函數的等值線和正則項的等值線。橢圓曲線爲原始損失函數的等值線，其中
點爲理想的最優解。圖中的方形線爲L1正則項等值線，它與原始損失函數等值線的交點即爲求得的最優解，可以看到，L1正則項等值線和原始損失函數等值線更容易相交於座標軸上，從而使L1得到稀疏解。
L2範數的正則項等值線與原始損失函數等值線更容易相交於某個象限中，因此L2範數會使權值更小，而非使其更稀疏。
