正則化

通過降低複雜模型的複雜度來防止過擬合的規則稱爲正則化。

1. L1正則化，即原損失函數 + 所有權重的平均絕對值 * λ ，其中λ >0
2. L2正則化，即原損失函數 + 所有權重平方和的平均值 * λ / 2 , λ>0

L1 正則化可以理解爲每次從權重中減去一個常數。

L2 正則化可以理解爲每次移除權重的 x%。

本質都是爲了降低模型的複雜度，防止過擬合。