Deep learning II - I Practical aspects of deep learning - 正則化如何較少過擬合

How regularization reduces overfitting?

---

• 解釋 1 通過regularization, 使得神經網絡各個層級的參數W$W$ 都更小更趨近於零，從而使得一個複雜的神經網絡變得更像一個簡單的神經網絡（當參數真爲零是，就是簡單的神經網絡了），從而減小過擬合。
  
• 解釋 2 以tanh$\tanh$ 激勵函數爲例，當w[l]$w^{[l]}$ 較小時，則z[l]=w[l]a[l−1]+b[l]$z^{[l]}=w^{[l]}{a}^{[l-1]}+b^{[l]}$ 也會更小，所以在使用激勵函數的時候，對應其靠近零的線性部分，所以整個網絡都會更加趨於線性函數，從而無法計算很複雜的非線性函數，從而防止過擬合。