1. 什麼叫做過擬合?
顧名思義,過擬合就是擬合的過程中太注重於減小誤差,而使得擬合的圖像或者曲線 超出了我們的預期。 請看圖:
對於這樣的點,我們希望它擬合出來是這樣一條線。但是如果,神經網絡太過於注重減小誤差,那麼就會發生過擬合的現象:
我們發現,過擬合之後,確實誤差變小,可是擬合的曲線卻不能代表所有的數據集,這並不是我們想要的。
2. 過擬合產生的 原因
一般來說,過擬合產生的原因是:數據量太少,或者神經網絡節點太過於多,功能過於 強大,都會造成過擬合。
3. 過擬合的解決方式
正則化可以 解決過擬合,神經網絡中也通過dropout的方式解決過擬合,什麼叫dropout呢,就是每一層隱藏層,都隨機的拋棄掉一些 節點,使得曲線不會和某些特點的點 有特別大的聯繫。