神經網絡訓練中的技巧

一、防止過擬合

1、早期停止

2、正則化

3、Dropout

 

二、局部最低點和梯度消失的問題

梯度值過小的話每次迭代得就會很慢，甚至不變，找不到最優點

下面是一些解決方法

1、改變激活函數

如從sigmoid改爲雙曲正切函數或者relu

2、批次和隨機梯度下降

3、學習率衰退

4、隨機重新開始

5、動量

 

三、其他

神經網絡迴歸