深度學習調參總結

2017-07-15
一、acc、val_acc停留在一個值附近，上下震盪
今天早上來到實驗室 ，看了看昨天跑得結果，很好啊，acc、val_acc同步上升，基本沒有甚麼偏差。心中一喜，可是acc還沒有超過50%，雖然說在同步上升，但是沒有任何卵用。想把程序停下來，但是看着它一會越過50%，一會跌落50%。簡直就是就挑逗我，如果我要等，它肯定是會越過50%，但是是一個時間問題，就算是越過50%，也有可能會在55%（just a example）處出現這樣的情況。甚麼情況呢，也就是局部最小，停留在局部最小就是說你的lr太小，不足以跳出這個小坑。 這時候你需要把lr調大一點，可以是2倍或者10倍，視情況而定。此時還需要接着觀察acc以及val_acc的變化。