今天又一次栽在了batch normalizaiton

1、訓練baseLine的時候,is_training 沒有傳達到自己編寫的子函數,導致baseline的bn層沒有學習。修改後可能準確率會進一步提升
2、在分解實驗中,bn層是不該學習的,但是卻set is_training=True。這樣的後果是,雖然一般層被凍結了,bn層的beta,gamma不在var_list中也被凍結了,但是moving_men/variance卻在fine_tune過程中改變了,而這是在分解實驗中不允許的。這也導致了將W_ave遷移到joint method中,初始準確率近乎爲0-----W_reuse與原w_ave網絡一致,但moving_men/variance卻不匹配了

3、好事是,經過兩次坑,現在對bn層基本能掌握能修改能支配了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章