006. Facenet將backbone替換爲mobilenet v1後準確率始終保持0.500+-0.00不變,無法學習特徵的解決辦法

序:backbone使用inception v1和squeezenet時都能正常訓練,但是替換爲mobilenet v1後模型無法學到東西,準確率保持0.500+-0.000不變。

1. 問題原因:整個神經網絡都變成了dead network。在triplet loss後模型無法將negative屬性的特徵拉遠。

2.問題出處:優化器有問題,不管你怎麼調整步長,原始的Adagrad優化器估計是陷入了局部最小。(ps:後來換了SGD也一樣)

3.解決辦法:用Rmsprop優化器。Rmsprop是Adagrad的進階版,收斂更快。數學公式的推導可看下圖。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章