序:backbone使用inception v1和squeezenet時都能正常訓練,但是替換爲mobilenet v1後模型無法學到東西,準確率保持0.500+-0.000不變。
1. 問題原因:整個神經網絡都變成了dead network。在triplet loss後模型無法將negative屬性的特徵拉遠。
2.問題出處:優化器有問題,不管你怎麼調整步長,原始的Adagrad優化器估計是陷入了局部最小。(ps:後來換了SGD也一樣)
3.解決辦法:用Rmsprop優化器。Rmsprop是Adagrad的進階版,收斂更快。數學公式的推導可看下圖。