本篇博客是記錄下自己用pytorch搭建網絡時出現的各種問題,會根據遇到的問題持續更新
還有可以參考https://www.cnblogs.com/ywheunji/p/10607357.html
訓練時損失不變,正確率不變
1、錯誤:使用CrossEntropyLoss前將網絡輸出經過softmax
激活層後再計算交叉熵損失
https://www.jianshu.com/p/e184663e2f8a參考這篇簡書和torch.nn.functional.CrossEntropyLoss的說明,CrossEntropyLoss函數中其實包括softmax的步驟,如果在計算損失之前再加softmax就是經過兩次softmax了,最後結果是不對的