數據出現大量的Nan的情況,其他數據已經十億開外,明明每一步的張量形狀都是正確的,但是就是出現各種索引錯誤,無法進行正確的張量形變工作。
經過師弟幫忙,一部一部進行測試,部分排除錯誤問題。
使用
torch.randn(8,3,224,224)
torch.FloatTensor(8,3,224,224)
1,randn提供的隨機數可以運行,但是FloatTensor提供的不行,後者不是初始化的數據,導致數據崩盤,出現大量Nan。
2, 出現這種情況,是因爲對自己設計的卷積offsets沒有進行數據初始化,導致卷積分量太大,超出了數據表現的範圍。加入從初始化之後,程序呢運行正常。
3, 下次再出現這種問題,首先要檢查與數據相關的超參數,例如學習率,激活函數的選取,參數是否初始化。
謹記,共勉~~