與張量無關的,gather數據索引錯誤

數據出現大量的Nan的情況,其他數據已經十億開外,明明每一步的張量形狀都是正確的,但是就是出現各種索引錯誤,無法進行正確的張量形變工作。

經過師弟幫忙,一部一部進行測試,部分排除錯誤問題。

使用

torch.randn(8,3,224,224)

torch.FloatTensor(8,3,224,224)

1,randn提供的隨機數可以運行,但是FloatTensor提供的不行,後者不是初始化的數據,導致數據崩盤,出現大量Nan。

2, 出現這種情況,是因爲對自己設計的卷積offsets沒有進行數據初始化,導致卷積分量太大,超出了數據表現的範圍。加入從初始化之後,程序呢運行正常。
3, 下次再出現這種問題,首先要檢查與數據相關的超參數,例如學習率,激活函數的選取,參數是否初始化。

謹記,共勉~~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章