深度學習——loss函數的學習筆記

1 loss的作用

在南溪看來,loss函數是對目標target和預測prediction之間的一種距離度量的公式;

2 loss函數的設計原則

2.1 自身不變性

自身不變性指的是:當 prediction = target時,loss函數的值爲0;

3 備註

3.1 使用torch.log()前,需要進行clamp

在寫作loss函數時,經常會使用torch.log()函數,例如計算交叉熵時;

在PyTorch中,在使用torch.log()前,記得需要進行clamp操作,

因爲log()函數在0和負數的情況下,會出現不穩定的數值結果,

如圖所示

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章