1 loss的作用
在南溪看來,loss函數是對目標target和預測prediction之間的一種距離度量的公式;
2 loss函數的設計原則
2.1 自身不變性
自身不變性指的是:當 prediction = target時,loss函數的值爲0;
3 備註
3.1 使用torch.log()前,需要進行clamp
在寫作loss函數時,經常會使用torch.log()函數,例如計算交叉熵時;
在PyTorch中,在使用torch.log()前,記得需要進行clamp操作,
因爲log()函數在0和負數的情況下,會出現不穩定的數值結果,
如圖所示