今天写一个loss函数
dist=torch.sqrt(x*x+y*y)
loss=soomthL1loss(dist,gt_dist)
我随便写的几句示意代码,这样会导致在第一个iteration之后出现nan,第一次iteration之内,还是可以看到loss不为nan的。
解决办法:
1、不开方,因为开方的求导会出现在分母上,因此需要避免分母为0!
2、torch.sqrt(x*x+0.000001)增加一个 很小的 “一瞥西漏”
给大家个测试代码:
import torch
a = torch.zeros(1,requireds_grad = True)
b = torch.sqrt(a)
b.backward()
print(a.grad)
#得到tensor([inf]),看到inf就知道,一般来说没办法传递了,为什么是一般来说,因为用过darknet的yolo的话,里面出现inf还是可以训练的(可能我记错了)
#修改下:
import torch
a = torch.zeros(1,requireds_grad = True)
b = torch.sqrt(a+0.001)
b.backward()
print(a.grad)
#tensor([15.814])