pytorch復現loss遇到的問題

復現交叉熵

首先定義了函數對照公式實現了交叉熵的功能

def CrossEntropy(inputs, targets):
        return np.sum(np.nan_to_num(-targets*(np.log(inputs)))

運用到項目代碼中出現了detach()問題，且因爲類型非variable 無法更新梯度，無法backward

由於我的項目代碼使用的torch框架，內部數據類型全是tensor，而用了numpy之後的數據類型全部變成了array，遂將numpy的函數全替換爲torch的函數，即可針對tensor運算

且新的變量自動全是variable類型，可順利反向傳播

實現好後運行結果出現大量的nan，無法正常運算，使用clamp限制loss計算值的範圍

class CrossEntropy(nn.Module):
    def __init__(self):
        super(CrossEntropy, self).__init__()
        
    def forward(self, inputs, targets):
        ## torch中要想實現backward就不能使用np，不能用array，只能使用tensor，只有tensor纔有requires_grad參數
        loss1=-targets*(torch.log(inputs)).cuda()
        loss=torch.sum(loss1.clamp(min=0.0001,max=1.0))