Pytorch的Tensor.to(device)函數不會保存張量的requires_grad信息？

博主最近在寫這篇文章的時候，發現即使我使用了backward()，也無法得到我想要的參數的梯度。
博主當然知道pytorch默認只保存葉結點的grad，對於那些中間結點的grad則是一律丟棄。博主當然也知道使用register_hook來獲取中間結點的grad。然而這些都不能解決我的問題。我的問題代碼如下：

import torch 
import numpy as np

device = torch.device('cuda')
x = torch.tensor(np.random.normal(0, 1, [2,3]), requires_grad = True).to(device)
print("grad1: ",x.requires_grad)
y = 2 * x + 3
z = y.sum()
z.backward()
print("grad2: ",x.requires_grad) 
print("grad3: ",x.grad) 

輸出爲：

grad1:  True
grad2:  True
grad3:  None

從上面的輸出可以看出，雖然x的requires_grad信息一直都是True，但是，經過backward()並之後，它的grad依然是None。博主百思不得其解，直到我對代碼做出瞭如下改動:

import torch 
import numpy as np

device = torch.device('cuda')
x = torch.tensor(np.random.normal(0, 1, [2,3]), requires_grad = True)
print("x grad1: ",x.requires_grad)
x1 = x.to(device)
y = 2 * x + 3
z = y.sum()
z.backward()
print("x1 grad1: ",x1.requires_grad) 
print("x1 grad2:", x1.grad)
print("grad3: ",x.grad) 

我把to(device)跟x的賦值過程給分開了，因爲to(device)本質上是將x複製了一份張量到GPU上。因此GPU上的那份張量(即x1)其實是中間結點，只有x是葉結點，因此也就只有x的grad得到了保存。

所以今後我們在寫類似的代碼時，儘量用以下兩種寫法來寫：

• 第一種方法就是在定義Tensor的時候就把device給定義好.

import torch 
import numpy as np

device = torch.device('cuda')
x = torch.tensor(np.random.normal(0, 1, [2,3]), device = device, requires_grad = True)
print("x grad1: ",x.requires_grad)
y = 2 * x + 3
z = y.sum()
z.backward()
print("grad2: ",x.grad) 

輸出爲：

x grad1:  True
grad2:  tensor([[2., 2., 2.],
        [2., 2., 2.]], device='cuda:0', dtype=torch.float64)

• 第二種方法就是先定義to(device)，再設置requires_grad

import torch 
import numpy as np

device = torch.device('cuda')
x = torch.tensor(np.random.normal(0, 1, [2,3])).to(device)
x.requires_grad_(True)
print("x grad1: ",x.requires_grad)
y = 2 * x + 3
z = y.sum()
z.backward()
print("grad2: ",x.grad) 

輸出爲:

x grad1:  True
grad2:  tensor([[2., 2., 2.],
        [2., 2., 2.]], device='cuda:0', dtype=torch.float64)