pytorch 自動微分

pytorch 自動微分：

import torch

print('創建一個張量，設置 requires_grad=True 來跟蹤與它相關的計算')
x = torch.ones(2, 2, requires_grad=True)
print(x)
print('針對張量做一個操作')
y = x + 2
print(y)
#y 作爲操作的結果被創建，所以它有 grad_fn
print(y.grad_fn)
print('針對 y 做更多的操作：')
z = y * y * 3
out = z.mean()
print(z, out)
結果：
創建一個張量，設置 requires_grad=True 來跟蹤與它相關的計算
tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
針對張量做一個操作
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)
<AddBackward0 object at 0x00000125F7294788>
針對 y 做更多的操作：
tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)


#.requires_grad_( ... ) 會改變張量的 requires_grad 標記。輸入的標記默認爲 False ，如果沒有提供相應的參數
a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)
結果：
False
True
<SumBackward0 object at 0x00000125F7294788>


print('梯度：')
#我們現在後向傳播，因爲輸出包含了一個標量，out.backward() 等同於out.backward(torch.tensor(1.))
out.backward() 
print(x.grad) #打印梯度 d(out)/dx
結果：
梯度：
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])


#看一個雅可比向量積的例子：
x = torch.randn(3, requires_grad=True)
y = x *2
while y.data.norm() < 1000:
    y = y * 2
print(y.data.norm())
print(y)
#現在在這種情況下，y 不再是一個標量。torch.autograd 不能夠直接計算整個雅可比，但是如果我們只想要雅可比向量積，只需要簡單的傳遞向量給 backward 作爲參數。
v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)
print(x.grad)
#你可以通過將代碼包裹在 with torch.no_grad()，來停止對從跟蹤歷史中 的 .requires_grad=True 的張量自動求導
print(x.requires_grad)
print((x**2).requires_grad)
with torch.no_grad():
    print((x**2).requires_grad)
結果：
tensor(1167.3201)
tensor([-1035.1720,  -525.3345,  -122.7947], grad_fn=<MulBackward0>)
tensor([5.1200e+01, 5.1200e+02, 5.1200e-02])
True
True
False