Autograd：自動求導

2019年年初，ApacheCN組織志願者翻譯了PyTorch1.0版本中文文檔（github地址），同時也獲得了PyTorch官方授權，我相信已經有許多人在中文文檔官網上看到了。不過目前校對還缺人手，希望大家踊躍參與。之前一段時間我們和PyTorch的有關負責人Bruce Lin一直在進行郵件交流。在之後適當的時候，我們會組織志願者進行其他有關PyTorch的項目，歡迎大家加入我們，關注我們。更希望我們的一系列工作能夠對大家有所幫助。

譯者：bat67

校對者：FontTian

PyTorch中，所有神經網絡的核心是 autograd 包。先簡單介紹一下這個包，然後訓練我們的第一個的神經網絡。

autograd 包爲張量上的所有操作提供了自動求導機制。它是一個在運行時定義（define-by-run）的框架，這意味着反向傳播是根據代碼如何運行來決定的，並且每次迭代可以是不同的.

讓我們用一些簡單的例子來看看吧。

張量

torch.Tensor 是這個包的核心類。如果設置它的屬性 .requires_grad 爲 True，那麼它將會追蹤對於該張量的所有操作。當完成計算後可以通過調用 .backward()，來自動計算所有的梯度。這個張量的所有梯度將會自動累加到.grad屬性.

要阻止一個張量被跟蹤歷史，可以調用 .detach() 方法將其與計算曆史分離，並阻止它未來的計算記錄被跟蹤。

爲了防止跟蹤歷史記錄（和使用內存），可以將代碼塊包裝在 with torch.no_grad(): 中。在評估模型時特別有用，因爲模型可能具有 requires_grad = True 的可訓練的參數，但是我們不需要在此過程中對他們進行梯度計算。

還有一個類對於autograd的實現非常重要：Function。

Tensor 和 Function 互相連接生成了一個無圈圖(acyclic graph)，它編碼了完整的計算曆史。每個張量都有一個 .grad_fn 屬性，該屬性引用了創建 Tensor 自身的Function（除非這個張量是用戶手動創建的，即這個張量的 grad_fn 是 None ）。

如果需要計算導數，可以在 Tensor 上調用 .backward()。如果 Tensor 是一個標量（即它包含一個元素的數據），則不需要爲 backward() 指定任何參數，但是如果它有更多的元素，則需要指定一個 gradient 參數，該參數是形狀匹配的張量。

import torch

創建一個張量並設置requires_grad=True用來追蹤其計算曆史

x = torch.ones(2, 2, requires_grad=True)
print(x)

輸出：

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)

對這個張量做一次運算：

y = x + 2
print(y)

輸出：

tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)

y是計算的結果，所以它有grad_fn屬性。

print(y.grad_fn)

輸出：

<AddBackward0 object at 0x7f1b248453c8>

對y進行更多操作

z = y * y * 3
out = z.mean()

print(z, out)

輸出：

tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)

.requires_grad_(...) 原地改變了現有張量的 requires_grad 標誌。如果沒有指定的話，默認輸入的這個標誌是 False。

a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)

輸出：

False
True
<SumBackward0 object at 0x7f1b24845f98>

梯度

現在開始進行反向傳播，因爲 out 是一個標量，因此 out.backward() 和 out.backward(torch.tensor(1.)) 等價。

out.backward()

輸出導數 d(out)/dx

print(x.grad)

輸出：

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

我們的得到的是一個數取值全部爲4.5的矩陣。

讓我們來調用 out 張量 $“o”$。

就可以得到 $o = \frac{1}{4}\sum_i z_i$，$z_i = 3(x_i+2)^2$ 和 $z_i\bigr\rvert_{x_i=1} = 27$ 因此, $\frac{\partial o}{\partial x_i} = \frac{3}{2}(x_i+2)$，因而 $\frac{\partial o}{\partial x_i}\bigr\rvert_{x_i=1} = \frac{9}{2} = 4.5$。

數學上，若有向量值函數 $\vec{y}=f(\vec{x})$，那麼 $\vec{y}$ 相對於 $\vec{x}$ 的梯度是一個雅可比矩陣：

$J=\left(\begin{array}{ccc} \frac{\partial y_{1}}{\partial x_{1}} & \cdots & \frac{\partial y_{m}}{\partial x_{1}}\\ \vdots & \ddots & \vdots\\ \frac{\partial y_{1}}{\partial x_{n}} & \cdots & \frac{\partial y_{m}}{\partial x_{n}} \end{array}\right)$

通常來說，torch.autograd 是計算雅可比向量積的一個“引擎”。也就是說，給定任意向量 $v=\left(\begin{array}{cccc} v_{1} & v_{2} & \cdots & v_{m}\end{array}\right)^{T}$，計算乘積 $v^{T}\cdot J$。如果 $v$ 恰好是一個標量函數 $l=g\left(\vec{y}\right)$ 的導數，即 $v=\left(\begin{array}{ccc}\frac{\partial l}{\partial y_{1}} & \cdots & \frac{\partial l}{\partial y_{m}}\end{array}\right)^{T}$，那麼根據鏈式法則，雅可比向量積應該是 $l$ 對 $\vec{x}$ 的導數：

$J^{T}\cdot v=\left(\begin{array}{ccc} \frac{\partial y_{1}}{\partial x_{1}} & \cdots & \frac{\partial y_{m}}{\partial x_{1}}\\ \vdots & \ddots & \vdots\\ \frac{\partial y_{1}}{\partial x_{n}} & \cdots & \frac{\partial y_{m}}{\partial x_{n}} \end{array}\right)\left(\begin{array}{c} \frac{\partial l}{\partial y_{1}}\\ \vdots\\ \frac{\partial l}{\partial y_{m}} \end{array}\right)=\left(\begin{array}{c} \frac{\partial l}{\partial x_{1}}\\ \vdots\\ \frac{\partial l}{\partial x_{n}} \end{array}\right)$

（注意：行向量的$v^{T}\cdot J$也可以被視作列向量的$J^{T}\cdot v$)

雅可比向量積的這一特性使得將外部梯度輸入到具有非標量輸出的模型中變得非常方便。

現在我們來看一個雅可比向量積的例子:

x = torch.randn(3, requires_grad=True)

y = x * 2
while y.data.norm() < 1000:
    y = y * 2

print(y)

輸出：

tensor([-278.6740,  935.4016,  439.6572], grad_fn=<MulBackward0>)

在這種情況下，y 不再是標量。torch.autograd 不能直接計算完整的雅可比矩陣，但是如果我們只想要雅可比向量積，只需將這個向量作爲參數傳給 backward：

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)

print(x.grad)

輸出：

tensor([4.0960e+02, 4.0960e+03, 4.0960e-01])

也可以通過將代碼塊包裝在 with torch.no_grad(): 中，來阻止autograd跟蹤設置了 .requires_grad=True 的張量的歷史記錄。

print(x.requires_grad)
print((x ** 2).requires_grad)

with torch.no_grad():
    print((x ** 2).requires_grad)

輸出：

True
True
False

後續閱讀：

autograd 和 Function 的文檔見：https://pytorch.org/docs/autograd