梯度向量與Jacobian矩陣

梯度向量

如果目標函數 $f$ 爲單變量，並且$f$是關於自變量向量 $X=(x_1,x_2,\dots x_n)^T$的函數，即$f(X)$,
此時，$f$對向量$X$求梯度，得到的結果爲一個與$X$同維度的向量，稱之爲梯度向量,用$g(x)$表示。
$g(x)=\nabla f(X)=(\frac {\partial f}{\partial x_1}, \frac {\partial f}{\partial x_2}, \dots \frac {\partial f}{\partial x_n})^T$

Jacobian矩陣

如果目標函數$f$爲一個函數向量, 並且函數向量$f$的每一個函數都是關於自變量向量 $X=(x_1,x_2,\dots x_n)^T$的函數, 即$f(X)$,
此時，函數向量$f$對自變量$X$求梯度，所得結果爲一個矩陣，行數與函數向量$f$的維度相同，列數與自變量$X$的維度相同，此矩陣成爲Jacobian矩陣, 而且，它的每一行都是由相應的函數的梯度向量構成，

$\nabla f(X) = \begin{bmatrix} \frac {\partial f_1}{\partial x_1} & \frac {\partial f_1}{\partial x_2} & \dots & \frac {\partial f_1}{\partial x_n} \\ \frac {\partial f_2}{\partial x_1} & \frac {\partial f_2}{\partial x_2} & \dots & \frac {\partial f_2}{\partial x_n} \\ \dots & \dots & \dots & \dots \\ \frac {\partial f_m}{\partial x_1} & \frac {\partial f_m}{\partial x_2} & \dots & \frac {\partial f_m}{\partial x_n} \end{bmatrix}_{m \times n} = \begin{bmatrix} g_1(X)^T \\ g_2(X)^T \\ \dots \\ g_m(X)^T \end{bmatrix}$
從上式可知，梯度向量是Jacobian矩陣的一個特例，當目標函數爲標量函數時，Jacobian矩陣就是梯度向量。