梯度向量与Jacobian矩阵

梯度向量

如果目标函数 $f$ 为单变量，并且$f$是关于自变量向量 $X=(x_1,x_2,\dots x_n)^T$的函数，即$f(X)$,
此时，$f$对向量$X$求梯度，得到的结果为一个与$X$同维度的向量，称之为梯度向量,用$g(x)$表示。
$g(x)=\nabla f(X)=(\frac {\partial f}{\partial x_1}, \frac {\partial f}{\partial x_2}, \dots \frac {\partial f}{\partial x_n})^T$

Jacobian矩阵

如果目标函数$f$为一个函数向量, 并且函数向量$f$的每一个函数都是关于自变量向量 $X=(x_1,x_2,\dots x_n)^T$的函数, 即$f(X)$,
此时，函数向量$f$对自变量$X$求梯度，所得结果为一个矩阵，行数与函数向量$f$的维度相同，列数与自变量$X$的维度相同，此矩阵成为Jacobian矩阵, 而且，它的每一行都是由相应的函数的梯度向量构成，

$\nabla f(X) = \begin{bmatrix} \frac {\partial f_1}{\partial x_1} & \frac {\partial f_1}{\partial x_2} & \dots & \frac {\partial f_1}{\partial x_n} \\ \frac {\partial f_2}{\partial x_1} & \frac {\partial f_2}{\partial x_2} & \dots & \frac {\partial f_2}{\partial x_n} \\ \dots & \dots & \dots & \dots \\ \frac {\partial f_m}{\partial x_1} & \frac {\partial f_m}{\partial x_2} & \dots & \frac {\partial f_m}{\partial x_n} \end{bmatrix}_{m \times n} = \begin{bmatrix} g_1(X)^T \\ g_2(X)^T \\ \dots \\ g_m(X)^T \end{bmatrix}$
从上式可知，梯度向量是Jacobian矩阵的一个特例，当目标函数为标量函数时，Jacobian矩阵就是梯度向量。