在進行對向量的求導時，非常好用的三個公式～

在進行對向量的求導時，非常好用的三個公式
分別是
1.對於向量x求導$\nabla_x w^Tx=w$
2.對向量x求導$\nabla_x x^TAx=(A+A^T)x$其中x爲向量，A爲矩陣
3.對向量x求二階導（即Hessian矩陣）$\nabla ^2 x^TAx=A+A^T$

---

詳細的證明
1.對於向量x求導
$\nabla_x w^Tx=w$
證明：
$w^Tx=\begin{pmatrix}w_1&w_2&...&w_n\end{pmatrix}\cdot\begin{pmatrix}x_1\\x_2\\...\\x_n\end{pmatrix}\\ =\sum\limits_{i=1}^nw_ix_i$
所以對$x_i$求導，對應的導數爲$w_i$
故$\nabla_x w^Tx=w$

---

2.對向量x求導
$\nabla_x x^TAx=(A+A^T)x$
其中x爲向量，A爲矩陣

證明：
對於二次型$x^TAx$
$x^TAx=\begin{pmatrix}x_1&x_2&...&x_n\end{pmatrix}\begin{pmatrix} a_{11}&a_{12}&...&a_{1n}\\a_{21}&a_{22}&...&a_{2n}\\.\\.\\a_{n1}&a_{n2}&...&a_{nn}\end{pmatrix}\begin{pmatrix}x_1\\x_2\\...\\\\x_n\end{pmatrix}\\ =\begin{pmatrix}x_1&x_2&...&x_n\end{pmatrix}\begin{pmatrix}a_{11}x_1+a_{12}x_2+...+a_{1n}x_{n}\\a_{21}x_1+a_{22}x_2+...+a_{2n}x_n\\...\\a_{n1}x_1+a_{n2}x_2+...+a_{nn}x_n\end{pmatrix}\\ =a_{11}x_1x_1+a_{12}x_1x_2+...+a_{1n}x_1x_n+a_{21}x_2x_1+a_{22}x_2x_2+...+a_{2n}x_2x_n +...+a_{n1}x_nx_1+a_{n2}x_nx_2+...+a_{nn}x_nx_n \\ =\sum\limits_{i=1}^n\sum\limits_{j=1}^na_{ij}x_ix_j$
其中，若只對$x_1$求導則整理上式
$x^TAx=a_{11}x_1x_1+\sum\limits_{i=2}^na_{i1}x_ix_1+\sum\limits_{j=2}^na_{1j}x_{j}x_1+c$
對$x_1$求導，則上式爲
$2a_{11}x_1+\sum\limits_{i=2}^na_{i1}x_i+\sum\limits_{j=2}^na_{1j}x_{j}\\ =\sum\limits_{j=1}^na_{1j}x_{j}+\sum\limits_{j=1}^na_{1j}x_{j}\\ =A[1,:]\cdot x +A^T[1,:]\cdot x$
由此可知，對x求導後，導數爲
$(A+A^T)\cdot x$

---

3.對向量x求二階導（即Hessian矩陣）$\nabla ^2 x^TAx=A+A^T$

證明：
對於二次型$x^TAx=\sum\limits_{i=1}^n\sum\limits_{j=1}^nx_ix_ja_{ij}$
而海森矩陣的每一個元素$H_{ij}=\frac{\partial ^2f}{\partial x_i\partial x_j}$

如求$H_{ij}$
則需要找到原等式中，存在$x_ix_j$的項
故$H_{ij}=\frac{\partial ^2f}{\partial x_i\partial x_j}=a_{ij}+a_{ji}$
故$H=A+A^T$

這個二階偏導數的形式也與一元函數的二階導數形式上統一