矩阵微分

矩阵微分

标签（空格分隔）： 矩阵微分

---

矩阵微分
在学习机器学习算法时,发现对矩阵求导很不熟悉,去看了张贤达的矩阵分析,发现标量对矩阵求导的问题说的很清楚.关于如何求解 hessian矩阵,日后再来补上.
重要的事情说三遍
损失函数是标量函数!!!
损失函数是标量函数!!!
损失函数是标量函数!!!

主要介绍实值函数相对于实向量变量或者矩阵变量的偏导.这里首先对变元和函数符号做统一的规定以便后面介绍.
xx=[x1,...,xm]T∈Rm$xx=[x_1,...,x_m{]}^T\in R^m$ 为实向量变元
XX=[xx1,...,xxm]T∈Rm×n$XX=[x{x}_1,...,x{x}_m{]}^T\in R^{m\times n}$ 为矩阵变元
f(xx)∈R为实值标量函数,其变元xx∈Rm,记做f:Rm→R$f(xx)\in R为实值标量函数,其变元xx\in R^m,记做f:R^m\to R$
f(XX)∈R为实值标量函数,其变元XX∈Rm×n,记做f:Rm×n→R$f(XX)\in R为实值标量函数,其变元XX\in R^{m\times n},记做f:R^{m\times n}\to R$
ff(xx)∈Rp为p维实列向量函数,其变元xx∈Rm,记做f:Rm→Rp$ff(xx)\in R^p为p维实列向量函数,其变元xx\in R^m,记做f:R^m\to R^p$
ff(XX)∈Rp为p维实列向量函数,其变元XX∈Rm×n,记做f:Rm×n→Rp$ff(XX)\in R^p为p维实列向量函数,其变元XX\in R^{m\times n},记做f:R^{m\times n}\to R^p$
FF(xx)∈Rp×q为p×q实矩阵函数,其变元xx∈Rm,记做f:Rm→Rp×q$FF(xx)\in R^{p\times q}为p\times q实矩阵函数,其变元xx\in R^m,记做f:R^m\to R^{p\times q}$
FF(XX)∈Rp×q为p×q实矩阵函数,其变元XX∈Rm×n,记做f:Rm×n→Rp×q$FF(XX)\in R^{p\times q}为p\times q实矩阵函数,其变元XX\in R^{m\times n},记做f:R^{m\times n}\to R^{p\times q}$

Jacobian 矩阵

采用1×m$1\times m$ 行向量作为偏导算子,记为

Dxx=def[∂∂x1,...,∂∂xm]$$D_{xx}\stackrel{def}{=}[\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_1},...,\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_m}]$$

实值标量函数f(xx)在xx的偏导向量为1×m行向量,定义如下$f(xx)在xx的偏导向量为1\times m行向量,定义如下$

Dxxf(xx)=∂f(xx)∂xxT=[∂f(xx)∂x1,...,∂f(xx)∂xm]$$D_{xx}f(xx)=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }x{x}^T}=[\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_m}]$$

当实值标量函数f(XX)的变元是p×q$f(XX)的变元是p\times q$ 维矩阵的时候,他有两种定义:Jacobian矩阵和行向量偏导.他的Jacobian矩阵定义为如下

DXXf(XX)=∂f(XX)∂XXT$$D_{XX}f(XX)=\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }X{X}^T}$$

而他的行向量偏导定义为

DvecXXf(XX)=∂f(XX)∂vec(XX)T=[∂f(xx)∂x1,...∂f(xx)∂xm1,...,∂f(xx)∂x1n,...,∂f(xx)∂xmn]$$D_{vecXX}f(XX)=\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }vec(XX{)}^T}=[\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1},...\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{m1}},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{1n}},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{mn}}]$$

这里需要注意的是,实值标量函数f(XX)$f(XX)$ 的Jacobian矩阵的转置DTXXf(XX)$D_{XX}^{T}f(XX)$ 的列向量化后即为他的行向量偏导DvecXXf(XX)$D_{vecXX}f(XX)$ ,这是后面介绍Jacobian矩阵相关知识的基础
当FF(XX)为p×q实矩阵函数时,定义他的Jacobian矩阵如下$当FF(XX)为p\times q实矩阵函数时,定义他的Jacobian矩阵如下$

DXXFF(XX)=def∂vec(FF(XX))∂(vecXX)T$$D_{XX}FF(XX)\stackrel{def}{=}\frac{\mathrm{\partial }vec(FF(XX))}{\mathrm{\partial }(vecXX{)}^T}$$

梯度矩阵

采用列向量形式的偏导算子称为列向量偏导算子,也称为梯度算子
采用m×1$m\times 1$ 向量作为偏导算子,记为

∇xx=def[∂∂x1,...,∂∂xm]T$${\mathrm{\nabla }}_{xx}\stackrel{def}{=}[\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_1},...,\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_m}{]}^T$$

实值标量函数f(xx)在xx的梯度向量为m×1列向量,定义如下$f(xx)在xx的梯度向量为m\times 1列向量,定义如下$

∇xxf(xx)=[∂f(xx)∂x1,...,∂f(xx)∂xm]T$${\mathrm{\nabla }}_{xx}f(xx)=[\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_m}{]}^T$$

实值标量函数f(XX)的变元XX列向量化后,可以定义其矩阵变元XX的梯度向量为$f(XX)的变元XX列向量化后,可以定义其矩阵变元XX的梯度向量为$

∇vecXXf(XX)=∂f(XX)∂vec(XX)=[∂f(xx)∂x1,...∂f(xx)∂xm1,...,∂f(xx)∂x1n,...,∂f(xx)∂xmn]T$${\mathrm{\nabla }}_{vecXX}f(XX)=\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }vec(XX)}=[\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1},...\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{m1}},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{1n}},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{mn}}{]}^T$$

定义f(XX)的其关于矩阵变元XX的梯度矩阵为$f(XX)的其关于矩阵变元XX的梯度矩阵为$

∇XXf(XX)=∂f(XX)∂XX$${\mathrm{\nabla }}_{XX}f(XX)=\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }XX}$$

比较f(XX)$f(XX)$ 的梯度矩阵和Jacobian矩阵,可以发现梯度矩阵即为Jacobian矩阵的转置
当实值标量函数数f(XX)的变元是p×q维矩阵的时候,他的梯度向量定义为如下$f(XX)的变元是p\times q维矩阵的时候,他的梯度向量定义为如下$

∇XXFF(XX)=def∂vec(FF(XX))∂(vecXX)T$${\mathrm{\nabla }}_{XX}FF(XX)\stackrel{def}{=}\frac{\mathrm{\partial }vec(FF(XX))}{\mathrm{\partial }(vecXX{)}^T}$$

标量函数f(xx)$f(xx)$ 与Jacobian矩阵

以向量为变元的标量函数f(xx)$f(xx)$ 的全微分形式可以写为

df(xx)=∂f(xx)∂x1dx1+...+∂f(xx)∂xmdxm=∂f(xx)∂xxTdxx$$df(xx)=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1}d{x}_1+...+\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_m}d{x}_m=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }x{x}^T}dxx$$

记AA=∂f(xx)∂xxT$记AA=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }x{x}^T}$ ,则有如下等价关系

df(xx)=tr(Adxx)⟺Dxxf(xx)=∂f(xx)∂xxT=A$$df(xx)=tr(Adxx)⟺D_{xx}f(xx)=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }x{x}^T}=A$$

也就是标量函数f(xx)$f(xx)$ 的Jacobian矩阵和微分矩阵存在着等价关系

标量函数f(XX)$f(XX)$ 与Jacobian矩阵

标量函数f(XX)$f(XX)$ 和上面类似,其全微分可以写成如下形式

df(XX)=∂f(XX)∂xxT1dxx1+...+∂f(XX)∂xxTndxxn=∂f(XX)∂vecT((X)d(vecXX)=DvecXXf(XX)d(vecXX)$$\begin{array}{rl}df(XX)& =\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }x{x}_1^T}dx{x}_1+...+\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }x{x}_n^T}dx{x}_n\\ & =\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }ve{c}^T((X)}d(vecXX)\\ & =D_{vecXX}f(XX)d(vecXX)\end{array}$$

这里再利用行向量偏导和Jacobian矩阵的关系DvecXXf(XX)=(vec(DTXXf(XX)))T，并令A=DTXXf(XX)$D_{vecXX}f(XX)=(vec(D_{XX}^{T}f(XX)){)}^T，并令A=D_{XX}^{T}f(XX)$ 可以得到

df(XX)=(vec(AT))Td(vecXX)$$\begin{array}{rl}df(XX)& =(vec(A^T){)}^{T}d(vecXX)\end{array}$$

由向量化算子vec与迹函数的关系式tr(BTC)=(vec(B))Tvec(C),令B=AT,C=dXX$tr(B^{T}C)=(vec(B){)}^{T}vec(C),令B=A^T,C=dXX$ ,则上式可以重写为

df(XX)=tr(AAdXX)$$df(XX)=tr(AAdXX)$$

综合以上,可以得到如下结论:
Jacobian矩阵可以通过以下式子等价确定

df(xx)=tr(Adxx)⟺Dxxf(xx)=Adf(XX)=tr(AdXX)⟺DXXf(XX)=A$$\begin{gathered} df(xx)=tr(Adxx)⟺D_{xx}f(xx)=A \\ df(XX)=tr(AdXX)⟺D_{XX}f(XX)=A \end{gathered}$$

矩阵微分df(XX)$df(XX)$ 可以通过简单的变化转化为矩阵微分的标准形式df(XX)=tr(AdXX)$df(XX)=tr(AdXX)$ .再由Jacobian和梯度矩阵的关系,进一步可以得到梯度矩阵.因而对求解梯度矩阵可以由矩阵微分的标准形式df(XX)=tr(AdXX)$df(XX)=tr(AdXX)$ 得到.
如下:
对于tr(XXTXX)$tr(X{X}^{T}XX)$ 我们可以得到

dtr(XXTXX)=tr(d(XXTXX))=tr(d(XX)TXX+XXTdXX)=tr(d(XX)TXX)+tr(XXTdXX)=tr(XXTd(XX))+tr(XXTdXX)=tr(2XXTd(XX))$$\begin{array}{rl}dtr(X{X}^{T}XX)& =tr(d(X{X}^{T}XX))\\ & =tr(d(XX{)}^{T}XX+X{X}^{T}dXX)\\ & =tr(d(XX{)}^{T}XX)+tr(X{X}^{T}dXX)\\ & =tr(X{X}^{T}d(XX))+tr(X{X}^{T}dXX)\\ & =tr(2X{X}^{T}d(XX))\end{array}$$

由以上结论,可以得到XXTXX$X{X}^{T}XX$ 关于XX$XX$ 的梯度矩阵为

∂tr(XXTXX)∂XX=(2XXT)T=2XX$$\frac{\mathrm{\partial }tr(X{X}^{T}XX)}{\mathrm{\partial }XX}=(2X{X}^T{)}^T=2XX$$

求解梯度矩阵是进行一阶优化算法的基础部分.

参考文献&学习资料
矩阵分析与应用 -张贤达
矩阵求导术-知乎
The Matrix Cookbook.