矩陣微分

矩陣微分

標籤（空格分隔）： 矩陣微分

---

矩陣微分
在學習機器學習算法時,發現對矩陣求導很不熟悉,去看了張賢達的矩陣分析,發現標量對矩陣求導的問題說的很清楚.關於如何求解 hessian矩陣,日後再來補上.
重要的事情說三遍
損失函數是標量函數!!!
損失函數是標量函數!!!
損失函數是標量函數!!!

主要介紹實值函數相對於實向量變量或者矩陣變量的偏導.這裏首先對變元和函數符號做統一的規定以便後面介紹.
xx=[x1,...,xm]T∈Rm$xx=[x_1,...,x_m{]}^T\in R^m$ 爲實向量變元
XX=[xx1,...,xxm]T∈Rm×n$XX=[x{x}_1,...,x{x}_m{]}^T\in R^{m\times n}$ 爲矩陣變元
f(xx)∈R爲實值標量函數,其變元xx∈Rm,記做f:Rm→R$f(xx)\in R爲實值標量函數,其變元xx\in R^m,記做f:R^m\to R$
f(XX)∈R爲實值標量函數,其變元XX∈Rm×n,記做f:Rm×n→R$f(XX)\in R爲實值標量函數,其變元XX\in R^{m\times n},記做f:R^{m\times n}\to R$
ff(xx)∈Rp爲p維實列向量函數,其變元xx∈Rm,記做f:Rm→Rp$ff(xx)\in R^p爲p維實列向量函數,其變元xx\in R^m,記做f:R^m\to R^p$
ff(XX)∈Rp爲p維實列向量函數,其變元XX∈Rm×n,記做f:Rm×n→Rp$ff(XX)\in R^p爲p維實列向量函數,其變元XX\in R^{m\times n},記做f:R^{m\times n}\to R^p$
FF(xx)∈Rp×q爲p×q實矩陣函數,其變元xx∈Rm,記做f:Rm→Rp×q$FF(xx)\in R^{p\times q}爲p\times q實矩陣函數,其變元xx\in R^m,記做f:R^m\to R^{p\times q}$
FF(XX)∈Rp×q爲p×q實矩陣函數,其變元XX∈Rm×n,記做f:Rm×n→Rp×q$FF(XX)\in R^{p\times q}爲p\times q實矩陣函數,其變元XX\in R^{m\times n},記做f:R^{m\times n}\to R^{p\times q}$

Jacobian 矩陣

採用1×m$1\times m$ 行向量作爲偏導算子,記爲

Dxx=def[∂∂x1,...,∂∂xm]$$D_{xx}\stackrel{def}{=}[\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_1},...,\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_m}]$$

實值標量函數f(xx)在xx的偏導向量爲1×m行向量,定義如下$f(xx)在xx的偏導向量爲1\times m行向量,定義如下$

Dxxf(xx)=∂f(xx)∂xxT=[∂f(xx)∂x1,...,∂f(xx)∂xm]$$D_{xx}f(xx)=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }x{x}^T}=[\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_m}]$$

當實值標量函數f(XX)的變元是p×q$f(XX)的變元是p\times q$ 維矩陣的時候,他有兩種定義:Jacobian矩陣和行向量偏導.他的Jacobian矩陣定義爲如下

DXXf(XX)=∂f(XX)∂XXT$$D_{XX}f(XX)=\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }X{X}^T}$$

而他的行向量偏導定義爲

DvecXXf(XX)=∂f(XX)∂vec(XX)T=[∂f(xx)∂x1,...∂f(xx)∂xm1,...,∂f(xx)∂x1n,...,∂f(xx)∂xmn]$$D_{vecXX}f(XX)=\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }vec(XX{)}^T}=[\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1},...\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{m1}},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{1n}},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{mn}}]$$

這裏需要注意的是,實值標量函數f(XX)$f(XX)$ 的Jacobian矩陣的轉置DTXXf(XX)$D_{XX}^{T}f(XX)$ 的列向量化後即爲他的行向量偏導DvecXXf(XX)$D_{vecXX}f(XX)$ ,這是後面介紹Jacobian矩陣相關知識的基礎
當FF(XX)爲p×q實矩陣函數時,定義他的Jacobian矩陣如下$當FF(XX)爲p\times q實矩陣函數時,定義他的Jacobian矩陣如下$

DXXFF(XX)=def∂vec(FF(XX))∂(vecXX)T$$D_{XX}FF(XX)\stackrel{def}{=}\frac{\mathrm{\partial }vec(FF(XX))}{\mathrm{\partial }(vecXX{)}^T}$$

梯度矩陣

採用列向量形式的偏導算子稱爲列向量偏導算子,也稱爲梯度算子
採用m×1$m\times 1$ 向量作爲偏導算子,記爲

∇xx=def[∂∂x1,...,∂∂xm]T$${\mathrm{\nabla }}_{xx}\stackrel{def}{=}[\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_1},...,\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_m}{]}^T$$

實值標量函數f(xx)在xx的梯度向量爲m×1列向量,定義如下$f(xx)在xx的梯度向量爲m\times 1列向量,定義如下$

∇xxf(xx)=[∂f(xx)∂x1,...,∂f(xx)∂xm]T$${\mathrm{\nabla }}_{xx}f(xx)=[\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_m}{]}^T$$

實值標量函數f(XX)的變元XX列向量化後,可以定義其矩陣變元XX的梯度向量爲$f(XX)的變元XX列向量化後,可以定義其矩陣變元XX的梯度向量爲$

∇vecXXf(XX)=∂f(XX)∂vec(XX)=[∂f(xx)∂x1,...∂f(xx)∂xm1,...,∂f(xx)∂x1n,...,∂f(xx)∂xmn]T$${\mathrm{\nabla }}_{vecXX}f(XX)=\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }vec(XX)}=[\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1},...\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{m1}},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{1n}},...,\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_{mn}}{]}^T$$

定義f(XX)的其關於矩陣變元XX的梯度矩陣爲$f(XX)的其關於矩陣變元XX的梯度矩陣爲$

∇XXf(XX)=∂f(XX)∂XX$${\mathrm{\nabla }}_{XX}f(XX)=\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }XX}$$

比較f(XX)$f(XX)$ 的梯度矩陣和Jacobian矩陣,可以發現梯度矩陣即爲Jacobian矩陣的轉置
當實值標量函數數f(XX)的變元是p×q維矩陣的時候,他的梯度向量定義爲如下$f(XX)的變元是p\times q維矩陣的時候,他的梯度向量定義爲如下$

∇XXFF(XX)=def∂vec(FF(XX))∂(vecXX)T$${\mathrm{\nabla }}_{XX}FF(XX)\stackrel{def}{=}\frac{\mathrm{\partial }vec(FF(XX))}{\mathrm{\partial }(vecXX{)}^T}$$

標量函數f(xx)$f(xx)$ 與Jacobian矩陣

以向量爲變元的標量函數f(xx)$f(xx)$ 的全微分形式可以寫爲

df(xx)=∂f(xx)∂x1dx1+...+∂f(xx)∂xmdxm=∂f(xx)∂xxTdxx$$df(xx)=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_1}d{x}_1+...+\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }{x}_m}d{x}_m=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }x{x}^T}dxx$$

記AA=∂f(xx)∂xxT$記AA=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }x{x}^T}$ ,則有如下等價關係

df(xx)=tr(Adxx)⟺Dxxf(xx)=∂f(xx)∂xxT=A$$df(xx)=tr(Adxx)⟺D_{xx}f(xx)=\frac{\mathrm{\partial }f(xx)}{\mathrm{\partial }x{x}^T}=A$$

也就是標量函數f(xx)$f(xx)$ 的Jacobian矩陣和微分矩陣存在着等價關係

標量函數f(XX)$f(XX)$ 與Jacobian矩陣

標量函數f(XX)$f(XX)$ 和上面類似,其全微分可以寫成如下形式

df(XX)=∂f(XX)∂xxT1dxx1+...+∂f(XX)∂xxTndxxn=∂f(XX)∂vecT((X)d(vecXX)=DvecXXf(XX)d(vecXX)$$\begin{array}{rl}df(XX)& =\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }x{x}_1^T}dx{x}_1+...+\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }x{x}_n^T}dx{x}_n\\ & =\frac{\mathrm{\partial }f(XX)}{\mathrm{\partial }ve{c}^T((X)}d(vecXX)\\ & =D_{vecXX}f(XX)d(vecXX)\end{array}$$

這裏再利用行向量偏導和Jacobian矩陣的關係DvecXXf(XX)=(vec(DTXXf(XX)))T，並令A=DTXXf(XX)$D_{vecXX}f(XX)=(vec(D_{XX}^{T}f(XX)){)}^T，並令A=D_{XX}^{T}f(XX)$ 可以得到

df(XX)=(vec(AT))Td(vecXX)$$\begin{array}{rl}df(XX)& =(vec(A^T){)}^{T}d(vecXX)\end{array}$$

由向量化算子vec與跡函數的關係式tr(BTC)=(vec(B))Tvec(C),令B=AT,C=dXX$tr(B^{T}C)=(vec(B){)}^{T}vec(C),令B=A^T,C=dXX$ ,則上式可以重寫爲

df(XX)=tr(AAdXX)$$df(XX)=tr(AAdXX)$$

綜合以上,可以得到如下結論:
Jacobian矩陣可以通過以下式子等價確定

df(xx)=tr(Adxx)⟺Dxxf(xx)=Adf(XX)=tr(AdXX)⟺DXXf(XX)=A$$\begin{gathered} df(xx)=tr(Adxx)⟺D_{xx}f(xx)=A \\ df(XX)=tr(AdXX)⟺D_{XX}f(XX)=A \end{gathered}$$

矩陣微分df(XX)$df(XX)$ 可以通過簡單的變化轉化爲矩陣微分的標準形式df(XX)=tr(AdXX)$df(XX)=tr(AdXX)$ .再由Jacobian和梯度矩陣的關係,進一步可以得到梯度矩陣.因而對求解梯度矩陣可以由矩陣微分的標準形式df(XX)=tr(AdXX)$df(XX)=tr(AdXX)$ 得到.
如下:
對於tr(XXTXX)$tr(X{X}^{T}XX)$ 我們可以得到

dtr(XXTXX)=tr(d(XXTXX))=tr(d(XX)TXX+XXTdXX)=tr(d(XX)TXX)+tr(XXTdXX)=tr(XXTd(XX))+tr(XXTdXX)=tr(2XXTd(XX))$$\begin{array}{rl}dtr(X{X}^{T}XX)& =tr(d(X{X}^{T}XX))\\ & =tr(d(XX{)}^{T}XX+X{X}^{T}dXX)\\ & =tr(d(XX{)}^{T}XX)+tr(X{X}^{T}dXX)\\ & =tr(X{X}^{T}d(XX))+tr(X{X}^{T}dXX)\\ & =tr(2X{X}^{T}d(XX))\end{array}$$

由以上結論,可以得到XXTXX$X{X}^{T}XX$ 關於XX$XX$ 的梯度矩陣爲

∂tr(XXTXX)∂XX=(2XXT)T=2XX$$\frac{\mathrm{\partial }tr(X{X}^{T}XX)}{\mathrm{\partial }XX}=(2X{X}^T{)}^T=2XX$$

求解梯度矩陣是進行一階優化算法的基礎部分.

參考文獻&學習資料
矩陣分析與應用 -張賢達
矩陣求導術-知乎
The Matrix Cookbook.