《機器學習》——附錄

A矩陣

A.1 基本演算

轉置矩陣

(A+B)T(AB)T=AT+BT=BTAT(1)(2)

逆矩陣

(AT)−1(AB)−1=(A−1)T=B−1A−1(3)(4)

矩陣的跡，對於n階方陣A，它的跡是主對角線上的元素之和，即tr(A)=Σni=1Aii

tr(AT)tr(A+B)tr(AB)tr(ABC)=tr(A)=tr(A)tr(B)=tr(BA)=tr(BCA)=tr(CAB)(5)(6)(7)(8)

n階方陣A的行列式（determinant）定義爲

det(A)=∑σ∈Snpar(σ)A1σ1A2σ2…Anσn(9)

n階方陣A的行列式有如下性質：

det(cA)det(AT)det(AB)det(A−1)det(An)=cndet(A)=det(A)=det(A)det(B)=det(A)−1=det(A)n(10)(11)(12)(13)(14)

矩陣A∈Rm×n 的Frobenius範數定義爲

||A||F=(tr(ATA))1/2=⎛⎝∑i=1m∑j=1nA2ij⎞⎠1/2(15)

容易看出，矩陣的Frobenius範數就是講矩陣張成向量後的L2 的範數

A.2 導數

向量a 相對於標量x 的導數，以及x相對於a 的導數都是向量，其第i個分量分別爲

(∂a∂x)i=∂ai∂x,(∂x∂a)i=∂x∂ai,(16)(17)

類似的，矩陣A 對於標量x的導數，以及x對於A 的導數都是矩陣，其第i行第j列上的元素分別爲

(∂A∂x)ij=∂Aij∂x,(∂x∂A)ij=∂x∂Aij,(18)(19)

對於函數f(x) ，假定其對向量的元素可導，則f(x) 關於x 的一階導數是一個向量，其第i個分量爲

(∇f(x))i=∂f(x)∂xi(20)

f(x) 關於x 的二階導數是稱爲海森矩陣的一個方陣，其第i行第j列上的元素爲

(∇2f(x))ij=∂2f(x)∂xi∂xj(21)

向量和矩陣的導數滿足乘法法則

∂xTa∂x=∂aTx∂x=a∂AB∂x=∂ax∂x(22)(23)

由A−1A=I 和式{23}，逆矩陣的導數可表示爲

∂A−1∂x=−A−1∂A∂xA−1(24)

若求導的標量是矩陣\boldsymbol{A}的元素，則有

∂tr(AB)∂Aij=Bji,∂tr(AB)∂A=BT,(25)(26)

進而有

∂tr(ATB)A=B(27)