《机器学习》——附录

A矩阵

A.1 基本演算

转置矩阵

(A+B)T(AB)T=AT+BT=BTAT(1)(2)

逆矩阵

(AT)−1(AB)−1=(A−1)T=B−1A−1(3)(4)

矩阵的迹，对于n阶方阵A，它的迹是主对角线上的元素之和，即tr(A)=Σni=1Aii

tr(AT)tr(A+B)tr(AB)tr(ABC)=tr(A)=tr(A)tr(B)=tr(BA)=tr(BCA)=tr(CAB)(5)(6)(7)(8)

n阶方阵A的行列式（determinant）定义为

det(A)=∑σ∈Snpar(σ)A1σ1A2σ2…Anσn(9)

n阶方阵A的行列式有如下性质：

det(cA)det(AT)det(AB)det(A−1)det(An)=cndet(A)=det(A)=det(A)det(B)=det(A)−1=det(A)n(10)(11)(12)(13)(14)

矩阵A∈Rm×n 的Frobenius范数定义为

||A||F=(tr(ATA))1/2=⎛⎝∑i=1m∑j=1nA2ij⎞⎠1/2(15)

容易看出，矩阵的Frobenius范数就是讲矩阵张成向量后的L2 的范数

A.2 导数

向量a 相对于标量x 的导数，以及x相对于a 的导数都是向量，其第i个分量分别为

(∂a∂x)i=∂ai∂x,(∂x∂a)i=∂x∂ai,(16)(17)

类似的，矩阵A 对于标量x的导数，以及x对于A 的导数都是矩阵，其第i行第j列上的元素分别为

(∂A∂x)ij=∂Aij∂x,(∂x∂A)ij=∂x∂Aij,(18)(19)

对于函数f(x) ，假定其对向量的元素可导，则f(x) 关于x 的一阶导数是一个向量，其第i个分量为

(∇f(x))i=∂f(x)∂xi(20)

f(x) 关于x 的二阶导数是称为海森矩阵的一个方阵，其第i行第j列上的元素为

(∇2f(x))ij=∂2f(x)∂xi∂xj(21)

向量和矩阵的导数满足乘法法则

∂xTa∂x=∂aTx∂x=a∂AB∂x=∂ax∂x(22)(23)

由A−1A=I 和式{23}，逆矩阵的导数可表示为

∂A−1∂x=−A−1∂A∂xA−1(24)

若求导的标量是矩阵\boldsymbol{A}的元素，则有

∂tr(AB)∂Aij=Bji,∂tr(AB)∂A=BT,(25)(26)

进而有

∂tr(ATB)A=B(27)