第1章 线性空间与线性映射
求解过渡矩阵并进行座标变换；
证明\(W\)是\(V\)的子空间
- 寻找一个元素\(\alpha_0\in{W}\)说明\(W\)是非空集合（一般地可以选择零元素）；
- 证明\(W\)中的元素对加法封闭：\(\forall{\alpha_1,\alpha_2\in{W}},~~(\alpha_1\oplus{\alpha_2})\in{W}\)；
- 证明\(W\)中的元素对数乘封闭：\(\forall{\alpha\in{W},k\in{F}},~~k\circ{\alpha}\in{W}\)；
求子空间\(W\)的基以及它的维数
\(V\)的基为\(\xi=\left(\matrix{\xi_1&\cdots&\xi_n}\right)\)，\(W=\{x~|~p(x)~\mbox{is true}\}\)，\(\forall{\alpha\in{W}}\)。
则可知\(\alpha\in{V}\)也成立，不妨设\(\alpha\)在\(V\)下的座标为\(k=\left(\matrix{k_1\\\vdots\\k_n}\right)\)，为了满足\(W\)中的条件\(p\)可以得到方程\(Ak=0\)。
不妨其基础解系为\(\eta=\left[\matrix{\eta_1&\cdots&\eta_r}\right]\)，则\(k=\eta\cdot{c}\)，\(c\)任意，所以\(\alpha=\xi\cdot{k}=\xi\eta\cdot{c}\)。
①\(\forall{\alpha\in{W}}\)都能由\(\xi\eta\)线性表示；②\(\xi\)是线性无关组，\(\eta\)也是线性无关组，所以\(\xi\eta\)也是线性无关组。所以\(\xi\eta\)是\(W\)的一组基，\(\dim(W)=\rank(\eta)\)。
在作答时，只需计算\(\eta\)，说明\(\dim(W)=\rank(\eta)\)，最后得出\(W\)的一组基为\(\xi\eta\)。
求空间的交集与并集的维数以及基
不妨设\(V_1=\mbox{span}\{\alpha_1,\cdots,\alpha_r\}=\mbox{span}(A)\)，\(V_2=\mbox{span}\{\beta_1,\cdots,\beta_s\}=\mbox{span}(B)\)，\(\alpha_i,\beta_j\in\C^{m}\)。
求\(V_1+V_2\)维数和基
求\([A,B]\)的Hermite标准形\(H\)，则\(\dim(V_1+V_2)=\rank([A,B])\)，基为\([A,B]\)中对应于的\(e_i^{(H)}\)的极大无关组。
可以通过满秩分解来求：不妨设\([A,B]=FG\)，则\(\dim(V_1+V_2)=\rank(G)\)，基就是\(F\)。
求\(V_1\bigcap{V_2}\)维数和基
\(\forall{\eta}\in{V_1\bigcap{V_2}}\)，\(\eta=A\cdot{a}=B\cdot{(-b)}\)，即有\([A,B]\cdot\left[\matrix{a\\b}\right]=0\)，即解出齐次方程\([A,B]x=0\)。
基础解系为\(\xi=[\xi_1,\cdots,\xi_t]_{(r+s)\times{t}}=\left[\matrix{\left(\matrix{\xi_{1a}\\\xi_{1b}}\right)&\cdots&\left(\matrix{\xi_{ta}\\\xi_{tb}}\right)}\right]=\left[\matrix{\xi_a\\\xi_b}\right]\)，系数为\(k=\left[\matrix{k_1\\\vdots\\k_t}\right]\)，则通解\(\left[\matrix{a\\b}\right]=\xi\cdot{k}\)。
所以解出：\(a=\xi_a\cdot{k}\)，\(b=\xi_b\cdot{k}\)。代入得\(\eta=A\cdot{\xi_a\cdot{k}}=A\xi_a\cdot{k}=B\cdot{(-\xi_b\cdot{k})}=-B\xi_b\cdot{k}\)。
而由于\(k\)是一个\(t\)维的自由向量（即有\(t\)个自由变元），所以不妨令\(\gamma=A\xi_a=-B\xi_b=[\gamma_1,\cdots,r_t]\)，由于\(A\)线性无关、\(\xi_a\)线性无关，所以\(A\xi_a\)线性无关，\(B\)线性无关、\(\xi_b\)线性无关，所以\(B\xi_b\)线性无关。即有\(r\)线性无关，而\(V_1\bigcap{V_2}\)中的任意向量\(\eta\)都能被\(r\)线性表示出来，所以可以得出\(r\)即是\(V_1\bigcap{V_2}\)的基，\(\dim(V_1\bigcap{V_2})=t\)。
线性无关组\(\alpha=[\alpha_1,\cdots,\alpha_r]\)和\(\beta=[\beta_1,\cdots,\beta_s]\)，则\(\alpha\cdot\beta\)也是线性无关组。
\[\alpha\beta\cdot{k} = \left[\matrix{\alpha_1&\cdots&\alpha_r}\right] \cdot \left[\matrix{\beta_1&\cdots&\beta_s}\right] \cdot \left[\matrix{k_1\\\vdots\\k_s}\right] \\ = \left[\matrix{\alpha_1&\cdots&\alpha_r}\right] \cdot \left[\matrix{\sum_{i=1}^{s}\beta_i^{(1)}k_i\\\vdots\\\sum_{i=1}^{s}\beta_i^{(r)}k_i}\right] \\ = \alpha_1\cdot{\sum_{i=1}^{s}\beta_i^{(1)}k_i}+\cdots+\alpha_r\cdot{\sum_{i=1}^{s}\beta_i^{(r)}k_i} =\sum_{j=1}^{r}\alpha_j\cdot\sum_{i=1}^{s}\beta_i^{(j)}k_i \]令\(\alpha\beta\cdot{k}=0\)可得：\(\sum_{j=1}^{r}\alpha_j\cdot\sum_{i=1}^{s}\beta_i^{(j)}k_i=0\)，而\(\alpha\)是极大无关组，所以\(\sum_{i=1}^{s}\beta_i^{(j)}k_i=0\)，\(j=1\sim{r}\)。
所以有\(\left[\matrix{\sum_{i=1}^{s}\beta_i^{(1)}k_i\\\vdots\\\sum_{i=1}^{s}\beta_i^{(r)}k_i}\right]=0\)，即有\(\beta\cdot{k}=0\)，而\(\beta\)是线性无关组，所以只有\(k=0\)，即证\(\alpha\beta\)也是线性无关组。
求\(\alpha\)到\(\beta\)的线性变换\(T\)在\(\alpha\)下的表示矩阵（\(\alpha\rightarrow\beta\)的过渡矩阵）
已知\(V\)中的两个基：\(\alpha=\left[\matrix{\alpha_1&\cdots&\alpha_r}\right]\)和\(\beta=\left[\matrix{\beta_1&\cdots&\beta_s}\right]\)，\(T(\alpha)=\beta=\alpha\cdot{T}\)，其数域\(F={\C^m}\)。将\(\alpha_i\)和\(\beta_j\)按照统一位次次序拉伸为向量形式，得到两组基对应的可逆矩阵\(A\)和\(B\)。
\(\forall{\eta\in{V}}\)非零向量，在基\(\alpha\)和\(\beta\)下的座标分别为\(a=\left[\matrix{a_1\\\vdots\\a_r}\right]\)和\(b=\left[\matrix{b_1\\\vdots\\b_s}\right]\)，\(a\in\C^r,b\in\C^s\)任意非零向量。
即有\(\eta=\alpha\cdot{a}=\beta\cdot{b}\)，按统一位次次序一一对应后有\(A\cdot{a}=B\cdot{b}\)，由于\(a\)和\(b\)都是非零向量，且由题意\(\alpha\)可以向\(\beta\)变换，所以\(a\)是有解的，故有通解为\(a=A^{+}B\cdot{b}+(I_r-A^{+}A)\cdot{y}\)，\(y\in{\C^r}\)任意。
故代入\(\eta\)并结合\(\alpha\cdot{T}=\beta\)得出等式：\(\alpha\cdot{(A^{+}B\cdot{b}+(I_r-A^{+}A)\cdot{y})}=\alpha\cdot{T}\cdot{b}\)。
化简即有：\(\alpha\cdot(A^{+}B-T)\cdot{b}=\alpha\cdot{(I_r-A^{+}A)}\cdot{y}\)，由\(\dim(\alpha)=r\)得：\(\rank(A)=r\Leftrightarrow A^{+}A=I_r\)。
即有最后的等式：\(\alpha\cdot{(A^{+}B-T)}\cdot{b}=0\)。由于\(\alpha\)是\(V\)中的一组基，所以只有座标\((A^{+1}B-T)\cdot{b}=0\)时上述等式成立；又由于\(b\)是\(s\)维自由向量（解向量\(b\)有\(s\)个自由变元），所以有\(T\)在\(\alpha\)下的表示矩阵为\(A^{+1}B\)。
但是在实际作答过程中不能书写此步骤，此步骤只是作为辅助手段，帮助我们快速确定\(\alpha\)与\(\beta\)之间的转换关系。
只有当你能确定\(\alpha\)可以向\(\beta\)进行转换时才能使用该方法，因为降维变换是不可逆的。
当\(A^{-1}\)存在时，\(A^{+}=A^{-1}\)。
核子空间与象子空间
- 核子空间\(N(T)=\{x\in{V}:~Tx=0\}\)，所以\(\dim(N(T))=n-\rank(T)\)；
- 象子空间\(R(T)=\{y=Tx,~x\in{V}\}\)，所以\(\dim(R(T))=\rank(T)\)；
第2章 内积空间
正交投影矩阵与座标变换
设\(\R^m\)中\(L=\mbox{span}\{\alpha_1,\cdots,\alpha_n\}=\mbox{span}\{A\}\)，则正交投影矩阵为\(P_{L}=A(A^TA)^{-1}A^T\)。
\(\eta\in{\R^m}\)在\(L\)上的正交投影为\(y=P_L\cdot{\eta}\)，在\(L^{\perp}\)上的正交投影为\(z=\eta-y\)。
第3章 相似矩阵
求解Jordan标准形的两种方法
- 相似变换秩不变：\(\mbox{r}(\lambda I-A)^k=\mbox{r}(\lambda I-J)^k\)，其中\(k\)可以从1开始取，直到筛选出唯一的\(J\)；
- 初等因子组：求解行列式因子\(D_i(\lambda)\)，再求不变因子\(d_i(\lambda)=\frac{D_i(\lambda)}{D_{i-1}(\lambda)}\)，最后求每个不变因子中的非1因式；
求解Jordan相似变换矩阵
利用\(AP=PJ\)可以得出方程组\(AP_i=P_i\cdot{\lambda_i}+P_{i-1}\cdot{J_{i-1,i}}\)，其中\(J_{i-1,i}=0 \or 1\)。
- 当\(J_{i-1,i}=0\)时，\(P_i\)就是矩阵\(A\)的特征值为\(\lambda_i\)的特征向量 \(\Leftrightarrow\) \(P_i\)是方程\((\lambda_iI-A)x=0\)的通解；
- 当\(J_{i-1,i}=1\)时，\(P_i\)就是方程\((\lambda_iI-A)x=-P_{i-1}\)的通解，其特解的自由变元为0；
最后需要满足\(P\)是可逆矩阵，即要求其行列式不为0，求出\(P_i\)中各个自由参数的约束，并取特殊值代入。
第4章 范数理论
求矩阵范数
- \(\norm{A}_{m_1}=\sum_{i,j}{\abs{a_{ij}}}\)；
- \(\norm{A}_{m_{\infty}}=\max{(m,n)}\cdot{\max_{i,j}(\abs{a_{ij}})}\)；
- \(\norm{A}_F=\sqrt{\sum{a^2_{ij}}}=\sqrt{\trace(A^HA)}=\sqrt{\sum\lambda^{(i)}_{A^HA}}\)；
求矩阵算子范数
- 与向量1-范数相容的矩阵列和范数：\(\norm{A}_1=\max_j{\sum_i{a_{ij}}}\)（列模和的最大值）；
- 与向量\(\infty\)范数相容的矩阵行和范数：\(\norm{A}_\infty=\max_i{\sum_j{a_{ij}}}\)（行模和的最大值）；
- 与向量2-范数相容的矩阵谱范数：\(\norm{A}_2=\sqrt{\lambda^{(1)}_{A^HA}}\)；（\(A^HA\)的最大特征值的根）；
- 当然与向量2-范数相容的还有矩阵\(F\)范数\(\norm{A}_F\)；
- 任意矩阵算子范数可以被定义为：\(\norm{A}=\max_{x\neq0}\frac{\norm{Ax}_\alpha}{\norm{x}_\alpha}=\max_{\norm{x}_\alpha=1}\norm{Ax}_\alpha\)；
证明实值函数\(\norm{x}_A\)是\(\C^n\)上的一种向量范数
正定性：\(\norm{x}_A\ge0\)，且\(\norm{x}_A=0\Longleftrightarrow x=0\)；
齐次性：\(\norm{kx}_A=\abs{k}\norm{x}_A\)；
三角不等式：\(\norm{x_1+x_2}_A\le{\norm{x_1}_A}+\norm{x_2}_A\)；
求盖尔圆
求行盖尔圆和列盖尔圆
\[\text{行盖尔圆为：}G_k:\abs{z-a_{kk}}\le\sum^{n}_{j\neq{k}}{a_{kj}}~~~~ \text{列盖尔圆为：}S_k:\abs{z-a_{kk}}\le\sum^{n}_{i\neq{k}}{a_{ik}} \]如果行列盖尔圆中独立盖尔圆的并集包含所有盖尔圆，则所有的盖尔圆独立（特征值全为实数）。
第5章 矩阵分析
最小多项式求\(f(At)\)
求解最小多项式\(m_A(\lambda)\)
首先求解\(\abs{\lambda I-A}=c_A(\lambda)=\prod_{i=1}^n{(\lambda-\lambda_i)^{c_i}}\)，然后查看\(\prod_{i=1}^n{(\lambda-\lambda_i)^{r_i}}\)是否是零矩阵，如果是则求出最小多项式为\(m_A(\lambda)=\prod_{i=1}^n{(\lambda-\lambda_i)^{r_i}}\)，其中\(r_i=1:c_i\)。
用\(A\)的多项式近似\(f(At)\)
构造函数\(r(\lambda)=\sum_{i=0}^{m-1}{a_i\cdot{\lambda}^i}\)，其中的\(m\)是指最小多项式\(m_A(\lambda)\)的最高次数。用\(r_A(\lambda)\)近似\(f(\lambda)\)即要满足
\[f^{(k)}(\lambda_i)=r^{(k)}(\lambda_i)\text{，其中}k=1:\lambda_i\text{的重数} \]解得\(a_i\)代入\(r_A(\lambda)\)，最后\(f(At)=r(At)\)即可获得\(f(At)\)对应的\(A\)多项式。
用Jordan标准形求\(f(At)\)
不妨设\(J_i\)是\(A\)的第\(i\)个Jordan块，则有
\[f(J_it)= \left[ \matrix{ f(\lambda_it) & \frac{d}{d\lambda}f(\lambda t)|_{\lambda=\lambda_i} & \dots & \frac{1}{(\lambda_i-1)!}\frac{d^{(\lambda_i-1)}}{d\lambda^{(\lambda_i-1)}}f(\lambda t)|_{\lambda=\lambda_i} \\ 0 & f(\lambda_it) & \frac{d}{d\lambda}f(\lambda t)|_{\lambda=\lambda_i} & \vdots \\ 0 & 0 & \ddots & \vdots \\ \vdots & \vdots & & \vdots \\ 0 & \cdots & \cdots & f(\lambda_it) } \right] \]由\(f(At)=P\cdot{f(Jt)}\cdot{P^{-1}}\)得出：\(f(At)=P\cdot{\mbox{diag}(\{f(J_it)\})\cdot{P^{-1}}}\)。
求解一阶微分方程组
\[x(t)=e^{A(t-t_0)}\cdot{c}+e^{At}\cdot{\int_{t_0}^t}{e^{-Au}\cdot{f(u)}~du} \]矩阵求导与向量求导
导数的结构首先由分母的布局决定，其中的元素由分子的布局决定。
- \(\frac{d}{dx}(x^TAx)=Ax\)
- \(\frac{d}{dX}(\trace(AX))=A^T\)
- \(\frac{d}{dx}(Ax)=\left[\matrix{a_{11}&\cdots&a_{mn}}\right]^T\)；
- \(\frac{d}{dx}(x^TA^T)=A^T\)；
- \(\frac{d}{dA}(\trace(A))=I_n\)；
矩阵分解
满秩分解及其广义逆
求得\(A\)的Hermite标准形（行最简标准形），记为\(A_H=\left[\matrix{G\\0}\right]\)，然后取\(F\)为\(A\)中对应于\(A_H\)的极大线性无关组。
\(A^+=G^H(GG^H)^{-1}(F^HF)^{-1}F^H\)。
奇异值分解及其广义逆
- 首先求出\(A^HA\)的特征值，取其非0特征值为\(\lambda_{1:r}\)（递减），则\(A\)的奇异值为\(\sigma_{1:r}=\sqrt{\lambda_{1:r}}\)；
- 然后令\(\Sigma=\mbox{diag}(\{\sigma_i\})\)，则\(V_1\)为\(\lambda_{1:r}\)对应的特征向量，然后取与\(V_1\)单位正交的\(V_2\)；
- \(U_1=AV_1\Sigma^{-1}\)，取与\(U_1\)单位正交的\(U_2\)；
- \(A=U\left[\matrix{\Sigma & 0^T \\ 0 & 0}\right]V^H\)，\(A^+=V\left[\matrix{\Sigma^{-1} & 0^T \\ 0 & 0}\right]U^H\)；
正交三角分解
Schmidt正交化
\[\beta_s=\alpha_s-\sum_{i=1}^{s-1}\frac{<\beta_i,\alpha_s>}{<\beta_i,\beta_i>}\beta_i=\alpha_s-\beta_{1:s}\cdot{k_s} ~~~~~q_s=\frac{\beta_s}{\norm{\beta_s}_2} \\ A=QR=[q_1,\cdots,q_n]\cdot[r_1,\cdots,r_n] \\ \alpha_s=[\beta_{1:s-1},\beta_s,\beta_{s+1:n}]\cdot{\left[\matrix{k_s\\1\\0}\right]}=[q_{1:s},q_{s+1:n}]\cdot{\left[\matrix{\norm{\beta_{1:s}}_2\\0}\right]\circ{\left[\matrix{k_{1:s}\\1\\0}\right]}} \]Householder变换
\[\alpha_i=B^{(i)}_{i:m,i}~~~~\norm{\rho_i}_2=\norm{\alpha_i}_2~~~~~u_i=\frac{\alpha_i-\rho_ie_1}{\norm{\alpha_i-\rho_ie_1}_2}\\ \tilde{H}_i=I-2u_iu_i^H~~~~B^{(i+1)}=\left[\matrix{I_i&0^T\\0&\tilde{H}_i}\right]B^{(i)}~~~~B^{(1)}=A \]其中取\(\rho_i\)时需要注意：\(\rho_i\cdot{\alpha_i}\cdot{e_1}\)要是实数，也就是\(\rho_i\)必须和\(\alpha_i\)的第一个元素在复数域上形式相同。
第7章 广义逆矩阵
\(Ax=b\)有解
\(AA^+b=b\)，通解为\(x=A^+b+(I-A^+A)y\)，\(y\in{C^n}\)任意，极小范数解\(x_0=A^+b\)；
\(Ax=b\)无解
\(AA^+b\neq{b}\)，通解为\(x=A^+b+(I-A^+A)y\)，\(y\in{C^n}\)任意，极小范数最小二乘解\(x_0=A^+b\)；