第1章 線性空間與線性映射
求解過渡矩陣並進行座標變換；
證明\(W\)是\(V\)的子空間
- 尋找一個元素\(\alpha_0\in{W}\)說明\(W\)是非空集合（一般地可以選擇零元素）；
- 證明\(W\)中的元素對加法封閉：\(\forall{\alpha_1,\alpha_2\in{W}},~~(\alpha_1\oplus{\alpha_2})\in{W}\)；
- 證明\(W\)中的元素對數乘封閉：\(\forall{\alpha\in{W},k\in{F}},~~k\circ{\alpha}\in{W}\)；
求子空間\(W\)的基以及它的維數
\(V\)的基爲\(\xi=\left(\matrix{\xi_1&\cdots&\xi_n}\right)\)，\(W=\{x~|~p(x)~\mbox{is true}\}\)，\(\forall{\alpha\in{W}}\)。
則可知\(\alpha\in{V}\)也成立，不妨設\(\alpha\)在\(V\)下的座標爲\(k=\left(\matrix{k_1\\\vdots\\k_n}\right)\)，爲了滿足\(W\)中的條件\(p\)可以得到方程\(Ak=0\)。
不妨其基礎解係爲\(\eta=\left[\matrix{\eta_1&\cdots&\eta_r}\right]\)，則\(k=\eta\cdot{c}\)，\(c\)任意，所以\(\alpha=\xi\cdot{k}=\xi\eta\cdot{c}\)。
①\(\forall{\alpha\in{W}}\)都能由\(\xi\eta\)線性表示；②\(\xi\)是線性無關組，\(\eta\)也是線性無關組，所以\(\xi\eta\)也是線性無關組。所以\(\xi\eta\)是\(W\)的一組基，\(\dim(W)=\rank(\eta)\)。
在作答時，只需計算\(\eta\)，說明\(\dim(W)=\rank(\eta)\)，最後得出\(W\)的一組基爲\(\xi\eta\)。
求空間的交集與並集的維數以及基
不妨設\(V_1=\mbox{span}\{\alpha_1,\cdots,\alpha_r\}=\mbox{span}(A)\)，\(V_2=\mbox{span}\{\beta_1,\cdots,\beta_s\}=\mbox{span}(B)\)，\(\alpha_i,\beta_j\in\C^{m}\)。
求\(V_1+V_2\)維數和基
求\([A,B]\)的Hermite標準形\(H\)，則\(\dim(V_1+V_2)=\rank([A,B])\)，基爲\([A,B]\)中對應於的\(e_i^{(H)}\)的極大無關組。
可以通過滿秩分解來求：不妨設\([A,B]=FG\)，則\(\dim(V_1+V_2)=\rank(G)\)，基就是\(F\)。
求\(V_1\bigcap{V_2}\)維數和基
\(\forall{\eta}\in{V_1\bigcap{V_2}}\)，\(\eta=A\cdot{a}=B\cdot{(-b)}\)，即有\([A,B]\cdot\left[\matrix{a\\b}\right]=0\)，即解出齊次方程\([A,B]x=0\)。
基礎解係爲\(\xi=[\xi_1,\cdots,\xi_t]_{(r+s)\times{t}}=\left[\matrix{\left(\matrix{\xi_{1a}\\\xi_{1b}}\right)&\cdots&\left(\matrix{\xi_{ta}\\\xi_{tb}}\right)}\right]=\left[\matrix{\xi_a\\\xi_b}\right]\)，係數爲\(k=\left[\matrix{k_1\\\vdots\\k_t}\right]\)，則通解\(\left[\matrix{a\\b}\right]=\xi\cdot{k}\)。
所以解出：\(a=\xi_a\cdot{k}\)，\(b=\xi_b\cdot{k}\)。代入得\(\eta=A\cdot{\xi_a\cdot{k}}=A\xi_a\cdot{k}=B\cdot{(-\xi_b\cdot{k})}=-B\xi_b\cdot{k}\)。
而由於\(k\)是一個\(t\)維的自由向量（即有\(t\)個自由變元），所以不妨令\(\gamma=A\xi_a=-B\xi_b=[\gamma_1,\cdots,r_t]\)，由於\(A\)線性無關、\(\xi_a\)線性無關，所以\(A\xi_a\)線性無關，\(B\)線性無關、\(\xi_b\)線性無關，所以\(B\xi_b\)線性無關。即有\(r\)線性無關，而\(V_1\bigcap{V_2}\)中的任意向量\(\eta\)都能被\(r\)線性表示出來，所以可以得出\(r\)即是\(V_1\bigcap{V_2}\)的基，\(\dim(V_1\bigcap{V_2})=t\)。
線性無關組\(\alpha=[\alpha_1,\cdots,\alpha_r]\)和\(\beta=[\beta_1,\cdots,\beta_s]\)，則\(\alpha\cdot\beta\)也是線性無關組。
\[\alpha\beta\cdot{k} = \left[\matrix{\alpha_1&\cdots&\alpha_r}\right] \cdot \left[\matrix{\beta_1&\cdots&\beta_s}\right] \cdot \left[\matrix{k_1\\\vdots\\k_s}\right] \\ = \left[\matrix{\alpha_1&\cdots&\alpha_r}\right] \cdot \left[\matrix{\sum_{i=1}^{s}\beta_i^{(1)}k_i\\\vdots\\\sum_{i=1}^{s}\beta_i^{(r)}k_i}\right] \\ = \alpha_1\cdot{\sum_{i=1}^{s}\beta_i^{(1)}k_i}+\cdots+\alpha_r\cdot{\sum_{i=1}^{s}\beta_i^{(r)}k_i} =\sum_{j=1}^{r}\alpha_j\cdot\sum_{i=1}^{s}\beta_i^{(j)}k_i \]令\(\alpha\beta\cdot{k}=0\)可得：\(\sum_{j=1}^{r}\alpha_j\cdot\sum_{i=1}^{s}\beta_i^{(j)}k_i=0\)，而\(\alpha\)是極大無關組，所以\(\sum_{i=1}^{s}\beta_i^{(j)}k_i=0\)，\(j=1\sim{r}\)。
所以有\(\left[\matrix{\sum_{i=1}^{s}\beta_i^{(1)}k_i\\\vdots\\\sum_{i=1}^{s}\beta_i^{(r)}k_i}\right]=0\)，即有\(\beta\cdot{k}=0\)，而\(\beta\)是線性無關組，所以只有\(k=0\)，即證\(\alpha\beta\)也是線性無關組。
求\(\alpha\)到\(\beta\)的線性變換\(T\)在\(\alpha\)下的表示矩陣（\(\alpha\rightarrow\beta\)的過渡矩陣）
已知\(V\)中的兩個基：\(\alpha=\left[\matrix{\alpha_1&\cdots&\alpha_r}\right]\)和\(\beta=\left[\matrix{\beta_1&\cdots&\beta_s}\right]\)，\(T(\alpha)=\beta=\alpha\cdot{T}\)，其數域\(F={\C^m}\)。將\(\alpha_i\)和\(\beta_j\)按照統一位次次序拉伸爲向量形式，得到兩組基對應的可逆矩陣\(A\)和\(B\)。
\(\forall{\eta\in{V}}\)非零向量，在基\(\alpha\)和\(\beta\)下的座標分別爲\(a=\left[\matrix{a_1\\\vdots\\a_r}\right]\)和\(b=\left[\matrix{b_1\\\vdots\\b_s}\right]\)，\(a\in\C^r,b\in\C^s\)任意非零向量。
即有\(\eta=\alpha\cdot{a}=\beta\cdot{b}\)，按統一位次次序一一對應後有\(A\cdot{a}=B\cdot{b}\)，由於\(a\)和\(b\)都是非零向量，且由題意\(\alpha\)可以向\(\beta\)變換，所以\(a\)是有解的，故有通解爲\(a=A^{+}B\cdot{b}+(I_r-A^{+}A)\cdot{y}\)，\(y\in{\C^r}\)任意。
故代入\(\eta\)並結合\(\alpha\cdot{T}=\beta\)得出等式：\(\alpha\cdot{(A^{+}B\cdot{b}+(I_r-A^{+}A)\cdot{y})}=\alpha\cdot{T}\cdot{b}\)。
化簡即有：\(\alpha\cdot(A^{+}B-T)\cdot{b}=\alpha\cdot{(I_r-A^{+}A)}\cdot{y}\)，由\(\dim(\alpha)=r\)得：\(\rank(A)=r\Leftrightarrow A^{+}A=I_r\)。
即有最後的等式：\(\alpha\cdot{(A^{+}B-T)}\cdot{b}=0\)。由於\(\alpha\)是\(V\)中的一組基，所以只有座標\((A^{+1}B-T)\cdot{b}=0\)時上述等式成立；又由於\(b\)是\(s\)維自由向量（解向量\(b\)有\(s\)個自由變元），所以有\(T\)在\(\alpha\)下的表示矩陣爲\(A^{+1}B\)。
但是在實際作答過程中不能書寫此步驟，此步驟只是作爲輔助手段，幫助我們快速確定\(\alpha\)與\(\beta\)之間的轉換關係。
只有當你能確定\(\alpha\)可以向\(\beta\)進行轉換時才能使用該方法，因爲降維變換是不可逆的。
當\(A^{-1}\)存在時，\(A^{+}=A^{-1}\)。
核子空間與象子空間
- 核子空間\(N(T)=\{x\in{V}:~Tx=0\}\)，所以\(\dim(N(T))=n-\rank(T)\)；
- 象子空間\(R(T)=\{y=Tx,~x\in{V}\}\)，所以\(\dim(R(T))=\rank(T)\)；
第2章 內積空間
正交投影矩陣與座標變換
設\(\R^m\)中\(L=\mbox{span}\{\alpha_1,\cdots,\alpha_n\}=\mbox{span}\{A\}\)，則正交投影矩陣爲\(P_{L}=A(A^TA)^{-1}A^T\)。
\(\eta\in{\R^m}\)在\(L\)上的正交投影爲\(y=P_L\cdot{\eta}\)，在\(L^{\perp}\)上的正交投影爲\(z=\eta-y\)。
第3章 相似矩陣
求解Jordan標準形的兩種方法
- 相似變換秩不變：\(\mbox{r}(\lambda I-A)^k=\mbox{r}(\lambda I-J)^k\)，其中\(k\)可以從1開始取，直到篩選出唯一的\(J\)；
- 初等因子組：求解行列式因子\(D_i(\lambda)\)，再求不變因子\(d_i(\lambda)=\frac{D_i(\lambda)}{D_{i-1}(\lambda)}\)，最後求每個不變因子中的非1因式；
求解Jordan相似變換矩陣
利用\(AP=PJ\)可以得出方程組\(AP_i=P_i\cdot{\lambda_i}+P_{i-1}\cdot{J_{i-1,i}}\)，其中\(J_{i-1,i}=0 \or 1\)。
- 當\(J_{i-1,i}=0\)時，\(P_i\)就是矩陣\(A\)的特徵值爲\(\lambda_i\)的特徵向量 \(\Leftrightarrow\) \(P_i\)是方程\((\lambda_iI-A)x=0\)的通解；
- 當\(J_{i-1,i}=1\)時，\(P_i\)就是方程\((\lambda_iI-A)x=-P_{i-1}\)的通解，其特解的自由變元爲0；
最後需要滿足\(P\)是可逆矩陣，即要求其行列式不爲0，求出\(P_i\)中各個自由參數的約束，並取特殊值代入。
第4章 範數理論
求矩陣範數
- \(\norm{A}_{m_1}=\sum_{i,j}{\abs{a_{ij}}}\)；
- \(\norm{A}_{m_{\infty}}=\max{(m,n)}\cdot{\max_{i,j}(\abs{a_{ij}})}\)；
- \(\norm{A}_F=\sqrt{\sum{a^2_{ij}}}=\sqrt{\trace(A^HA)}=\sqrt{\sum\lambda^{(i)}_{A^HA}}\)；
求矩陣算子範數
- 與向量1-範數相容的矩陣列和範數：\(\norm{A}_1=\max_j{\sum_i{a_{ij}}}\)（列模和的最大值）；
- 與向量\(\infty\)範數相容的矩陣行和範數：\(\norm{A}_\infty=\max_i{\sum_j{a_{ij}}}\)（行模和的最大值）；
- 與向量2-範數相容的矩陣譜範數：\(\norm{A}_2=\sqrt{\lambda^{(1)}_{A^HA}}\)；（\(A^HA\)的最大特徵值的根）；
- 當然與向量2-範數相容的還有矩陣\(F\)範數\(\norm{A}_F\)；
- 任意矩陣算子範數可以被定義爲：\(\norm{A}=\max_{x\neq0}\frac{\norm{Ax}_\alpha}{\norm{x}_\alpha}=\max_{\norm{x}_\alpha=1}\norm{Ax}_\alpha\)；
證明實值函數\(\norm{x}_A\)是\(\C^n\)上的一種向量範數
正定性：\(\norm{x}_A\ge0\)，且\(\norm{x}_A=0\Longleftrightarrow x=0\)；
齊次性：\(\norm{kx}_A=\abs{k}\norm{x}_A\)；
三角不等式：\(\norm{x_1+x_2}_A\le{\norm{x_1}_A}+\norm{x_2}_A\)；
求蓋爾圓
求行蓋爾圓和列蓋爾圓
\[\text{行蓋爾圓爲：}G_k:\abs{z-a_{kk}}\le\sum^{n}_{j\neq{k}}{a_{kj}}~~~~ \text{列蓋爾圓爲：}S_k:\abs{z-a_{kk}}\le\sum^{n}_{i\neq{k}}{a_{ik}} \]如果行列蓋爾圓中獨立蓋爾圓的並集包含所有蓋爾圓，則所有的蓋爾圓獨立（特徵值全爲實數）。
第5章 矩陣分析
最小多項式求\(f(At)\)
求解最小多項式\(m_A(\lambda)\)
首先求解\(\abs{\lambda I-A}=c_A(\lambda)=\prod_{i=1}^n{(\lambda-\lambda_i)^{c_i}}\)，然後查看\(\prod_{i=1}^n{(\lambda-\lambda_i)^{r_i}}\)是否是零矩陣，如果是則求出最小多項式爲\(m_A(\lambda)=\prod_{i=1}^n{(\lambda-\lambda_i)^{r_i}}\)，其中\(r_i=1:c_i\)。
用\(A\)的多項式近似\(f(At)\)
構造函數\(r(\lambda)=\sum_{i=0}^{m-1}{a_i\cdot{\lambda}^i}\)，其中的\(m\)是指最小多項式\(m_A(\lambda)\)的最高次數。用\(r_A(\lambda)\)近似\(f(\lambda)\)即要滿足
\[f^{(k)}(\lambda_i)=r^{(k)}(\lambda_i)\text{，其中}k=1:\lambda_i\text{的重數} \]解得\(a_i\)代入\(r_A(\lambda)\)，最後\(f(At)=r(At)\)即可獲得\(f(At)\)對應的\(A\)多項式。
用Jordan標準形求\(f(At)\)
不妨設\(J_i\)是\(A\)的第\(i\)個Jordan塊，則有
\[f(J_it)= \left[ \matrix{ f(\lambda_it) & \frac{d}{d\lambda}f(\lambda t)|_{\lambda=\lambda_i} & \dots & \frac{1}{(\lambda_i-1)!}\frac{d^{(\lambda_i-1)}}{d\lambda^{(\lambda_i-1)}}f(\lambda t)|_{\lambda=\lambda_i} \\ 0 & f(\lambda_it) & \frac{d}{d\lambda}f(\lambda t)|_{\lambda=\lambda_i} & \vdots \\ 0 & 0 & \ddots & \vdots \\ \vdots & \vdots & & \vdots \\ 0 & \cdots & \cdots & f(\lambda_it) } \right] \]由\(f(At)=P\cdot{f(Jt)}\cdot{P^{-1}}\)得出：\(f(At)=P\cdot{\mbox{diag}(\{f(J_it)\})\cdot{P^{-1}}}\)。
求解一階微分方程組
\[x(t)=e^{A(t-t_0)}\cdot{c}+e^{At}\cdot{\int_{t_0}^t}{e^{-Au}\cdot{f(u)}~du} \]矩陣求導與向量求導
導數的結構首先由分母的佈局決定，其中的元素由分子的佈局決定。
- \(\frac{d}{dx}(x^TAx)=Ax\)
- \(\frac{d}{dX}(\trace(AX))=A^T\)
- \(\frac{d}{dx}(Ax)=\left[\matrix{a_{11}&\cdots&a_{mn}}\right]^T\)；
- \(\frac{d}{dx}(x^TA^T)=A^T\)；
- \(\frac{d}{dA}(\trace(A))=I_n\)；
矩陣分解
滿秩分解及其廣義逆
求得\(A\)的Hermite標準形（行最簡標準形），記爲\(A_H=\left[\matrix{G\\0}\right]\)，然後取\(F\)爲\(A\)中對應於\(A_H\)的極大線性無關組。
\(A^+=G^H(GG^H)^{-1}(F^HF)^{-1}F^H\)。
奇異值分解及其廣義逆
- 首先求出\(A^HA\)的特徵值，取其非0特徵值爲\(\lambda_{1:r}\)（遞減），則\(A\)的奇異值爲\(\sigma_{1:r}=\sqrt{\lambda_{1:r}}\)；
- 然後令\(\Sigma=\mbox{diag}(\{\sigma_i\})\)，則\(V_1\)爲\(\lambda_{1:r}\)對應的特徵向量，然後取與\(V_1\)單位正交的\(V_2\)；
- \(U_1=AV_1\Sigma^{-1}\)，取與\(U_1\)單位正交的\(U_2\)；
- \(A=U\left[\matrix{\Sigma & 0^T \\ 0 & 0}\right]V^H\)，\(A^+=V\left[\matrix{\Sigma^{-1} & 0^T \\ 0 & 0}\right]U^H\)；
正交三角分解
Schmidt正交化
\[\beta_s=\alpha_s-\sum_{i=1}^{s-1}\frac{<\beta_i,\alpha_s>}{<\beta_i,\beta_i>}\beta_i=\alpha_s-\beta_{1:s}\cdot{k_s} ~~~~~q_s=\frac{\beta_s}{\norm{\beta_s}_2} \\ A=QR=[q_1,\cdots,q_n]\cdot[r_1,\cdots,r_n] \\ \alpha_s=[\beta_{1:s-1},\beta_s,\beta_{s+1:n}]\cdot{\left[\matrix{k_s\\1\\0}\right]}=[q_{1:s},q_{s+1:n}]\cdot{\left[\matrix{\norm{\beta_{1:s}}_2\\0}\right]\circ{\left[\matrix{k_{1:s}\\1\\0}\right]}} \]Householder變換
\[\alpha_i=B^{(i)}_{i:m,i}~~~~\norm{\rho_i}_2=\norm{\alpha_i}_2~~~~~u_i=\frac{\alpha_i-\rho_ie_1}{\norm{\alpha_i-\rho_ie_1}_2}\\ \tilde{H}_i=I-2u_iu_i^H~~~~B^{(i+1)}=\left[\matrix{I_i&0^T\\0&\tilde{H}_i}\right]B^{(i)}~~~~B^{(1)}=A \]其中取\(\rho_i\)時需要注意：\(\rho_i\cdot{\alpha_i}\cdot{e_1}\)要是實數，也就是\(\rho_i\)必須和\(\alpha_i\)的第一個元素在複數域上形式相同。
第7章 廣義逆矩陣
\(Ax=b\)有解
\(AA^+b=b\)，通解爲\(x=A^+b+(I-A^+A)y\)，\(y\in{C^n}\)任意，極小範數解\(x_0=A^+b\)；
\(Ax=b\)無解
\(AA^+b\neq{b}\)，通解爲\(x=A^+b+(I-A^+A)y\)，\(y\in{C^n}\)任意，極小範數最小二乘解\(x_0=A^+b\)；