[筆記][總結] MIT線性代數 Gilbert Strang 矩陣運算

作者水平有限，歡迎大家提出文中錯誤

本文主要討論除加法和數乘之外的矩陣常用運算

轉置

$A_{ij}=A^T_{ji}$

轉置的性質

1. $(A^T)^{-1}$=$(A^{-1})^T$
2. 對於任意矩陣$R$，$R^TR$是對稱矩陣

求逆

使用高斯消元法求解逆矩陣

通過高斯消元法，可以將可逆矩陣化爲單位矩陣，但是此時左乘的矩陣不僅僅是消元矩陣，而是涉及到所有初等行變換。如果將合作用依然寫作$E$
那麼有
$EA=I$
則
$E=A^{-1}$
如果同時對矩陣$A$和單位陣$I$做初等行變換，則可以構造增廣矩陣$[A|I]$
$E[A|I]=[I|A^{-1}]$

矩陣逆的代數表達式

這裏會用到本部分後面的內容
$A^{-1}=\frac{1}{det\ A}C^T$
矩陣$C$被稱爲代數餘子式矩陣
$C= \left[ \begin{matrix} A_{11}&A_{12}&\cdots &A_{1n}\\ A_{21}&A_{22}&\cdots &A_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ A_{n1}&A_{n2}&\cdots &A_{nn}\\ \end{matrix} \right]$
而$C^T$稱爲伴隨矩陣

證明：
$AC^T= \left[ \begin{matrix} a_{11}&a_{12}&\cdots &a_{1n}\\ a_{21}&a_{22}&\cdots &a_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ a_{n1}&a_{n2}&\cdots &a_{nn}\\ \end{matrix} \right] \left[ \begin{matrix} A_{11}&A_{21}&\cdots &A_{n1}\\ A_{12}&A_{22}&\cdots &A_{n2}\\ \vdots&\vdots&\ddots &\vdots\\ A_{1n}&A_{2n}&\cdots &A_{nn}\\ \end{matrix} \right]$
得到
$(AC^T)_{ij}=a_{i1}A_{j1}+a_{i2}A_{j2}+\cdots+a_{in}A_{jn}$
注意到$i=j$時，$(AC^T)_{ii}=det\ A$
對於其他項，考慮其意義，是矩陣$A$某一行的元素，乘以一個不同行對應的代數餘子式，如果將矩陣的第$j$行用第$i$行進行代替，其行列式的值正是上式
$\left| \begin{matrix} a_{11}&a_{12}&&\cdots &&a_{1n}\\ \vdots&\vdots&&&&\vdots\\ a_{i1}&a_{i2}&&\cdots &&a_{in}\\ \vdots&\vdots&&&&\vdots\\ a_{j1}&a_{j2}&&\cdots &&a_{jn}\\ \vdots&\vdots&&&&\vdots\\ a_{n1}&a_{n2}&&\cdots &&a_{nn}\\ \end{matrix} \right| \rightarrow \left| \begin{matrix} a_{11}&a_{12}&&\cdots &&a_{1n}\\ \vdots&\vdots&&&&\vdots\\ a_{i1}&a_{i2}&&\cdots &&a_{in}\\ \vdots&\vdots&&&&\vdots\\ a_{i1}&a_{i2}&&\cdots &&a_{in}\\ \vdots&\vdots&&&&\vdots\\ a_{n1}&a_{n2}&&\cdots &&a_{nn}\\ \end{matrix} \right]$
所以$i\not= j$時，$(AC^T)_{ij}=0$
所以$AC^T=det\ A\cdot I$，證畢

這樣的公式對實際中矩陣逆的求解沒有什麼價值，因爲時間複雜度太高，但是它提供了逆矩陣的代數表達式

$Cramer's\ rule$

上一小節知道了矩陣逆的代數表達式，現在考慮矩陣方程$Ax=b$，可知
$x=\frac{1}{det\ A}C^Tb$
考慮$x$的其中一項
$det\ A\cdot x_i=b_1C_{1i}+b_2C_{2i}+\cdots+b_nC_{ni}$
構造矩陣$B_i$
$B_i= \left[ \begin{matrix} a_{11}&\cdots &b_1&\cdots&a_{1n}\\ a_{21}&\cdots&b_2&\cdots&a_{2n}\\ \vdots&&\vdots&&\vdots\\ a_{n1}&\cdots&b_n &\cdots&a_{nn}\\ \end{matrix} \right]$
矩陣$A$用列向量$b$替換了第$i$列，形成了矩陣$B_i$，所以
$det\ A\cdot x_i=det\ B_i$
克拉默法則
矩陣方程$Ax=b$若是有解且唯一的，那麼其解爲
$x_i=\frac{det\ B_i}{det\ A}$

方陣逆矩陣的性質

如果$A$是可逆矩陣，$AA^{-1}=A^{-1}A=I$

矩陣乘法

矩陣乘法的五種形式

1. 行列內積

$C_{m*n}=A_{m*p}B_{p*n}$
則
$c_{ij}=row\ i(A)\cdot column\ j(A)$

2. 矩陣與列向量之積

$column\ i(C)=A\ column\ i(B)$

3. 行向量和矩陣之積

$row\ i(C)=row\ iA\cdot B$

4. 若干秩1矩陣之和

$C=\sum\limits_{i=1}^p \left[ \begin{matrix} a_{1i}\\ a_{2i}\\ \vdots\\ a_{mi}\\ \end{matrix} \right] \left[ \begin{matrix} b_{i1}&b_{i2}&\cdots &b_{in} \end{matrix} \right]$
比如
$\left[ \begin{matrix} 2&7\\ 3&8\\ 4&9 \end{matrix} \right] \left[ \begin{matrix} 1&6\\ 0&0\\ \end{matrix} \right]= \left[ \begin{matrix} 2\\ 3\\ 4 \end{matrix} \right] \left[ \begin{matrix} 1&6 \end{matrix} \right] 3. \left[ \begin{matrix} 7\\ 8\\ 9 \end{matrix} \right] \left[ \begin{matrix} 0&0\\ \end{matrix} \right]$

5. 分塊乘法

$\left[ \begin{matrix} A_{11}&A_{12}\\ A_{21}&A_{22}\\ \end{matrix} \right] \left[ \begin{matrix} B_{11}&B_{12}\\ B_{21}&B_{22}\\ \end{matrix} \right]= \left[ \begin{matrix} A_{11}B_{11}+A_{12}B_{21}&A_{11}B_{12}+A_{12}B_{22}\\ A_{21}B_{11}+A_{22}B_{21}&A_{21}B_{12}+A_{22}B_{22}\\ \end{matrix} \right]$
分塊必須匹配

矩陣乘法的性質

$(AB)^{-1}=B^{-1}A^{-1}$

行列式

行列式的性質

1.$det\ I=1$
2.行交換或列交換，會使行列式值取反

結合性質1，2可知$det\ P_{ij}=-1$（單次交換）
3.
$\left| \begin{matrix} ta&tb\\ c&d\\ \end{matrix} \right|=t \left| \begin{matrix} a&b\\ c&d\\ \end{matrix} \right|$
$det\ kA=k^ndet\ A$
4.

$\left| \begin{matrix} a+a'&b+b'\\ c&d\\ \end{matrix} \right|= \left| \begin{matrix} a&b\\ c&d\\ \end{matrix} \right|+ \left| \begin{matrix} a'&b'\\ c&d\\ \end{matrix} \right|$

結合性質3，4可知$det\ \cdot$是對矩陣某一行或一列的線性算子
5.矩陣中出現兩個相等的行或列，會使行列式爲0
6.消去操作（從某一行加上零一行的k倍）不影響行列式的值
$\left| \begin{matrix} a+kc&b+kd\\ c&d\\ \end{matrix} \right|= \left| \begin{matrix} a&b\\ c&d\\ \end{matrix} \right|+ \left| \begin{matrix} kc&kc\\ c&d\\ \end{matrix} \right|= \left| \begin{matrix} a&b\\ c&d\\ \end{matrix} \right|$
7.全零行（列）會導致行列式爲零
8.三角陣的行列式等於對角元之積
9.奇異矩陣行列式爲0
10.$det\ AB=det\ A\cdot det\ B$
11.$det\ A^{-1}=(det\ A)^{-1}$
12.$det\ A=det\ A^T$

行列式的計算方法

行列式的定義式

接下來，利用上面的性質1，2，3，可以得到行列式的計算方法
以二階方陣爲例
$\left| \begin{matrix} a&b\\ c&d\\ \end{matrix} \right|= \left| \begin{matrix} a&0\\ c&d\\ \end{matrix} \right|+ \left| \begin{matrix} 0&b\\ c&d\\ \end{matrix} \right|=$

$\left| \begin{matrix} a&0\\ c&0\\ \end{matrix} \right|+ \left| \begin{matrix} a&0\\ 0&d\\ \end{matrix} \right|+ \left| \begin{matrix} 0&b\\ c&0\\ \end{matrix} \right|+ \left| \begin{matrix} 0&b\\ 0&d\\ \end{matrix} \right|=ad-bc$
可見，對於n階方陣，依次分解第一行，第二行……第$n$行，共得到$n^n$項，其中只要有某項的一列或一行全爲零，則此項爲0，所有非零項的種類數問題，變成了一個排列組合問題，相當於對$1\cdots n$進行全排列，項總數爲$n!$，留下的項不僅沒有空行空列，而且每行或每列都只有一個元素，都可以使用多次置換矩陣$P$左乘對角陣得到。

而這$n!$個項的值又是什麼，每一項都等於置換矩陣和某對角陣的乘積，這個對角陣的行列式就是這個項的所有非零元素之積

對於符號，已經知道，一次置換就會使行列式符號相反，這個總的置換矩陣$P$，假設非零項分別爲$p_{1a_1}p_{2a_2}...p_{na_n}$，$\{a_1\ a_2\cdots\ a_n\}$是$1,2\cdots n$的一種排列

所以，置換矩陣$P$的行列式值是$+1$還是$-1$，就取決於$\{1\ 2\cdots n\}$要經過多少次置換才能達到$\{a_1\ a_2\cdots\ a_n\}$，是偶數次還是奇數次。

考慮這個問題，需要先介紹逆序數的概念，在序列$\{a_1\ a_2\cdots\ a_n\}$中，所有的二元對$(a_i,a_j)$都有兩種情況，假設$i<j$，一種是$a_i>a_j$，另一種是$a_i<a_j$（注意$a_i=a_j$是不可能的，因爲$\{a_1\ a_2\cdots\ a_n\}$是$1,2\cdots n$的一種排列），而逆序數就是所有$a_i>a_j$情況的總數，記作$\tau(a_1a_2...a_n)$，顯然$\tau(1\ 2\ \cdots n)=0$

置換操作會如何影響逆序數？
$\{a_1\ a_2\cdots a_i\cdots a_j\cdots\ a_n\}\rightarrow \{a_1\ a_2\cdots a_j\cdots a_i\cdots\ a_n\}$

這裏要證明一次置換會導致逆序數的奇偶性發生改變，爲了避免對序列其他部分的影響，通過相鄰元素的置換完成置換
$\{a_1\ a_2\cdots a_i\ a_{i+1}\cdots a_j\cdots\ a_n\}\rightarrow \{a_1\ a_2\cdots a_{i+1}\ a_i\cdots a_j\cdots\ a_n\}\}$
這樣的一次置換使得序列的逆序數只加$1$或減$1$，奇偶性一定會改變
假設原序列中$a_i$和$a_j$之間有$n$個元素
$\{a_1\ a_2\cdots a_i\cdots a_j\cdots\ a_n\}\rightarrow \{a_1\ a_2\cdots a_{i+1}\cdots a_j\ a_i\cdots\ a_n\}$

需要$n+1$步

$\{a_1\ a_2\cdots a_{i+1}\cdots a_j\ a_i\cdots\ a_n\}\rightarrow \{a_1\ a_2\cdots a_j\cdots \ a_i\cdots\ a_n\}$

需要$n$步
總步數是$2n+1$，則不管置換髮生在什麼位置，逆序數奇偶性一定會改變

那麼逆序數的奇偶性就能代表置換次數的奇偶性，這正是所求的，$\tau(1\ 2...n)=0$，之後的每次置換都會同步改變$det\ P$的極性，以及序列逆序數的奇偶性。至此置換矩陣$P$的行列式就已經清晰了
$det\ P=(-1)^{\tau(p_1p_2...p_n)}$
再次說明，$p_1p_2...p_n$是置換矩陣每行非零元所在列數（或每列非零元所在行數）

最後有行列式的定義式
$det(A_{n*n})=\sum\limits_{all\ of\ permutations}(-1)^{\tau(p_1p_2...p_n)}a_{1p_1}a_{2p_2}...a_{np_n}$

${\tau(p_1p_2...p_n)}\ is\ the\ inversion\ number\ of\ permutation\ p_1p_2...p_n.$

代數餘子式法

在剛纔的定義式推導的過程中，所有$n!$項其實可以進行如下劃分
$\{n!\ terms\}=$
$\{(n-1)!\ terms\ with\ nonzero\ a_{11}\}+$
$\{(n-1)!\ terms\ with\ nonzero\ a_{12}\}+$
$\vdots$
$\{(n-1)!\ terms\ with\ nonzero\ a_{1n}\}$
而這每一個劃分之和，又好像滿足一個$n-1$階行列式的定義式，比如
$\left| \begin{matrix} a_{11}&0&0\\ 0&*&*\\ 0&*&*\\ \end{matrix} \right| \left| \begin{matrix} 0&a_{12}&0\\ *&0&*\\ *&0&*\\ \end{matrix} \right| \left| \begin{matrix} 0&0&a_{13}\\ *&*&0\\ *&*&0\\ \end{matrix} \right|$
$*$是可以非零的位置

所以這個$n$階的行列式，可以分裂成$n$個$n-1$階類似行列式的量之和。
注意這裏的劃分不是唯一的，可以對第一行展開，也可以對任意行展開，甚至可以對任意列展開，不過是何種展開，都能得到這個低一階的類似行列式的量。
這個類似行列式的量被稱爲代數餘子式，記作$A_{ij}$。
$det(A_{n*n}) = \sum\limits_{j=1}^na_{ij}A_{ij},(i=1,2,...,n)$
或
$det(A_{n*n}) = \sum\limits_{i=1}^na_{ij}A_{ij},(j=1,2,...,n)$

代數餘子式

爲什麼說代數餘子式是類似行列式的量，它和行列式差在哪裏？
以$3*3$矩陣爲例
$\left| \begin{matrix} a_{11}&a_{12}&a_{13}\\ a_{21}&a_{22}&a_{23}\\ a_{31}&a_{32}&a_{33}\\ \end{matrix} \right|=$

$a_{11}(a_{22}a_{33}-a_{23}a_{32})-a_{12}(a_{21}a_{33}-a_{23}a_{31})+a_{13}(a_{21}a_{32}-a_{22}a_{31})$
從中可以觀察出規律$a_{ij}$的代數餘子式$A_{ij}=(-1)^{i+j}M_{ij}$，其中$M_{ij}$是除去$i$行$j$列的元素，組成的子行列式，被稱爲$a_{ij}$的餘子式

所以$3*3$矩陣的代數餘子式的極性爲
$\left| \begin{matrix} +&-&+\\ -&+&-\\ +&-&+\\ \end{matrix} \right|$

上三角陣對角線元素之積

以上兩種方法的時間複雜度都是$O(n!)$，其實根據行列式的倍加不變性質，可以知道$det\ A=det\ U$，而高斯消元法的時間複雜度只有$O(n^3)$，所以MATLAB在求解矩陣行列式時，都是先消元然後計算主元之積。
$det(A_{n*n}) = \prod\limits_{i=1}^npivot\ element_i$

例子

三對角矩陣$A_n$，比如
$A_4= \left[ \begin{matrix} 1&1&&\\ 1&1&1&\\ &1&1&1\\ &&1&1\\ \end{matrix} \right]$
求一下$det\ A_n$通項
可以直接看出$A_1=1,A_2=0,A_3=-1$，從$A_4$開始
$det\ A_4= \left| \begin{matrix} 1&1&&\\ 1&1&1&\\ &1&1&1\\ &&1&1\\ \end{matrix} \right|=$
$1\cdot \left| \begin{matrix} 1&1&\\ 1&1&1\\ &1&1\\ \end{matrix} \right|+(-1)\cdot \left| \begin{matrix} 1&1&\\ &1&1\\ &1&1\\ \end{matrix} \right|=det\ A_3-det\ A_2=-1$
不難發現$det\ A_n=det\ A_{n-1}-det\ A_{n-2}$
所以$\{A_n\}$是一個循環的數列，循環部分爲
$\{1\ 0\ -1\ -1\ 0\ 1\}$

特徵值和特徵向量

矩陣$A$的特徵向量是在左乘矩陣$A$後，方向不變的向量
$Ax=\lambda\ x$
$\lambda$是特徵向量$x$的特徵值

根據不可逆矩陣的定義，存在非零向量$x$，滿足$Ax=0$，所以如果一個矩陣是奇異的，那麼它必有特徵值$0$。

例子

有投影矩陣$P=A(A^TA)^{-1}A^T$
對於$v\in C(A)$，$Pv=v$，所以所有在$A$列空間（投影到的子空間）的向量都是特徵向量，特徵值爲$1$。
對於$w\in N(A^T)$，$Pw=0$，所以所有與$A$列空間垂直的向量都是特徵向量，特徵值爲$0$。

算法

$Ax=\lambda\ x\rightarrow[A-\lambda I]x=0$
可見$x\in N(A-\lambda I)$。
在計算中，常常首先計算$det\ [A-\lambda I]$，先求出$\lambda s$
對於矩陣
$A=\left[ \begin{matrix} 3&1\\ 1&3\\ \end{matrix} \right]$
$A-\lambda I=\left[ \begin{matrix} 3-\lambda&1\\ 1&3-\lambda\\ \end{matrix} \right]$
$det\ [A-\lambda I]=(3-\lambda)^2-1=0$
得到$\lambda_1=2,\lambda_2=4$
分別將$\lambda_1=2,\lambda_2=4$代回方程
$\left[ \begin{matrix} 3-\lambda&1\\ 1&3-\lambda\\ \end{matrix} \right]$
$\lambda_i$對應的特徵向量就在這個矩陣的零空間中
$\lambda_1=2$
$\left[ \begin{matrix} 1&1\\ 1&1\\ \end{matrix} \right]$
$x_1=[1\ -1]^T$

$\lambda_2=4$
$\left[ \begin{matrix} -1&1\\ 1&-1\\ \end{matrix} \right]$
$x_2=[1\ 1]^T$

$A-\lambda I$的意義是什麼
矩陣
$\left[ \begin{matrix} 0&1\\ 1&0\\ \end{matrix} \right]$
其特徵值爲$\lambda_1=-1,\lambda_2=1$，特徵向量爲$x_1=[1\ -1]^T$，$x_2=[1\ 1]^T$
對比上邊的例子，可以發現$A-\lambda I$並不會影響特徵向量，而是將所有特徵值減去了$\lambda$

複數特徵值

$90\degree$旋轉矩陣
$Q= \left[ \begin{matrix} 0&-1\\ 1&0\\ \end{matrix} \right]$
$Q-\lambda I= \left[ \begin{matrix} -\lambda&-1\\ 1&-\lambda\\ \end{matrix} \right]$
$det\ [Q-\lambda I]=\lambda^2+1=0$
可得$\lambda_1=-i$，$\lambda_2=i$
注意特徵值是純虛數，而矩陣是反對稱的

虛數意味着某種旋轉

重複的特徵值

矩陣
$A= \left[ \begin{matrix} 3&1\\ 0&3\\ \end{matrix} \right]$
$det\ [A-\lambda I]=(3-\lambda)^2-1=0$
這個矩陣，有兩個相等的特徵值$\lambda_1=\lambda_2=3$，也稱特徵值$\lambda=3$的代數重度是2。
但是對於這個矩陣的特徵向量
$A-3I= \left[ \begin{matrix} 0&1\\ 0&0\\ \end{matrix} \right]$
發現只有一個特徵向量$[1\ 0]^T$
重複的特徵值可能會造成特徵向量的短缺，但是不是所有有重複特徵值的矩陣都會造成特徵向量的短缺，對於這樣矩陣的重複的特徵值，其對應的特徵空間維度等於其特徵值的代數重度。

特徵值的性質

$n*n$矩陣有$n$個特徵值
特徵值之和等於矩陣的跡$(trace)$
特徵值之積等於矩陣行列式
復特徵值成對出現，互爲共軛

對角化和矩陣冪

假設矩陣$A$存在$n$個相互獨立的特徵向量，構造成特徵向量矩陣
$S=[x_1\ x_2\cdots x_n]$
將$A$左乘$S$
$AS=[\lambda_1x_1\ \lambda_2x_2\cdots\lambda_nx_n]$
分離特徵值和特徵向量
$AS=[x_1\ x_2\cdots x_n] \left[ \begin{matrix} \lambda_1&&&\\ &\lambda_2&&\\ &&\ddots&\\ &&&\lambda_n\\ \end{matrix} \right]=S\Lambda$
左乘$S^{-1}$
$A=S\Lambda S^{-1}$

對角化的條件

上一小節可以看到，不是所有矩陣都有數量足夠的線性無關的特徵向量，而可對角化的條件，正是要求$n$階矩陣有$n$個線性無關的特徵向量。（注意這裏不要求$A$可逆）

矩陣冪

對角化提供了計算矩陣冪次的簡便算法，當然前提是矩陣可對角化$(diagonalizable)$
$A^n=S\Lambda S^{-1}S\Lambda S^{-1}\cdots S\Lambda S^{-1}=S\Lambda^n S^{-1}$
上式說明，$A^n$相比於$A$，特徵向量沒有變，但是特徵值變成$\lambda^n$

矩陣的穩定性

如果矩陣的所有特徵值絕對值都小於1，那麼
$n\rightarrow\infin,A^n\rightarrow O$
稱矩陣$A$是穩定的

相似性

如果$\exists M$是可逆矩陣，使得矩陣$A,B$滿足，$B=M^{-1}AM$
相似性完成了對同階方陣的一個劃分

再議特徵值分解

$S^{-1}AS=\Lambda$
可對角化的矩陣，就是相似與某個對角陣的矩陣

相似矩陣的性質

1. 矩陣相似是一種等價關係
   a) 相似矩陣與自身相似
   b) 如果矩陣$A$相似於矩陣$B$，則矩陣$B$相似於矩陣$A$
   c) 如果矩陣$A$相似於矩陣$B$，矩陣$B$相似於矩陣$C$，則矩陣$A$相似於矩陣$C$
2. 若矩陣$A$相似於矩陣$B$，則$A$和$B$有相同的特徵值
3. 若矩陣$A$相似於矩陣$B$，則矩陣$f(A)$相似於矩陣$f(B)$，當$A$可逆，矩陣$A^{-1}$相似於矩陣$B^{-1}$

相似矩陣的特徵值與特徵向量

相似矩陣具有相同的特徵值
證明
如果$A$相似於$B$，
$Bx=\lambda x$
$M^{-1}AMx=\lambda x$
$AMx=\lambda Mx$
證畢，同時，可以看出雖然相似矩陣的特徵值相等，但是特徵向量發生了變化，不過可以發現兩個相似的矩陣必有相同數目的線性無關特徵向量
但是這是相似矩陣的判據嗎？
考慮矩陣
$\left[ \begin{matrix} 3&1\\ 0&3\\ \end{matrix} \right] \left[ \begin{matrix} 3&0\\ 0&3\\ \end{matrix} \right]$
先上結論，這個兩個矩陣不相似，但是他們具有相同的特徵值3，而且代數重度是2，左邊矩陣只能找到一個線性無關的特徵向量，而右邊的矩陣可以找到兩個線性無關的特徵向量。

其實右邊的對角陣，在利用相似性進行的矩陣劃分中，他所在的劃分只有他一個元素，換言之，對於特徵值爲$\lambda$，代數重度爲$n$，具有$n$個線性無關的特徵向量的$n$階方陣，除自身外無其他矩陣與其相似。

左邊的矩陣中，其實在上一節已經知道，它是無法對角化的，當然它與右邊的對角陣不相似。但是在它所在的劃分中，它是最標準的形式，被稱爲$Jordan\ form$（諾爾當標準型）。

$Jordan$標準型

相似的矩陣都可以被表示成同一個$Jordan$標準型

再考慮矩陣
$\left[ \begin{matrix} &1&&\\ &&1&\\ &&&\\ &&&\\ \end{matrix} \right] \left[ \begin{matrix} &1&&\\ &&&\\ &&&1\\ &&&\\ \end{matrix} \right]$
這兩個矩陣都有相同的特徵值$0$，和相同的代數重度$4$，而且都有兩個線性無關的特徵向量，但是其實兩者並不相似

$Jordan$塊

$Jordan$塊形如
$\left[ \begin{matrix} \lambda_i&1&&\\ &\lambda_i&\ddots&\\ &&\ddots&1\\ &&&\lambda_i\\ \end{matrix} \right]$
$Jordan$塊只有一個特徵向量
上述例子的兩個矩陣可以分塊爲
$\left[ \begin{matrix} J_{3*3}&O_{3*1}\\ O_{1*3}&J_{1*1}\\ \end{matrix} \right] \left[ \begin{matrix} J_{2*2}&O_{2*2}\\ O_{2*2}&J_{2*2}\\ \end{matrix} \right]$
可見這兩個方陣無法得到相同的分塊，$Jordan$認爲這樣的矩陣不相似

$Jordan$定理

每個方陣$A$都相似與一個$Jordan$矩陣
$Jordan$矩陣形如
$J= \left[ \begin{matrix} J_1&&&\\ &J_2&&\\ &&\ddots&\\ &&&J_i\\ \end{matrix} \right]$
$J_*$是$Jordan$塊
而且
$\#Jordan\ blocks=\# eigenvectors$
可對角化的矩陣的$Jordan$矩陣就是對角陣$\Lambda$