矩陣乘法的幾何理解

矩陣乘法

對於一個向量$v$$v=[-1,2]^{T}$當對向量$v$乘以一個矩陣$M$$M=\begin{bmatrix} 1 & 3 \\ -2 & 0 \end{bmatrix}$
即$\begin{bmatrix}1&3\\-2&0\end{bmatrix}\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}5\\2\end{bmatrix}$
將向量$v=[-1,2]^{T}$轉化爲向量$[5,2]^{T}$，也就是進行了線性映射。
如下圖所示：

==》

在上述矩陣乘法的過程中，可以拆分爲$\begin{bmatrix}1&3\\-2&0\end{bmatrix}\begin{bmatrix}-1\\2\end{bmatrix}=-1*\begin{bmatrix}1\\-2\end{bmatrix}+2*\begin{bmatrix}3\\0\end{bmatrix}=\begin{bmatrix}5\\2\end{bmatrix}$
即，可以理解爲，上述矩陣對向量的乘法，相當於是將原來向量的x軸的單位向量線性映射到$[1,-2]^{T}$，將原來向量的y軸的單位向量線性映射到$[3,0]^{T}$，經過這樣轉化後的在新的空間中的$[-1,2]^{T}$向量在原空間就是$[5,2]^{T}$。
因此，可以得出如下結論

矩陣乘法，可以理解爲是對線性空間的線性映射

而矩陣對矩陣的乘法，則可以理解爲是矩陣對多個向量的乘法，即對多個向量的空間線性映射

特徵值和特徵向量

如上所述，一個矩陣對一個向量的乘法，是對該向量進行線性映射，這種映射，會對向量進行旋轉變量和拉伸變換。如上述例子，向量$[-1,2]^{T}$在進行矩陣乘法之後變爲$[5,2]^{T}$，向量的方向和長度均發生了變化。但是，在該空間中是否存在這樣的向量，經過該矩陣的線性映射變化之後，只發生了長度變化，而方向並沒有變化呢？
即$\begin{bmatrix}1&3\\-2&0\end{bmatrix}\begin{bmatrix}-1\\2\end{bmatrix}=\lambda\begin{bmatrix}-1\\2\end{bmatrix}$
其中$\lambda$表示長度變化的倍數
即$Mv=\lambda v$
這個看着很眼熟？沒錯，這個就是求矩陣的特徵向量和特徵值的式子，向量$v$就是矩陣$M$的特徵向量，值$\lambda$就是矩陣$M$的特徵值。其中，向量$v$指的不是一個向量，而應該是一簇相同方向的向量，因爲上述式子的兩邊可以乘上任意數值，式子依然成立。
也就是說

在矩陣$M$的空間線性映射下，如果存在某一方向的向量簇$v$，該向量簇在矩陣$M$的線性映射下方向依舊不變，僅僅發生了長度變化，那麼這樣的向量簇$v$就是矩陣$M$的特徵向量，其中放大的倍數，就是特徵向量$v$對應的特徵值