1、線性變換
首先來個線性方程組
換個表達方式，
所以可以寫成如下格式，
現在有矩陣A，列向量X和Y，向量X通過矩陣A線性變換到Y，如下圖
2、接下來，我們說明上述公式的幾何意義。
也就是
這就一目瞭然了，X 經過線性變換後變爲Y，涉及到了兩個變化，伸縮和旋轉，
也就是X先作伸縮變換，然後旋轉到Y的位置。
矩陣A記錄瞭如何由x1 and x2 線性變換到y1 and y2，換句話說，記錄了y1 and y2 在x1 and x2上的投影。
此時，我們應該認識到，矩陣A代表了線性變化規則，矩陣乘法代表了一個線性變化。
在我後來的理解中，A可以理解爲座標，一種在原始座標軸（比如我們最熟悉的XY座標）上各分量的座標，經過線性變換，換到了另一個座標系下，當然會得到一套新座標。
3、這時，我們可以思考一個問題，有沒有一種矩陣A，可以向量在這個變換下不改變方向呢？可以實現下面的效果
也就是隻有伸縮變化，沒有旋轉。
即
這裏就眼熟了，λ爲特徵值(eigenvalue)， X爲特徵向量(eigenvector)。
引用《線性代數的幾何意義》的描述：“矩陣乘法對應了一個變換，是把任意一個向量變成另一個方向或長度都大多不同的新向量。在這個變換的過程中，原向量主要發生旋轉、伸縮的變化。如果矩陣對某一個向量或某些向量只發生伸縮變換，不對這些向量產生旋轉的效果，那麼這些向量就稱爲這個矩陣的特徵向量，伸縮的比例就是特徵值。”
4、特徵值和特徵向量的實際用途
特徵值和特徵向量的計算容易，但是用途呢？
經過數學上的推導的，我們就可以知道，特徵值對應的特徵向量就是理想中想取得正確的座標軸，而特徵值就等於數據在旋轉之後的座標上對應維度上的方差。
以特徵向量作爲座標軸，在這個座標系下，向量的每個分量的變換就僅僅是個數乘了。
或者說，就是尋找一個正交系去表示你原來的函數，特徵向量就是新的正交系的座標軸，特徵值就是座標軸對應的座標。