1.特徵值和特徵向量的幾何意義是什麼？
特徵向量的幾何意義：
特徵向量確實有很明確的幾何意義，矩陣(既然討論特徵向量的問題，當然是方陣，這裏不討論廣義特徵向量的概念，就是一般的特徵向量)乘以一個向量的結果仍是同維數的一個向量，因此，矩陣乘法對應了一個變換，把一個向量變成同維數的另一個向量，那麼變換的效果是什麼呢？這當然與方陣的構造有密切關係，比如可以取適當的二維方陣，使得這個變換的效果就是將平面上的二維向量逆時針旋轉30度，這時我們可以問一個問題，有沒有向量在這個變換下不改變方向呢？可以想 一下，除了零向量，沒有其他向量可以在平面上旋轉30度而不改變方向的，所以這個變換對應的矩陣(或者說這個變換自身)沒有特徵向量(注意：特徵向量不能是零向量)，所以一個變換的特徵向量是這樣一種向量，它經過這種特定的變換後保持方向不變，只是進行長度上的伸縮而已(再想想特徵向量的原始定義Ax= cx,你就恍然大悟了,看到了嗎？cx是方陣A對向量x進行變換後的結果，但顯然cx和x的方向相同)，而且x是特徵向量的話，Ax也是特徵向量(A是標量且不爲零)，所以所謂的特徵向量不是一個向量而是一個向量族，另外，特徵值只不過反映了特徵向量在變換時的伸縮倍數而已，對一個變換而言，特徵向量指明的方向纔是很重要的，特徵值不是那麼重要，雖然我們求這兩個量時先求出特徵值，但特徵向量纔是更本質的東西！
比如平面上的一個變換，把一個向量關於橫軸做鏡像對稱變換，即保持一個向量的橫座標不變，但縱座標取相反數，把這個變換表示爲矩陣就是[1 0;0 -1]，其中分號表示換行，顯然[1 0;0 -1]*[a b]'=[a -b]',其中上標'表示取轉置，這正是我們想要的效果，那麼現在可以猜一下了，這個矩陣的特徵向量是什麼?想想什麼向量在這個變換下保持方向不變，顯然，橫軸上的向量在這個變換下保持方向不變(記住這個變換是鏡像對稱變換，那鏡子表面上(橫軸上)的向量當然不會變化)，所以可以直接猜測其特徵向量是 [a 0]'(a不爲0)，還有其他的嗎？有，那就是縱軸上的向量，這時經過變換後，其方向反向，但仍在同一條軸上，所以也被認爲是方向沒有變化，所以[0 b]'(b不爲0)也是其特徵向量，去求求矩陣[1 0;0 -1]的特徵向量就知道對不對了!
矩陣就是刻畫變換的,特徵值和特徵向量的幾何意義是變換中的不變量
2.特徵值和特徵向量在幾何變換中的應用
一個是伸縮係數，一個是變換方向。
矩陣乘法對應了一個變換，是把任意一個向量變成另一個方向或長度都大多不同的新向量。在這個變換的過程中，原向量主要發生旋轉、伸縮的變化。如果矩陣對某一個向量或某些向量只發生伸縮變換，不對這些向量產生旋轉的效果，那麼這些向量就稱爲這個矩陣的特徵向量，伸縮的比例就是特徵值。
實際上，上述的一段話既講了矩陣變換特徵值及特徵向量的幾何意義（圖形變換）也講了其物理含義。物理的含義就是運動的圖景：特徵向量在一個矩陣的作用下作伸縮運動，伸縮的幅度由特徵值確定。特徵值大於1，所有屬於此特徵值的特徵向量身形暴長；特徵值大於0小於1，特徵向量身形猛縮；特徵值小於0，特徵向量縮過了界，反方向到0點那邊去了。
注意：常有教科書說特徵向量是在矩陣變換下不改變方向的向量，實際上當特徵值小於零時，矩陣就會把特徵向量完全反方向改變，當然特徵向量還是特徵向量。我贊同特徵向量不改變方向的說法：特徵向量永遠不改變方向，改變的只是特徵值（方向反轉特徵值爲負值了）。
特徵向量是線性不變量
所謂特徵向量概念的亮點之一是不變量，這裏叫線性不變量。因爲我們常講，線性變換啊線性變換，不就是把一根線（向量）變成另一根線（向量），線的變化的地方大多是方向和長度一塊變。而一種名叫“特徵向量”的向量特殊，在矩陣作用下不變方向只變長度。不變方向的特性就被稱爲線性不變量。如果有讀者堅持認爲負方向的特徵向量就是改變了向量的方向的想法的話，你不妨這樣看線性不變量：特徵向量的不變性是他們變成了與其自身共線的向量，他們所在的直線在線性變換下保持不變；特徵向量和他的變換後的向量們在同一根直線上，變換後的向量們或伸長或縮短，或反向伸長或反向縮短，甚至變成零向量（特徵值爲零時）
對於理解了特徵值和特徵向量後，纔會對機器學習學習算法裏的應用有更加深刻的認識。比如pca ,svd,圖像伸縮變換等