均值，方差，協方差以及協方差矩陣在很多算法以及實際應用中都會遇到。在圖像中還廣泛應用到協方差矩陣的一些性質，方差和均值只是一維隨機變量的統計值，而協方差就不一樣了，它可以表示多維隨機變量之間的相關性信息。協方差矩陣的一個很出色的應用就是在PCA中，選擇主方向。協方差矩陣的對角線的元素表示的是各個維度的方差，而非對角線上的元素表示的是各個維度之間的相關性，因此，在PCA中，我們儘量將非對角線上的元素化爲0，即將矩陣對角化，選特徵值較大的維度，去掉特徵值較小的維度，來獲得主方向，並且使主方向與其他方向的相關性儘量小。
統計學的基本概念
學過概率統計的孩子都知道，統計裏最基本的概念就是樣本的均值，方差，或者再加個標準差。首先我們給你一個含有n個樣本的集合X={X1,……Xn}，依次給出這些概念的公式描述，這些高中學過數學的孩子都應該知道吧，一帶而過。
爲什麼需要協方差？
上面幾個統計量看似已經描述的差不多了，但我們應該注意到，標準差和方差一般是用來描述一維數據的，但現實生活我們常常遇到含有多維數據的數據集，最簡單的大家上學時免不了要統計多個學科的考試成績。面對這樣的數據集，我們當然可以按照每一維獨立的計算其方差，但是通常我們還想了解更多，比如，一個男孩子的顏值高低跟他受女孩子歡迎程度是否存在一些聯繫啊，嘿嘿~協方差就是這樣一種用來度量兩個隨機變量關係的統計量，我們可以仿照方差的定義：
從協方差的定義上我們也可以看出一些顯而易見的性質，如：
上一節提到的顏值高低和受歡迎的問題是典型二維問題，而協方差也只能處理二維問題，那維數多了自然就需要計算多個協方差，比如n維的數據集就需要計算
個協方差，那自然而然的我們會想到使用矩陣來組織這些數據。給出協方差矩陣的定義：
總結
理解協方差矩陣的關鍵就在於牢記它計算的是不同維度之間的協方差，而不是不同樣本之間，拿到一個樣本矩陣，我們最先要明確的就是一行是一個樣本還是一個維度，心中明確這個整個計算過程就會順流而下，這麼一來就不會迷茫了~