數學期望
數學期望E（x）完全由隨機變量X的概率分佈所確定，若X服從某一分佈，也稱E（x）是這一分佈的數學期望。
數學期望的定義是實驗中每次可能的結果的概率乘以其結果的總和。
離散型隨機量的數學期望
定義：離散型隨機變量的所有可能取值 xixi 與其對應的概率 P(xi) 乘積的和爲該離散型隨機量的數學期望，記爲 E(X)。
公式：
E(X)=∑i=1nxiPi
連續型隨機量的數學期望
定義：假設連續型隨機變量 XX的概率密度函數爲 f(x)，如果積分∫+∞−∞xf(x)dx絕對收斂，則稱這個積分的值爲連續型隨機量的數學期望，記爲 E(X)。
公式：
E(X)=∫+∞−∞xf(x)dx
數學期望的性質
設C爲常數： E(C)==C
設C爲常數： E(CX)==CE(X)
加法：E(X+Y)==E(X)+E(Y)
當X和Y相互獨立時，E(XY)=)=E(X)E(Y) （主意，X和Y的相互獨立性可以通過下面的“協方差”描述）
數學期望的意義
根據“大數定律”的描述，這個數字的意義是指隨着重複次數接近無窮大時，數值的算術平均值幾乎肯定收斂於數學期望值，也就是說數學期望值可以用於預測一個隨機事件的平均預期情況。
方差
數學期望給出了隨機變量的平均大小,現實生活中我們還經常關心隨機變量的取值在均值周圍的散佈程度,而方差就是這樣的一個數字特徵。
方差有兩個定義，一個是統計學的定義，一個是概率論的定義。
統計學方差
定義：在統計描述中，方差用來計算每一個變量（觀察值）與總體均數之間的差異。爲避免出現離均差總和爲零，離均差平方和受樣本含量的影響，統計學採用平均離均差平方和來描述變量的變異程度。
公式：
其中 σ2 爲總體方差，X爲變量，μ 爲整體均值， N爲總體例數。
樣本方差
由於在實際環境裏是沒有辦法窮舉所有例子，所以只能找出部分的樣本數據，基於這部分樣本進行測算。那麼可以把公式轉換成：
其中 S2 爲樣本方差， X¯是採集樣本的均值，n 爲樣本的個數。
概率論方差
在概率分佈中，設X是一個離散型隨機變量
定義：在概率分佈中，設X是一個離散型隨機變量，若
存在，則稱
爲X的方差，記爲 D(X) , Var(X) 或 DX，其中 E(X) 是X的期望值，X是變量值，公式中的 E是期望值expected value的縮寫，意爲“變量值與其期望值之差的平方和”的期望值。
離散型隨機變量方差計算公式：
連續性變量X，若其定義域爲 (a,b)，概率密度函數爲 f(x)，連續型隨機變量X方差計算公式：
方差的意義
那麼什麼是分散程度呢？舉個例子，比如說兩個人在遊樂場裏玩射擊遊戲時打出了n發×××，這些×××有寫離靶心近一些，有的遠一些，但統計下來這兩個人的得分可能相同，這時候如何區分這兩個人的水平高低呢？比較直觀的一個想法就是看誰的射擊彈着點比較集中啦。
標準差（Standard Deviation）
• 定義：又叫均方差，是離均差平方的算術平均數的平方根，用σ 表示。標準差是”方差”的算術平方根。標準差能反映一個數據集的離散程度。平均數相同的兩組數據，標準差未必相同。
• 公式：
樣本標準差
類似樣本方差，在實際情況中很難知道所有的情況只能靠抽樣來估算實際的標準差。
意義
標準差和方差一樣都是用於衡量樣本的離散程度的量，那麼爲什麼要有標準差呢？因爲方差和樣本的“量綱”不一樣，換句話說不在一個層次。怎麼理解這個層次呢，從公式看方差是樣本與均值的差的平方和的平均，這裏有一個平方運算，這是導致量綱不在同一個層次的原因。
比如兩個集合 [0，8，12，20 和 [8，9，11，12]，兩個集合的均值都是10，兩個集合的方差分別是：69.33和3.33；計算兩者的標準差分別是：8.3和1.8。數字越大代表越離散，從數值上看方差和標準差的量綱差別就很明顯了，而標準差更好的在量綱上與樣本集合保持同步。這就是“標準”的意義
協方差（Covariance）
前面的方差／標準差描述的是一維數據集合的離散程度，但世界上的現象普遍是多維度數據描述的。那麼很自然就會想知道現象和數據的相關程度，以及各維度數據間的相關程度。
比如，一個產品賣的好不好可能有很多因素構成，比如產品質量、價格等。那麼是否質量和價格之間有相關性呢？這個問題就可以用協方差來解決。
概率論協方差
協方差表示的是兩個變量的總體的誤差，這與只表示一個變量誤差的方差不同。如果兩個變量的變化趨勢一致，也就是說如果其中一個大於自身的期望值，另外一個也大於自身的期望值，那麼兩個變量之間的協方差就是正值。 如果兩個變量的變化趨勢相反，即其中一個大於自身的期望值，另外一個卻小於自身的期望值，那麼兩個變量之間的協方差就是負值。
如果X 與Y 是統計獨立的，那麼二者之間的協方差就是0，則：
統計學樣本協方差
對於包含兩個隨機變量關係的統計量，我們可以仿照方差的定義：
• 公式：
注：從協方差公式可以看出“方差”是協方差在 Y=XY=X 時的特殊情況。
相關係數 (Correlation）
協方差作爲描述X和Y相關程度的量，在同一物理量綱之下有一定的作用，但同樣的兩個量採用不同的量綱使它們的協方差在數值上表現出很大的差異。爲此引入如下概念：
相關關係
協方差矩陣
可以看出來協方差矩陣有幾個特點：
- 對角線上每個元素的值爲方差
- 協方差矩陣是對稱矩陣
怎麼理解協方差矩陣的意義呢？假設我們在做一項數據分析，每一項數據包含若干指標，那麼協方差矩陣的對角線上的每一項可以告訴我們收集數據的分散程度，其它項綜合起來可以用前面的相關性方程
推薦博文：
http://www.singleye.net/2017/09/%E6%95%B0%E5%AD%A6%E6%9C%9F%E6%9C%9B%E6%96%B9%E5%B7%AE%E6%A0%87%E5%87%86%E5%B7%AE%E5%8D%8F%E6%96%B9%E5%B7%AE/
http://www.cnblogs.com/justcxtoworld/p/3459959.html
http://blog.csdn.net/u013555719/article/details/78523401