數學期望
在概率論和統計學中,數學期望(mean)(或均值,亦簡稱期望)是試驗中每次可能結果的概率乘以其結果的總和,是最基本的數學特徵之一。它反映隨機變量平均取值的大小。
再舉個例子理解一下數學期望:
方差
概率論中方差用來度量隨機變量和其數學期望(即均值)之間的偏離程度。統計中的方差(樣本方差)是每個樣本值與全體樣本值的平均數之差的平方值的平均數。在許多實際問題中,研究方差即偏離程度有着重要意義。方差是衡量源數據和期望值相差的度量值。
標準差
標準差是方差算術平方根
樣本方差
如是總體,標準差公式根bai號內除以n
如是樣本,標準差公式根號內除以(n-1)
協方差
協方差(Covariance)在概率論和統計學中用於衡量兩個變量的總體誤差。而方差是協方差的一種特殊情況,即當兩個變量是相同的情況。
從直觀上來看,協方差表示的是兩個變量總體誤差的期望。
如果兩個變量的變化趨勢一致,也就是說如果其中一個大於自身的期望值時另外一個也大於自身的期望值,那麼兩個變量之間的協方差就是正值;如果兩個變量的變化趨勢相反,即其中一個變量大於自身的期望值時另外一個卻小於自身的期望值,那麼兩個變量之間的協方差就是負值。
如果X與Y是統計獨立的,那麼二者之間的協方差就是0,因爲兩個獨立的隨機變量滿足E[XY]=E[X]E[Y]。但是,反過來並不成立。即如果X與Y的協方差爲0,二者並不一定是統計獨立的。
協方差Cov(X,Y)的度量單位是X的協方差乘以Y的協方差。
協方差爲0的兩個隨機變量稱爲是不相關的。
性質
若兩個隨機變量X和Y相互獨立,則E[(X-E(X))(Y-E(Y))]=0,因而若上述數學期望不爲零,則X和Y必不是相互獨立的,亦即它們之間存在着一定的關係。
協方差與方差之間有如下關係:
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
D(X-Y)=D(X)+D(Y)-2Cov(X,Y)
協方差與期望值有如下關係:
Cov(X,Y)=E(XY)-E(X)E(Y)。
協方差的性質:
(1)Cov(X,Y)=Cov(Y,X);
(2)Cov(aX,bY)=abCov(X,Y),(a,b是常數);
(3)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)。
由協方差定義,可以看出Cov(X,X)=D(X),Cov(Y,Y)=D(Y)。
相關係數
協方差作爲描述X和Y相關程度的量,在同一物理量綱之下有一定的作用,但同樣的兩個量採用不同的量綱使它們的協方差在數值上表現出很大的差異。爲此引入如下概念:
定義
稱爲隨機變量X和Y的(Pearson)相關係數。
若ρXY=0,則稱X與Y不線性相關。
即ρXY=0的充分必要條件是Cov(X,Y)=0,亦即不相關和協方差爲零是等價的。
定理
設ρXY是隨機變量X和Y的相關係數,則有
(1)∣ρXY∣≤1;
(2)∣ρXY∣=1充分必要條件爲P{Y=aX+b}=1,(a,b爲常數,a≠0)
相關係數的參考文章指路:相關係數
Tips: 期望與平均值的區別
期望和均值原來容易會弄混,但其實他們是完全不同的概念,那麼分別來介紹均值和期望看看他們的不同點。
一、均值
均值,其實是針對實驗觀察到的特徵樣本而言的。比如我們實驗結果得出了x1,x2,x3……xn這n個值,那麼我們的均值計算是
比如我們進行擲骰子,擲了六次,點數分別爲2,2,2,4,4,4,這六次的觀察就是我們的樣本,於是我們可以說均值爲(2+2+2+4+4+4)/6=3。但是千萬不能說期望是3,說概率是3就明顯的弄混了均值和期望的概念,下面解釋一下期望的概念。
二、期望
期望是針對於隨機變量而言的一個量,可以理解是一種站在“上帝視角”的值。針對於他的樣本空間而言的。
均值是一個統計量(對觀察樣本的統計),期望是一種概率論概念,是一個數學特徵。
首先給出定義公式
那麼上面那個擲骰子例子對應的期望求法如下:
可以看出期望是與概率值聯繫在一起的,如果說概率是頻率隨樣本趨於無窮的極限 ,期望就是平均數隨樣本趨於無窮的極限,可以看出均值和期望的聯繫也是大數定理聯繫起來的。
三、例子
上面說到期望就是平均數隨樣本趨於無窮的極限,那麼這句話是什麼意思呢?
我們還是以上面的擲骰子爲例子:
如果我們擲了無數次的骰子,然後將其中的點數進行相加,然後除以他們擲骰子的次數得到均值,這個有無數次樣本得出的均值就趨向於期望。類似於下面這樣:
四、總結
概率是頻率隨樣本趨於無窮的極限
期望是平均數隨樣本趨於無窮的極限