作者：Vamei 出處：http://www.cnblogs.com/vamei 歡迎轉載，也請保留這段聲明。謝謝！
描述量
描述隨機變量最完備的方法是寫出該隨機變量的概率分佈。然而，正如我們在前面章節看到的，概率分佈的表達往往都比較複雜，信息量很大。這如同我們購置汽車的時候，一輛汽車的全面數據可以說是海量的，比如汽車尺寸，油箱大小等等。我們選擇一輛汽車時，往往只使用有限的幾個具有代表性的量來代表汽車的主要特徵，比如排氣量，最大馬力。我們信賴這幾個量，因爲它們可以“粗糙”的描述汽車的主要性能。這些量是汽車全面數據的一個縮影。
類似的，統計學家也設計了這樣的投影系統，將全面的概率分佈信息量投射到某幾個量上，來代表隨機變量的主要特徵，從而掌握該隨機變量的主要“性能”。這樣的一些量稱爲隨機變量的描述量(descriptor)。比如期望用於表示分佈的中心位置，方差用於表示分佈的分散程度等等。這些描述量可以迅速的傳遞其概率分佈的一些主要信息，允許我們在深入研究之前，先對其特徵有一個大概瞭解。
(買西瓜之前，先聽聽聲音，可以對西瓜的成熟度有個瞭解。)
期望
期望(expectation)是概率分佈的一個經典描述量，它有很深的現實根源。在生活中，我們往往對未知事件有一個預期，也就是我們的期望。比如，我們會根據自己的平時成績，來期望高考分數。現實生活中的期望可以是許多因素的混合，比如歷史表現和主觀因素。
你的期望是什麼？
在概率論中，我們更加定量的對未知結果進行預估。根據概率分佈，我們以概率值爲權重，加權平均所有可能的取值，來獲得了該隨機變量的期望(expectation):
$$E(x) = \sum_i x_ip(x_i)$$
如果某個取值概率較大，那麼它就在最終結果中佔據較大的分量。期望是一個非常簡單而直觀的概念。期望常用字母[$\mu$]表示 ([$\mu$]同樣是高斯分佈的一個參數，我們將馬上看到，爲什麼同一個字母用在兩個地方)。
期望在生活中非常常見，特別在估計收益的時候。比如，買一張彩票的收益爲一個隨機變量X。該彩票售價爲2元，有三位數，每位數可以從0到9中任意選擇。每期有一個隨機選擇的號獲獎，獎金1000元。那麼，X的分佈爲:
$$p(-2) = 999/1000$$
$$p(998) = 1/1000$$
因此，
$$E(X) = -2 \times p(-2) + 998 \times p(998) = -1.0$$
也就是說，如果買一張彩票，收益的期望爲損失1元。
期望是在事件還沒確定時，根據概率，對平均結果的估計。如果事件發生，結果並不是期望值。但是，如果重複進行大量實驗，其結果的平均值會趨近期望值。需要注意的是，我們將期望寫成E(X)，這表示的是一個數值，而不是一個隨機變量的函數。
基於相似的道理，可以用下面的積分公式，計算連續隨機變量的期望：
$$E(X) = \int_{-\infty}^{+\infty}xf(x)dx$$
正態分佈的期望
$$E(X) = \frac{1}{\sigma \sqrt{2 \pi}}\int_{-\infty}^{+\infty}xe^{-(x - \mu)^2/2 \sigma^2} dx = \mu$$
即，分佈的參數[$\mu$]就是正態分佈的期望！這也是[$\mu$]常用於表示期望的原因。
回憶正態分佈的密度函數曲線，[$x = \mu$]是分佈曲線的對稱軸。如果將密度函數曲線下的面積看做一個“物品”，那麼[$x = \mu$]是該“物品”的重心所在。比如[$\mu = 0, \sigma = 1$]時，
代碼如下:
# By Vamei
from scipy.stats import norm
import numpy as np
import matplotlib.pyplot as plt
rv = norm(loc=0, scale = 1)
x = np.linspace(-5, 5, 200)
plt.fill_between(x, rv.pdf(x), y2=0.0 color="coral", label="N(0,1)")
plt.axvline(x = rv.mean(), label="E(X)", linewidth=1.5, color="blue")
plt.legend()
plt.grid(True)
plt.xlim([-5, 5])
plt.ylim([-0.0, 0.5])
plt.title("normal distribution")
plt.xlabel("RV")
plt.ylabel("f(x)")
plt.show()上面的代碼中，rv是一個隨機變量對象，調用mean()方法，可以計算該隨機變量的期望值。
指數分佈的期望
根據指數分佈的表達式，
$$f(x) = \left\{ \begin{array}{rcl} \lambda e^{-\lambda x} & if & x \ge 0 \\ 0 & if & x < 0 \end{array} \right.$$
它的期望爲:
$$E(x) = 1/\lambda$$
對於[$\lambda = 0.2$]的指數分佈，它的期望值爲5。
可以通過編程，來計算指數分佈的期望。如下圖所示:
# By Vamei
from scipy.stats import expon
import numpy as np
import matplotlib.pyplot as plt
rv = expon(scale = 5)
x = np.linspace(0.0, 30, 100)
print rv.pdf(x)
plt.fill_between(x, rv.pdf(x), y2=0, color="coral", label="0.2")
plt.axvline(x = rv.mean(), label="E(X)", linewidth=1.5, color="blue")
plt.grid(True)
plt.legend()
plt.xlim([0, 25])
plt.ylim([0, 0.2])
plt.title("exponential distribution")
plt.xlabel("RV")
plt.ylabel("f(x)")
plt.show()期望的性質
期望有一些很有用的性質：
性質1.
如果[$Y=g(X)$]，那麼當X爲離散隨即變量，且[$\sum |g(x)|p(x) < \infty$] (該條件保證下面的累加爲有限值)
$$E(Y) = \sum_x g(x)p(x)$$
當X爲連續隨機變量，且[$\int |g(x)|f(x)dx < \infty$] (該條件保證下面的積分爲有限值)
$$E(Y) = \int_{-\infty}^{\infty}g(x)f(x)dx$$
回憶隨機變量的函數。X和Y之間存在對應關係。Y的概率分佈，等於對應X的概率分佈。因此，[$Y = g(X)$]根據X概率的加權平均，就是Y的期望。
性質2.
[$Y = g(X_1, X_2, ..., X_n)$]。如果[$X_i$]是離散的，且有分佈[$p(x_1, ..., x_n)$]，那麼當[$\sum_{x_1, ..., x_n}|g(x_1, ..., x_n)|p(x_1, ..., x_n) < \infty$]時，有
$$E(Y) = \sum_{x_1, ..., x_n} g(x_1, ..., x_n)p(x_1, ..., x_n)$$
如果[$X_i$]是連續的，且有分佈[$f(x_1, ..., x_n)$]，那麼當[$\int\int...\int |g(x_1, ..., x_n)|f(x_1, ..., x_n)dx < \infty $]時，有
$$E(Y) = \int\int...\int g(x_1, ..., x_n)f(x_1, ..., x_n)dx $$
這一性質與上面一個性質類似，只不過換成多變量聯合分佈的情況。
利用性質1和性質2，我們可以根據原隨機變量的分佈，計算隨機變量函數的期望值。
性質3.
如果X和Y是獨立隨機變量，而g和h是兩個函數，如果[$E[g(X)], E[h(Y)]$]存在，那麼有
$$E[g(X)h(Y)] = {E[g(X)]}{E[h(Y)]}$$
根據獨立隨機變量的性質，我們可以將聯合分佈寫成f(x)和f(y)的乘積。結合性質2，即可得出上面的結論。
一個特別的情況是，如果X和Y獨立，那麼[$E(XY) = E(X)E(Y)$]。
(即[$g(X) = X, h(Y) = Y$]的情況)
性質4.
如果[$Y = a + \sum_{i=1}^{n}b_iX_i$]，而[$X_i$]的期望爲[$E(X_i)$]，那麼
$$E(Y) = a + \sum_{i=1}^n b_i E(X_i)$$
這說明，期望是一個線性運算。隨機變量線性組合的期望，等於期望的線性組合。
我們可以假設f(x_i, ..., x_n)的聯合分佈，並根據性質2來證明性質4。對聯合分佈的積分，可以得到單隨機變量的邊緣分佈，從而獲得單隨機變量的期望。
上面四個性質的一個主要功能是，利用已知的期望值，來計算未知的期望值。有些隨機變量的期望值比較難以通過定義計算。利用上面的性質，進行合理的變化，更容易計算其期望。
比如，計算二項分佈的期望。二項分佈是進行n次實驗，其中成功的次數Y。每次成功的概率爲p。根據定義計算
$$E(Y) = \sum_{k=0}^{n} \left( \begin{array}{c} n \\ k \end{array} \right) k p^k (1-p)^{n-k}$$
上面的計算並不容易。另一方面，觀察可知，每次試驗成功的次數X是伯努利分佈，即
$$p(1) = p, p(0) = 1 - p$$
$$E(X) = p$$
二項分佈Y可以表示爲n個伯努利分佈的和，即
$$Y = \sum_{k=i}^{n} X_i$$
所以
$$E(Y) = \sum_{k=i}^{n} E(X_i) = np$$
條件期望
條件期望將期望用於條件概率。我們已經知道，條件概率是事件B條件下， A的概率，即[$P(A|B)$]。條件概率只不過是在一個縮小了的樣本空間B上，重新計算A的概率。條件概率的A與B可以是隨機變量，比如[$P(X|Y = y)$]，即“隨機變量Y等於y”是條件，在該條件下，隨機變量X的隨機分佈。
(在連續隨機變量的情況下，我們使用條件密度函數[$f(x | Y = y)$]來描述條件分佈) 對於一個已知的分佈，我們可以求得條件分佈的期望。對於離散隨機變量: $$E(X | Y = y) = \sum_i x_ip(x_i|Y = y)$$ 其中，[$x_i$]爲該離散隨機變量的可能取值。也就是，在一個新的樣本空間(Y = y)上，隨機變量X的期望值。 對於連續隨機變量，其條件期望爲: $$E(X | Y = y) = \int_{-\infty}^{+\infty}xf(x|Y = y)dx$$ 一個隨機變量的期望爲一個數值。但一個條件分佈的期望，比如[$E(X | Y = y)$]，會隨着隨機變量Y的變化而變化。所以，條件期望是隨機變量Y的函數。根據隨機變量的函數的概念，[$E(X | Y = y)$]可以看作一個新的隨機變量。我們可以進一步得到這一新的隨機變量的期望[$E(E(X|Y))$]。
總結
期望是隨機變量分佈的一個描述量，用“概率加權平均”來計算，表達隨機變量的預期。