機器學習/深度學習 常用概率知識

1.樣本空間

定義：樣本空間是一個隨機試驗所有可能結果的集合。比如：投擲一枚硬幣，樣本空間爲：{正面，反面}。隨機試驗中的每個可能結果叫做樣本點。

有些試驗有兩個或者多個的樣本空間，比如：隨機抽取一張撲克，樣本空間可以是數字，可以是花色。這時候，如果要完整描述一張牌，就要使用到笛卡兒積。

$\chi\times\mathbb{y}=\{<x,y>\vert{x}\in\chi\land{y}\in{\mathbb{y}}\}\tag{式1}$

2.事件和概率

隨機事件或者（簡稱爲事件）：是指一個被賦予概率的事物集合，也就是樣本空間中的一個子集。概率是指一個隨機事件發生的可能性大小，介於0和1之間。

2.1 隨機變量

在隨機試驗中，將試驗的結果用$X$表示，這個$X$會隨着試驗結果的不同而變化，是樣本點的一個函數。把這個數叫做隨機變量。比如擲骰子：隨機變量$X$的取值爲$\{1,2,3,4,5,6\}$。

一個隨機事件也可以定義多個隨機變量。比如：在擲2個骰子的隨機事件中，可以定義隨機變量$X$爲獲得點數之和，或者點數之差。分別記爲：$X和Y$
$X(i,j):=i+j,\qquad{x=2,3,\cdots,12}\tag{式2}$

$Y(i,j):=i-j,\qquad{y=0,1,2,3,4,5}\tag{式3}$

其中，$i，j$分別表示兩個骰子的點數。

2.1.1 離散隨機變量

離散隨機變量：如果隨機變量$X$所有可能取到的值是有限的可以列舉的，有$N$個有限值：
$\{x_1,\cdots,x_N\}\tag{式4}$
這樣一來，我們就把$X$叫做離散隨機變量。

記每一種可能的取值都有$x_n$的概率，$P(X=x_n)=p(x_n)\qquad{\forall_n\in\{1,\cdots,N\}}$

這裏面的$p(x_1),\cdots,p(x_N)$稱爲離散隨機變量的概率分佈，或者分佈，滿足：
$\sum_{n=1}^{N}p(x_n)=1 \qquad{p(x_n)\ge0,\forall_n\in\{1,\cdots,N\}}\tag{式5}$
常見的離散隨機變量的概率分佈有：

（1）伯努利分佈：

在一次試驗中，事件$A$發生的概率爲$\mu$,則不發生的概率爲：$1-\mu$。使用$X$表示事件$A$出現的次數，則$X$取值爲0和1，分佈表示如下：
$p(x)=\mu^x(1-\mu)^{(1-x)}\tag{式6}$
如上分佈叫做伯努利分佈，也叫做兩點分佈或者0-1分佈。

（2）二項分佈：

在$n$次伯努利試驗中，使用$X$表示事件$A$出現的次數，則$X$取值爲：$\{0,\cdots,N\}$，分佈表示如下：
$P(X=k)=C_N^k{\mu^k(1-\mu)^{N-k}}\qquad{k=0,\cdots,N}\tag{式7}$
其中，$C_N^k$表示二項式係數，表示從$N$各元素中取出$k$個元素，且不考慮其順序的組合的總數。

2.1.2 連續隨機變量

和離散型隨機變量相比，不同之處在於：連續隨機變量$X$的取值是不可列舉的，由全部實數或者由一部分區間組成，比如：
$X=\{x\vert{a\le{x}\le{b}\}},\qquad{-\infty<a<b<\infty}\tag{式8}$
這樣子就把$X$稱之爲連續隨機變量 ，連續隨機變量的取值是不可數及無窮盡的。

連續隨機變量$X$的概率分佈一般使用概率密度函數$p(x)$來描述，$p(x)$可積，滿足：
$\int_{-\infty}^{\infty}p(x)dx=1\tag{式9}$
常見的連續隨機變量的概率分佈有：

（1）均勻分佈：

若$a,b$爲有限的數，$[a,b]$上的均勻分佈的概率密度函數定義如下：
$p(x)=\begin{cases}\cfrac{1}{b-a}\qquad{a\le{x}\le{b}}\\\quad0\qquad\quad{x<a或者x>b}\end{cases}\tag{式10}$

（2）正態分佈：

正態分佈也叫做高斯分佈，應用領域很多，概率密度函數如下:
$p(x)=\cfrac{1}{\sqrt{2\pi}\sigma}exp(-\cfrac{(x-\mu)^2}{2\sigma^2})\tag{式11}$
其中，$\sigma>0$,$\mu和\sigma$均爲常數。如若，隨機變量$X$服從一個參數爲$

\mu和\sigma$的概率分佈，則簡記爲：
$X\thicksim\mathcal{N}(\mu,\sigma^2)\tag{式12}$
當$\mu=0,\sigma=1$時，稱爲標準正態分佈。

均勻分佈和正態分佈的圖示如下：

2.1.3 累積分佈函數

對於一個隨機變量$X$，其累積分佈函數是隨機變量$X$的取值小於等於$x$的概率。
$cdf(x)=P(X\le{x})\tag{式13}$
以連續隨機變量$X$爲例，其累積分佈函數定義如下：
$cdf(x)=\int_{-\infty}^{x}p(t)dt\tag{式14}$
其中，$p(x)$爲概率密度函數，標準正態分佈和累積分佈的概率密度函數如下：

2.2 隨機向量

隨機向量是指一組隨機變量構成的向量。如：$X_1,X_2,\cdots,X_k$爲$K$個隨機變量，那麼稱$\boldsymbol{X}=[X_1,X_2,\cdots,X_k]$爲一個$K$維的隨機向量。一維隨機向量稱爲隨機變量。

隨機向量也分爲：離散隨機向量和連續隨機向量。

2.2.1 離散隨機向量

離散隨機向量的聯合概率分佈爲：
$P(X_1=x_1,X_2=x_2,\cdots,X_K=x_K)=p(x_1,x_2,\cdots,x_K)\tag{式15}$
其中，$x_k\in{\Omega_k}$爲變量$X_k$的取值，$\Omega_k$爲變量$X_k$的樣本空間。和離散隨機變量類似有：
$p(x_1,x_2,\cdots,x_K)\ge0,\qquad{\forall{x_1\in{\Omega_1},x_2\in{\Omega_2},\cdots,x_K\in{\Omega_K}}}\tag{式16}$

$\sum_{x_1\in{\Omega_1}}\sum_{x_2\in\Omega_2}\cdots\sum_{x_K\in{\Omega_K}}p(x_1,x_2,\cdots,x_K)=1\tag{式17}$

（1）多項分佈：

多項分佈是常見的離散向量概率分佈，多項分佈是二項分佈在隨機向量的推廣。假設一個袋子中裝了很多球，總共有$K$個不同的顏色. 我們從袋子中取出$N$個球. 每次取出一個球時，就在袋子中放入一個同樣顏色的球. 這樣保證同一顏色的球在不同試驗中被取出的概率是相等的. 令$\boldsymbol{X}$爲一個$K$維隨機向量，每個元素$X_k(k=1,\cdots,K)$爲取出的$N$個球中顏色爲$k$的球的數量，則$X$服從多項分佈，其概率分佈爲:
$p(x_1,\cdots,x_K\vert\boldsymbol{\mu})=\cfrac{N!}{x_1!\cdots{x_K}!}\mu_1^{x_1}\cdots\mu_K^{x_K}\tag{式18}$
多項分佈的概率分佈用gamma函數表示如下：
$p(x_1,\cdots,x_K\vert\boldsymbol{\mu})=\cfrac{\Gamma(\sum_kx_k+1)}{\prod_k\Gamma(x_k+1)}\prod_{k=1}^{K}\mu_k^{x_k}\tag{式19}$

這種形式表示和狄利克雷分佈類似，狄利克雷分佈可以作爲多項分佈的共軛先驗。

$\int_{0}^{+\infty}x^{\alpha-1}e^{-x}dx=\Gamma(\alpha)\tag{式20}$

例如：$\int_{0}^{+\infty}x^{5}e^{-x}dx=\Gamma(6)$。

2.2.2 連續隨機向量

一個$K$維連續隨機向量$\boldsymbol{X}$的聯合概率密度函數滿足：
$p(\boldsymbol{x})=p(x_1,\cdots,x_K)\ge0\tag{式21}$

$\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}p(x_1,\cdots,x_K)dx_1\cdots{dx_K}=1\tag{式22}$

（1）多元正態分佈：

也叫做多元高斯分佈，如若$K$維隨機向量$\boldsymbol{X}=[X_1,\cdots,X_K]^T$服從$K$元正態分佈，其密度函數爲：
$p(\boldsymbol{x})=\cfrac{1}{(2\pi)^{n/2}|\sum|^{1/2}}exp(-\cfrac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\bold{\sum}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}))\tag{式23}$
其中，$\boldsymbol{\mu}\in{\mathbb{R}^K}$爲多元正態分佈的均值向量，$\boldsymbol{\sum}\in{\mathbb{R}^{K\times{K}}}$爲多元正態分佈的協方差矩陣，$|\boldsymbol{\sum}|$爲行列式。

（2）各項同性高斯分佈：

如果一個多元高斯分佈的協方差矩陣簡化爲$\boldsymbol{\sum}=\sigma^2\boldsymbol{I}$，即每一個維度隨機變量都獨立而且方差相同。那麼這個多元高斯分佈就稱爲：各項同性高斯分佈。

（3）狄利克雷分佈：

一個$K$維隨機向量$\boldsymbol{X}$的狄利克雷分佈爲：
$p(\boldsymbol{x}|\boldsymbol{\alpha})=\cfrac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)\cdots\Gamma(\alpha_k)}\prod_{k=1}^{K}x_k^{\alpha_{k-1}}\tag{式24}$
其中的$\boldsymbol{\alpha}=[\alpha_1,\cdots,\alpha_k]^T$爲狄利克雷分佈的參數。

2.3 邊際分佈

對於二維離散隨機向量$(X,Y)$，假設$X$取值空間爲$\Omega_x$,$Y$取值空間爲$\Omega_y$,則其聯合概率分佈滿足:
$p(x,y)\ge0,\qquad{\sum_{x\in\Omega_x}\sum_{y\in{\Omega_y}}p(x,y)=1}\tag{式25}$
對於聯合概率分佈$p(x,y)$，分別對$x$和$y$進行求和。

（1）對於固定的$x$:
$\sum_{y\in\Omega_y}p(x,y)=p(x)\tag{式26}$
（2）對於固定的$y$:
$\sum_{x\in\Omega_x}p(x,y)=p(y)\tag{式27}$
由於離散隨機向量$(X,Y)$的聯合概率分佈，對$Y$的所有值進行求和得到$X$的概率分佈，對$X$的所有值進行求和得到$Y$的概率分佈.這裏$p(x)和p(y)$就稱爲$p(x,y)$的邊際分佈。

對於二維連續隨機向量$(X,Y)$,其邊際分佈爲:
$p(x)=\int_{-\infty}^{+\infty}p(x,y)dy\tag{式28}$

$p(y)=\int_{-\infty}^{+\infty}p(x,y)dx\tag{式29}$

對於一個二元正態分佈的邊際分佈任然爲正態分佈。

2.4 條件概率分佈

對於離散隨機向量$(X,Y)$,已知$X=x$的條件下，隨機變量$Y=y$的條件概率爲：
$p(y|x):=P(Y=y|X=x)=\cfrac{p(x,y)}{p(x)}\tag{式30}$
上式定義了隨機變量$Y$關於隨機變量$X$的條件概率分佈，簡稱：條件分佈。

已知$x$:
$p(y|x)=\cfrac{p(x,y)}{p(x)}\tag{式31}$
已知$y$:
$p(x|y)=\cfrac{p(x,y)}{p(y)}\tag{式32}$

2.5 貝葉斯定理

通過$(式31)和(式32)$，兩個條件概率$p(x|y)和p(y|x)$之間的關係爲:
$p(y|x)=\cfrac{p(x|y)p(y)}{p(x)}\tag{式33}$
這個公式就是貝葉斯定理,或者說是貝葉斯公式。

2.6 獨立與條件獨立

對於兩個離散(或者連續)的隨機變量$X和Y$,如果其聯合概率(或者聯合概率密度函數)滿足：
$p(x,y)=p(x)p(y)\tag{式34}$
就稱$X和Y$相互獨立。

對於三個離散（或者連續）隨機變量$X,Y和Z$,如果條件概率(或者聯合概率密度函數)$p(x,y|z)$滿足：
$p(x,y|z)=p(x|z)p(y|z)\tag{式35}$
則稱，在給定變量$Z$時，$X和Y$條件獨立。