常用分佈小結【一】

離散型隨機變量

超幾何分佈（Hypergeometric Distribution）

1. 基本概念：從有限個（N）物件（其中包含M個指定種類的物件）中不放回地抽出n個物件，成功抽出該指定種類的物件的次數，服從超幾何分佈，常表示爲$X \sim H(N,M,n)$。
2. 分佈律（密度函數）：
   $P\{X=k|N,M,n\}=\frac{C_{M}^{k}C_{N-M}^{n-k}}{C_{N}^{n}}$
3. 基本性質：
   • 期望：$E(X) = \frac{nM}{N}$
   • 方差：$D(X) = \frac{nM}{N} - (\frac{nM}{N})^2 + \frac{n(n-1)M(M-1)}{N(N-1)}$
4. R中對應函數：
   • dhyper(x, m, n, k, log = FALSE)
   • phyper(q, m, n, k, lower.tail = TRUE, log.p = FALSE)
   • qhyper(p, m, n, k, lower.tail = TRUE, log.p = FALSE)
   • rhyper(nn, m, n, k)
     其中m表示指定種類的物件個數，即M；n表示其他種類的物件個數，故N=m+n；k爲不放回抽取的次數，即n。
     使用R中函數的參數獲得的超幾何分佈爲：$X \sim H(m+n,m,k)$

二項分佈（Binomial Distribution）

1. 基本概念：在每次試驗中只有兩種可能的結果，而且兩種結果發生與否互相對立，並且相互獨立，與其它各次試驗結果無關，事件發生的概率p在每一次獨立試驗中都保持不變，則稱該試驗爲伯努利試驗。一個伯努利試驗進行n次（n重伯努利試驗）後，事件發生的次數符合二項分佈。常表示爲$X \sim b(n,p)$。
2. 分佈律（密度函數）：
   $P\{X=k|n,p\}=C_{n}^{k} p^{k}(1-p)^{n-k}, k=0,1,2, \ldots, n$
3. 基本性質：
   • 期望：$E(X) = np$
   • 方差：$D(X) = np(1-p)$
4. 其他：
   • 當n=1時的二項分佈即爲伯努利分佈、兩點分佈、0-1分佈；
   • 當$k = [(n+1)p]$時，$P\{X=k|n,p\}$取得最大值；
5. R中對應函數：
   • dbinom(x, size, prob, log = FALSE)
   • pbinom(q, size, prob, lower.tail = TRUE, log.p = FALSE)
   • qbinom(p, size, prob, lower.tail = TRUE, log.p = FALSE)
   • rbinom(n, size, prob)
     其中size爲進行伯努利試驗的次數n，prob爲事件發生概率p，x即爲n次試驗中事件發生次數k的向量。對於rbinom，即爲對符合二項分佈$X \sim b(size,prob)$的隨機變量抽樣n次。

多項分佈（Multinomial Distribution）

1. 基本概念：多項分佈是二項分佈的擴展，即每次試驗可能的結果爲k種（$k \ge 2$），每種結果發生的概率爲$p_1,p_2,\ldots,p_k$，且每種結果發生與否均互相對立，故有$\sum_{i=1}^{k} p_{i}=1$。試驗進行n次後，k種可能的結果發生指定的次數（$m_1,m_2,\ldots,m_k$）符合多項分佈，常表示爲$X \sim P(n,p_1,p_2,\ldots,p_k)$。多項分佈最常見的例子即爲擲骰子。
2. 分佈律（密度函數）：
   $\begin{aligned} & P\{X_1=m_1,X_2=m_2,\ldots,X_k=m_k | n,p_1,p_2,\ldots,p_k \} \\ & = \frac{n!}{m_1!m_2! \cdots m_k!} p_1^{m_1}p_2^{m_2} \cdots p_k^{m_k} \\ & = n!\prod_{i=1}^{k} \frac{p_{i}^{m_{i}}}{m_{i} !} \end{aligned}$
3. 其他：
   • 多項分佈的隨機變量是一個長度爲k的向量，k即爲所有可能結果的種類數；
   • 多項分佈都可以通過將可能結果進行合併轉化爲二項分佈。如對於擲骰子n次，6個面出現的次數向量服從多項分佈。若僅關注一個面，如1向上的次數，其實就轉化爲了二項分佈（合併了所有非1向上的結果）。
4. R中對應函數：
   • dmultinom(x, size = NULL, prob, log = FALSE)
   • rmultinom(n, size, prob)
     其中size爲進行試驗的次數n；prob爲各種結果發生的概率向量，且該向量的加和應爲1；x即爲n次試驗中每種結果發生次數的向量，且該向量的加和應爲n。由於多項分佈的隨機變量是一個向量，故rmultinom返回的是一個n列，k行的矩陣。k爲prob的向量長度，每一列表示隨機獲取的服從多項分佈的一個隨機向量，且每一列的加和爲size。

泊松分佈（Poisson Distribution）

1. 基本概念：當一個隨機事件，例如某電話交換臺收到的呼叫、來到某公共汽車站的乘客、某放射性物質發射出的粒子、顯微鏡下某區域中的白血球等等，以固定的平均瞬時速率（或稱密度）$\lambda$隨機且獨立地出現時，那麼這個事件在單位時間內出現的次數就近似地服從泊松分佈。常表示爲$X \sim \pi(\lambda)$。
2. 分佈律（密度函數）：
   $P\{X=k|\lambda\}=\frac{\lambda^{k} e^{-\lambda}}{k!}, k=0,1,2, \ldots$
   即在單位時間平均出現$\lambda$次的事件，實際出現k次的概率。
3. 基本性質：
   • 期望：$E(X) = \lambda$
   • 方差：$D(X) = \lambda$
4. 其他：
   • 當二項分佈的n很大而p很小時，泊松分佈可作爲二項分佈的近似，其中令$\lambda = np$。通常當$n\ge20, p\le0.05$時，就可以用泊松公式近似得計算；
   • 根據定義可知泊松分佈往往在期望值處，即$x = \lambda$處取得最大值。
5. R中對應函數：
   • dpois(x, lambda, log = FALSE)
   • ppois(q, lambda, lower.tail = TRUE, log.p = FALSE)
   • qpois(p, lambda, lower.tail = TRUE, log.p = FALSE)
   • rpois(n, lambda)

連續性隨機變量

均勻分佈（Uniform Distribution）

1. 基本概念：隨機變量在區間$(a,b)$中任意等長度的子區間內出現的可能性是相同的，則稱該隨機變量在區間$(a,b)$上服從均勻分佈。常表示爲$X \sim U(a,b)$。
2. 密度函數：
   $f(x|a,b)=\left\{ \begin{array}{cc}{ \frac{1}{b-a}} & {a<x<b} \\ {0} & {x \leq a \text { or } x \geq b} \end{array} \right.$
3. 分佈函數：
   $F(x|a,b)=\left\{ \begin{array}{ll} {0} & {x \leq a} \\ {\frac{x-a}{b-a}} & {a<x<b} \\ {1} & {x \geq b} \end{array} \right.$
4. 基本性質：
   • 期望：$E(X) = \frac{a+b}{2}$
   • 方差：$D(X) = \frac{(b-a)^2}{12}$
5. 其他：
   • ；
6. R中對應函數：
   • dunif(x, min = 0, max = 1, log = FALSE)
   • punif(q, min = 0, max = 1, lower.tail = TRUE, log.p = FALSE)
   • qunif(p, min = 0, max = 1, lower.tail = TRUE, log.p = FALSE)
   • runif(n, min = 0, max = 1)

指數分佈（Exponential Distribution）

1. 基本概念：對於在單位時間內出現次數服從泊松分佈$X \sim \pi(\lambda)$的事件，兩個該事件發生之間的時間間隔則服從指數分佈，常表示爲$X \sim Exp(\lambda)$，該事件單位時間發生次數爲$\lambda$，兩次事件發生的時間間隔爲$\frac{1}{\lambda}$。
2. 密度函數：
   $f(x|\lambda)=\left\{ \begin{array}{cc} {0} & {x \leq 0} \\ {\lambda {e}^{-\lambda x}} & {x>0} \end{array} \right.$
3. 分佈函數：
   $F(x|\lambda)=\left\{ \begin{array}{cc} {0} & {x \leq 0} \\ {1-e^{-\lambda x}} & {x>0} \end{array} \right.$
4. 基本性質：
   • 期望：$E(X) = \frac{1}{\lambda}$
     比如平均每個小時接到2次電話，那麼你預期等待每一次電話的時間是半個小時
   • 方差：$D(X) = \frac{1}{\lambda^2}$
5. 其他：
   • 指數分佈最重要的性質即爲“無記憶性”：
     $P\{X \gt s+t | X \gt s\} = P\{X \gt t\}$
     如X代表某一電子元件的壽命，那麼若已經使用s個小時後，能至少再使用t個小時（總壽命s+t）的概率，與一個新的這種電子元件能至少使用t個小時的概率一樣。就是這種電子元件不管已經用了多久，能再用多久的概率一樣。
6. R中對應函數：
   • dexp(x, rate = 1, log = FALSE)
   • pexp(q, rate = 1, lower.tail = TRUE, log.p = FALSE)
   • qexp(p, rate = 1, lower.tail = TRUE, log.p = FALSE)
   • rexp(n, rate = 1)
     其中rate即爲$\lambda$，留意指數分佈與泊松分佈的聯繫，rate對應泊松分佈中的“密度”概念。

正態分佈（Normal Distribution）

1. 基本概念：正態分佈是最重要的分佈，也稱爲高斯分佈、常態分佈。常表示爲$X \sim N(\mu, \sigma^2)$。
2. 密度函數：
   $f(x|\mu, \sigma)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}},-\infty<x<\infty$
3. 分佈函數：
   $F(x|\mu, \sigma)=\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{x} e^{-\frac{(t-\mu)^{2}}{2 \sigma^{2}}} \mathrm{d} t$
4. 基本性質：
   • 期望：$E(X) = \mu$
   • 方差：$D(X) = \sigma^2$
5. 其他：
   • 密度函數關於$x = \mu$對稱，在$x = \mu$時取得最大值$f(\mu) = \frac{1}{\sqrt{2 \pi} \sigma}$，距離$\mu$越遠$f(x)$越小（鐘形圖）；
   • 當$\sigma$越小，圖形越尖；
   • 當$\mu = 0, \sigma = 1$時成爲標準正態分佈，表示爲$X \sim N(0, 1)$；
   • 對於任意正態分佈$X \sim N(\mu, \sigma^2)$，其線性變化也是服從正態分佈的：
     $Y = aX + b \sim N(a\mu+b, {(a\sigma)}^2)$
     因此任意正態分佈均可轉化爲標準正態分佈：
     $Z = \frac{X-\mu}{\sigma} \sim N(0,1)$
   • 對於n個互相獨立的正態分佈$X_i \sim N(\mu_i, \sigma_i^2) (i=1,2,\ldots,n)$，它們的和$Z=X_1 + X_2 + \dots + X_n$依然服從正態分佈，且
     $Z \sim N(\mu_1+\mu_2+\dots+\mu_n, \sigma_1^2+\sigma_2^2+\dots+\sigma_n^2)$
6. R中對應函數：
   • dnorm(x, mean = 0, sd = 1, log = FALSE)
   • pnorm(q, mean = 0, sd = 1, lower.tail = TRUE, log.p = FALSE)
   • qnorm(p, mean = 0, sd = 1, lower.tail = TRUE, log.p = FALSE)
   • rnorm(n, mean = 0, sd = 1)
     其中mean即爲$\mu$，即期望；sd即爲$\sigma$，即標準差。

伽馬分佈（Gamma Distribution）

1. 基本概念：伽馬分佈可以看作是$\alpha$個指數分佈$X \sim Exp(\lambda)$的獨立隨機變量的加和，常表示爲$X \sim \Gamma(\alpha, \lambda)$，故當$\alpha = 1$時的伽馬分佈就是指數分佈，即$\Gamma(1, \lambda) = Exp(\lambda)$。

2. 密度函數：
   $f(x|\alpha, \lambda)=\left\{ \begin{array}{cc} {0} & {x \leq 0} \\ {\frac{\lambda^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} \mathrm{e}^{-\lambda x}} & {x>0} \end{array} \right.$

   $\Gamma(\alpha)$爲伽馬函數，是定義在複數域的階乘：
   $\Gamma(x)=\int_{0}^{+\infty} t^{x-1} e^{-t} \mathrm{d}t = 2 \int_{0}^{+\infty} t^{2 x-1} e^{-t^{2}} d t$
   伽馬函數基本性質：

   • $\Gamma(x+1) = x\Gamma(x)$（複數域上的階乘概念）
   • 對於整數n，有$\Gamma(n) = (n-1)!$

3. 分佈函數：
   $$

4. 基本性質：

   • 期望：$E(X) = \frac{\alpha}{\lambda}$
   • 方差：$D(X) = \frac{\alpha}{\lambda^2}$

5. 其他：

   • 注意伽馬分佈與卡方分佈的聯繫：
     $\Gamma(\frac{n}{2}, 2) = \chi^2(n)$
   • 伽馬分佈與指數分佈的聯繫：
     $\Gamma(1, \lambda) = Exp(\lambda)$
   • 伽馬分佈具有可加性。即若$X_1,X_2,\ldots,X_n$相互獨立，且均服從伽馬分佈，$X_i \sim \Gamma(\alpha_i,\lambda)$，那麼它們的和也服從伽馬分佈，$Z=X_1 + X_2 + \dots + X_n \sim \Gamma(\alpha_1+\alpha_2+\ldots+\alpha_n,\lambda)$。這一點也可以從伽馬分佈的定義上推斷：一個伽馬分佈是$\alpha$個指數分佈的加和，那麼只要是同一個指數分佈（$\lambda$參數一致），再多加幾個一樣是伽馬分佈。

6. R中對應函數：

   • dgamma(x, shape, rate = 1, scale = 1/rate, log = FALSE)
   • pgamma(q, shape, rate = 1, scale = 1/rate, lower.tail = TRUE, log.p = FALSE)
   • qgamma(p, shape, rate = 1, scale = 1/rate, lower.tail = TRUE, log.p = FALSE)
   • rgamma(n, shape, rate = 1, scale = 1/rate)
     伽馬分佈中$\alpha$即爲形狀參數（shape parameter），就是函數中的shape，該參數決定了伽馬分佈的形狀；$\lambda$即爲rate，與指數分佈中的rate、泊松分佈中的lambda一致；scale就是rate的倒數，稱爲尺度參數（scale parameter），決定了伽馬分佈的曲線陡峭程度，scale越小，rate越大，曲線越陡。

小結

• 在離散型隨機變量中，分佈律直接求得的是隨機變量等於某個具體值的概率，故一定是在0到1之間的；而對於連續型隨機變量，變量取得某一個具體值的概率均無意義（或可認爲是0），故連續型隨機變量的密度函數表徵的並不是隨機變量取得該值時的概率，因此密度函數可以大於1。一定要記住對於連續型隨機變量，人們更關注的是變量值落在某個區間上的概率，因此更重要的是密度函數的積分，即分佈函數。
• 聯繫超幾何分佈和二項分佈：
  • 超幾何分佈是不放回抽樣，二項分佈是放回抽樣。也就是說二項分佈中每個事件之間是相互獨立的，而超幾何分佈不是。
  • 超幾何分佈需要知道總體的容量，也就是總體個數有限；而二項分佈不需要知道總體容量，但需要知道“成功率”。
  • 超幾何分佈關心的是已經進行採樣的結果，是“向後看”的；而二項分佈關心的是還未發生的事件，是“向前看”的。進而，超幾何分佈的極限就是二項分佈，即當抽樣的結果N趨近於無窮時，其近似於二項分佈，且$p=\frac{M}{N}$。
• 聯繫泊松分佈、指數分佈和伽馬分佈：
  • 泊松分佈解決的是“在特定時間裏發生n個事件的機率”，即單位時間隨機事件發生的次數；
  • 指數分佈解決的問題是“要等到一個隨機事件發生，需要經歷多久時間”，即兩個隨機事件之間的時間間隔；
  • 伽馬分佈解決的問題是“要等到n個隨機事件都發生，需要經歷多久時間”，就是n個指數分佈的和，n即爲伽馬分佈中的$\alpha$；
  • 注意到當$\alpha = k+1, \lambda = 1$時，伽馬分佈概率密度爲：
    $\Gamma(k+1, 1)= \frac{x^{k} \mathrm{e}^{-x}}{\Gamma(k+1)} = \frac{x^{k} \mathrm{e}^{-x}}{k!}$
    與泊松分佈的分佈律相比：
    $P\{X=k|\lambda\}=\frac{\lambda^{k} e^{-\lambda}}{k!}$
    可以發現伽馬分佈的密度函數中的x替換爲泊松分佈中的$\lambda$，公式是等同的。伽馬分佈的密度函數是一個關於x和k的二維概率分佈，若將x看做是單位時間內事件發生的平均次數（泊松分佈中的$\lambda$），k是單位時間內事件發生的某一特定次數（泊松分佈中的k）。作圖如下：
    
    發現如果將x固定一個常數，就是泊松分佈。即從x軸方向任意位置$x=m$截取伽馬分佈，截面上的圖像即爲泊松分佈$\pi(m)$
    所以，伽馬分佈與泊松分佈在數學形式上是一致的。可以直觀的認爲伽馬分佈是泊松分佈在正實數集上的連續化版本。
• R中的分佈函數往往以"首字母+分佈名稱"的方式定義了四個函數：
  • ‘d + {distName}’（Density）：獲取指定隨機變量的概率密度函數（連續型隨機變量）或概率分佈律（離散型隨機變量）的取值；
  • ‘p + {distName}’（Probability）：獲取指定隨機變量的分佈函數的取值，即$F(x) = P\{X \le x\}$；
  • ‘q + {distName}’（Quantile）：獲取分位數，即分佈函數的反函數$F^{-1}(x)$的取值。即當$P\{X \leq Z_\alpha\} = \alpha$時，給出$\alpha$分位求該分位上的分位數$Z_\alpha$；
  • ‘r + {distName}’（Random）：對符合分佈的隨機變量進行隨機採樣

參考材料

https://blog.csdn.net/lynn0085/article/details/79338611
https://www.jianshu.com/p/6ee90ba47b4a
https://blog.csdn.net/ccnt_2012/article/details/89875865