常用分布小结【一】

离散型随机变量

超几何分布（Hypergeometric Distribution）

1. 基本概念：从有限个（N）物件（其中包含M个指定种类的物件）中不放回地抽出n个物件，成功抽出该指定种类的物件的次数，服从超几何分布，常表示为$X \sim H(N,M,n)$。
2. 分布律（密度函数）：
   $P\{X=k|N,M,n\}=\frac{C_{M}^{k}C_{N-M}^{n-k}}{C_{N}^{n}}$
3. 基本性质：
   • 期望：$E(X) = \frac{nM}{N}$
   • 方差：$D(X) = \frac{nM}{N} - (\frac{nM}{N})^2 + \frac{n(n-1)M(M-1)}{N(N-1)}$
4. R中对应函数：
   • dhyper(x, m, n, k, log = FALSE)
   • phyper(q, m, n, k, lower.tail = TRUE, log.p = FALSE)
   • qhyper(p, m, n, k, lower.tail = TRUE, log.p = FALSE)
   • rhyper(nn, m, n, k)
     其中m表示指定种类的物件个数，即M；n表示其他种类的物件个数，故N=m+n；k为不放回抽取的次数，即n。
     使用R中函数的参数获得的超几何分布为：$X \sim H(m+n,m,k)$

二项分布（Binomial Distribution）

1. 基本概念：在每次试验中只有两种可能的结果，而且两种结果发生与否互相对立，并且相互独立，与其它各次试验结果无关，事件发生的概率p在每一次独立试验中都保持不变，则称该试验为伯努利试验。一个伯努利试验进行n次（n重伯努利试验）后，事件发生的次数符合二项分布。常表示为$X \sim b(n,p)$。
2. 分布律（密度函数）：
   $P\{X=k|n,p\}=C_{n}^{k} p^{k}(1-p)^{n-k}, k=0,1,2, \ldots, n$
3. 基本性质：
   • 期望：$E(X) = np$
   • 方差：$D(X) = np(1-p)$
4. 其他：
   • 当n=1时的二项分布即为伯努利分布、两点分布、0-1分布；
   • 当$k = [(n+1)p]$时，$P\{X=k|n,p\}$取得最大值；
5. R中对应函数：
   • dbinom(x, size, prob, log = FALSE)
   • pbinom(q, size, prob, lower.tail = TRUE, log.p = FALSE)
   • qbinom(p, size, prob, lower.tail = TRUE, log.p = FALSE)
   • rbinom(n, size, prob)
     其中size为进行伯努利试验的次数n，prob为事件发生概率p，x即为n次试验中事件发生次数k的向量。对于rbinom，即为对符合二项分布$X \sim b(size,prob)$的随机变量抽样n次。

多项分布（Multinomial Distribution）

1. 基本概念：多项分布是二项分布的扩展，即每次试验可能的结果为k种（$k \ge 2$），每种结果发生的概率为$p_1,p_2,\ldots,p_k$，且每种结果发生与否均互相对立，故有$\sum_{i=1}^{k} p_{i}=1$。试验进行n次后，k种可能的结果发生指定的次数（$m_1,m_2,\ldots,m_k$）符合多项分布，常表示为$X \sim P(n,p_1,p_2,\ldots,p_k)$。多项分布最常见的例子即为掷骰子。
2. 分布律（密度函数）：
   $\begin{aligned} & P\{X_1=m_1,X_2=m_2,\ldots,X_k=m_k | n,p_1,p_2,\ldots,p_k \} \\ & = \frac{n!}{m_1!m_2! \cdots m_k!} p_1^{m_1}p_2^{m_2} \cdots p_k^{m_k} \\ & = n!\prod_{i=1}^{k} \frac{p_{i}^{m_{i}}}{m_{i} !} \end{aligned}$
3. 其他：
   • 多项分布的随机变量是一个长度为k的向量，k即为所有可能结果的种类数；
   • 多项分布都可以通过将可能结果进行合并转化为二项分布。如对于掷骰子n次，6个面出现的次数向量服从多项分布。若仅关注一个面，如1向上的次数，其实就转化为了二项分布（合并了所有非1向上的结果）。
4. R中对应函数：
   • dmultinom(x, size = NULL, prob, log = FALSE)
   • rmultinom(n, size, prob)
     其中size为进行试验的次数n；prob为各种结果发生的概率向量，且该向量的加和应为1；x即为n次试验中每种结果发生次数的向量，且该向量的加和应为n。由于多项分布的随机变量是一个向量，故rmultinom返回的是一个n列，k行的矩阵。k为prob的向量长度，每一列表示随机获取的服从多项分布的一个随机向量，且每一列的加和为size。

泊松分布（Poisson Distribution）

1. 基本概念：当一个随机事件，例如某电话交换台收到的呼叫、来到某公共汽车站的乘客、某放射性物质发射出的粒子、显微镜下某区域中的白血球等等，以固定的平均瞬时速率（或称密度）$\lambda$随机且独立地出现时，那么这个事件在单位时间内出现的次数就近似地服从泊松分布。常表示为$X \sim \pi(\lambda)$。
2. 分布律（密度函数）：
   $P\{X=k|\lambda\}=\frac{\lambda^{k} e^{-\lambda}}{k!}, k=0,1,2, \ldots$
   即在单位时间平均出现$\lambda$次的事件，实际出现k次的概率。
3. 基本性质：
   • 期望：$E(X) = \lambda$
   • 方差：$D(X) = \lambda$
4. 其他：
   • 当二项分布的n很大而p很小时，泊松分布可作为二项分布的近似，其中令$\lambda = np$。通常当$n\ge20, p\le0.05$时，就可以用泊松公式近似得计算；
   • 根据定义可知泊松分布往往在期望值处，即$x = \lambda$处取得最大值。
5. R中对应函数：
   • dpois(x, lambda, log = FALSE)
   • ppois(q, lambda, lower.tail = TRUE, log.p = FALSE)
   • qpois(p, lambda, lower.tail = TRUE, log.p = FALSE)
   • rpois(n, lambda)

连续性随机变量

均匀分布（Uniform Distribution）

1. 基本概念：随机变量在区间$(a,b)$中任意等长度的子区间内出现的可能性是相同的，则称该随机变量在区间$(a,b)$上服从均匀分布。常表示为$X \sim U(a,b)$。
2. 密度函数：
   $f(x|a,b)=\left\{ \begin{array}{cc}{ \frac{1}{b-a}} & {a<x<b} \\ {0} & {x \leq a \text { or } x \geq b} \end{array} \right.$
3. 分布函数：
   $F(x|a,b)=\left\{ \begin{array}{ll} {0} & {x \leq a} \\ {\frac{x-a}{b-a}} & {a<x<b} \\ {1} & {x \geq b} \end{array} \right.$
4. 基本性质：
   • 期望：$E(X) = \frac{a+b}{2}$
   • 方差：$D(X) = \frac{(b-a)^2}{12}$
5. 其他：
   • ；
6. R中对应函数：
   • dunif(x, min = 0, max = 1, log = FALSE)
   • punif(q, min = 0, max = 1, lower.tail = TRUE, log.p = FALSE)
   • qunif(p, min = 0, max = 1, lower.tail = TRUE, log.p = FALSE)
   • runif(n, min = 0, max = 1)

指数分布（Exponential Distribution）

1. 基本概念：对于在单位时间内出现次数服从泊松分布$X \sim \pi(\lambda)$的事件，两个该事件发生之间的时间间隔则服从指数分布，常表示为$X \sim Exp(\lambda)$，该事件单位时间发生次数为$\lambda$，两次事件发生的时间间隔为$\frac{1}{\lambda}$。
2. 密度函数：
   $f(x|\lambda)=\left\{ \begin{array}{cc} {0} & {x \leq 0} \\ {\lambda {e}^{-\lambda x}} & {x>0} \end{array} \right.$
3. 分布函数：
   $F(x|\lambda)=\left\{ \begin{array}{cc} {0} & {x \leq 0} \\ {1-e^{-\lambda x}} & {x>0} \end{array} \right.$
4. 基本性质：
   • 期望：$E(X) = \frac{1}{\lambda}$
     比如平均每个小时接到2次电话，那么你预期等待每一次电话的时间是半个小时
   • 方差：$D(X) = \frac{1}{\lambda^2}$
5. 其他：
   • 指数分布最重要的性质即为“无记忆性”：
     $P\{X \gt s+t | X \gt s\} = P\{X \gt t\}$
     如X代表某一电子元件的寿命，那么若已经使用s个小时后，能至少再使用t个小时（总寿命s+t）的概率，与一个新的这种电子元件能至少使用t个小时的概率一样。就是这种电子元件不管已经用了多久，能再用多久的概率一样。
6. R中对应函数：
   • dexp(x, rate = 1, log = FALSE)
   • pexp(q, rate = 1, lower.tail = TRUE, log.p = FALSE)
   • qexp(p, rate = 1, lower.tail = TRUE, log.p = FALSE)
   • rexp(n, rate = 1)
     其中rate即为$\lambda$，留意指数分布与泊松分布的联系，rate对应泊松分布中的“密度”概念。

正态分布（Normal Distribution）

1. 基本概念：正态分布是最重要的分布，也称为高斯分布、常态分布。常表示为$X \sim N(\mu, \sigma^2)$。
2. 密度函数：
   $f(x|\mu, \sigma)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}},-\infty<x<\infty$
3. 分布函数：
   $F(x|\mu, \sigma)=\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{x} e^{-\frac{(t-\mu)^{2}}{2 \sigma^{2}}} \mathrm{d} t$
4. 基本性质：
   • 期望：$E(X) = \mu$
   • 方差：$D(X) = \sigma^2$
5. 其他：
   • 密度函数关于$x = \mu$对称，在$x = \mu$时取得最大值$f(\mu) = \frac{1}{\sqrt{2 \pi} \sigma}$，距离$\mu$越远$f(x)$越小（钟形图）；
   • 当$\sigma$越小，图形越尖；
   • 当$\mu = 0, \sigma = 1$时成为标准正态分布，表示为$X \sim N(0, 1)$；
   • 对于任意正态分布$X \sim N(\mu, \sigma^2)$，其线性变化也是服从正态分布的：
     $Y = aX + b \sim N(a\mu+b, {(a\sigma)}^2)$
     因此任意正态分布均可转化为标准正态分布：
     $Z = \frac{X-\mu}{\sigma} \sim N(0,1)$
   • 对于n个互相独立的正态分布$X_i \sim N(\mu_i, \sigma_i^2) (i=1,2,\ldots,n)$，它们的和$Z=X_1 + X_2 + \dots + X_n$依然服从正态分布，且
     $Z \sim N(\mu_1+\mu_2+\dots+\mu_n, \sigma_1^2+\sigma_2^2+\dots+\sigma_n^2)$
6. R中对应函数：
   • dnorm(x, mean = 0, sd = 1, log = FALSE)
   • pnorm(q, mean = 0, sd = 1, lower.tail = TRUE, log.p = FALSE)
   • qnorm(p, mean = 0, sd = 1, lower.tail = TRUE, log.p = FALSE)
   • rnorm(n, mean = 0, sd = 1)
     其中mean即为$\mu$，即期望；sd即为$\sigma$，即标准差。

伽马分布（Gamma Distribution）

1. 基本概念：伽马分布可以看作是$\alpha$个指数分布$X \sim Exp(\lambda)$的独立随机变量的加和，常表示为$X \sim \Gamma(\alpha, \lambda)$，故当$\alpha = 1$时的伽马分布就是指数分布，即$\Gamma(1, \lambda) = Exp(\lambda)$。

2. 密度函数：
   $f(x|\alpha, \lambda)=\left\{ \begin{array}{cc} {0} & {x \leq 0} \\ {\frac{\lambda^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} \mathrm{e}^{-\lambda x}} & {x>0} \end{array} \right.$

   $\Gamma(\alpha)$为伽马函数，是定义在复数域的阶乘：
   $\Gamma(x)=\int_{0}^{+\infty} t^{x-1} e^{-t} \mathrm{d}t = 2 \int_{0}^{+\infty} t^{2 x-1} e^{-t^{2}} d t$
   伽马函数基本性质：

   • $\Gamma(x+1) = x\Gamma(x)$（复数域上的阶乘概念）
   • 对于整数n，有$\Gamma(n) = (n-1)!$

3. 分布函数：
   $$

4. 基本性质：

   • 期望：$E(X) = \frac{\alpha}{\lambda}$
   • 方差：$D(X) = \frac{\alpha}{\lambda^2}$

5. 其他：

   • 注意伽马分布与卡方分布的联系：
     $\Gamma(\frac{n}{2}, 2) = \chi^2(n)$
   • 伽马分布与指数分布的联系：
     $\Gamma(1, \lambda) = Exp(\lambda)$
   • 伽马分布具有可加性。即若$X_1,X_2,\ldots,X_n$相互独立，且均服从伽马分布，$X_i \sim \Gamma(\alpha_i,\lambda)$，那么它们的和也服从伽马分布，$Z=X_1 + X_2 + \dots + X_n \sim \Gamma(\alpha_1+\alpha_2+\ldots+\alpha_n,\lambda)$。这一点也可以从伽马分布的定义上推断：一个伽马分布是$\alpha$个指数分布的加和，那么只要是同一个指数分布（$\lambda$参数一致），再多加几个一样是伽马分布。

6. R中对应函数：

   • dgamma(x, shape, rate = 1, scale = 1/rate, log = FALSE)
   • pgamma(q, shape, rate = 1, scale = 1/rate, lower.tail = TRUE, log.p = FALSE)
   • qgamma(p, shape, rate = 1, scale = 1/rate, lower.tail = TRUE, log.p = FALSE)
   • rgamma(n, shape, rate = 1, scale = 1/rate)
     伽马分布中$\alpha$即为形状参数（shape parameter），就是函数中的shape，该参数决定了伽马分布的形状；$\lambda$即为rate，与指数分布中的rate、泊松分布中的lambda一致；scale就是rate的倒数，称为尺度参数（scale parameter），决定了伽马分布的曲线陡峭程度，scale越小，rate越大，曲线越陡。

小结

• 在离散型随机变量中，分布律直接求得的是随机变量等于某个具体值的概率，故一定是在0到1之间的；而对于连续型随机变量，变量取得某一个具体值的概率均无意义（或可认为是0），故连续型随机变量的密度函数表征的并不是随机变量取得该值时的概率，因此密度函数可以大于1。一定要记住对于连续型随机变量，人们更关注的是变量值落在某个区间上的概率，因此更重要的是密度函数的积分，即分布函数。
• 联系超几何分布和二项分布：
  • 超几何分布是不放回抽样，二项分布是放回抽样。也就是说二项分布中每个事件之间是相互独立的，而超几何分布不是。
  • 超几何分布需要知道总体的容量，也就是总体个数有限；而二项分布不需要知道总体容量，但需要知道“成功率”。
  • 超几何分布关心的是已经进行采样的结果，是“向后看”的；而二项分布关心的是还未发生的事件，是“向前看”的。进而，超几何分布的极限就是二项分布，即当抽样的结果N趋近于无穷时，其近似于二项分布，且$p=\frac{M}{N}$。
• 联系泊松分布、指数分布和伽马分布：
  • 泊松分布解决的是“在特定时间里发生n个事件的机率”，即单位时间随机事件发生的次数；
  • 指数分布解决的问题是“要等到一个随机事件发生，需要经历多久时间”，即两个随机事件之间的时间间隔；
  • 伽马分布解决的问题是“要等到n个随机事件都发生，需要经历多久时间”，就是n个指数分布的和，n即为伽马分布中的$\alpha$；
  • 注意到当$\alpha = k+1, \lambda = 1$时，伽马分布概率密度为：
    $\Gamma(k+1, 1)= \frac{x^{k} \mathrm{e}^{-x}}{\Gamma(k+1)} = \frac{x^{k} \mathrm{e}^{-x}}{k!}$
    与泊松分布的分布律相比：
    $P\{X=k|\lambda\}=\frac{\lambda^{k} e^{-\lambda}}{k!}$
    可以发现伽马分布的密度函数中的x替换为泊松分布中的$\lambda$，公式是等同的。伽马分布的密度函数是一个关于x和k的二维概率分布，若将x看做是单位时间内事件发生的平均次数（泊松分布中的$\lambda$），k是单位时间内事件发生的某一特定次数（泊松分布中的k）。作图如下：
    
    发现如果将x固定一个常数，就是泊松分布。即从x轴方向任意位置$x=m$截取伽马分布，截面上的图像即为泊松分布$\pi(m)$
    所以，伽马分布与泊松分布在数学形式上是一致的。可以直观的认为伽马分布是泊松分布在正实数集上的连续化版本。
• R中的分布函数往往以"首字母+分布名称"的方式定义了四个函数：
  • ‘d + {distName}’（Density）：获取指定随机变量的概率密度函数（连续型随机变量）或概率分布律（离散型随机变量）的取值；
  • ‘p + {distName}’（Probability）：获取指定随机变量的分布函数的取值，即$F(x) = P\{X \le x\}$；
  • ‘q + {distName}’（Quantile）：获取分位数，即分布函数的反函数$F^{-1}(x)$的取值。即当$P\{X \leq Z_\alpha\} = \alpha$时，给出$\alpha$分位求该分位上的分位数$Z_\alpha$；
  • ‘r + {distName}’（Random）：对符合分布的随机变量进行随机采样

参考材料

https://blog.csdn.net/lynn0085/article/details/79338611
https://www.jianshu.com/p/6ee90ba47b4a
https://blog.csdn.net/ccnt_2012/article/details/89875865