bernoulli vs binominal vs multinoulli vs multinomial

UTF8gbsn

本文主要介紹兩個比較容易混淆的概念,
在很多書裏面和文獻裏面常常混淆這兩個概念. 這兩個概念就是 multinoulli
distribution 和 multinomial distribution.
但是我們首先要看什麼是伯努利分佈.

bernoulli distribution

$\left. \begin{aligned} P(x=1)&=p,\\ P(x=0)&=1-p, \end{aligned} \right.$

舉一個例子,
比如拋硬幣.也就是一次試驗只有兩種狀態的隨機試驗.如果將之推廣到更一般的情況.我們就引出了
multinoulli distribution. 不過在介紹 multinoulli distribution
之前我們先來看看另一個分佈 binominal distribution. 這個分佈就是重複n詞
bernoulli distribution.

binominal distribution

重複n次 bernoulli distribution的概率質量函數表示爲, 其中n爲實現次數,
而k位 $x=1$發生的次數.

$P(n,k)=\left( \begin{array}{l} n \\ k \end{array}\right) p^{k} q^{n-k}$

multinoulli distribution.

現在我們來看看,假如一次實現結果不止兩種的隨機試驗.比如拋擲色子.
這種情況下, 一次試驗具有6中結果 $\{1,2,3,4,5,6\}$.
那麼,我們可以寫出這種試驗的概率質量函數 $1 = \sum_{i=1}^{k}P(x_i)$

注意multinoulli distribution的特別之處在於,它只進行一次試驗. 和
bernoulli 試驗一樣它只進行一次.
如果進行多次試驗那麼就是多項式分佈(multinomial distribution).
所以這裏就引出了multinomial distribution.

multinomial distribution

它的概率密度函數爲

$P(\mathbf{x})=\frac{n !}{x_{1} ! \cdots x_{k} !} p_{1}^{x_{1}} \cdots p_{k}^{x_{k}}$

它的意思是, 重複n次試驗.
發生$\mathbf{x}=\left( x_1, x_2, \cdots, x_k \right)$的概率.
其中$\sum_{i=1}^{k}x_i=n$.
而$p_i, i\in (1,2,\cdots, k)$.表示一次試驗$i$狀態發生的概率.

總結

現在我們可以捋清關係了.

bernoulli distribution(1次試驗, 兩個狀態)	binomial distribution(多次 bernoulli試驗)
multinoulli distribution(1次試驗, k個狀態空間)	multinomial distribution(多次 multinoulli 試驗)