深度學習中Multinoulli分佈

原文鏈接:https://zhuanlan.zhihu.com/p/32482774

Multinoulli 分佈

Multinoulli 分佈是多項式分佈(multinomial distribution)的一個特例。 多項式分佈是{0; : : : ; n}k 中的向量的分佈,用於表示當對 Multinoulli 分佈採樣 n 次時 k 個類中的每一個被訪問的次數。很多文章使用 “多項式分佈’’ 而實際上說的是 Multinoulli 分佈,但是他們並沒有說是對 n = 1 的情況,這點需要注意。

Multinoulli 分佈(multinoulli distribution)或者 範疇分佈(categorical distribution)是指在具有 k 個不同狀態的單個離散型隨機變量上的分佈,其中 k 是一個有限值。 2 Multinoulli 分佈由向量 p 2 [0; 1]k-1 參數化,其中每一個分量 pi 表示第 i 個狀態的概率。最後的第 k 個狀態的概率可以通過 1 - 1⊤p 給出。注意我們必須限制 1⊤p ≤ 1。 Multinoulli 分佈經常用來表示對象分類的分佈,所以我們很少假設狀態 1 具有數值 1 之類的。因此,我們通常不需要去計算 Multinoulli 分佈的隨機變量的期望和方差。

Bernoulli 分佈和 Multinoulli 分佈足夠用來描述在它們領域內的任意分佈。它們能夠描述這些分佈,不是因爲它們特別強大,而是因爲它們的領域很簡單;它們可以對那些,能夠將所有的狀態進行枚舉的離散型隨機變量進行建模。當處理的是連續型隨機變量時,會有不可數無限多的狀態,所以任何通過少量參數描述的概率分佈都必須在分佈上加以嚴格的限制。

 

https://zhuanlan.zhihu.com/p/32482774摘自知乎前述鏈接

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章