概率圖模型(PGM)-LDA 隱含狄利克雷分佈學習記錄

LDA

貝葉斯概率模型：先驗概率+觀察數據 -> 後驗概率

LDA以其靈活地對主題的分佈進行概率估計，被廣泛應用於主題模型抽取之中。這裏僅列舉概念和讀過的資料，具體內容不贅述。多種語言中已經實現過此算法。總之，這是一個好用但不好喫透的算法，最後得到的也只是近似最優解。

涉及到的知識

1. 多項分佈
2. 狄利克雷函數
3. 馬爾科夫鏈：平穩轉移矩陣，收斂
4. 吉布斯採樣

Reference

1. Lda數學八卦-靳志輝
2. 通俗理解 Lda 主題模型 2015
3. Parameter Estimation for Text Analysis - Heinrich, Gregor(詳細講解了 LDA+Gibbs sampling 抽取文本主題模型的過程)