lda，latent diriclet allocation,是一個最基本的bayesian模型。
本文要研究lda基於變分的推導方法。
一、符號的定義
:
the number of topics
: the number of documents
: the number of terms in vocabulary
: index topic
: index document
: index word
: denote a word
in LDA:
: model parameter
: model parameter
,
:
hidden variables.
圖模型：
引入variational
parameter:
: Dirichlet parameter
: Multinomial parameter
我們引入variational distribution，a fully factorized model
要注意的是，
是後驗分佈，我們隱去了given 
二、總論
我們使用了variational EM algorithm：
在E step，我們使用variational approximation to posterior來最優化variational parameters，找到最靠譜的後驗分佈。
在M step，我們提升lower bound with respect to the model parameters。
具體算法：
E-step: 對於每一個文檔，find optimal values of the variational parameters
M-step：maximize the lower bound with respect to the model parameters 
and 
三、lower bound
3.1 Jensens inequality
有隨機變量
，對於convex的
，有
;
對於concave的，有
;
3.2 推導lower bound
for each document each word
