关于LDA的一些思考

问1：LDA生成一个文档的过程是什么样的？
答1：1）根据预料级参数α，生成文档d的主题分布Θ_d~p(Θ|α)
2）对于文档d中每个位置i对应的单词，按如下方式生成
2.1）根据主题分布Θ_d，按概率生成该位置i的主题z_i~p(z|Θ_d)
2.2）根据主题z_i和语料级参数β，按概率生成该位置i的词w_i~p(z|z_i,β)
3）生成一篇文档联合概率为：p(Θ,Z,W|α,β)=p(Θ|α)*∏p(z_i|Θ)*p(w_i|z_i,β)
  
问2：LDA怎样使用吉布斯采样进行模型训练？
答2：1）随机初始化：对文档中每个词w，随机分配topic编号z
2）重新扫描语料库，对每个词w按照吉布斯采样公式，按照概率生成新的topic，在语料中进行更新
3）重复以上采样过程，直到吉布斯采样收敛
4）统计语料库的topic-word共现频率矩阵，该矩阵就是LDA的模型


问3：LDA怎样使用吉布斯采样进行模型预测？
答3：1）随机初始化：对文档中每个词w，随机分配topic编号z
2）重新扫描语料库，对每个词w按照吉布斯采样公式，按照概率生成新的topic，在语料中进行更新
3）重复以上采样过程，直到吉布斯采样收敛
4）统计文档的topic分布
5）注：模型与测试topic-word共现频率矩阵不更新


问4：LDA中吉布斯采样公式是什么？
答4：1）参数α为向量，对应每个topic的值为α_k
2）参数β为向量，对应每个词的值为β_t
3）忽略第m篇文档中第i个单词，文档m属于主题k的频次n_m_k定义为：文档中主题k的单词的个数（不包括第i个单词）
4）忽略第m篇文档中第i个单词，主题k下词t的频次n_k_t定义为：主题k下所有文档中词t的个数（不包括文档m中第i个词）
5）第m篇文档，第i个单词，属于主题k的概率如下：p(z=k|d=m,t=i)∝((n_m_k+α_k)/∑_k(n_m_k+α_k))*((n_k_t+β_t)/∑_t(n_k_t+β_t))