LDA -Gibbs抽样


LDA的训练有两种,一个是variational inference,一个是Gibbs抽样。
Dirichlet先验,反映到Gibbs抽样方式的训练过程上,可以认为是给隐含主题和词的同现计数加上一个简单的Laplacian平滑(Laplacian平滑就是把所有值都加上一个比较小的数字然后再重新归一化)。而GibbsSampling有一个问题,就是每次采样都需要更新全局信息,基本没有机会做真正意义上的并行化,只能做一个GibbsSampling的近似。
那么若利用MapReduce实现,怎样的近似方法好呢?

斯坦福的ScalaNLP项目值得一看:

http://nlp.stanford.edu/javanlp/scala/scaladoc/scalanlp/cluster/DistributedGibbsLDA$object.html

另外还有NIPS2007的论文:

Distributed Inference for Latent DirichletAllocation http://books.nips.cc/papers/files/nips20/NIPS2007_0672

ICML2008的论文:

Fully Distributed EM for Very Large Datasetshttp://www.cs.berkeley.edu/~jawolfe/pubs/08-icml-em


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章