Variational Inference with Normalizing Flows 論文小結

變分推斷中,用於近似的後驗分佈的選擇是變分推斷的核心問題。大多數的變分推斷的應用爲了進行高效的推斷都聚焦於簡單的後驗近似族,比如mean-field(平均場)或者簡單的結構化近似。這一限制極大的影響變分推斷方法的質量和性能表現。本文提出了一種新的方法來指定靈活的,任意複雜的和可伸縮的近似後驗分佈(也就是 normalizing flow)。該近似是通過normalizing flow構造的分佈,通過一系列可逆變換(invertible transformation)將簡單的初始密度函數轉化爲更復雜的密度函數,直到達到我們所需的程度。利用normalizing flow的這一觀點來發展有限和無窮小流的範疇,併爲構造豐富的後驗近似提供了一個統一的觀點。實驗部分作者展示了具有更好的匹配真實後驗分佈的後驗,並且結合分攤VI(Amortized Variational Inference)的可擴展性,可以使變分推斷的結果和適用性明顯提高。

Amortized Variational Inference

考慮一個普通的概率模型,觀測變量爲xxx, 隱變量latent variable 爲

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章