變分推斷中,用於近似的後驗分佈的選擇是變分推斷的核心問題。大多數的變分推斷的應用爲了進行高效的推斷都聚焦於簡單的後驗近似族,比如mean-field(平均場)或者簡單的結構化近似。這一限制極大的影響變分推斷方法的質量和性能表現。本文提出了一種新的方法來指定靈活的,任意複雜的和可伸縮的近似後驗分佈(也就是 normalizing flow)。該近似是通過normalizing flow構造的分佈,通過一系列可逆變換(invertible transformation)將簡單的初始密度函數轉化爲更復雜的密度函數,直到達到我們所需的程度。利用normalizing flow的這一觀點來發展有限和無窮小流的範疇,併爲構造豐富的後驗近似提供了一個統一的觀點。實驗部分作者展示了具有更好的匹配真實後驗分佈的後驗,並且結合分攤VI(Amortized Variational Inference)的可擴展性,可以使變分推斷的結果和適用性明顯提高。
Amortized Variational Inference
考慮一個普通的概率模型,觀測變量爲xxx, 隱變量latent variable 爲