變分推斷已經成爲近似複雜模型後驗分佈的一種有效且廣泛的方法。對於特定的模型，如果我們可以將其ELBO期望寫成解析解的形式(比如指數家族分佈，例如高斯分佈)，這種情況下我們可以採用變分推斷的一般方法進行優化求解。然而對於更一般的模型和任意的變分分佈,普通的變分推斷方法就無法進行有效求解了.針對不同的模型我們可以設計模型特異性的求解方法,但是針對具體的問題設計特定的求解策略是一個費時費力的工作。於是，David等人提出了 Black Box VI，它能夠對複雜多樣的模型與概率分佈進行近似，進而求出近似的後驗分佈q。此外，相比於其他優化算法，基於梯度的隨機優化算法在解決大規模數據、高維度問題中有着巨大的優勢。
Black Box Variational Inference
在變分推斷中，我們知道求解近似的後驗概率分佈的過程就是最大化ELBO的過程，或者說最小化KL散度，ELBO如下:
爲了使用隨機梯度的方法來優化ELBO,需要一個關於ELBO梯度的無偏估計noisy gradient，於是，本文中首先將ELBO重寫爲如下score function的形式：(還有一種有效得方式是VAE中的重參數方法，Reparameterization trick。感興趣的可以自己看一下)
推導如下：
該方法的核心就是可以將關於ELBO的梯度寫成關於變分分佈q的期望：
