採樣方法調研

參考

---

採樣在特徵學習中是重要的：論述採樣在特徵學習中的重要性，有實驗證明

機器學習採樣方法大全

採樣方法(Sampling Method)

不錯的講義：以下基礎部分主要參考這個文獻

蒙特卡洛採樣：蒙特卡洛採樣基礎參考這部分

Machine Learning_ A Probabilistic Perspective：MH算法的有效性證明參見本書24.3.6

馬爾可夫鏈及吉布斯抽樣 入門詳解(Markov Chain Monte Carlo and Gibbs Sampling)：這個對於Gibbs採樣的想法說得很清楚

 

動機

---

給定某個分佈，如何生成足夠多的樣本？實際上，這是一箇中間問題，因爲有很多應用問題需要這一步進行近似推斷。

我們更需要關注如何應用採樣方法解決實際問題，而不是算法的證明。站在巨人的肩膀上，先理解如何熟練應用。一開始想着做本質改進，一般連最基礎的理解都達不到。

 

函數變換

---

如果$u\sim U(0,1)$則$f^{-1}(u)\sim f$，理由如下：
$P(f^{-1}(u)<x)=P(u<f(x))=f(x)$

即，$f^{-1}(u)$的概率分佈函數爲$f$，概率密度函數爲$f^{\prime}$.

 

拒絕採樣

---

對於p(z)，假設其非正規化版本$\tilde{p}(z)$更容易得到。我們找到一個常數$k$和一個已知分佈$q(z)$使得總有
$\tilde{p}(z)\leq kq(z)$

那麼，我們可以通過重複以下步驟進行採樣：

• 生成一個$q(z)$的樣本$z_0$
• 生成一個$U(0,kq(z_0))$的樣本$u_0$
• 如果$u_0\leq \tilde{p}(z_0)$就保留$z_0$，作爲一個所求樣本，否則捨棄$z_0$，繼續上述步驟

 

重要性採樣

---

應用在對隨機變量期望的估計。期望爲

一般對分佈$p(z)$採取$L$個樣本$z^{(l)}, l=1, \cdots, L$，使用

進行估計。

但是，我們可以使用另外更加容易採樣的分佈$q(z)$來做估計。對$q(z)$採取$L$個樣本$z^{(l)}$，然後使用下式

 

蒙特卡洛採樣

這裏我們只簡單表達它的思想和算法，證明去看Machine Learning_ A Probabilistic Perspective

馬爾科夫蒙特卡洛採樣算法（MCMC）的基本想法是，找到轉移概率，使得所採樣分佈爲對應馬爾科夫鏈的平穩分佈。

MH採樣算法

如果分佈$p(x)$滿足
$p(x)t(x^{\prime}|x)=p(x^{\prime})t(x|x^{\prime})$

時，$p(x)$就是轉移概率$t(x^{\prime}|x)$對應的馬爾科夫鏈的平穩分佈。

但是，這樣的轉移概率分佈是不容易的，我們使用一個先驗的轉移概率分佈

設$\tilde{p}(x)$爲非正規化分佈，選擇一個先驗的轉移概率分佈$p(x^{\prime}|x)$，通過一個接受率$r$來進行修正。

Gibbs採樣算法

對於$n>1$元分佈$p(x_1, \cdots, x_n)$，可以使用本身構造轉移概率，得到Gibbs採樣算法