參數估計：最大似然、貝葉斯與最大後驗

中國有句話叫“馬後炮”，大體上用在中國象棋和諷刺人兩個地方，第一個很厲害，使對方將帥不得動彈，但這個跟我們今天說的基本沒關係；第二個用途源於第一個，說事情都發生了再採取措施，太遲了。但不可否認，我們的認知就是從錯誤中不斷進步，雖然已經做錯的不可能變得正確，但“來者尤可追”，我們可以根據既往的經驗（數據），來判斷以後應該採取什麼樣的措施。這其實就是有監督機器學習的過程。其中涉及的一個問題就是模型中參數的估計。

爲什麼會有參數估計呢？這要源於我們對所研究問題的簡化和假設。我們在看待一個問題的時候，經常會使用一些我們所熟知的經典的模型去簡化問題，就像我們看一個房子，我們想到是不是可以把它看成是方形一樣。如果我們已經知道這個房子是三間平房，那麼大體上我們就可以用長方體去描述它的輪廓。這個畫房子的問題就從無數的可能性中，基於方圓多少裏大家都住平房的經驗，我們可以假設它是長方體，剩下的問題就是確定長寬高這三個參數了，問題被簡化了。再如學生考試的成績，根據既往的經驗，我們可以假設學生的成績是正態分佈的，那麼剩下的問題就是確定分佈的期望和方差。所以，之所以要估計參數，是因爲我們希望用較少的參數去描述數據的總體分佈。而可以這樣做的前提是我們對總體分佈的形式是知曉的，只需要估計其中參數的值；否則我們要藉助非參數的方法了。

參數估計的方法有多種，這裏我們分析三種基於概率的方法，分別是最大似然估計（Maximum Likelihood）、貝葉斯估計（Bayes）和最大後驗估計（Maximum a posteriori）。我們假設我們觀察的變量是 $x$ ，觀察的變量取值（樣本）爲 $\mathcal{D}=\{x_1, ...,x_N\}$ ，要估計的參數是 $\theta$ ， $x$ 的分佈函數是 $p(x|\theta)$ （我們用條件概率來顯式地說明這個分佈是依賴於 $\theta$ 取值的）。實際中， $x$ 和 $\theta$ 都可以是幾個變量的向量，這裏我們不妨認爲它們都是標量。

最大似然估計 Maximum Likelihood (ML)

“似然”的意思就是“事情（即觀察數據）發生的可能性”，最大似然估計就是要找到 $\theta$ 的一個估計值，使“事情發生的可能性”最大，也就是使 $p(\mathcal{D}|\theta)$ 最大。一般來說，我們認爲多次取樣得到的 $x$ 是獨立同分布的（iid），這樣

$p(\mathcal{D}|\theta)=\prod_{\substack{i=1}}^{N}{p(x_i|\theta)}$

由於 $p(x_i)$ 一般都比較小，且N一般都比較大，因此連乘容易造成浮點運算下溢，所以通常我們都去最大化對應的對數形式

$\theta_{ML}^{*}=argmax_{\theta}\{\Sigma_{i=1}^{N}{log{p(x_i|\theta)}}\}$

具體求解釋時，可對右式對 $\theta$ 求導數，然後令爲0，求出 $\theta$ 值即爲 $\theta_{ML}^{*}$ 。

最大似然估計屬於點估計，只能得到待估計參數的一個值。(1) 但是在有的時候我們不僅僅希望知道 $\theta_{ML}^{*}$ ，我們還希望知道 $\theta$ 取其它值得概率，即我們希望知道整個 $\theta$ 在獲得觀察數據 $\mathcal{D}$ 後的分佈情況 $p(\theta|\mathcal{D})$ . (2) 最大似然估計僅僅根據（有限的）觀察數據對總體分佈進行估計，在數據量不大的情況下，可能不準確。例如我們要估計人的平均體重，但是抽樣的人都是小孩，這樣我們得到的平均體重就不能反映總體的分佈，而我們應該把“小孩之佔總人口20%”的先驗考慮進去。這時我們可以用貝葉斯方法。

貝葉斯估計 Bayes

使用Bayes公式，我們可以把我們關於 $\theta$ 的先驗知識以及在觀察數據結合起來，用以確定 $\theta$ 的後驗概率 $p(\theta|\mathcal{D})$ ：

$p(\theta|\mathcal{D})=\frac{1}{Z_D}p(\mathcal{D}|\theta)p(\theta)$

其中 $Z_D=\int_{\theta} {p(\mathcal{D}|\theta)p(\theta)}\,\mathrm{d}\theta$ 是累積因子，以保證 $p(\theta|\mathcal{D})$ 和爲1。要使用Bayes方法，我們需有關於 $\theta$ 的先驗知識，即不同取值的概率 $p(\theta)$ 。比如 $\theta=1$ 表示下雨， $\theta=0$ 表示不下雨，根據以往的經驗我們大體上有 $P(\theta=1)=0.01$ 、 $P(\theta=0)=0.99$ ，在這種知識不足的時候，可以假設 $\theta$ 是均勻分佈的，即取各值的概率相等。

在某個確定的 $\theta$ 取值下，事件x的概率就是 $p(x|\theta)$ ，這是關於 $\theta$ 的函數，比如一元正態分佈 $p(x|\theta)=\frac{1}{\sqrt{2\pi}}exp(-\frac{(x-\theta)^2}{2})$ 。與上一節中的一樣，我們認爲各次取樣是獨立的， $p(\mathcal{D}|\theta)$ 可以分開來寫，這樣我們就可以得到 $p(\theta|\mathcal{D})$ 的一個表達式，不同的 $\theta$ 對應不同的值。

根據獲得的 $p(\theta|\mathcal{D})$ ，我們邊可以取使其最大化的那個 $\theta$ 取值，記爲 $\theta_{B}^{*}$ 。可能有人已經看出問題來了：我們做了很多額外功，爲了求得一個 $\theta_{B}^{*}$ ，我們把 $\theta$ 取其它值的情況也考慮了。當然在有的時候 $p(\theta|\mathcal{D})$ 分佈是有用的，但是有的時候我們取並不需要知道 $p(\theta|\mathcal{D})$ ，我們只要那個 $\theta_{B}^{*}$ 。最大後驗估計這個時候就上場了。

最大後驗估計 MAP

最大後驗估計運用了貝葉斯估計的思想，但是它並不去求解 $p(\theta|\mathcal{D})$ ，而是直接獲得 $\theta_{B}^{*}$ 。從貝葉斯估計的公式可以看出， $Z_D$ 是與 $\theta$ 無關的，要求得使 $p(\theta|\mathcal{D})$ 最的的 $\theta$ ，等價於求解下面的式子：

$\theta_{MAP}^{*}={argmax}_{\theta}\{ p(\theta|x)\}=argmax_{\theta}\{p(x|\theta)p(\theta)\}$

與最大似然估計中一樣，我們通常最大化對應的對數形式：

$\theta_{MAP}^{*}=argmax_{\theta}\{\log{p(x|\theta)}+\log{p(\theta)}\}$

這樣，我們便無需去計算 $Z_{\mathcal{D}}$ ，也不需要求得具體的 $p(\theta|\mathcal{D})$ 部分，便可以得到想要的 $\theta_{MAP}^{*}$ 。

總結一下：三種方法各有千秋，使用於不同的場合。當對先驗概率 $p(\theta)$ 的估計沒有信心，可以使用最大似然估計（當然也可以使用其它兩種）。貝葉斯估計得到了後驗概率的分佈，最大似然估計適用於只需要知道使後驗概率最大的那個 $\theta$ 。

另外一方面，我們可以感覺到，最大似然估計和Bayes/MAP有很大的不同，原因在於後兩種估計方法利用了先驗知識 $p(\theta)$ ，如果利用恰當，可以得到更好的結果。其實這也是兩大派別（Frequentists and Bayesians)的一個區別。

http://www.cnblogs.com/sp4comm/p/4710857.html

參數估計：最大似然、貝葉斯與最大後驗

DAPPER 事務 TRANSACTION

C++之引用介紹

靜態、共享和動態庫

C++中引用（&）的用法和應用實例

C++拷貝構造函數(深拷貝，淺拷貝)

散列

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結