最近paper上看到了很多貝葉斯估計的問題，總結一下網上的貝葉斯估計相關知識。
貝葉斯公式：
最大似然估計：
實際上是求了紅線框起來的部分
最大後驗估計：
實際上是去求了紅線框起來的部分。比最大似然估計多了一個參數的概率，認爲參數也有概率。最大後驗估計（maximum a posteriori estimation，MAP），它與極大似然估計最大的區別就是，它考慮了參數本身的分佈，也就是先驗分佈。
貝葉斯估計：
此時不直接估計參數的值，而是允許參數服從一定概率分佈。即也要求出p(x)來。
貝葉斯學派：
新觀察到的樣本信息將修正人們以前對事物的認知。換言之，在得到新的樣本信息之前，人們對的認知是先驗分佈，在得到新的樣本信息X後，人們的認知爲後驗分佈。
頻率與貝葉斯學派的分歧：
頻率派認爲參數是客觀存在，不會改變，雖然未知，但卻是固定值；貝葉斯派則認爲參數是隨機值，因爲沒有觀察到，那麼和是一個隨機數也沒有什麼區別，因此參數也可以有分佈。
頻率派最常關心的是似然函數，而貝葉斯派最常關心的是後驗分佈。我們會發現，後驗分佈其實就是似然函數乘以先驗分佈再normalize一下使其積分到1。因此兩者的很多方法都是相通的。