MLE和MAP的小結

摘要

本文是關於MLE(最大似然估計)與MAP(最大後驗概率)的一些自己學習的心得.
(本文的重點在於對比MLE和MAP)

正文

1.MLE(最大似然估計)

MLE簡單的理解可以這樣:假設我們手上有一批數據(樣本),而且我們假設這些數據(樣本)服從某個分佈( 模型已知),但是參數未知.這個時候,我們希望對這個參數進行估計,而MLE的思想就是找到一個參數值,使得每條樣本出現的概率最大!

具體來說假設樣本爲x1,x2.....xn$x_1,x_2.....x_n$ ,待估計的參數爲θ$\theta$ .
那麼要優化的目標爲:
argmax P(x1,x2,...xn|θ)(0)$\begin{array}{}\text{(0)}& argmaxP(x_1,x_2,...x_n|\theta )\end{array}$
假設每個樣本間獨立同分布那麼我們有:
argmax ∏ni=1P(xi|θ)(1)$\begin{array}{}\text{(1)}& argmax\prod _{i=1}^{n}P(x_i|\theta )\end{array}$
後面一般是取對數,把連乘轉化成連加的形式更方便計算,後面就不展開了.

2.MAP(最大後驗概率)

還是同樣的場景:我們有一批數據(樣本),我們假設其服從某個分佈(模型已知),參數未知.但是,我們還有一個額外的信息就是,我們雖然不知道參數具體是多少,但是我們知道這個參數也服從某個分佈,MAP就是加上這個條件後,去對我們的參數進行估計.

具體可以表現爲:
argmax P(θ|x1,x2,...xn)(2)$\begin{array}{}\text{(2)}& argmaxP(\theta |x_1,x_2,...x_n)\end{array}$
做一步貝葉斯公式有:
argmax P(θ|x1,x2,...xn)=P(x1,..xn|θ)P(θ)P(x1,x2...xn)(3)$\begin{array}{}\text{(3)}& argmaxP(\theta |x_1,x_2,...x_n)=\frac{P(x_1,..x_n|\theta )P(\theta )}{P(x_1,x_2...x_n)}\end{array}$

其中P(θ)$P(\theta )$ 就是我們對θ$\theta$ 的一個先驗分佈
對於分子,我們可以看到,其實就是先驗分佈和似然概率的乘積.

所以在經過幾步的簡單推導,我們可以得出MLE和MAP其實區別在於:

首先,我們不要忘了我們的目的,我的們目的是求模型中未知的參數!
1.MLE是通過直接最大化似然概率P(x1,..xn|θ)$P(x_1,..x_n|\theta )$ 來求解參數θ$\theta$ ,而MAP是通過最大化似然概率×先驗分佈,即P(x1,..xn|θ)P(θ)$P(x_1,..x_n|\theta )P(\theta )$ 來求解參數θ$\theta$ .

那這裏似乎透露着利用MAP來估計參數會不會使得模型更加的好?這就取決於我們的這個先驗概率捏的準不準.

MLE和MAP的聯繫在於:
1.兩者都是用於模型已知,參數未知下對參數進行估計的方法

更多詳細的參考資料:
參考資料1
參考資料2