貝葉斯定理
- P(A)表示A發生的概率
- P(B)表示B發生的概率
- P(A|B)表示A在B條件下發生的概率
- P(B|A)表示B在A條件下發生的概率
\[P(A|B)=\frac{P(B|A)\times P(A)}{P(B)}
\]
最大似然估計MLE
最大似然估計是求估計的方法之一。簡單來講，極大似然估計就是給定模型，然後通過收集數據，求該模型的參數。
比如例如，投10次特殊的硬幣（給定模型），出現6次正面4次反面（請注意，這裏10次結果有順序，後面所有的投硬幣結果，都有順序）（收集數據），現在要估計投這枚硬幣出現正面的概率（求參數）。
我們根據平常的知識知道，一枚普通硬幣出現正面的概率是0.5。但是這裏是一枚特殊的硬幣，所以出現正面的概率不一定是0.5.根據直覺猜一下可能是0.6。但是，我們缺乏了一個數學描述，而最大似然估計就是給了一個這樣的描述：
- 使用\(\theta\)表示出現正面的概率
- 則似然函數可以表示爲
\[f(\theta )=\theta^6(1-\theta )^4
\]
- 最大化這個似然函數，也就是求這個函數的極大值點:
\[argmax_\theta f(\theta )
\]
- 對數化：
\[argmax_\theta lnf(\theta )
\]
- 最終可以求得\(\theta\)=0.6
如果未知參數有多個，則需要用取對數的似然函數對每個參數進行求偏導，使得所有偏導均爲0的值，即爲該函數的極值點，一般也是其最大似然估計值。
最大後驗估計MAP
對於最大後驗概率估計，我們先進行通俗簡單的理解，還是以剛纔的那個問題爲例，投10次硬幣，結果分別是x0,x1,…,x9，出現了6次正面，4次反面。
現在，有兩個人A和B，其中A覺得那枚硬幣，它就是一個一般的硬幣，出現正面的概率θ = 0.5。而B覺得，它是一個特殊的硬幣，出現正面的概率θ = 0.6。
最大後驗概率就是把他們的假設都進行計算（驗算），然後選擇其中假設最好的一個，當作最大後驗概率。
假設1：
\[P(x_0,x_1,x_2,...,x_9|\theta)=\theta^6(1-\theta )^4=0.5^6*0.5^4\approx 0.00097656
\]
假設2：
\[P(x_0,x_1,x_2,...,x_9|\theta)=\theta^6(1-\theta )^4=0.6^6*0.4^4\approx 0.00119439
\]
所以我們認爲假設2比假設1的可能性更大。
最大後驗概率估計就是在已知一系列結果的情況下，求參數可能的最大的那一個，也就是求解下面式子：
\[argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)
\]
可以轉換爲貝葉斯求解：
\[argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)=\frac{P(x_0,x_1,x_2,...,x_n|\theta )\times P(\theta)}{P(x_0,x_1,x_2,...,x_n)}
\]
有的時候，\({P(x_0,x_1,x_2,...,x_n)}\)是已知的或者固定的，可以視爲
\(argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)\)等價於\(P(x_0,x_1,x_2,...,x_n|\theta )\times P(\theta)\)