最大似然估計，最大後驗估計

條件概率：

    $$P(A|B)={P(AB)\over P(B)}$$
    這個公式看下面韋恩圖就懂了：在事件\(B\)發生的條件下發生事件\(A\)的概率\(P(A|B)\)，就是\(AB\)同時發生的概率\(P(AB)\)，比\(B\)發生的概率\(P(B)\).

   

貝葉斯公式：

$$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$
    形式上很明顯，這個公式是條件概率變形而來
$$P(A|B)={P(AB)\over P(B)}$$
$$\Rightarrow\;P(A|B)P(B)=P(AB)$$
$$P(B|A)={P(AB)\over P(A)}$$
$$\Rightarrow\;P(B|A)P(A)=P(AB)$$
$$\Rightarrow\;P(A|B)P(B)=P(B|A)P(A)$$
$$\Rightarrow\;P(A|B)={P(B|A)P(A)\over P(B)}$$
    貝葉斯公式中\(P(A|B)\)稱爲後驗，就是需要推斷的概率，\(P(B|A)\)稱爲似然，就是“貌似是這樣“的意思，\(P(B)\)稱爲先驗.

最大似然估計與最大後驗估計：

    最大似然估計就是使似然最大化. \(P(B|A)\)這個是似然，用似然函數表示爲\(P(x|\theta)\), 其中\(x\)是樣本數據，\(\theta\)是條件，最大似然估計做的就是："在什麼條件下，樣本數據被抽到的概率最大".
    最大後驗估計就是使\(P(B|A)P(A)\),即\(P(A|B)\)最大. 這個方法適用於知道先驗的情況下.