簡單理解極大似然估計MLE

簡單理解極大似然估計（MLE）

基本思想

使數據集中數據出現的概率（似然）最大

舉例描述

假設某一個新聞文檔數據集下有體育、財經、遊戲等分類，已知體育類下的所有文檔中“籃球“一詞出現了100次（可以統計得出，此處爲了方便表示取成100），體育類下所有文檔的總的詞彙有10000個（可以統計得出）。我們想要估計在體育類下“籃球“一詞出現的概率P(t=”籃球” | c = “體育“) 。
爲了方便描述首先我們將概率P(t=”籃球” | c = “體育“) 記爲p1 。根據上面的基本思想，概率p1 的取值應該讓體育類中出現100次籃球的概率最大，那麼體育類下10000個單詞中出現100次詞彙籃球的概率可以表示成 f(p1)=C10010000p1001(1−p1)10000−100 。
要讓上述概率最大，我們只需要對p1 進行求導，令導數等與0，從而得到上述概率表示的極大值也是最大值，此時求得p1=10010000 。

總結一下，極大似然就是對於某個事件的概率p，p使得觀測數據集中對應該事件取值爲最大。即使給定數據集中某個事件出現的概率最大。