● 每週一言
堅持一定是有毅力，但有毅力不一定能堅持。
導語
統計學中，我們經常能聽到極大似然估計，或者最大似然估計，它是一種參數估計方法。在機器學習中，邏輯迴歸就是基於極大似然估計來計算的損失函數。那麼，如何直觀理解極大似然估計？
極大似然估計
極大似然估計（maximum likelihood estimation，MLE），顧名思義，“極大”意爲“最有可能的”，“似然”意爲“看起來像的”，“估計”的意思則可以理解爲“就是這樣的”。
所以，極大似然估計的直譯就是：最有可能看起來像的，就是這樣的。就是說，以最大概率爲標準來判斷結果，即叫做極大似然估計。
比如，在你面前出現一個白人，你來判斷這個人來自哪個大洲。不出意外，你會說來自歐洲。這便是用了極大似然估計的思想。
瞭解了極大似然估計的思想，下面通過一個具體的例子來說明極大似然估計的求解步驟。
一個黑色箱子裏有黑白兩種顏色的小球若干，每次有放回的拿球，已知拿到白球的概率範圍是[0.2，0.8]，拿三次結果兩黑一白，問取出白球概率的極大似然估計是多少。
假設取球事件爲y，取到白球時y=1，概率爲p，取到黑球時y=0，概率爲1-p。由於是獨立事件，三次拿球兩黑一白的概率可以表示爲：P(y = 0 | p)P(y = 0 | p)P(y = 1 | p) = (1 - p)(1 - p)p = p^3 - 2p^2 + p。白球的極大似然估計就是求使得這個概率表達式最大的p值。
既然是求最大值，而上式可導，我們便可對上式進行求導並令其等於0，3p^2 - 4p + 1 = 0。求此一元二次方程的根得p=1/3或p=1，可知原式在[0, 1/3]區間單調遞增，在[1/3, 1]區間單調遞減。因此，在白球概率範圍[0.2，0.8]內，當p=1/3時表達式取得最大值，取得白球的概率的極大似然估計爲1/3。
至此，便可總結出極大似然估計的求解步驟：
1> 寫出概率表達式，也可以叫似然表達式，似然表達式值的大小意味着這組樣本值出現的可能性的大小。
2> 對似然表達式求導，必要時進行預處理，比如取對數（邏輯迴歸需要），令其導數爲0，得到似然方程。
3> 求解似然方程，得到的參數解即爲極大似然估計的解。
這裏多說一句，由於邏輯迴歸的ω向量可能很大，參數個數很多，導致方程組很難求解。在這種情況下，一般通過梯度上升法逼近真實的ω，這也符合機器學習的訓練過程。
以上便是極大似然估計的講解，敬請期待下節內容。
結語
感謝各位的耐心閱讀，後續文章於每週日奉上，敬請期待。歡迎大家關注小鬥公衆號 對半獨白！
