加權極大似然估計是相對於非加權的極大似然估計而言。
傳統的極大似然估計思想非常簡單,也就是我們既然觀察到了這個現象,說明出現概率很大,然後通過建立需要估計參數和現象之間的概率模型,使得出現觀察到的現象的概率最大化。
傳統的極大似然估計對所有數據都是平等的,權值是一樣的,直接把每個觀察值的概率乘起來。
而加權極大似然估計的思想也很簡單,就是我們觀察到的數據往往有一些異常值,或者部分數據受到一些其他分佈的影響,那麼就考慮給這些數據一些較低的權值。
雖然如此,但是如何確定這個權值並非非常容易,需要根據特定的場合進行特定選擇,最好是,既能夠很好的降低異常值或者背景干擾導致的bias,還要避免這個權重本身導致bias。
一些可選策略:
1,部分數據爲1,部分數據直接爲0。
2,根據經驗分佈來確定一個連續的權重分佈。
3,根據觀察值對參數預估,再確定自適應的權重。
參考文獻
Ahmed E S, Volodin A I, Hussein A A. Robust weighted likelihood estimation of exponential parameters[J]. IEEE Transactions on reliability, 2005, 54(3): 389-395.