Maximum Likelihood Estimate最大似然,Maximum A Posteriori最大後驗。
1,最大似然解釋
這個公司不考慮q的分佈,因此參數估計完全依賴於數據。
L=累乘P(x|q)
2,最大後驗
這個公式考慮了q的分佈,因此參數估計還考慮了先驗知識。
p(q|X)=p(X|q)p(q)/p(X)
3,舉例說明
比如天氣冷和穿絲襪的人的數量的關係。mle僅僅依靠每天穿絲襪的人來估計以後穿絲襪的人的數量。而其實穿絲襪的人的分佈是和溫度有關係的,是先有溫度再有人數。因此mle是不管這裏是溫帶還是寒帶直接不管三七二十一來直接估計X的分佈。而假如這裏是寒帶則溫度是低溫的概率大,因此還要加上一個低溫概率大的P(q)分佈。
事例2
人臉識別,先驗知識是一個人生成了圖片。先有人再有圖片,而單純的mle則僅僅關注於圖片而爲關注人。