參數估計

參數估計是什麼？
現在有一些樣本x，假設他們服從某種分佈（例如高斯分佈），但是我們並不知道該分佈的參數，我們通過這些樣本估計出未知的參數，這就是參數估計。

有什麼前提？
樣本是獨立同分布的，且訓練樣本足夠充分。
如果樣本不是同一個分佈，那麼我們的假設（他們服從某種分佈）就是錯誤的。
如果訓練樣本過少，估計出來的參數就會有偏差。

最大似然估計
反過來考慮，假設存在某個數據流滿足高斯分佈，我們從中抽出部分樣本x，很直觀的，我們可以用x的均值和方差來作爲數據流的均值和方差的近似值，而當我們把樣本的數量逼近無窮時，估計的參數值就收斂於真實值。
而當我們擁有樣本x，並假設其滿足某種分佈時，同樣可以用樣本來估計參數值。

貝葉斯估計
最大似然估計僅僅使用了樣本信息，而貝葉斯估計在其之上，又對參數進行了約束。
貝葉斯估計假設參數不再是一個固定的值，而是一個服從某種分佈的變量，通過樣本和參數的分佈，對參數的值進行估計。
反過來考慮，假設存在某個數據流滿足高斯分佈，同時該高斯分佈的參數值不是確定的，而是滿足另一個高斯分佈的隨機變量。也就是說，每次對該數據流進行採樣時，面對的都是一個隨機的高斯分佈，而該高斯分佈的參數滿足另外一個高斯分佈。

遞歸
貝葉斯估計對樣本的參數進行了約束，假設樣本服從的分佈的參數是隨機變量，服從第二個分佈，同樣我們可以假設第二個分佈的參數也是隨機變量，服從第三個分佈…由此可以嵌套若干層。