基礎數學系列(一)--似然函數與最大似然估計

1.似然函數

(1)離散型

若總體X屬離散型,其分佈律P{X=}=p( $x;\theta$ ), $\theta \in \Theta$ 的形式爲已知, $\theta$ 爲待估參數, $\Theta$ 是 $\theta$ 可能取值的範圍,設 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 是來自X的樣本,則 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 的聯合分佈律爲:

$\prod _{i=1}^{n}p(x_{i};\theta )$ .

又設 $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ 是相應於樣本 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 的一個樣本值,易知樣本 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 取到觀測值 $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ 的概率,亦即事件{ $X_{1}=x_{1},X_{2}=x_{2},...,X_{n}=x_{n}$ }發生的概率爲

$L(\theta )=L(x_{1},x_{2},...,x_{n};\theta )=\prod_{i=1}^{n}p(x_{i};\theta ),\theta \in \Theta$

這一概率隨 $\theta$ 的取值而變化,它是 $\theta$ 的函數, $L(\theta )$ 稱爲樣本的似然函數(這裏 $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ 是已知的樣本值,它們都是常數).

那麼我們可以作如下考慮:現在已經取到樣本值 $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ 了,這表明取到這一樣本值的概率 $L(\theta )$ 比較大,我們當然不會考慮那些不能使樣本 $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ 出現的 $\theta \in \Theta$ 作爲 $\theta$ 的估計,再者,如果已知當 $\theta =\theta _{0}\in \Theta$ 時使 $L(\theta )$ 取得很大值,而 $\Theta$ 中其他 $\theta$ 值是 $L(\theta )$ 取很小值,我們自然認爲取 $\theta _{0}$ 作爲未知參數 $\theta$ 的估計值較爲合理.由費希爾引進的最大似然估計法,就是固定樣本觀察值 $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ ,在 $\theta$ 取值的可能範圍 $\Theta$ 內挑選使似然函數 $L(x_{1},x_{2},...,x_{n};\theta )$ 達到最大的參數值 $\hat{\theta }$ ,作爲參數 $\theta$ 的估計值,即取 $\hat{\theta }$ 使

$L(x_{1},x_{2},...,x_{n};\hat{\theta })=\max_{\theta \in \Theta }L(x_{1},x_{2},...,x_{n};\theta )$

這樣得到的 $\hat{\theta }$ 與樣本值 $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ 有關,記爲 $\hat{\theta }(x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n})$ ,稱爲參數 $\theta$ 的最大似然估計值,而相應的統計量 $\hat{\theta }(X_{_{1}},X_{2},\cdot \cdot \cdot ,X_{n})$ 稱爲參數 $\theta$ 的最大似然估計量

(2)連續型

若總體X屬連續型,其概率密度 $f(x;\theta )$ , $\theta \in \Theta$ 的形式爲已知, $\theta$ 爲待估參數, $\Theta$ 是 $\theta$ 可能取值的範圍,設 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 是來自X的樣本,則 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 的聯合密度爲:

$\prod_{i=1}^{n}f(x_{i},\theta )$

設 $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ 是相應於樣本 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 的一個樣本值,則隨機點 $(X_{1},X_{2},...X_{n})$ 落在點( $x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n}$ )的鄰域(邊長分別爲 $dx_{1},dx_{2},\cdot \cdot \cdot ,dx_{n},$ 的n維立方體)內的概率近似地爲

$\prod_{i=1}^{n}f(x_{i},\theta )dx_{i}$

這一概率隨 $\theta$ 的取值而變化,它是 $\theta$ 的函數,但因子 $\prod_{i=1}^{n}dx_{i}$ 不隨 $\theta$ 而變故只需考慮函數

$L(\theta )=L(x_{1},x_{2},...,x_{n};\theta )=\prod_{i=1}^{n}f(x_{i};\theta ),\theta \in \Theta$

的最大值 $L(\theta )$ 稱爲樣本的似然函數,若

$L(x_{1},x_{2},...,x_{n};\hat{\theta })=\max_{\theta \in \Theta }L(x_{1},x_{2},...,x_{n};\theta )$

則稱 $\hat{\theta }(x_{_{1}},x_{2},\cdot \cdot \cdot ,x_{n})$ 爲參數 $\theta$ 的最大似然估計值,而相應的統計量 $\hat{\theta }(X_{_{1}},X_{2},\cdot \cdot \cdot ,X_{n})$ 稱爲參數 $\theta$ 的最大似然估計量 .

總結:已知某個隨機樣本滿足某種概率分佈，但是其中具體的參數不清楚，參數估計就是通過若干次試驗，觀察其結果，利用結果推出參數的大概值.最大似然估計是建立在這樣的思想上：已知某個參數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個參數作爲估計的真實值(利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的參數值)

$\theta$

基礎數學系列(一)--似然函數與最大似然估計

我的Python學習之路六:列表

我的Python學習之路五:字符串處理

我的Python學習之路七:元祖和字典

我的Python學習之路一:Python簡介

我的Python學習之路二:環境及編輯工具安裝

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結