極大似然估計

極大似然估計是一種通過樣本數據來估計總體參數的方法。所謂樣本數據，就是我們測試得到的數據，它有一定的偶然性，例如總體是學校所有人的身高，我們以一個班的身高爲抽樣，就有可能出現一個班的身高高一個班的身高矮的情況。總之，它是不能代表總體參數的。但是我們只有這些樣本的情況下，仍然可以做一些估計。還是比如身高好了，我們自然會假設一個學校裏所有人的身高是服從正態分佈的，只是不知道是服從什麼樣的均值，什麼樣的方差的正態分佈罷了。當我們有了一部分樣本，我們就可以把這些樣本取值的概率做一個乘積，得到一個稱爲似然函數的東西（此例爲離散情況的似然函數）：

L(θ)=∏i=1nP(Xi=xi)$$L(\theta )=\prod _{i=1}^{n}P(X_i=x_i)$$

它的意義是每個樣本Xi$X_i$ 取到xi$x_i$ 這個值的概率的乘積，又因爲是隨機抽樣，這些樣本之間是相互獨立的，所以也可以理解成爲，這些樣本取值成觀測值的事件同時發生的事件的概率。其中每一個P(Xi=xi)$P(X_i=x_i)$ 都是與參數θ$\theta$ 有關的，比如說這個參數是均值，那麼身高均值爲175cm的總體取到身高190cm的樣本的概率就非常低，如果總體的均值爲185cm，則取到190cm的概率就大大增大了。具體而言，這個概率是服從總體分佈的。反過來的，我們知道了樣本的所有身高，通過這個樣本估計總體的參數的一種合理的方法，就是當這些樣本都服從帶某個參數的總體分佈時，（同時）取到這些樣本值的概率最高，也就是似然函數的值最大。我們事先已經假設了總體服從某種類型的分佈，所以似然函數就是一個僅和參數θ$\theta$ 相關的函數，所以我們只需要求得似然函數的極值點，就可以知道，θ$\theta$ 取何值時似然函數取得最大值。

在說求解之前，我們首先分別給出離散和連續情況下的似然函數的數學定義。

定義1:若X1,X2,⋯,Xn$X_1,X_2,\cdots ,X_n$ 是來自總體X$X$ 的樣本，x1,x2,⋯,xn$x_1,x_2,\cdots ,x_n$ 是樣本的觀測值。

(1)若X$X$ 是離散總體，其分佈律爲

P(X=ak)=pk(θ)(k=1,2,⋯,n)$$P(X=a_k)=p_k(\theta )(k=1,2,\cdots ,n)$$

令L(θ)=L(θ;x1,x2,⋯,xn)=∏i=1nP(Xi=xi),θ∈Θ$$令L(\theta )=L(\theta ;x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}P(X_i=x_i),\theta \in \mathrm{\Theta }$$

(2)若X$X$ 是連續總體，其概率密度函數：

f(x;θ)$$f(x;\theta )$$

令L(θ)=L(θ;x1,x2,⋯,xn)=∏i=1nf(xi;θ),θ∈Θ$$令L(\theta )=L(\theta ;x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}f(x_i;\theta ),\theta \in \mathrm{\Theta }$$

稱L(θ)$L(\theta )$ 爲似然函數。

說明一下，雖然概率密度不等於概率本身，但某一點的概率密度是和該點附近鄰域內的概率值成正比的，因此可以近似理解成該點的概率的乘積。

如上所示，如果樣本量很大，自然似然函數的乘積項就會很多，就會很複雜，直接求解是不容易的。但是我們知道對數的運算規律滿足lnxy=lnx+lny$\ln xy=\ln x+\ln y$ ，因此對其求對數以後乘積都變成了相加，又因爲自然對數函數是單調遞增函數，根據複合函數的“同增異減 ”的性質，取對數以後的複合函數的單調性與原來的似然函數保持不變，因此極值點也不變。我們把取對數以後的函數叫做對數似然函數。

下面補充一些定義和解法。