极大似然估计

极大似然估计是一种通过样本数据来估计总体参数的方法。所谓样本数据，就是我们测试得到的数据，它有一定的偶然性，例如总体是学校所有人的身高，我们以一个班的身高为抽样，就有可能出现一个班的身高高一个班的身高矮的情况。总之，它是不能代表总体参数的。但是我们只有这些样本的情况下，仍然可以做一些估计。还是比如身高好了，我们自然会假设一个学校里所有人的身高是服从正态分布的，只是不知道是服从什么样的均值，什么样的方差的正态分布罢了。当我们有了一部分样本，我们就可以把这些样本取值的概率做一个乘积，得到一个称为似然函数的东西（此例为离散情况的似然函数）：

L(θ)=∏i=1nP(Xi=xi)$$L(\theta )=\prod _{i=1}^{n}P(X_i=x_i)$$

它的意义是每个样本Xi$X_i$ 取到xi$x_i$ 这个值的概率的乘积，又因为是随机抽样，这些样本之间是相互独立的，所以也可以理解成为，这些样本取值成观测值的事件同时发生的事件的概率。其中每一个P(Xi=xi)$P(X_i=x_i)$ 都是与参数θ$\theta$ 有关的，比如说这个参数是均值，那么身高均值为175cm的总体取到身高190cm的样本的概率就非常低，如果总体的均值为185cm，则取到190cm的概率就大大增大了。具体而言，这个概率是服从总体分布的。反过来的，我们知道了样本的所有身高，通过这个样本估计总体的参数的一种合理的方法，就是当这些样本都服从带某个参数的总体分布时，（同时）取到这些样本值的概率最高，也就是似然函数的值最大。我们事先已经假设了总体服从某种类型的分布，所以似然函数就是一个仅和参数θ$\theta$ 相关的函数，所以我们只需要求得似然函数的极值点，就可以知道，θ$\theta$ 取何值时似然函数取得最大值。

在说求解之前，我们首先分别给出离散和连续情况下的似然函数的数学定义。

定义1:若X1,X2,⋯,Xn$X_1,X_2,\cdots ,X_n$ 是来自总体X$X$ 的样本，x1,x2,⋯,xn$x_1,x_2,\cdots ,x_n$ 是样本的观测值。

(1)若X$X$ 是离散总体，其分布律为

P(X=ak)=pk(θ)(k=1,2,⋯,n)$$P(X=a_k)=p_k(\theta )(k=1,2,\cdots ,n)$$

令L(θ)=L(θ;x1,x2,⋯,xn)=∏i=1nP(Xi=xi),θ∈Θ$$令L(\theta )=L(\theta ;x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}P(X_i=x_i),\theta \in \mathrm{\Theta }$$

(2)若X$X$ 是连续总体，其概率密度函数：

f(x;θ)$$f(x;\theta )$$

令L(θ)=L(θ;x1,x2,⋯,xn)=∏i=1nf(xi;θ),θ∈Θ$$令L(\theta )=L(\theta ;x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}f(x_i;\theta ),\theta \in \mathrm{\Theta }$$

称L(θ)$L(\theta )$ 为似然函数。

说明一下，虽然概率密度不等于概率本身，但某一点的概率密度是和该点附近邻域内的概率值成正比的，因此可以近似理解成该点的概率的乘积。

如上所示，如果样本量很大，自然似然函数的乘积项就会很多，就会很复杂，直接求解是不容易的。但是我们知道对数的运算规律满足lnxy=lnx+lny$\ln xy=\ln x+\ln y$ ，因此对其求对数以后乘积都变成了相加，又因为自然对数函数是单调递增函数，根据复合函数的“同增异减 ”的性质，取对数以后的复合函数的单调性与原来的似然函数保持不变，因此极值点也不变。我们把取对数以后的函数叫做对数似然函数。

下面补充一些定义和解法。