贝叶斯定理
- P(A)表示A发生的概率
- P(B)表示B发生的概率
- P(A|B)表示A在B条件下发生的概率
- P(B|A)表示B在A条件下发生的概率
\[P(A|B)=\frac{P(B|A)\times P(A)}{P(B)}
\]
最大似然估计MLE
最大似然估计是求估计的方法之一。简单来讲，极大似然估计就是给定模型，然后通过收集数据，求该模型的参数。
比如例如，投10次特殊的硬币（给定模型），出现6次正面4次反面（请注意，这里10次结果有顺序，后面所有的投硬币结果，都有顺序）（收集数据），现在要估计投这枚硬币出现正面的概率（求参数）。
我们根据平常的知识知道，一枚普通硬币出现正面的概率是0.5。但是这里是一枚特殊的硬币，所以出现正面的概率不一定是0.5.根据直觉猜一下可能是0.6。但是，我们缺乏了一个数学描述，而最大似然估计就是给了一个这样的描述：
- 使用\(\theta\)表示出现正面的概率
- 则似然函数可以表示为
\[f(\theta )=\theta^6(1-\theta )^4
\]
- 最大化这个似然函数，也就是求这个函数的极大值点:
\[argmax_\theta f(\theta )
\]
- 对数化：
\[argmax_\theta lnf(\theta )
\]
- 最终可以求得\(\theta\)=0.6
如果未知参数有多个，则需要用取对数的似然函数对每个参数进行求偏导，使得所有偏导均为0的值，即为该函数的极值点，一般也是其最大似然估计值。
最大后验估计MAP
对于最大后验概率估计，我们先进行通俗简单的理解，还是以刚才的那个问题为例，投10次硬币，结果分别是x0,x1,…,x9，出现了6次正面，4次反面。
现在，有两个人A和B，其中A觉得那枚硬币，它就是一个一般的硬币，出现正面的概率θ = 0.5。而B觉得，它是一个特殊的硬币，出现正面的概率θ = 0.6。
最大后验概率就是把他们的假设都进行计算（验算），然后选择其中假设最好的一个，当作最大后验概率。
假设1：
\[P(x_0,x_1,x_2,...,x_9|\theta)=\theta^6(1-\theta )^4=0.5^6*0.5^4\approx 0.00097656
\]
假设2：
\[P(x_0,x_1,x_2,...,x_9|\theta)=\theta^6(1-\theta )^4=0.6^6*0.4^4\approx 0.00119439
\]
所以我们认为假设2比假设1的可能性更大。
最大后验概率估计就是在已知一系列结果的情况下，求参数可能的最大的那一个，也就是求解下面式子：
\[argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)
\]
可以转换为贝叶斯求解：
\[argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)=\frac{P(x_0,x_1,x_2,...,x_n|\theta )\times P(\theta)}{P(x_0,x_1,x_2,...,x_n)}
\]
有的时候，\({P(x_0,x_1,x_2,...,x_n)}\)是已知的或者固定的，可以视为
\(argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)\)等价于\(P(x_0,x_1,x_2,...,x_n|\theta )\times P(\theta)\)