【自然语言处理】概率论基础笔记

诸葛亮下来战术，约我军明日决战，如何对敌？

贝叶斯公式推导

条件概率

$P(A|B) = \frac{P(AB)}{P(B)}$

也可以是

$P(B|A) = \frac{P(AB)}{P(A)}$

所以

$P(AB) = P(A) \times P(B|A) = P(B) \times P(A|B)$

合在一起可以推出

$P(A|B) = \frac{P(A) \times P(B|A)}{P(B)}$

全概率公式

$P(A) = P(B) \times P(A|B) +P(C) \times P(A|C) + P(D) \times P(A|D) + ...$

先验概率

是指根据以往经验和分析得到的概率

• 如：抛硬币正面的概率；
• 如：今天下雨的概率；
• 如：脑残中头痛的概率（易于调查，可计算）。
  举例：

假设有两个各装了100个球的箱子，甲箱子中有70个红球，30个绿球，乙箱子中有30个红球，70个绿球。假设随机选择其中一个箱子，从中拿出一个球记下球色再放回原箱子，如此重复12次，记录得到8次红球，4次绿球。问题来了，你认为被选择的箱子是甲箱子的概率有多大？

调查结果显示，大部分人都低估了选择的是甲箱子的概率。根据贝叶斯定理，正确答案是96.7%。下面容我来详细分析解答。

刚开始选择甲乙两箱子的先验概率都是50%，因为是随机二选一（这是贝叶斯定理二选一的特殊形式）。即有：

$P(甲) = 0.5， P(乙) = 1 - P(甲)$
这时在拿出一个球是红球的情况下，我们就应该根据这个信息来更新选择的是甲箱子的先验概率：

$P(甲|红球1) = \frac{P(甲)\times P(红|甲)}{P(红)} = \frac{P(甲)\times P(红|甲)}{P(甲)\times P(红|甲) + P(乙)\times P(红|乙)}$

$P(红球|甲)$：甲箱子中拿到红球的概率
$P(红球|乙)$：乙箱子中拿到红球的概率

因此在出现一个红球的情况下，选择的是甲箱子的先验概率就可被修正为：
$P(甲|红球1) = \frac{0.7 \times 0.5}{0.7 \times 0.5 + 0.3 \times 0.5} = 0.7$

即在出现一个红球之后，甲乙箱子被选中的先验概率就被修正为：

$P(甲) = 0.7$
$P(乙) = 1 - P(甲) = 0.3$

抽到红球 1 --> 抽到的是甲箱子的概率: 0.700000
抽到红球 2 --> 抽到的是甲箱子的概率: 0.844828
抽到红球 3 --> 抽到的是甲箱子的概率: 0.927027
抽到红球 4 --> 抽到的是甲箱子的概率: 0.967365
抽到红球 5 --> 抽到的是甲箱子的概率: 0.985748
抽到红球 6 --> 抽到的是甲箱子的概率: 0.993842
抽到红球 7 --> 抽到的是甲箱子的概率: 0.997351
抽到红球 8 --> 抽到的是甲箱子的概率: 0.998863

抽到绿球 1 --> 抽到的是甲箱子的概率: 0.997351
抽到绿球 2 --> 抽到的是甲箱子的概率: 0.993842
抽到绿球 3 --> 抽到的是甲箱子的概率: 0.985748
抽到绿球 4 --> 抽到的是甲箱子的概率: 0.967365

后验概率

后验概率是信息理论的基本概念之一。在一个通信系统中，在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。果------>因

• 如：抛了100次硬币，100次正面，求硬币正反面均匀的概率；
• 如：下雨了，求有乌云的概率；
• 如：头痛了，是脑残的概率。

最大似然估计

根据先验概率，求得头痛中，感冒的概率，发烧的概率，脑残的概率

• 结果头痛了感冒的概率最大，则判断人是感冒了，则成为最大似然估计

联合概率

• 在概率论中，联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。
• 举例说明：假设X和Y都服从正态分布，那么$P\{X<4,Y<0\}$就是一个联合概率，表示$X<4,Y<0$两个条件同时成立的概率。
• 联合概率：表示两个事件共同发生的概率。A与B的联合概率表示为$P(AB)$或者$P(A,B)$,或者$P(A∩B)$。

条件概率

• 条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。
• 条件概率表示为：$P(A|B)$，读作“在$B$的条件下$A$的概率”。
• 条件概率可以用决策树进行计算。

矩估计

令抽样样本的均值$\bar{X}$等于期望$EX$，然后求出分布参数θ，这个值称为θ的矩估计

最大似然估计

一个分布参数θ，就是说，分布确定了，但是分布的一个参数，我们无法获得，但是可以通过抽样样本，我们来估计这个值，所以我们就能从中找到一个关于θ的估计。最大似然估计会寻找关于 θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）【把每个样本概率乘在一起，形成一个关于θ的函数，然后求函数的最大值时θ的取值，这个使可能性最大的值即被称为θ的最大似然估计】。这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。