概率论基础 ---- 不整虚的

概率论基础

随机试验

样本空间

随机事件

随机变量

条件概率 (考试抄过答案?)

独立

条件独立

联合概率

边缘概率全

概率公式

贝叶斯定理(相信直觉还是理性?)

链式规则

Reference

心得

 

 

随机试验

随机试验满足的条件:

  1. 试验可在相同条件下重复进行

  2. 试验的可能结果不止一个, 且所有可能结果可事先预知

  3. 每次试验的结果只有一个, 不能事先预知

样本空间

随机试验所以的结果集合,记为 S,其中的元素 x 为样本点


举例子 ---- 掷骰子 (不接受各种不给正常结果的奇奇怪怪的骰子)

掷骰子就是一个随机试验(可以检验下上面三个条件是否都满足)

样本空间 

样本点x可取 1, 2, 3, 4, 5, 6其中任意一个

随机事件

随机事件是样本空间的子集


讲人话

我们设 “掷一次骰子得到素数” 为一个事件  ,只要该集合中任意一种情况发生事件x就发生了

那么发生事件x的概率为

随机变量

随机变量是定义在样本空间上的映射 (函数), 通常是将样本空间映射到数字空间, 为了方便数学表达


举例子 ---- 抛硬币(不接受可以直立的奇怪硬币)

抛硬币的结果的样本空间 

额外定义一个数集 

随机变量为 x

因为 x 是映射 (函数), 我们可以把它定义为从集合 S到 集合 T之间的映射

  或者

  都行

注意

对于随机事件 A, 表示随机事件发生的概率

对于随机变量 X, 表示随机变量取值为  的概率

比如随机变量我们取上面第一种定义方式. 那么

  1. 定义随机事件  为 “抛硬币结果为正面”,

  2. 如果定义随机事件 A 为 "抛硬币结果为直立" (前面说了不接受奇怪的硬币,那你非要这么定义也没办法啊),

      

条件概率

当某条件发生时,事件发生的概率. 记为 .

注意

我们知道  是一个关于随机变量 X的概率分布. 当 X条件发生后,可能改变了 X的样本空间. 但此时条件概率仍然是一个关于随机变量 X的概率分布. 如果穷举所有 X所有可能的取值,它们所对应的概率之和一定为1.


举个例子 ---- 期末考试

在概率论考试上,混哥(没怎么学) 和 卷哥(杨超越附身的那种)  考试坐邻座,混哥想让卷哥给他抄答案. 矫情的卷哥一把遮住了答案. 问混哥答对这道题的概率是多少?


假设正确答案为随机变量

在没看到卷哥答案之前,混哥心中的正确答案的概率分布为 ,  X的样本空间为 ,因为没听过课混哥无奈只能瞎蒙,每个答案都有相同可能正确, 所以, 而  可能取值对应概率的总和等于1.  ,因此此时混哥答对的概率为 .

当混哥看到卷哥手后面露出来的曲线 (条件),混哥心里会心一笑。此时在混哥心中正确答案的概率分布为 P(X | 卷矫露曲) 不再是  . 因为混哥从样本空间中剔除了 , 图片中的曲线明显是  或者  嘛!(假设卷哥答案正确),此时  的样本空间变成了 . 在 “卷矫露曲” 事件发生后,混哥的世界发生了翻天覆地的变化!!! P(X = A | 卷矫露曲) = P(X = B |卷矫露曲) ,而且 ,那么此时混哥答对的概率为  !

独立

两个事件 A 和 B 相互独立,


举个例子

上面的期末考试的例子,"混哥答对" 和 "卷矫露曲" 两个事件是不是独立的呢?

要知道这两个事件是否独立, 关键看   

  1. 在 “卷矫露曲” 事件发生前

  2. 在 “卷矫露曲” 事件发生后,

由上所述  , 所以 “混哥答对” 和 “卷矫露曲” 这两个事件不独立!

条件独立

两个事件A和B条件独立


画个图分分钟明白 ---- 别老举栗子了,累

图1: 事件 A与事件 B相互独立时的样本空间描述

图2: 事件 A与事件 B条件独立时的样本空间描述

注解U 为所有事件的样本空间, A 为事件 A的样本空间, B 为事件 B的样本空间, C 为事件 C的样本空间

图1 很好理解, A 和 B 没有交集, 事件 A与事件 B相互独立

图2 稍微有点费解

  1. 在不考虑以事件 C为条件的情况下, 事件 A 和事件 B不相互独立, 因为两个事件集合有交集

  2. 在考虑以事件 C为条件的情况下, 事件 A和 事件 B相互独立, 因为此时事件 A 和事件 B 的样本空间改变了, 在事件 C发生后, 事件 A的样本空间变为 A∩C,  而事件 B的样本空间变为 B∩C, 此时, 事件 A和事件 B在以事件 C 为条件下条件独立

由此,我们可以知道 事件间的条件独立(三个事件之间)弱于事件间的独立, 注意在条件 C发生后, 事件 A 和事件 B的样本空间改变了.

联合概率

所有条件同时发生的概率。此时概率记作

其中事件为  ,  为随机变量

边缘概率

将某个事件的概率在以另外某个事件为条件下累积的概率。记为 

边缘概率与联合概率的关系

 

其中 x 是随机变量 X所有可能的取值, y是随机变量 Y所有可能的取值。


看图说话

上图可以根据叶丙成老师很形象的说法:切面包定理

考虑累积 A 在每个条件下 Ci 下切下的 “面包片”, 最后, Gong Gong! 得到了我们的大面包 A

全概率公式

一个事件在许多其他事件的影响下, 整体的概率总和. 记为, 


解释

联系切面包定理. 事件 Ci 发生的先验概率为 , 可以说全概率公式是  切面包定理 的公式表达

贝叶斯定理 (直觉还是理性?)

公式: 


与条件概率区别

条件概率公式: 

如果 X与 Y相互独立 , 此时 


深入理解贝叶斯定理

接下来我们用贝叶斯定理解释一个心理学现象 ---- 可得性偏见 《思考的快与慢》

思考下面的问题:

有一个孩子,邻居如此描述他:“史蒂夫非常腼腆,少言寡语,很乐于助人,却对他人或者这个现实世界没有兴趣。他谦恭有礼,做事井井有条,中规中矩,关注细节。”请问史蒂夫更可能从事哪种职业,图书管理员还是农民?

思考后…  你的答案是农夫?还是图书馆管理员?


假如 样本空间 中一共210个人, 其中10位为图书馆管理员, 另外200位为农民 (很符合我们现实世界中的比例)


我们分析人类是如何犯 可得性偏见 这个毛病的

根据直觉大部分人会给出 史蒂夫是“管理员” 这个答案 (然鹅是错误的!)

我们人类的大脑擅长使用比较的思维, 在这个问题中我们只简单比较考虑 "具有细心品质的管理员占管理员总数的比例" 和 "具有细心品质的农民占农民总数的比例"的大小, 这两个数据都是似然值.  根据我们的经验大概有 40% 的图书馆管理员我们题目中提到的井井有条,中规中矩,关注细节的品质, 而只有 10% 的农民具有这种品质. 由此我们得出 斯蒂芬更可能是图书馆管理员 这个错误结论. 所以 本质是似然值限制了我们理性思考的能力. 我们只对比了两个比例, 却忽略了这两个比例背后的数量, 具有细心品质的管理员有4个, 具有细心品质的农民却有20个! 理性的说史蒂芬是农民的概率更大才对.


然后看看贝叶斯如何帮助我们得到理性的答案

我们令 "史蒂芬为图书馆管理员" 为 H, 这也是我们的假设, 那么 "史蒂芬是农民" 就表示为 , 而 "…他谦恭有礼,做事井井有条,中规中矩,关注细节…" 是对史蒂芬的描述, 我们称之为证据(evidence), 记为 E .

 是史蒂芬为图书馆管理员的概率, 等于 , 我们称之为先验概率,

 是史蒂芬为农民的概率, 等于 

 是假设史蒂芬是图书馆管理员, 他具有我们问题中描述的性格的概率, 我们称之为 似然值(Likelihood),

,  (扩展一句: 在我们的各种机器学习算法中, 似然值描述了我们的模型产生观测数据的概率)

 是假设史蒂芬是农民, 他具有我们问题中描述的性格的概率, 也是 似然值

其实我们上文的问题就是根据这些对史蒂芬的性格描述 来确定他是 图书馆管理员的概率, 用数学应该表示为, 根据我们的贝叶斯公式 ,

 是具有细心这种品质的人的概率, , 根据之前提到的切面包定理,

所以根据这些对史蒂芬的性格描述 来确定他是 图书馆管理员的概率为

类似的我们可以推出根据这些对史蒂芬的性格描述 来确定他是 农民的概率为

所以根据贝叶斯理论给出的理性答案, 蒂芬最有可能是农民!  

人们做决策时大多利用自己熟悉的或能够凭想象构造而得到的信息,导致赋予那些易见的,容易记起的信息以过大的比重,但这只是应该被利用的信息的一部分,还有大量的其他的必须考虑的信息,他们对于正确评估和觉得同样有着重要的影响,但人们的直觉推断却忽略了这些因素. 这告诫我们在思考问题时, 不要只注重likelihood, 我们还要考虑整体的 evidence 对事物的影响.


链式规则

Reference

  1. [台大老师 叶丙成 顽想学机率]

  2. [南特大学概率图模型] by Philippe LERAY & Hoel LE CAPITAINE

  3. [tick_tokc97 的CSDN博文 联合概率、边缘概率、条件概率之间的关系&贝叶斯公式]

  4. [Inside_Zhang 的CSDN博文 独立与条件独立]

  5. [链球选手 的知乎文章 Think Bayes - 我所理解的贝叶斯定理]

  6. [Bayes’ Theorem Explained]

  7. [3Bule1Brown Bayes theorem, and making probability intuitive]

心得

这是我们的第一篇文章, 我们以后每周都会更新一篇文章, 这篇文章花了7个多小时, 希望对读者有帮助. 文章内容都是我们查找资料, 使用自己的语言和理解来写成的. 我们想要写文章主要目的是和大家分享, 因为这是一个 win-win 的游戏, 我们希望大家可以通过我们的文章对知识有更好的理解, 同时我们也找到了大家这个可靠的监督机制. 有什么问题, 欢迎大家批评指正, 也欢迎转载交流.

编撰人: Jason

审稿人: Starz

日期: 26/02/20

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章