假设检验,就是做了一个假设 H,然后通过实验得到相关的统计数据判断 H 是否(大概率)成立,或者有多大把握认为 H 成立。这个 H 一般是一个与分布、统计量相关的的命题,如 。
Intuition
直觉上,假定 H 正确,会使某个事件 A 变成小概率事件,即 很小,那么在 H 的条件下,A 几乎不可能发生,如 ,。但若果在检验实验中 A 居然发生了,那 H 大概率是错的,于是拒绝 H。
Example
要检验此女士是否真能分辨「茶+奶」和「奶+茶」,可以进行伯努利实验:n 杯奶茶混合液给她逐杯试,如果她能至少分对 k 次,那就认为她真的能分辨。
为此可以作出假设 。将 的对立假设记为 。
选择这样假设是因为,这等价于对她的判断的分布作出假设:如果是瞎猜,那么她猜「茶+奶」和「奶+茶」的概率都应该是 0.5,对于每一杯她猜对的概率亦是 0.5,于是对于她猜对的总杯数 X,可以写出分布 。
可以算出,要猜对多个的概率是很小的。即要观察的事件是 ,当 k 比较大时, 很小, 几乎不可能发生。
接下来就是进行实验,如果 A 发生了,就拒绝 、接受 ,否则相反。
, P-value
这样检验有主观的成分:k 取多大,才能大概率地相信她是真的能分辨(才能在 A 发生时拒绝 )?这可以换一种说法: 要多小(在 条件下 A 要多难发生),才能在 A 真的发生时有足够的信心相信 是错的?
此例中 P-value 就是 (P-value 应该是 A 和比 A 更难发生的事件概率和)。指定 k 的大小,等价于指定一个概率阈值 ,只有当 时,才认为:,于是在 A 发生时拒绝 。
所有使得拒绝 的 P-value 的集合叫拒绝域,此例中就是 ,即当实验测得 P-value 落在拒绝域时,就拒绝 。 常取 0.05、0.01 等小值。
Error: Type I, Type II
上帝知道 实际上是真的还是假的,但人不知道,所以依据实验结果,决定要拒绝或接受 时,此时做出的决策(拒绝/接受)可能是错的,错误分两类:
- 第 I 类,弃真错误,即 其实是真的(上帝视觉),但被拒绝了;
- 第 II 类,取伪错误,即 其实是错的,但被接受了。
犯第 I 类错误的概率,就是 A 发生时拒绝 的概率,即 ,又叫显著性水平, 称为置信度。