概率论2---参数估计

利用样本的信息对总体做推断

这里的推断是怎么回事？

推断包括了统计估计和假设检验两部分

其中

统计估计 是估计总体的分布或者数字特征

这其实是要做两件事情：

1. 总体分布未知，我要对它的分布做估计，这叫做非参数估计
2. 总体分布已知或者已经通过非参数估计求出来了，只需要对其中的未知参数做估计

你可能会说还有一个数字特征呢！数字特征主要是涉及到分布里面的参数，参数求出来了，数字特征自然可以求出来

对总体的分布做估计通过经验分布函数与直方图，不是重点，不讲

接下来到对参数的估计，参数的估计主要包括两大类方法：点估计和区间估计。

点估计是要求参数的估计量。区间估计则是从精确性和可靠性的角度来对参数做估计。点估计相对来讲是比较粗糙的。同时，点估计也是一种特殊的区间估计，所以我们做参数估计其实是在做区间估计。那为什么点估计有单独拿出来讲的必要呢？是因为点估计简单直观，使用方便么？

参数的估计量=构造的统计量

一个估计量对应多个估计值，一个估计值对应一个样本观测值…(或者说，估计量的实质还是一个统计量？)

点估计主要包括矩估计和极大似然估计法

矩估计的核心思想就是用样本原点矩来代替总体原点矩

极大似然估计法就是要求得似然函数的最大值，可能要求导数或者偏导，也有可能是求顺序统计量

我们通过点估计求出来了估计量以后，估计量可能有好有差。我们怎么去定义"好"，主要是通过三个方面的指标:无偏性，相合性，有效性

其中，无偏性和相合性都是针对的参数的估计值与参数的真值之间的误差来做文章。不同的是，相合性是对单次抽样的误差小于任意小的正数，将误差控制在一个很小很小的范围。无偏性是针对多次的抽样，希望多次抽样的误差均值能够越小越好，θ尖–θ的期望能够越小越好。越小就意味着我偏离的幅度就可能越小。特别的，当这个误差均值为0，也就是当参数的估计值θ的期望就等于真值θ，我们就说它是无偏的。无偏意味着真值θ两边的估计值是以θ为中心而对称的。当然，也有很大可能不是对称的，只是正好左右两边正负之和相互抵消。

那这个时候可能会出现一种一边选的点落得少而选，另一边要近而多，我们不太喜欢它，并且那种少而远的点我们觉得其实可能是出现了什么问题，和我们的真值θ是不太匹配的。所以我们希望我们的点能够落在一个真值附近的范围里面，并且我们也希望知道我们的这个估计量可靠不可靠。比如说那个远的点就是不怎么可靠的。这些就是区间估计的内容。

回到估计量的优良这个问题上，我们继续解释。简单提一下有效性，它是以无偏性为前提的。有效性暂时省略

不能满足无偏时，我们可以有渐进无偏，估计值的期望在n→∞的时候等于真值θ

我们说，点估计的主要有两个方面的问题：一是我们不知道估计的误差范围是多少，也就是没有精确性的概念。二是我们做出的这个估计有多大的可靠性，也就是可靠性。不同的估计之间的可靠性是不同的，比如说这个估计量有95％的可靠度，另外一个是80％。我们说两个估计量都是可以使用的，只是95的那个更加可靠。那区间估计是怎么解决这两个问题的？

区间估计将参数的估计量看做随机变量，那么我们就可以从随机变量的分布来考虑这个问题。我们尝试确定一个包含了待估参数的随机变量，而这个随机变量的分布是已知的，比如标准正态分布，t分布，卡方分布，F分布

我们尝试从样本来确定两个统计量/分位数来"卡"住估计参数，将参数的波动范围控制在某一个区间之内，这个区间就是我们的置信区间，区间的宽度反应了估计的精度/误差范围。当然，我们的样本并不能完全地落到这个区间里面，这样在就会有一个区间内和区间外的概率。我们将区间外的概率用α来表示，那么区间内的概率就是1–α了，这就是我们的置信度，或者可以理解成落在置信区间内的概率，这就反映了估计量的可靠程度。

简言之，区间估计就是希望找到两个统计量，真值落在这两个统计量组成的区间里面的概率是1-α

区间估计的可靠性和精确性是相互矛盾的。精确性提高，那就意味着区间宽度减小，而估计量的分布是不变的，所以这个时候夹住的这部分面积就会减小，也就是可靠度会下降。如果提高可靠度，那也就意味着不断地把两个估计值分别向两个无穷的方向延伸，这个时候估计量的取值范围会变更大，精确性就会变差。

区间估计主要注意6个不同的正态总体分布的情况，又可以细分为一个总体和两个总体的情况，各三种。这里的公式应该和第一张里面的抽样分布定理联系起来。

另外，对于即将到来的假设检验，还有一个很重要的问题是：参数估计和假设检验之间有什么关系？

这个问题的答案引用知乎上用户“niaocu”的回答：

二者都属于推断统计——利用样本的数据得到样本统计量（statistic），然后做出对总体参数（parameter）的推断。

不同之处在于：用统计量推断参数时，如果参数未知，则这种推断叫参数估计（点估计与区间估计）——用统计量估计未知的参数；如果参数已知（或假设已知），需要利用统计量检验已知的参数是否可靠，此时的统计推断即为假设检验。

链接：https://www.zhihu.com/question/25724748/answer/35285731

这样，我们就能知道参数估计是在做什么，假设检验是在做什么了！