[统计学笔记] (六) 参数估计

(六)参数估计 (Parameter Estimation)

参数估计是推断统计的重要内容之一。它是在抽样及抽样分布的基础上,根据样本统计量来推断所关心的总体参数。

人们常常需要根据手中的数据,分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断。它是统计推断的一种基本形式,是数理统计学的一个重要分支,分为点估计和区间估计两部分

参数估计(Parameter Estimation),统计推断的一种。根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。例如:用样本平均值\large \overline{x}估计总体均值\large \mu,用样本比例\large p估计总体比例\large \pi,用样本方差\large s^{2}估计总体方差\large \sigma ^{2},等等。

从估计形式看,区分为点估计与区间估计:从构造估计量的方法讲,有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。

参数估计有多种方法,有矩估计、极大似然法、一致最小方差无偏估计、最小风险估计、同变估计、最小二乘法、贝叶斯估计、极大验后法、最小风险法和极小化极大熵法等。最基本的方法是最小二乘法和极大似然法

要处理两个问题:(1)求出未知参数的估计量;(2)在一定信度(可靠程度)下指出所求的估计量的精度。信度一般用概率表示,如可信程度为95%;精度用估计量与被估参数(或待估参数)之间的接近程度或误差来度量。

 

主要分类


点估计
点估计(Point Estimate)是用样本统计量的某个取值直接作为总体参数的估计值。例如,用样本均值x直接作为总体均值μ的估计值,用样本方差s^{^{2}}直接作为总体方差\sigma ^{^{2}}的估计值。点估计的方法有:矩估计法、顺序统计量法、最大似然法、最小二乘法。

点估计是以抽样得到的样本指标作为总体指标的估计量,并以样本指标的实际值直接作为总体未知参数的估计值的一种推断方法。通常它们是总体的某个特征值,如数学期望、方差和相关系数等。

点估计问题就是要构造一个只依赖于样本的量,作为未知参数或未知参数的函数的估计值。例如,设一批产品的废品率为\theta。为估计\theta,从这批产品中随机地抽出n个作检查,以X记其中的废品个数,用X/n估计θ,这就是一个点估计。


构造点估计常用的方法是:
① 矩估计法。用样本矩估计总体矩,从而得到总体分布中参数的一种估计。它的思想实质是用样本的经验分布和样本矩去替换总体的分布和总体矩。矩估计法的优点是简单易行, 并不需要事先知道总体是什么分布。缺点是,当总体类型已知时,没有充分利用分布提供的信息。一般场合下,矩估计量不具有唯一性。

矩是指以期望为基础而定义的数字特征,一般分为原点矩和中心矩。设X为随机变量,对任意正整数k,称E(Xk)为随机变量X的k阶原点矩,记为:

当k=1时,m1=E(X)=μ,可见一阶原点矩为随机变量X的数学期望。

把Ck=E[X-E(X)]k称为以E(X)为中心的k阶中心矩。显然,当k=2时,C2=E[X-E(x)]2=σ2,可见二阶中心矩为随机变量X的方差。

②最大似然估计法(Maximum Likelihood)。于1912年由英国统计学家R.A.费希尔提出,利用样本分布密度构造似然函数来求出参数的最大似然估计。它用来求一个样本集的相关概率密度函数的参数。


③最小二乘法(generalized least squares)。主要用于线性统计模型中的参数估计问题。最小二乘法是一种数学优化技术,它通过最小化误差的平方和找到一组数据的最佳函数匹配。 最小二乘法是用最简的方法求得一些绝对不可知的真值,而令误差平方之和为最小。 最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。


④贝叶斯估计法。基于贝叶斯学派(见贝叶斯统计)的观点而提出的估计法。可以用来估计未知参数的估计量很多,于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则,这种准则是不唯一的,可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类:一类是小样本准则,即在样本大小固定时的优良性准则;另一类是大样本准则,即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计,其次有容许性准则,最小化最大准则,最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等  。


区间估计

区间估计(Interval Estimation)是依据抽取的样本,根据一定的正确度与精确度的要求,构造出适当的区间,作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内,即是区间估计的最简单的应用。1934年统计学家 J.奈曼创立了一种严格的区间估计理论。

区间估计示意图

可以求出样本均值\large \overline{x}落在总体均值\large \mu的两侧任何一个抽样标准差范围内的概率。但是实际估计时,情况恰恰相反。\large \overline{x}是已知的,而\large \mu是未知的,也正是要估计的。由于\large \overline{x}\large \mu的距离是对称的,如果某个样本的平均值落在\large \mu的两个标准差范围之内,反过来,\large \mu也就被包括在以\large \overline{x}为中心左右两个标准差的范围内。因此约有95%的样本均值所构造的两个标准差的区间会包括\large \mu

通俗地说,如果抽取100个样本来估计总体的均值,由100个样本所构造的100个区间中,约有95个区间包含总体均值,另外5个区间则不包含总体均值。

区间估计是在点估计的基础上,给出总体参数估计的一个区间范围,该区间通常由样本统计量加减估计误差得到。与点估计不同,进行区间估计时,根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。

区间估计中,由样本统计量所构造的总体参数的估计区间称为置信区间(Confidence Interval),其中区间的最小值称为置信下限,最大值称为置信上限。

如果将构造置信区间的步骤重复多次,置信区间中包含总体参数真值的次数所占的比例称为置信水平(Confidence Level),也称为置信度或置信系数(Confidence Coefficient)。

在构造置信区间时,可以用所希望的任意值作为置信水平。比较常用的置信水平及正态分布曲线下右侧面积为\large \alpha /2时的\large z值(\large z_{\alpha /2}),如下表所示:

置信水平 \large \alpha \large \alpha /2 \large z_{\alpha /2}
90% 0.10 0.05 1.645
95% 0.05 0.025 1.96
99% 0.01 0.005 2.58

区间估计的正确理解方式:区间估计并不是总体参数落在某个区间的概率,而是抽取的多个样本中有多大的概率包含总体参数,由此通过概率可以知道在多次抽样得到的区间中大概有多少个区间包含了参数的真值。

如何理解 95%的置信水平的含义?

可以参考博文:如何理解 95% 置信区间? https://www.zhihu.com/question/26419030

 

求置信区间常用的三种方法:
①利用已知的抽样分布。例如,设x1,x2,…,xn为正态总体N(μ,σ2)中抽出的样本,要作μ的区间估计,则服从自由度为n-1的t分布。指定α>0,找这个分布的上α/2分位数tα/2(n-1),则有即由此得到 μ 的一个置信系数为 1-α 的置信区间。


②利用区间估计与假设检验的联系。设要作θ的置信系数为1-α 的区间估计,对于任意的θ0,考虑原假设为 H:θ=θ0,备择假设为 K:θ≠θ0。设有一水平为α 的检验,它当样本X属于集合A( θ0)时接受H。若集合{θ0∶X∈A(θ0)}是一个区间,则它就是θ的一个置信区间,其置信系数为1-α。就上例而言,对假设H:μ=μ0的检验常用t检验:当时接受μ=μ0,集合即为区间。这正是前面定出的μ的置信区间。若要求θ的置信下限(或上限),则取原假设为θ≤θ0(或θ≥θ0),备择假设为θ>;θ0(或θ<;θ0),按照同样的方法可得到所要求的置信下(上)限。


③利用大样本理论。例如,设x1,x2,…,xn为抽自参数为p的二点分布的样本,当n→∞时,依分布收敛(见概率论中的收敛)于标准正态分布N(0,1),以 uα/2记N (0,1)的上 α/2分位数。所以,可作为p的一个区间估计,上面的极限值1-α就定义为它的渐近置信系数。


评价置信区间的好坏有两个因素:一是其精度,可以用区间的长度来刻画,长度越长,精度越低。另一个因素是置信度,在样本容量固定时,当置信度增大,此时置信区间的长度变大,即置信区间的置信度越高,则精度越低,反之,精度越高则置信度越低。


递推参数估计
还有一种递推参数估计。为了减少计算量,便于在线估计参数,产生了许多递推算法。一般是用递推算法估计动态系统的参数。方法是:利用时刻t上的参数估计 、存储向量xt与时刻t+1上的输入和输出数据ut+1和yt+1,计算新的参数值。每一步的计算时间比解一个线性代数方程组要少得多。


最小二乘法和极大似然法都有递推形式,另外还有递推广义最小二乘法、递推辅助变量法和递推增广最小二乘法等,都是递推最小二乘法的改进形式,可以用来估计带有色噪声干扰的系统。此外,随机逼近算法、卡尔曼滤波法和朗道递推估计,是从不同的出发点得到的递推参数估计法(见递推估计算法),大多数递推参数估计算法的一致性,即,可以用鞅收敛性、常微分方程稳定性和超稳定性、正实性分别证明。
参数估计的方法很多,如何统一它们,如何在实践中简单有效地判断它们的性质以及产生新的方法,都是有待进一步探讨的问题 。 


一个总体参数的区间估计

研究一个总体时,所关心的参数主要有总体均值\mu、总体比例\pi和总体方差\sigma ^{2}等。

1. 总体均值的区间估计

对总体均值进行区间估计时,需要考虑总体是否为正态分布,总体方差是否已知,用于构造估计量的样本是大样本(通常要求n≥30)还是小样本(n<30)等几种情况。下面分两种情况来分析:

(1)正态总体、方差已知,或非正态总体、大样本

当总体服从正态分布且方差已知,或总体非正态分布但样本为大样本时,样本均值x的抽样分布服从正态分布,其数学期望为总体均值μ,方差为σ2/n。样本均值经过标准化后的随机变量则服从正态分布,即

根据式上式和正态分布的性质可以得出总体均值μ在1-α置信水平下的置信区间为:

​    

(2)正态总体、方差未知、小样本

在总体服从正态分布的情况下,如果总体方差σ2未知,且样本较小的情况下,需要用样本方差s2代替σ2。这时,样本均值经过标准化以后的随机变量服从自由度为(n-1)的t分布,即


因此需要采用t分布来建立总体均值μ的置信区间。根据t分布建立的总体均值μ在1-α置信水平下的置信区间为:

​    

2. 总体比例的区间估计

在大样本的前提下,样本比例p的抽样分布可用正态分布近似。p的数学期望为E§=π,p的方差为σ2p=π(1-π)/n。而样本比例经标准化后的随机变量则服从标准正态分布,即

与总体均值的区间估计类似,在样本比例p的基础上加减估计误差zα/2σp,即得总体比例π在1-α置信水平下的置信区间为:

当通过上式计算总体比例π的置信区间时,\pi值应该是已知的。但实际情况不然,π值恰好是要估计的,所以需要用样本比例p来代替\pi。这种情况下,总体比例的置信区间可表示为:
   
 
​3. 总体方差的区间估计

对于总体方差的估计,这里只讨论正态总体方差的估计。根据样本方差的抽样分布可知,样本方差服从自由度为n-1\chi ^{^{2}}分布。因此用\chi ^{^{2}}分布构造总体方差的置信区间。

总体方差\sigma ^{2}1-\alpha置信水平下的置信区间为:

 一个总体参数的估计及所使用的分布

两个总体参数的区间估计后续讨论。

一个总体参数的区间估计

参数 点估计量(值) 标准误差 \left ( 1-\alpha \right ) % 的置信区间 假定条件
\mu 总体均值 \overline{x} \frac{\sigma }{\sqrt{n}}\sigma / \sqrt{n} \overline{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}

(1) \sigma 已知

(2) 大样本 n\geq 30

\overline{x}\pm z_{\alpha /2}\frac{s }{\sqrt{n}}

(1) \sigma 未知

(2) 大样本 n\geq 30

\overline{x} \frac{\sigma }{\sqrt{n}} \overline{x}\pm t_{\alpha /2}\frac{s }{\sqrt{n}}

(1) 正态分布

(2) \sigma 未知

(2) 小样本 n< 30

\pi 总体比例 p \sqrt{\frac{\pi \left ( 1-\pi \right )}{n}} p\pm z_{\alpha /2}\sqrt{\frac{p\left ( 1-p \right )}{n}}

(1) 二项总体

(2) 大样本 (np\geq 5n\left ( 1-p \right )\geq 5

\sigma ^{2} 总体方差 s^{2} (不要求) \frac{\left ( n-1 \right )^{2}s^{2}}{\chi _{\alpha /2}^{2}} \leq \sigma ^{2}\leq \frac{\left ( n-1 \right )^{2}s^{2}}{\chi _{1-\alpha /2}^{2}} 正态总体

两个总体参数的区间估计

对于两个总体,所关心的参数主要有两个总体的均值之差 \mu _{1} - \mu _{2}、两个总体的比例之差 \pi_{1} - \pi_{2}、两个总体的方差比 \sigma _{1}^{2} / \sigma _{2}^{2}等。

两个总体均值之差的区间估计

两个总体比例之差的区间估计

两个总体方差纸币的区间估计


样本量的确定

通过区间估计可以了解到样本量的选择对于问题的求解至关重要,大样本(n≥30)和小样本(n<30)求解的方法不同。同样是大样本选择多大的样本来估计参数比较合适?

通常,样本量的确定与可以容忍的置信区间的宽度以及对此区间设置的置信水平有一定关系。因此如何确定一个适当的样本量,也是抽样估计中需要考虑的问题。

置信区间和样本容量之间的关系

样本量与置信水平成正比,在其他条件不变的情况下,置信水平越大,所需要的样本量也就越大。

反过来,在置信水平不变的情况下,样本容量越大,置信区间越宽。(这个问题经常被问到。)

参考公式:

 

估计总体均值时样本量的确定

总体均值的置信区间是由样本均值x和估计误差两部分组成的。在重复抽样或无限总体抽样条件下,估计误差为:

​其中z_{\alpha /2}的值和样本n共同确定了估计误差的大小。当确定了置信水平1-α,z_{\alpha /2}的值就确定了。对于给定的z_{\alpha /2}的值和总体标准差σ,就可以确定任一希望的估计误差所需要的样本量。令E代表所希望达到的估计误差,即:

​    

通过上式可以推导出确定样本量的公式如下:

​式中的E值是使用者在给定的置信水平下可以接受的估计误差,z_{\alpha /2}的值可直接由区间估计中所用到的置信水平确定。当σ未知时,可以用样本的标准差来代替;也可以用试验调查的办法,选择一个初始样本,以该样本的标准差作为σ的估计值。

从上式可以看出,样本量与置信水平成正比,在其他条件不变的情况下,置信水平越大,所需要的样本量也就越大;样本量与总体方差成正比,总体的差异越大,所要求的样本量也越大;样本量与估计误差的平方成反比,即可以接受的估计误差的平方越大,所需的样本量就越小。

估计总体比例时样本量的确定

与估计总体均值时样本量确定的方法类似,在重复抽样或无限总体抽样条件下,估计总体比例置信区间的估计误差为:

 由上式可知,z_{\alpha /2}的值、总体比例π和样本量n共同确定了估计误差的大小。令E代表所希望达到的估计误差,即:

据此可以推导出重复抽样或无限总体抽样条件下确定样本量的公式如下:

式中的估计误差E必须是使用者事先确定的,大多数情况下,一般取E的值小0.10。z_{\alpha /2}的值可直接由区间估计中所用导的置信水平确定。如果π未知,可以用类似的样本比例来代替;也可以用试验调查的办法,选择一个初始样本,以该样本的比例作为π的估计值。当π的值无法知道时,通常取使π(1-π)最大时的0.5。 


参数估计与假设检验


统计推断是由样本的信息来推测母体性能的一种方法,它又可以分为两类问题,即参数估计和假设检验。实际生产和科学实验中,大量的问题是在获得一批数据后,要对母体的某一参数进行估计和检验。


例如,我们对45钢的断裂韧性作了测定,取得了一批数据,然后要求45钢断裂韧性的平均值,或要求45钢断裂韧性的单侧下限值,或要求45钢断裂韧性的分散度(即离散系数),这就是参数估计的问题。


又如,经过长期的积累,知道了某材料的断裂韧性的平均值和标准差,经改进热处理后,又测得一批数据,试问新工艺与老工艺相比是否有显著差异,这就是假设检验的问题。


这样可以看出,参数估计是假设检验的第一步,没有参数估计,也就无法完成假设检验 。


典型计算题

第 1 题

一家食品生产企业以生产袋装食品为主,每天的产量大约为8000袋。按规定每袋的重量应为100克。为对产品重量进行监测,企业质检部门经常要进行抽检,以分析每袋重量是否符合要求。现从某天生产的一批食品中随机抽取25袋,测得每袋重量如下表所示:

112.5 101.0 103.0 102.0 100.5
102.6 107.5 95.0 108.8 115.6
100.0 123.5 102.0 101.6 102.2
116.6 95.4 97.8 108.6 105.0
136.8 102.8 101.5 98.4 93.3

已知产品重量服从正态分布,且总体标准差为10克。试估计该天产品平均重量的置信区间,置信水平为95%。

解答:

根据题意已知:总体标准差为:\large \sigma = 10\large n=25,置信水平 \large 1-\alpha = 95%,查标准正态分布表得:\large z_{\alpha /2} = 1.96

根据样本数据计算的样本均值为:

\large \overline{x} = \frac{\sum_{i=1}^{n}x_{i}}{n} =\frac{2634}{25}= 105.36

根据正态分布的性质可以得出总体均值\large \mu在 \large 1-\alpha置信水平下的置信区间为:\large \overline{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}},即

\large \overline{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}} = 105.36 \pm 1.96\times \frac{10}{\sqrt{25}},即 \large 105.36\pm 3.92 = \left ( 101.44,109.28 \right )

该批食品平均重量95%的置信区间为:\large \left ( 101.44,109.28 \right ) 克之间。

解答完毕。


第 2 题

沿用上题中的数据,以95%的置信水平建立食品总体重量标准差的置信区间。

解答:

根据样本数据计算的样本方差为:

\large s^{2} = \frac{\sum_{i=1}^{n}\left ( x_{i}-\overline{x} \right )^{2}}{n-1} = \frac{2237.02}{25-1} = 93.21

根据显著性水平 \large \alpha =0.05 和自由度 \large n-1 = 25-1 = 24,查 \large \chi ^{^{2}} 分布表得:

\large \chi _{\alpha /2}^{2}\left ( n-1 \right ) = \chi _{\0.025}^{2}\left ( 25-1 \right ) =39.3641

\large \chi _{1-\alpha /2}^{2}\left ( n-1 \right ) = \chi _{\0.975}^{2}\left ( 25-1 \right ) =12.4011

所以,总体方差\large \sigma ^{2}的置信区间为:

\large \frac{\left ( 25-1 \right )\times 93.21}{39.3641}\leqslant \sigma ^{2}\leq \frac{\left ( 25-1 \right )\times 93.21}{12.4011}

解答完毕。

总体方差的区间估计

根据样本方差的抽样分布可知,样本方差服从自由度为 \large n-1 的 \large \chi ^{2} 分布。因此,用 \large \chi ^{2} 分布构造总体方差的置信区间。若给定一个显著水平 \large \alpha ,用 \large \chi ^{2} 分布构造的总体方差 \large \sigma ^{2} 的置信区间可以用下图表示:

从上图中可以看出,建立总体方差 \large \sigma ^{2} 的置信区间,也就要找到一个 \large \chi ^{2} 值,使其满足:

\large \chi _{1-\alpha /2}^{2} \leq \chi ^{2} \leq \chi _{\alpha /2}^{2}

由于 \large \frac{\left ( n-1 \right )s^{2}}{\sigma ^{2}} ~ \large \chi ^{2}\left ( n-1 \right ),可以用它来代替 \large \chi ^{2},于是有

\large \chi _{1-\alpha /2}^{2} \leq \ \frac{\left ( n-1 \right )s^{2}}{\sigma ^{2}}\leq \chi _{\alpha /2}^{2}

由此可以推导出总体方差 \large \sigma ^{2} 在 \large 1-\alpha 置信水平下的置信区间为:

\large \frac{\left ( n-1 \right )s^{2}}{\chi _{\alpha /2}^{2}} \leq \sigma ^{2} \leq \frac{\left ( n-1 \right )s^{2}}{\chi _{1-\alpha /2}^{2}}


第 3 题

某城市想要估计下岗职工中女性所占的比例,随机抽取了100个下岗职工,其中65人为女职工。试以95%的置信水平估计该城市下岗职工中女性比例的置信区间。

解答:

根据题意,已知 \large n=100\large z_{\alpha /2} = 1.96。根据抽样结果计算的样本比例为:

\large p=\frac{65}{100}=0.65

总体比例的置信区间为:\large p\pm z_{\alpha /2}\sqrt{\frac{p\left ( 1-p \right )}{n}} = 0.65 \pm 1.96\times \sqrt{\frac{0.65\times \left ( 1-0.65 \right )}{100}}

解答完毕。


第 4 题

拥有工商管理学士学位的大学毕业生年薪的标准差大约为2000元,假定要估计年薪的95%的置信区间,希望估计误差为400元,应抽取多少样本?

解答:由题意已知:标准差 \sigma = 2000E=400,95%的置信区间时 z_{\alpha /2} = 1.96

则样本容量为:n = \frac{\left ( z_{\alpha /2} \right )^{2} \sigma ^{2}}{E^{2}} = \frac{1.96^{2}\times 2000^{2}}{400^{2}} = 96.04\approx 97

即应抽取97人作为样本。

解答完毕。


第 5 题

根据以往的生产统计,某种产品的合格率约为90%,现要求估计误差为5%,在95%的置信区间下,应抽到多少个产品作为样本?

解答:由题意已知:\pi =0.95,即 95%,E=0.05,即 5%,z_{\alpha /2} = 1.96

样本容量 n = \frac{\left ( z_{\alpha /2} \right )^{2}\times \pi \times \left ( 1-\pi \right )}{E^{2}} = \frac{1.96^{2}\times 0.9\times \left ( 1-0.9 \right )}{0.05^{2}} = 138.3 \approx 139

即应抽取 139 个产品作为样本。

解答完毕。


思考题

1. 解释估计量和估计值。
估计量:用于估计总体参数的随机变量。
估计值:估计参数时计算出来的统计量的具体值。


2. 简述评价估计量好坏的标准。
无偏性:估计量抽验分布的数学期望等于被估计的总体参数。
有效性:对同一总体参数的连个无偏点估计量,有更小标准差的估计量更有效。
一致性:随着样本容量的增大,估计量的值越来越接近被估计的总体参数。


3. 怎样理解置信区间?
由样本统计量所构造的总体参数的估计区间。

4. 解释95%的置信区间。
用某种方法构造的所有区间中有95%的区间包含总体参数的真值。


5. z_{\alpha /2}\frac{\sigma }{\sqrt{n}} 的含义是什么?

z_{\alpha /2} 是标准正态分布上侧面积为\alpha /2 的𝑧值,公式是统计总体均值时的边际误差。


6. 解释独立样本和匹配样本的含义。
独立样本:两个样本是从两个总体总独立抽取的。
匹配样本:一个样本中的数据与另一个样本中的数据相对应。


7. 在对两个总体均值之差的小样本估计中,对两个总体和样本都有哪些假定?

两个总体都服从正态分布;两个随机样本独立地分别抽自两个总体。

8. 简述样本量与置信水平、总体方差、估计误差的关系。

样本量与置信水平成正比,与总体方差成正比,与估计误差的平方成反比。


 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章