统计学原理之描述性统计——开篇

缘由:

学习笔记的起始缘由:遇到了一个活跃的学习小组,学习内容又是一直想学而且想用好的领域。

学习内容大纲如下:
在这里插入图片描述

第一周学习内容——描述性统计

知识点如下:

  1. 数据集中趋势:
    • 中位数、均值、众数、极差、分位数
    • 算数平均数、加权平均数、几何平均数
  2. 数据的离中趋势:
    • 数值型数据:方差、标准差、极差、平均差
    • 分类型数据:异众比率
    • 顺序型数据:四分位差
  3. 相对离散程度:离散系数
  4. 分布的形状:偏态系数、峰态系数

个人学习总结

part1 概念体系

描述性统计可以进行四个维度的分析:分布分析、对比分析、构成分析、相关性分析。

part2 概念定义和主要用途

2.1分布分析:

  1. 算数平均数:

    定义:数据简单加和除以数据个数
    优点:考虑了每一个数据的作用
    缺点:数据量小时,容易受极端值影响
    应用场景: 所有权重相等的,汇总结果为加和形式的,求平均水平的场景

  2. 加权平均数:
    定义:给每个数据项特定的权重,再求均值
    优点:可以结合先验的经验/相对的比重,人工设定数据项的影响力
    缺点:先验经验可能不准确
    应用场景: 各种指数的计算(价格指数、上证指数等)

  3. 几何平均数:
    定义:所有数据相乘之后再开方
    优点:相比算数平均,受极端值影响较小
    缺点:若变量有负值,则几何平均就会成为复数或者虚数;若数值中有0,则算数平均为0
    应用场景: 当汇总结果为乘积的形式时

  4. 中位数:
    定义:按照大小排序,位于中间的一个数/两个数的均值
    优点:不易受极端值的影响
    缺点:当数据比较离散时,则中位数意义不大;当数据分布偏态时,中位数代表性会受影响
    应用场景: 未知~~

  5. 众数:
    定义:出现次数最多的数
    优点:不易受数据中极端数值的影响
    缺点:当数据呈多峰分布时,没有代表性
    应用场景:

  6. 四分位数:
    定义:把数据集排序后分成四等分,位于分位线上的数
    优点:可以识别出数据大致分布情况(箱线图)
    缺点:无法了解到比25%更小的颗粒度数据分布情况
    应用场景: 箱线图(五数概括法)

  7. 极差:
    定义:全距,最大值减去最小值,总体标准差的有偏估计
    优点:计算简单;了解数据分大致分布
    缺点:颗粒度比四分数大;受极端值影响
    应用场景: 比赛成绩,去掉最高分和最低分

  8. 方差:
    定义:每个数与均值之差的平方和,反映总体离散程度,自由度为n-1
    优点:可以衡量样本离均值离散程度
    缺点:方差的度量和样本均值的度量不一致,无法直接比较
    应用场景:

  9. 标准差:
    定义:每个数与均值之差的平方和的开方,反映总体离散程度,自由度为n-1
    优点:可以直观的了解到偏差的程度,和均值是同一量纲
    缺点:不能对比不同项目/同一项目不同样本,因为量纲不一样(1单位的方差意义不同)
    应用场景:

  10. 异众比率:
    定义:非众数频数除以总数,聚焦在众数的代表程度
    优点:可算分类数据
    缺点:离散程度不可知
    应用场景:

  11. 四分位差:
    定义:四分位距,也叫内距,IRQ = Q3-Q1(Inter-quartile range)
    优点:不受两端各25%数值的影响;可衡量中间50%数值的差异程度;聚焦的是中位数代表性
    缺点:不能反映所有数值的离散程度
    应用场景: 异常值检测[Q1-1.5* IQR,Q3+1.5* IQR]

  12. 离散系数:
    定义:变异系数,标准差的归一化操作。C.V = σ/X (X代表均值)
    优点:无量纲,可以直接比较不同项目,系数越大的代表分布越离散
    缺点:均值接近0时,标准差的微小变动会造成系数较大波动,从而造成精确度不足;变异系数无法发展出类似均值的置信区间的工具。(还没弄懂)
    应用场景: 更新理论、排队理论、可靠性理论

  13. 偏态系数:
    定义:偏差系数,sk = (X-M)/σ X是均值,M是中位数,σ是方差;①左偏:均值小于中位数(因为数据存在极小值,将均值带小了。即极小值附近有长尾,峰在右侧),偏态系数小于0;②右偏:均值大于中位数(因为数据存在极大值,将均值带大了。即极大值附近有长尾,峰在左侧),偏态系数大于0;③对称:均值等于中位数,等于众数。绝对值越大,偏斜程度越大。
    优点:可以衡量数据的偏斜程度
    缺点:非单峰分布不能使用?(不十分确定)
    应用场景:


2.2对比分析:

  1. 同比:
    定义:同比上一个周期的同一时期
    优点:可有效比较有周期性规律的数据变化
    缺点:
    应用场景:
  2. 环比:
    定义:环比上一个时期
    优点:方便比较相邻两期数据的变化;多期环比可做长期分析
    缺点:
    应用场景:
  3. 定基比:
    定义:相比固定时期
    优点:可公平比较多期数据;把握现象发展的长期趋势和宏观状态
    缺点:
    应用场景:
  4. 硬刚比:
    定义:横向比较,直接相除:A/B
    优点:可方便观察相对关系
    缺点:未考察时间维度和其它因素
    应用场景:

2.3相关性分析:

  1. 皮尔森系数:
    定义:ρx,y = cov(X,Y)/(σ1* σ2)
    优点:
    缺点:
    应用场景:R2 线性拟合程度
  2. 斯皮尔曼系数:
    定义:ρ = 1 - (6∑di2)/(n3* n) d为两列对等变量等级差;n为等级个数
    优点:可计算非数值型数据的相关性,无需总体正态假设
    缺点:
    应用场景:
  3. 最大信息系数:
    定义:待定,还不知道是啥,也不知道能不能用,百度百科未收录
    优点:
    缺点:
    应用场景:

part3 代码实现

对应公式:
可视化图表:
分布、对比、构成、相关(联系)

最后感谢学习小组组织者——木东居士:

另外可见:
统计学原理之描述性统计——开篇

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章