如何处理偏态数据?

这是笔试/面试题系列的第2篇文章

在了解何为偏态数据前,要先从正态数据说起。

正态分布

正态分布是自然界中广泛存在的,我们都知道它是两头低,中间高,整个形态呈现对称钟形的一个分布,之所以叫正态分布,是因为在大量连续数据测量的情况下,我们比较希望看到这种状态,一个标准的正态分布是u(均值)=0,σ(标准差)=1。

从下图可以看出,横座标代表随机变量X的一个取值,在均值(u=0)附近概率密度最大,越偏离均值,概率密度减小,不在(u-3σ,u+3σ)范围内的数据就属于统计学意义上的异常值了。

 

偏态分布

但是现实生活中总是会存在不是正态分布的情况,非正态分布,那就是偏态分布了,有两种,左偏(负偏态)右偏(正偏态),可以用偏度来描述,偏度>0,则频数分布的高峰向左偏移,呈右(正)偏态分布;偏度<0,则频数分布的高峰向右偏移,呈左(负)偏态分布;|偏度|>1,呈高度偏态,0.5<|偏度|<1,呈中等偏态。

 

偏态分布的数据如何处理

对于偏态分布的数据,我们需要做一些处理使其变换为正态分布,常用的变换方式有

  1. 对数变换:适用于相乘关系的数据、高度偏态的数据
  2. 平方根变换:适用于泊松分布(方差与均数近似相等)的数据、轻度偏态的数据
  3. 反正弦变换:适用于百分比的数据、中度偏态的数据
  4. 倒数变换1/x:适用于两端波动较大的数据

记得上上小节泰坦尼克数据分析中的fare字段吗,从偏度可以看出是一个很明显的右偏分布的数据

 


绘制直方图观察也是如此,这时就可以使用对数变换。

 


双击纵座标,在弹出的【设置座标轴格式】中选择对数刻度即可,比之前的右偏好多了。

 

总结

1 偏态是针对正态而言的
2 描述偏态的有偏度系数这个指标
3 偏态数据通常转换为正态分布的数据,用的较多的转换方式有对数和平方根


猜你喜欢:
泰坦尼克号数据分析

深入浅出数据分析

数据分析实战:母婴商品分析

《吊打分析师》实战—我要租个好房

简单的Excel数据分析案例

为什么要学统计学:赤裸裸的统计学

成为数据分析师的第三年,我写了10W字

@ 作者:可乐
@ 公众号/知乎专栏/头条/简书:可乐的数据分析之路
@ 个人微信:data_cola

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章