动手学EDA深度挖掘-从0到1

EDA-数据探索性分析，是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。
来了解数据，熟悉数据，和数据做朋友；

EDA的目标

EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡；

Demo

载入数据科学以及可视化包

首先就是做个调包侠，并学会使用库包
没有的库包，使用 pip install 安装，即python编译下的安装

代码实现

#!/usr/bin/env python
#coding: utf-8

 In[69]:


 导入waring包，利用过滤器来实现忽略warning警告
import warnings
warnings.filterwarnings('ignore')

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
 import missingno as msno


 In[10]:


 1) 载入训练集和测试集；
path = 'C:/Users/Administrator/MyFirstJupyter/datalab/' ## 注意这个目录下的斜杆问题，在这里面是正斜杆
Train_data = pd.read_csv(path+'used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv(path+'used_car_testA_20200313.csv', sep=' ')


 In[11]:


 convineent to see
Train_data.head().append(Train_data.tail()) # 头部加尾部


 In[14]:


Train_data.shape


In[16]:


Test_data.head().append(Test_data.tail())


 In[17]:


Test_data.shape # 这是什么意思呢？


 总览数据概况
 1、describe种有每列的统计量，个数count、平均值mean、方差std、最小值min、中位数25% 50% 75% 、以及最大值 看这个信息主要是瞬间掌握数据的大概的范围以及每个值的异常值的判断，比如有的时候会发现999 9999 -1 等值这些其实都是nan的另外一种表达方式，有的时候需要注意下
 2、info 通过info来了解数据每列的type，有助于了解是否存在除了nan以外的特殊符号异常

 In[18]:


 1) 通过describe()来熟悉数据的相关统计量
Train_data.describe()


 In[19]:


Test_data.describe() ## 写出各种中位数

 In[20]:


2) 通过info()来熟悉数据类型
Train_data.info()


 In[22]:


Test_data.info() ## 测试数据来熟悉数据类型


 查看每列的存在nan情况

 In[23]:


 1) 查看每列的存在nan情况
Train_data.isnull().sum()


 In[24]:


Test_data.isnull().sum()


 In[25]:


 nan可视化
missing = Train_data.isnull().sum()
missing = missing[missing > 0]
missing.sort_values(inplace=True)
missing.plot.bar()


 通过以上两句可以很直观的了解哪些列存在 “nan”, 并可以把nan的个数打印，主要的目的在于 nan存在的个数是否真的很大，如果很小一般选择填充，如果使用lgb等树模型可以直接空缺，让树自己去优化，但如果nan存在的过多、可以考虑删掉

 In[28]:


 可视化看下缺省值
 msno.matrix(Train_data.sample(250)) ## 这个msno 包函数没有导进去


 查看异常值检测

 In[29]:


Train_data.info()


 In[30]:


Train_data['notRepairedDamage'].value_counts()


可以看出来‘ - ’也为空缺值，因为很多模型对nan有直接的处理，这里我们先不做处理，先替换成nan

 In[31]:


Train_data['notRepairedDamage'].replace('-', np.nan, inplace=True)
Train_data['notRepairedDamage'].value_counts()


 In[32]:


Train_data.isnull().sum()


 In[33]:


Test_data['notRepairedDamage'].value_counts()


 In[34]:


Test_data['notRepairedDamage'].replace('-', np.nan, inplace=True)


 以下两个类别特征严重倾斜，一般不会对预测有什么帮助，故这边先删掉，当然你也可以继续挖掘，但是一般意义不大

In[35]:


Train_data["seller"].value_counts()


 In[36]:


Train_data["offerType"].value_counts()


 In[37]:


del Train_data["seller"]
del Train_data["offerType"]
del Test_data["seller"]
del Test_data["offerType"]


  了解预测值的分布

 In[38]:


Train_data['price']


 In[43]:


Train_data['price'].value_counts()


 In[44]:


#1) 总体分布概况（无界约翰逊分布等）
import scipy.stats as st
y = Train_data['price']
plt.figure(1); plt.title('Johnson SU')
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.figure(3); plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)


#价格不服从正态分布，所以在进行回归之前，它必须进行转换。虽然对数变换做得很好，但最佳拟合是无界约翰逊分布

 In[45]:


 2) 查看skewness and kurtosis
sns.distplot(Train_data['price']);
print("Skewness: %f" % Train_data['price'].skew())
print("Kurtosis: %f" % Train_data['price'].kurt())


 In[46]:


Train_data.skew(), Train_data.kurt()


 In[47]:


sns.distplot(Train_data.skew(),color='blue',axlabel ='Skewness')


 In[48]:


sns.distplot(Train_data.kurt(),color='orange',axlabel ='Kurtness')


 skew、kurt说明参考https://www.cnblogs.com/wyy1480/p/10474046.html

In[49]:


 3) 查看预测值的具体频数
plt.hist(Train_data['price'], orientation = 'vertical',histtype = 'bar', color ='red')
plt.show()


 查看频数, 大于20000得值极少，其实这里也可以把这些当作特殊得值（异常值）直接用填充或者删掉，再前面进行

#In[50]:


#log变换 z之后的分布较均匀，可以进行log变换进行预测，这也是预测问题常用的trick
plt.hist(np.log(Train_data['price']), orientation = 'vertical',histtype = 'bar', color ='red') 
plt.show()


 ## 特征分为类别特征和数字特征，并对类别特征查看unique分布

#In[51]:


#分离label即预测值
Y_train = Train_data['price']
 这个区别方式适用于没有直接label coding的数据
这里不适用，需要人为根据实际含义来区分
 数字特征
 numeric_features = Train_data.select_dtypes(include=[np.number])
 numeric_features.columns
 类型特征
 categorical_features = Train_data.select_dtypes(include=[np.object])
 categorical_features.columns


 In[52]:


numeric_features = ['power', 'kilometer', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14' ]

categorical_features = ['name', 'model', 'brand', 'bodyType', 'fuelType', 'gearbox', 'notRepairedDamage', 'regionCode',]


 In[53]:


 特征nunique分布
for cat_fea in categorical_features:
    print(cat_fea + "的特征分布如下：")
    print("{}特征有个{}不同的值".format(cat_fea, Train_data[cat_fea].nunique()))
    print(Train_data[cat_fea].value_counts())


 In[54]:


 特征nunique分布
for cat_fea in categorical_features:
    print(cat_fea + "的特征分布如下：")
    print("{}特征有个{}不同的值".format(cat_fea, Test_data[cat_fea].nunique()))
    print(Test_data[cat_fea].value_counts())


 数字特征分析


 In[55]:


numeric_features.append('price')


In[56]:


numeric_features


In[57]:


Train_data.head()


In[58]:


1) 相关性分析
price_numeric = Train_data[numeric_features]
correlation = price_numeric.corr()
print(correlation['price'].sort_values(ascending = False),'\n')


 In[59]:


f , ax = plt.subplots(figsize = (7, 7))

plt.title('Correlation of Numeric Features with Price',y=1,size=16)

sns.heatmap(correlation,square = True,  vmax=0.8)


 In[60]:


del price_numeric['price']


In[61]:


 2) 查看几个特征得 偏度和峰值
for col in numeric_features:
    print('{:15}'.format(col), 
          'Skewness: {:05.2f}'.format(Train_data[col].skew()) , 
          '   ' ,
          'Kurtosis: {:06.2f}'.format(Train_data[col].kurt())  
         )


 In[63]:


 3) 每个数字特征得分布可视化
f = pd.melt(Train_data, value_vars=numeric_features)
g = sns.FacetGrid(f, col="variable",  col_wrap=2, sharex=False, sharey=False)
g = g.map(sns.distplot, "value")


 可以看出匿名特征相对分布均匀

 In[ ]:


 4) 数字特征相互之间的关系可视化
sns.set()
columns = ['price', 'v_12', 'v_8' , 'v_0', 'power', 'v_5',  'v_2', 'v_6', 'v_1', 'v_14']
sns.pairplot(Train_data[columns],size = 2 ,kind ='scatter',diag_kind='kde')
plt.show()


In[ ]:


Train_data.columns


 In[ ]:


Y_train


In[ ]: