上一篇文章介绍了如何进行数据预处理，接下来介绍如何进行探索性数据分析。探索性数据分析又叫EDA,即Exploratory Data Analysis。其实数据预处理也属于EDA的一部分，EDA的目标就是快速描述一份数据集，以及对数据进行处理并可视化数据分布。只有了解数据之后，才能分析数据。今天主要介绍可视化数据分布的内容。
首先将变量分为数值型变量和类别型变量，分别进行可视化分析。
num_features = ['int_rate_clean', 'emp_length_clean', 'annual_inc', 'dti', 'delinq_2yrs', 'earliest_cr_to_app',
'inq_last_6mths', \
'mths_since_last_record_clean', 'mths_since_last_delinq_clean', 'open_acc', 'pub_rec', 'total_acc',
'limit_income', 'earliest_cr_to_app']
cat_features = ['home_ownership', 'verification_status', 'desc_clean', 'purpose', 'zip_code', 'addr_state']
feature_list=num_features+cat_features
一共有14个数值变量和6个类别变量。先看一下类别型变量的分布图。
# 类别型变量的分布
def plot_cate_var(df,col_list,hspace=0.4,wspace=0.4,plt_size=None,plt_num=None,x=None,y=None):
plt.figure(figsize=plt_size)
plt.subplots_adjust(hspace=hspace,wspace=wspace)
plt.rcParams['font.sans-serif']=['Microsoft YaHei']
plt.rcParams['axes.unicode_minus'] = False
for i,col in zip(range(1,plt_num+1,1),col_list):
plt.subplot(x,y,i)
plt.title(col)
sns.countplot(data=df,y=col)
plt.ylabel('')
return plt.show()
从上图可以看到每个类别型变量的大致分布情况。其中purpose、zip_code和addr_state这三个类别型变量的取值过多。对这类变量一般有这些处理办法：
- 降基处理。即将占比较小的类别进行合并。
- 用bad_rate编码后划入数值型变量，进行分箱。
对于purpose变量，由于类别数不是很多，可以尝试进行降基；对于zip_code和addr_state，由于变量过多，所以进行bad_rate编码。
再看一下数值型变量的分布情况。
def plot_num_col(df,col_list,hspace=0.4,wspace=0.4,plt_type=None,plt_size=None,plt_num=None,x=None,y=None):
plt.figure(figsize=plt_size)
plt.subplots_adjust(hspace=hspace,wspace=wspace)
if plt_type=='hist':
for i,col in zip(range(1,plt_num+1,1),col_list):
plt.subplot(x,y,i)
plt.title(col)
sns.distplot(df[col].dropna())
plt.xlabel('')
return plt.show()
数值型变量的分布用到了seaborn中的distplot画图，对应的还有一个kedplot画图方法。可以直观地看出每个变量的分布状态。
然后结合违约率，再对变量进行一下可视化分析。先对类别型变量进行可视化分析。
# 类别型变量的违约率分析
def plot_default_cate(df,col_list,target,hspace=0.4,wspace=0.4,plt_size=None,plt_num=None,x=None,y=None):
all_bad = df[target].sum()
total = df[target].count()
all_default_rate = all_bad*1.0/total
plt.figure(figsize=plt_size)
plt.subplots_adjust(hspace=hspace,wspace=wspace)
plt.rcParams['font.sans-serif']=['Microsoft YaHei']
plt.rcParams['axes.unicode_minus'] = False
for i,col in zip(range(1,plt_num+1,1),col_list):
d1 = df.groupby(col)
d2 = pd.DataFrame()
d2['total'] = d1[target].count()
d2['bad'] = d1[target].sum()
d2['default_rate'] = d2['bad']/d2['total']
d2 = d2.reset_index()
plt.subplot(x,y,i)
plt.title(col)
plt.axvline(x=all_default_rate)
sns.barplot(data=d2,y=col,x='default_rate')
plt.ylabel('')
return plt.show()
这张图将每个变量取值的违约率和该变量的违约率画在一张图上进行对比，可以直观地看出哪些变量的取值违约率较高。比如homeownership变量的other取值、purpose变量的small_business取值。
同样看下数值型变量的违约率分布图。需要对数值型变量进行等深分箱。
# 数值型变量的违约率分析
def plot_default_num(df,col_list,target,hspace=0.4,wspace=0.4,q=None,plt_size=None,plt_num=None,x=None,y=None):
all_bad = df[target].sum()
total = df[target].count()
all_default_rate = all_bad*1.0/total
plt.figure(figsize=plt_size)
plt.subplots_adjust(hspace=hspace,wspace=wspace)
for i,col in zip(range(1,plt_num+1,1),col_list):
bucket = pd.qcut(df[col],q=q,duplicates='drop')
d1 = df.groupby(bucket)
d2 = pd.DataFrame()
d2['total'] = d1[target].count()
d2['bad'] = d1[target].sum()
d2['default_rate'] = d2['bad']/d2['total']
d2 = d2.reset_index()
plt.subplot(x,y,i)
plt.title(col)
plt.axhline(y=all_default_rate)
sns.pointplot(data=d2,x=col,y='default_rate',color='hotpink')
plt.xticks(rotation=60)
plt.xlabel('')
return plt.show()
对数值型变量进行等频分箱，观察每一箱的违约率占比以及单个变量的违约率占比情况。可以看到delinq_2yrs、pub_rec只有一箱。结合数值型变量的分布图发现这些变量都有一个取值的数量极多，导致在进行等频分箱的时候由于频数过大所以只有一箱。此外，大部分变量在进行等频分箱后的坏样本率是呈现单调趋势的。
总结：可视化分析有助于让数据分析更清晰明了，可以帮助理解数据，并且以清晰、简洁的图标展示出分析结果，这是非常重要的。
【作者】：Labryant
【原创公众号】：风控猎人
【简介】：某创业公司策略分析师，积极上进，努力提升。乾坤未定，你我都是黑马。
【转载说明】：转载请说明出处，谢谢合作！~