上一篇文章介紹瞭如何進行數據預處理，接下來介紹如何進行探索性數據分析。探索性數據分析又叫EDA,即Exploratory Data Analysis。其實數據預處理也屬於EDA的一部分，EDA的目標就是快速描述一份數據集，以及對數據進行處理並可視化數據分佈。只有瞭解數據之後，才能分析數據。今天主要介紹可視化數據分佈的內容。
首先將變量分爲數值型變量和類別型變量，分別進行可視化分析。
num_features = ['int_rate_clean', 'emp_length_clean', 'annual_inc', 'dti', 'delinq_2yrs', 'earliest_cr_to_app',
'inq_last_6mths', \
'mths_since_last_record_clean', 'mths_since_last_delinq_clean', 'open_acc', 'pub_rec', 'total_acc',
'limit_income', 'earliest_cr_to_app']
cat_features = ['home_ownership', 'verification_status', 'desc_clean', 'purpose', 'zip_code', 'addr_state']
feature_list=num_features+cat_features
一共有14個數值變量和6個類別變量。先看一下類別型變量的分佈圖。
# 類別型變量的分佈
def plot_cate_var(df,col_list,hspace=0.4,wspace=0.4,plt_size=None,plt_num=None,x=None,y=None):
plt.figure(figsize=plt_size)
plt.subplots_adjust(hspace=hspace,wspace=wspace)
plt.rcParams['font.sans-serif']=['Microsoft YaHei']
plt.rcParams['axes.unicode_minus'] = False
for i,col in zip(range(1,plt_num+1,1),col_list):
plt.subplot(x,y,i)
plt.title(col)
sns.countplot(data=df,y=col)
plt.ylabel('')
return plt.show()
從上圖可以看到每個類別型變量的大致分佈情況。其中purpose、zip_code和addr_state這三個類別型變量的取值過多。對這類變量一般有這些處理辦法：
- 降基處理。即將佔比較小的類別進行合併。
- 用bad_rate編碼後劃入數值型變量，進行分箱。
對於purpose變量，由於類別數不是很多，可以嘗試進行降基；對於zip_code和addr_state，由於變量過多，所以進行bad_rate編碼。
再看一下數值型變量的分佈情況。
def plot_num_col(df,col_list,hspace=0.4,wspace=0.4,plt_type=None,plt_size=None,plt_num=None,x=None,y=None):
plt.figure(figsize=plt_size)
plt.subplots_adjust(hspace=hspace,wspace=wspace)
if plt_type=='hist':
for i,col in zip(range(1,plt_num+1,1),col_list):
plt.subplot(x,y,i)
plt.title(col)
sns.distplot(df[col].dropna())
plt.xlabel('')
return plt.show()
數值型變量的分佈用到了seaborn中的distplot畫圖，對應的還有一個kedplot畫圖方法。可以直觀地看出每個變量的分佈狀態。
然後結合違約率，再對變量進行一下可視化分析。先對類別型變量進行可視化分析。
# 類別型變量的違約率分析
def plot_default_cate(df,col_list,target,hspace=0.4,wspace=0.4,plt_size=None,plt_num=None,x=None,y=None):
all_bad = df[target].sum()
total = df[target].count()
all_default_rate = all_bad*1.0/total
plt.figure(figsize=plt_size)
plt.subplots_adjust(hspace=hspace,wspace=wspace)
plt.rcParams['font.sans-serif']=['Microsoft YaHei']
plt.rcParams['axes.unicode_minus'] = False
for i,col in zip(range(1,plt_num+1,1),col_list):
d1 = df.groupby(col)
d2 = pd.DataFrame()
d2['total'] = d1[target].count()
d2['bad'] = d1[target].sum()
d2['default_rate'] = d2['bad']/d2['total']
d2 = d2.reset_index()
plt.subplot(x,y,i)
plt.title(col)
plt.axvline(x=all_default_rate)
sns.barplot(data=d2,y=col,x='default_rate')
plt.ylabel('')
return plt.show()
這張圖將每個變量取值的違約率和該變量的違約率畫在一張圖上進行對比，可以直觀地看出哪些變量的取值違約率較高。比如homeownership變量的other取值、purpose變量的small_business取值。
同樣看下數值型變量的違約率分佈圖。需要對數值型變量進行等深分箱。
# 數值型變量的違約率分析
def plot_default_num(df,col_list,target,hspace=0.4,wspace=0.4,q=None,plt_size=None,plt_num=None,x=None,y=None):
all_bad = df[target].sum()
total = df[target].count()
all_default_rate = all_bad*1.0/total
plt.figure(figsize=plt_size)
plt.subplots_adjust(hspace=hspace,wspace=wspace)
for i,col in zip(range(1,plt_num+1,1),col_list):
bucket = pd.qcut(df[col],q=q,duplicates='drop')
d1 = df.groupby(bucket)
d2 = pd.DataFrame()
d2['total'] = d1[target].count()
d2['bad'] = d1[target].sum()
d2['default_rate'] = d2['bad']/d2['total']
d2 = d2.reset_index()
plt.subplot(x,y,i)
plt.title(col)
plt.axhline(y=all_default_rate)
sns.pointplot(data=d2,x=col,y='default_rate',color='hotpink')
plt.xticks(rotation=60)
plt.xlabel('')
return plt.show()
對數值型變量進行等頻分箱，觀察每一箱的違約率佔比以及單個變量的違約率佔比情況。可以看到delinq_2yrs、pub_rec只有一箱。結合數值型變量的分佈圖發現這些變量都有一個取值的數量極多，導致在進行等頻分箱的時候由於頻數過大所以只有一箱。此外，大部分變量在進行等頻分箱後的壞樣本率是呈現單調趨勢的。
總結：可視化分析有助於讓數據分析更清晰明瞭，可以幫助理解數據，並且以清晰、簡潔的圖標展示出分析結果，這是非常重要的。
【作者】：Labryant
【原創公衆號】：風控獵人
【簡介】：某創業公司策略分析師，積極上進，努力提升。乾坤未定，你我都是黑馬。
【轉載說明】：轉載請說明出處，謝謝合作！~