Jupyter 缺失值处理

import os
import pandas as pd
import numpy as np
os.chdir('D:\Workspaces\Jupyter')
df = pd.read_excel('data_test.xlsx')
# 每一列所有的缺失值数目和
np.sum(df.isnull())
# 返回值是TRUE的缺失
df.isnull()
# 每一列缺失数目
np.sum(df.isnull(),axis = 0)
# 每一行缺失数目
np.sum(df.isnull(),axis = 1)
# 每一列的缺失率
df.apply(lambda x:sum(x.isnull())/len(x),axis=0)
# 每一行的缺失率
df.apply(lambda x:sum(x.isnull())/len(x),axis=1)
# 只要有缺失，就删除，按行
df.dropna()
# 第二种表达
df.dropna(how = 'any',axis=0)
# 按列删除
df.dropna(how = 'any',axis=1)
# 这一列全缺失才删除
df.dropna(how = 'all',axis=1)
# 删除某一列
df.drop('TeamID',axis=1)
# 删除多列
df.drop(['TeamID','EventTime'],axis=1)
# 按行删除这两列有缺失的数据
df.dropna(subset = ['EventTime','EventOrigin_x'],how ='any')
# 填上平均值，两点之间是列名
df.EventOrigin_x.fillna(df.EventOrigin_x.mean())
# 填上中位数
df.EventOrigin_x.fillna(df.EventOrigin_x.median())
# 填上众数，可以用来填不是数值的缺失，比如性别
df.EventOrigin_x.fillna(df.EventOrigin_x.mode())
# 这一列有多个众数取第一个
df.EventOrigin_x.fillna(df.EventOrigin_x.mode()[0])
# 所有的缺失值都用20填补
df.fillna(20)
# 不同的列补充不一样的内容
df.fillna(value ={'EventType':df.EventType.mode()[0],
                'EventTime':df.EventTime.mean()})
# 从上往下，每次填补都和前一项相同
df.fillna(method='ffill')
# 从下至上，每一项都和下一项相同
df.fillna(method='bfill')
# 线性插值法
df.EventTime.interpolate(method = 'linear')
# 二次多项式插值
df.EventTime.interpolate(method = 'polynomial',order = 2)

# !!!重要的是这些都是返回视图，真实数据没有改变，需要加上df = df.啥啥啥的