目錄
缺失值處理
處理缺失值常用的辦法可分爲三類：刪除記錄、數據插補、不處理。
其中常見的數據插補法有：
如果通過刪除小部分的數據就可以達到既定的目標，且不會影響結果的準確性，那麼這無疑是最簡單有效的。但是，在不瞭解情況的時候還是不要這樣冒險比較好，因爲刪除數據是所有老闆最不願意看見的，不但浪費了很大的資源，也丟棄了大量有可能隱藏在缺失值記錄中的信息。
這裏我們主要說一說拉格朗日插值法，主要講這個方法，是因爲大學數值分析課上，認爲這個方法最好，哈哈，其他方法有興趣的同學也可以試一試。除了拉格朗日插值法，還有牛頓插值法、Hermite插值法、分段插值法和樣條插值法。
拉格朗日插值法在理論分析中很方便，因爲他的公式結構緊湊。但是在實際應用中，如果存在差值節點經常增減變化時，拉格朗日插值法的插值多項式也需要隨之變化，遇見數據源比較大的時候，這難免有些浪費時間，這個時候，其實牛頓插值法更加適用。
拉格朗日差值法的理論基礎
偷懶不願敲公式，所以直接拋了一個截圖，見諒見諒。
拉格朗日插值法代碼實現
數據源大概是這樣的：
| time | count |
| 2018/5/1 | 106684 |
| 2018/5/2 | 106644 |
| 2018/5/3 | 176520 |
| 2018/5/4 | 152311 |
| 2018/5/5 | 160264 |
| 2018/5/6 | |
| 2018/5/7 | 182263 |
| 2018/5/8 | 172887 |
| 2018/5/9 | 160264 |
| 2018/5/10 | 152704 |
| 2018/5/11 | 110049 |
| 2018/5/12 | 136951 |
| 2018/5/13 | |
| 2018/5/14 | 143165 |
| 2018/5/15 | 136951 |
| 2018/5/16 | |
| 2018/5/17 | 135287 |
黃色部分是缺失值，需要通過其前後的數據進行插補，下面是代碼實現了。
# -*- coding: utf-8 -*-
#拉格朗日法插補空缺值
import pandas as pd #導入pandas庫
from scipy.interpolate import lagrange #導入拉格朗日函數
inputfile = u'E:\\pythondata\\cjm5.xlsx'
outputfile = u'E:\\pythondata\\cjm5_1.xlsx'
data= pd.read_excel(inputfile)
data[u'count'][(data[u'count']<100000) | (data[u'count']>200000)] = None #將異常值清空
def ployinterp_column(s,n,k=2): #k=2表示用空值的前後兩個數值來擬合曲線，從而預測空值
y = s[list(range(n-k,n)) + list(range(n+1,n+1-k))] #取值，range函數返回一個左閉右開（[left,right)）的序列數
y = y[y.notnull()]#取上一行中取出數值列表中的非空值，保證y的每行都有數值，便於擬合函數
return lagrange(y.index,list(y))(n) #調用拉格朗日函數，並添加索引
for i in data.columns: #如果i在data的列名中，data.columns生成的是data的全部列名
for j in range(len(data)): #len(data)返回了data的長度，若此長度爲5，則range(5)會產生從0開始計數的整數列表
if (data[i].isnull())[j]:#如果data[i][j]爲空，則調用函數ployinterp_column爲其插值
data[i][j] = ployinterp_column(data[i],j)
data.to_excel(outputfile) #將完成插值後的data寫入excel
print("拉格朗日法插補完成，插補後的文件位於："+str(outputfile))
代碼運行結束後會將插補完成的excel文件存在既定的位置（代碼中outputfile的位置），我們通過k的值來表示通過缺失值前多少個數值來插補，下面是通過k=2和k=3插補的結果，我們把它畫在一個折線圖中，直觀的判斷哪一個k值是更加符合業務實際情況的。
其他數據預處理方法