1 讀取時抽樣 1%
對於動輒就幾十或幾百個 G 的數據，在讀取這麼大數據時，有沒有辦法隨機選取一小部分數據，然後讀入內存，快速瞭解數據和開展 EDA ？
使用 Pandas 的 skiprows 和 概率知識，就能做到。
下面解釋具體怎麼做。
如下所示，讀取某 100 G 大小的 big_data.csv 數據
使用 skiprows 參數，
x > 0 確保首行讀入，
np.random.rand() > 0.01 表示 99% 的數據都會被隨機過濾掉
言外之意，只有全部數據的 1% 纔有機會選入內存中。
import pandas as pd
import numpy as np
df = pd.read_csv("big_data.csv",
skiprows = lambda x: x>0 and
np.random.rand() > 0.01)
print("The shape of the df is {}.
It has been reduced 100 times!".format(df.shape))
使用這種方法，讀取的數據量迅速縮減到原來的 1% ，對於迅速展開數據分析有一定的幫助。
2 replace 做清洗
Pandas 的強項在於數據分析，自然就少不了對數據清洗的支持。
今天學習一個快速清洗數據的小技巧，在某列上使用 replace 方法和正則，快速完成值的清洗。
源數據：
d = {"customer": ["A", "B", "C", "D"],
"sales":[1100, "950.5RMB", "$400", " $1250.75"]}
df = pd.DataFrame(d)
df
打印結果：
customersales
0A1100
1B950.5RMB
2C$400
3D$1250.75
看到 sales 列的值，有整型，浮點型+RMB後變爲字符串型，還有美元+整型，美元+浮點型。
我們的目標：清洗掉 RMB，$ 符號，轉化這一列爲浮點型。
一行代碼搞定：（點擊代碼區域，向右滑動，查看完整代碼）
df["sales"] = df["sales"].replace("[$,RMB]", "", regex = True).astype("float")
使用正則替換，將要替換的字符放到列表中 [$,RMB]，替換爲空字符，即 ""；
最後使用 astype 轉爲 float
打印結果：
customersales
0A1100.00
1B950.50
2C400.00
3D1250.75
Done ~
如果不放心，再檢查下值的類型：
df["sales"].apply(type)
打印結果：
0 <class 'float'>
1 <class 'float'>
2 <class 'float'>
3 <class 'float'>
3 寬 DF 變長
爲什麼需要寬 DF 變長 ?
構造一個 DataFrame：
d = {\
"district_code": [12345, 56789, 101112, 131415],
"apple": [5.2, 2.4, 4.2, 3.6],
"banana": [3.5, 1.9, 4.0, 2.3],
"orange": [8.0, 7.5, 6.4, 3.9]
}
df = pd.DataFrame(d)
df
打印結果：
district_codeapplebananaorange
0123455.23.58.0
1567892.41.97.5
21011124.24.06.4
31314153.62.33.9
5.2 表示 12345 區域的 apple 價格，並且 apple, banana, orange，這三列都是一種水果，那麼如何把這三列合併爲一列？
使用 pd.melt
具體參數取值，大家根據此例去推敲：
df = df.melt(\
id_vars = "district_code",
var_name = "fruit_name",
value_name = "price")
df
打印結果：
district_codefruit_nameprice
012345apple5.2
156789apple2.4
2101112apple4.2
3131415apple3.6
412345banana3.5
556789banana1.9
6101112banana4.0
7131415banana2.3
812345orange8.0
956789orange7.5
10101112orange6.4
11131415orange3.9
以上就是長 DataFrame，對應的原 DataFrame 是寬 DF.
看明白嗎？
4 轉 datetime
告訴年和 dayofyear，怎麼轉 datetime?
原 DataFrame
d = {\
"year": [2019, 2019, 2020],
"day_of_year": [350, 365, 1]
}
df = pd.DataFrame(d)
df
打印結果：
yearday_of_year
02019350
12019365
220201
轉 datetime 的 trick。
Step 1: 創建整數
df["int_number"] = df["year"]*1000 + df["day_of_year"]
df
打印結果：
yearday_of_yearint_number
020193502019350
120193652019365
2202012020001
Step 2: to_datetime
df["date"] = pd.to_datetime(df["int_number"], format = "%Y%j")
df
注意 "%Y%j" 中轉化格式 j
打印結果：
yearday_of_yearint_numberdate
0201935020193502019-12-16
1201936520193652019-12-31
22020120200012020-01-01
以上就是 Pandas 做數據分析的 4 個 trick。碼字不易，點個在看。