用Python和Pandas進行數據分析,很快就會用到循環。
但在這其中,就算是較小的DataFrame,使用標準循環也比較耗時。
遇到較大的DataFrame時,需要的時間會更長,會讓人更加頭疼。
現在,有人忍不了了。他是一位來自德國的數據分析師,名叫Benedikt Droste。
他說,當自己花了大半個小時等待代碼執行的時候,決定尋找速度更快的替代方案。
在給出的替代方案中,使用Numpy向量化,與使用標準循環相比,速度提升了71803倍。
他是怎麼實現的?我們一起來看看~
標準循環處理3年足球賽數據:20.7秒
DataFrame是具有行和列的Pandas對象。如果使用循環,需要遍歷整個對象。
Python不能利用任何內置函數,而且速度很慢。在Benedikt Droste的提供的示例中,是一個包含65列和1140行的Dataframe,包含了2016-2019賽季的足球賽結果。
需要解決的問題是:創建一個新的列,用於指示某個特定的隊是否打了平局。可以這樣開始:
def soc_loop(leaguedf,TEAM,): leaguedf['Draws'] = 99999 for row in range(0, len(leaguedf)): if ((leaguedf['HomeTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] == 'D')) | \ ((leaguedf['AwayTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] == 'D')): leaguedf['Draws'].iloc[row] = 'Draw' elif ((leaguedf['HomeTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] != 'D')) | \ ((leaguedf['AwayTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] != 'D')): leaguedf['Draws'].iloc[row] = 'No_Draw' else: leaguedf['Draws'].iloc[row] = 'No_Game'
在這個案例中是阿森納,在實現目標之前要確認阿森納參加了哪些場比賽,是主隊還是客隊。但使用標準循環非常慢,執行時間爲20.7秒。
那麼,怎麼才能更有效率?
Pandas 內置函數: iterrows ()ー快321倍
在第一個示例中,循環遍歷了整個DataFrame。iterrows()爲每一行返回一個Series,它以索引對的形式遍歷DataFrame,以Series的形式遍歷感興趣的列。這使得它比標準循環更快:
def soc_iter(TEAM,home,away,ftr): #team, row['HomeTeam'], row['AwayTeam'], row['FTR'] if [((home == TEAM) & (ftr == 'D')) | ((away == TEAM) & (ftr == 'D'))]: result = 'Draw' elif [((home == TEAM) & (ftr != 'D')) | ((away == TEAM) & (ftr != 'D'))]: result = 'No_Draw' else: result = 'No_Game' return result
代碼運行時間爲68毫秒,比標準循環快321倍。但是,許多人建議不要使用它,因爲仍然有更快的選項,而且iterrows()不能跨行保存dtype。
這意味着,如果你在DataFrame dtypes上使用iterrows(),可以更改它,但這會導致很多問題。
一定要保存dtypes的話,你還可以使用itertuples()。這裏我們不詳細討論 ,你可以在這裏找到官方文件:
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.itertuples.html
apply ()方法ー快811倍
apply 本身並不快,但與DataFrame結合使用時,它具有優勢。這取決於 apply 表達式的內容。如果可以在 Cython 空間中執行,那麼apply要快得多,這裏的示例就是這種情況。
大家可以在Lambda函數中使用apply。所要做的就是指定這個軸。在本文的示例中,想要執行按列操作,要使用 axis 1:
這段代碼甚至比之前的方法更快,完成時間爲27毫秒。
Pandas向量化—快9280倍
此外,也可以利用向量化的優點來創建非常快的代碼。
重點是避免像之前的示例中的Python級循環,並使用優化後的C語言代碼,這將更有效地使用內存。只需要稍微修改一下函數:
def soc_iter(TEAM,home,away,ftr): df['Draws'] = 'No_Game' df.loc[((home == TEAM) & (ftr == 'D')) | ((away == TEAM) & (ftr == 'D')), 'Draws'] = 'Draw' df.loc[((home == TEAM) & (ftr != 'D')) | ((away == TEAM) & (ftr != 'D')), 'Draws'] = 'No_Draw'
現在,可以用 Pandas 列作爲輸入創建新列:
在這種情況下,甚至不需要循環。所要做的就是調整函數的內容。現可以直接將Pandas 列傳遞給函數,從而獲得巨大的速度增益。
Numpy向量化—快71803倍
在上面的示例中,將將Pandas 列傳遞給函數。通過添加.values,可以得到一個Numpy數組:
因爲引用了局部性的好處,Numpy數組的速度非常快,代碼運行時間僅爲0.305毫秒,比一開始使用的標準循環快71803倍。
誰更強一目瞭然
最後,Benedikt Droste對上述方案進行了總結。
他說,如果你使用Python、Pandas和Numpy進行數據分析,總會有改進代碼的空間。
在對上述五種方法進行比較之後,哪個更快一目瞭然:
從這個圖中,可以得出兩個結論:
- 1、如果要使用循環,則應始終選擇apply方法。
- 2、否則,使用向量化是最好的,因爲它更快!
本文經AI新媒體量子位(公衆號ID:QbitAI)授權轉載,轉載請聯繫出處。