數(shù)據(jù)處理必看：如何讓你的Pandas循環(huán)加快71803倍
雷鋒網(wǎng) AI 開(kāi)發(fā)者按，如果你使用 python 和 pandas 進(jìn)行數(shù)據(jù)分析，那么不久你就會(huì)第一次使用循環(huán)了。然而，即使是對(duì)小型數(shù)據(jù)集，使用標(biāo)準(zhǔn)循環(huán)也很費(fèi)時(shí)，你很快就會(huì)意識(shí)到大型數(shù)據(jù)幀可能需要很長(zhǎng)的時(shí)間。當(dāng)我第一次等了半個(gè)多小時(shí)來(lái)執(zhí)行代碼時(shí)，我找到了接下來(lái)想與你共享的替代方案。
標(biāo)準(zhǔn)循環(huán)
數(shù)據(jù)幀是具有行和列的 pandas 對(duì)象。如果使用循環(huán)，則將遍歷整個(gè)對(duì)象。python 不能用任何內(nèi)置函數(shù)，而且速度非常慢。在我們的示例中，我們得到了一個(gè)具有 65 列和 1140 行的數(shù)據(jù)幀，它包含 2016-2019 賽季的足球比賽結(jié)果。我們要?jiǎng)?chuàng)建一個(gè)新的列來(lái)指示某個(gè)特定的隊(duì)是否打過(guò)平局。我們可以這樣開(kāi)始：
- leaguedf['Draws'] = 99999
- for row in range(0, len(leaguedf)):
- if ((leaguedf['HomeTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] == 'D')) | \
- ((leaguedf['AwayTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] == 'D')):
- leaguedf['Draws'].iloc[row] = 'Draw'
- elif ((leaguedf['HomeTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] != 'D')) | \
- ((leaguedf['AwayTeam'].iloc[row] == TEAM) & (leaguedf['FTR'].iloc[row] != 'D')):
- leaguedf['Draws'].iloc[row] = 'No_Draw'
- else:
- leaguedf['Draws'].iloc[row] = 'No_Game'
- def soc_loop(leaguedf,TEAM,):
因?yàn)槲覀兊臄?shù)據(jù)框架中包含了英超的每一場(chǎng)比賽，所以我們必須檢查我們感興趣的球隊(duì)(阿森納)是否參加過(guò)比賽，是否適用，他們是主隊(duì)還是客隊(duì)。如你所見(jiàn)，這個(gè)循環(huán)非常慢，需要 207 秒才能執(zhí)行。讓我們看看如何提高效率。
pandas 內(nèi)置函數(shù)：iterrow()——快 321 倍
在第一個(gè)示例中，我們循環(huán)訪問(wèn)了整個(gè)數(shù)據(jù)幀。iterrows()為每行返回一個(gè)序列，因此它以一對(duì)索引的形式在數(shù)據(jù)幀上迭代，而感興趣的列以序列的形式迭代。這使得它比標(biāo)準(zhǔn)循環(huán)更快：
- def soc_iter(TEAM,home,away,ftr):
- #team, row['HomeTeam'], row['AwayTeam'], row['FTR']
- if [((home == TEAM) & (ftr == 'D')) | ((away == TEAM) & (ftr == 'D'))]:
- result = 'Draw'
- elif [((home == TEAM) & (ftr != 'D')) | ((away == TEAM) & (ftr != 'D'))]:
- result = 'No_Draw'
- else:
- result = 'No_Game'
- return result
代碼運(yùn)行需要 68 毫秒，比標(biāo)準(zhǔn)循環(huán)快 321 倍。但是，許多人建議不要使用它，因?yàn)槿匀挥懈斓姆椒?，并?iterrows() 不保留跨行的數(shù)據(jù)類型。這意味著，如果在數(shù)據(jù)幀上使用 iterrow()，則可以更改數(shù)據(jù)類型，這會(huì)導(dǎo)致很多問(wèn)題。要保留數(shù)據(jù)類型，還可以使用 itertuples()。我們不會(huì)在這里詳細(xì)討論，因?yàn)槲覀円P(guān)注效率。你可以在這里找到官方文件：
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.itertuples.html?source=post_page-----805030df4f06----------------------
apply()方法——快 811 倍
apply 本身并不快，但與數(shù)據(jù)幀結(jié)合使用時(shí)具有優(yōu)勢(shì)。這取決于應(yīng)用表達(dá)式的內(nèi)容。如果可以在 Cython 空間中執(zhí)行，則速度會(huì)更快(在這里就是這種情況)。
我們可以將 apply 與 Lambda 函數(shù)一起使用。我們要做的就是指定軸。在這種情況下，我們必須使用 axis=1，因?yàn)槲覀円獔?zhí)行一個(gè)列操作：
此代碼甚至比以前的方法更快，只需要 27 毫秒就能完成。
pandas 矢量化——快 9280 倍
現(xiàn)在我們可以討論一個(gè)新話題了。我們利用矢量化的優(yōu)點(diǎn)來(lái)創(chuàng)建真正快速的代碼。重點(diǎn)是避免像前面的例子 [1] 中那樣的 Python 級(jí)循環(huán)，并使用優(yōu)化的 C 代碼，這個(gè)代碼使用內(nèi)存的效率更高。我們只需要稍微修改函數(shù)：
- df['Draws'] = 'No_Game'
- df.loc[((home == TEAM) & (ftr == 'D')) | ((away == TEAM) & (ftr == 'D')), 'Draws'] = 'Draw'
- df.loc[((home == TEAM) & (ftr != 'D')) | ((away == TEAM) & (ftr != 'D')), 'Draws'] = 'No_Draw'
- def soc_iter(TEAM,home,away,ftr):
現(xiàn)在我們可以用 pandas series 作為輸入創(chuàng)建新列：
在這種情況下，我們甚至不需要循環(huán)。我們要做的就是調(diào)整函數(shù)的內(nèi)容?，F(xiàn)在我們可以直接將 pandas series 傳遞給我們的函數(shù)，這會(huì)導(dǎo)致巨大的速度增益。
Numpy 矢量化——速度快 71.803 倍
在前面的示例中，我們將 pandas series 傳遞給了函數(shù)。通過(guò)添加.values，我們收到一個(gè) Numpy 數(shù)組：
Numpy 數(shù)組非?？欤覀兊拇a運(yùn)行時(shí)間為 0305 毫秒，比開(kāi)始使用的標(biāo)準(zhǔn)循環(huán)快 71803 倍。
結(jié)論
如果您使用 python、pandas 和 Numpy 進(jìn)行數(shù)據(jù)分析，那么代碼總會(huì)有一些改進(jìn)空間。我們比較了五種不同的方法，在計(jì)算的基礎(chǔ)上增加了一個(gè)新的列到我們的數(shù)據(jù)框架中。我們注意到在速度方面存在巨大差異：
如果你從這篇文章中選擇兩條規(guī)則，我會(huì)很高興：
- 如果確定需要使用循環(huán)，則應(yīng)始終選擇 apply 方法
- 否則，矢量化總是更好的，因?yàn)樗?/li>
本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。
