對(duì)于我們?nèi)粘５臄?shù)據(jù)清理、預(yù)處理和分析方面的大多數(shù)任務(wù)，Pandas已經(jīng)綽綽有余。但是當(dāng)數(shù)據(jù)量變得非常大時(shí)，它的性能開(kāi)始下降。

我們以前的兩篇文章來(lái)測(cè)試Pandas 1.5.3、polar和Pandas 2.0.0之間的性能了，Polars 正好可以解決大數(shù)據(jù)量是處理的問(wèn)題，所以本文將介紹如何將日常的數(shù)據(jù)ETL和查詢過(guò)濾的Pandas轉(zhuǎn)換成polars。

Polars的優(yōu)勢(shì)

Polars是一個(gè)用于Rust和Python的DataFrame庫(kù)。

• Polars利用機(jī)器上所有可用的內(nèi)核，而pandas使用單個(gè)CPU內(nèi)核來(lái)執(zhí)行操作。
• Polars比pandas相對(duì)輕量級(jí)，沒(méi)有依賴關(guān)系，這使得導(dǎo)入Polars的速度更快。導(dǎo)入Polars只需要70毫秒，而導(dǎo)入pandas需要520毫秒。
• Polars進(jìn)行查詢優(yōu)化減少了不必要的內(nèi)存分配。它還能夠以流方式部分或全部地處理查詢。
• Polars可以處理比機(jī)器可用RAM更大的數(shù)據(jù)集。

ETL

Extract, Transform, and Load (ETL)的過(guò)程是怎樣的:

“提取、轉(zhuǎn)換和加載(ETL)是將來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)組合到稱為數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程。ETL使用一組業(yè)務(wù)規(guī)則來(lái)清理和組織原始數(shù)據(jù)，并為存儲(chǔ)、數(shù)據(jù)分析和機(jī)器學(xué)習(xí)(ML)做好準(zhǔn)備?？梢酝ㄟ^(guò)數(shù)據(jù)分析解決特定的業(yè)務(wù)智能需求(例如預(yù)測(cè)業(yè)務(wù)決策的結(jié)果、生成報(bào)告、減少操作效率低下，等等)。

Polars和Pandas都支持從各種來(lái)源讀取數(shù)據(jù)，包括CSV、Parquet和JSON。

df = pl.read_csv('data.csv')
 df = pl.read_parquet('data.parquet')
 df = pl.read_json('data.json')

對(duì)于數(shù)據(jù)的讀取方面和Pandas基本一致。

轉(zhuǎn)換是ETL中最重要、最困難和最耗時(shí)的步驟。

polar支持Pandas函數(shù)的一個(gè)子集，所以我們可以使用熟悉的Pandas函數(shù)來(lái)執(zhí)行數(shù)據(jù)轉(zhuǎn)換。

df = df.select(['A', 'C'])
 df = df.rename({‘A’: ‘ID’, ‘C’: ‘Total’})
 df = df.filter(pl.col('A') > 2)
 df = df.groupby('A').agg({'C': 'sum'})

這些Pandas函數(shù)都可以直接使用。

創(chuàng)建新列：

df = df.with_column(pl.col(‘Total’) / 2, ‘Half Total’)

處理空值：

df = df.fill_null(0)
 df_filled = df.fill_null('backward')
 df = df.fillna(method='ffill')

Dataframe 的合并

#pandas
 df_join = pd.merge(df1, df2, on='A')
 #polars
 df_join = df1.join(df2, on='A')

連接兩個(gè)DF

#pandas
 df_union = pd.concat([df1, df2], ignore_index=True)
 #polars
 df_union = pl.vstack([df1, df2])

polar使用與Pandas相同的函數(shù)來(lái)將數(shù)據(jù)保存到CSV、JSON和Parquet文件中。

# CSV
 df.to_csv(file)
 # JSON
 df.to_json(file)
 # Parquet
 df.to_parquet(file)

最后，如果你還需要使用Pandas做一些特殊的操作，可以使用:

df.to_pandas()

這可以將polar的DF轉(zhuǎn)換成pandas的DF。

最后我們整理一個(gè)簡(jiǎn)單的表格：

數(shù)據(jù)的查詢過(guò)濾

我們的日常工作中，數(shù)據(jù)的查詢是最重要，也是用的最多的，所以在這里我們?cè)僬硐虏樵冞^(guò)濾的操作。

首先創(chuàng)建一個(gè)要處理的DataFrame。

# pandas
 import pandas as pd
 
 # read csv
 df_pd = pd.read_csv("datasets/sales_data_with_stores.csv")
 
 # display the first 5 rows
 df_pd.head()

# polars
 import polars as pl
 
 # read_csv
 df_pl = pl.read_csv("datasets/sales_data_with_stores.csv")
 
 # display the first 5 rows
 df_pl.head()

polars首先顯示了列的數(shù)據(jù)類型和輸出的形狀，這對(duì)我們來(lái)說(shuō)非常好。下面我們進(jìn)行一些查詢，我們這里只顯示一個(gè)輸出，因?yàn)榻Y(jié)果都是一樣的：

1、按數(shù)值篩選

# pandas
 df_pd[df_pd["cost"] > 750]
 df_pd.query('cost > 750')
 
 # polars
 df_pl.filter(pl.col("cost") > 750)

2、多個(gè)條件查詢

pandas和polar都支持根據(jù)多個(gè)條件進(jìn)行過(guò)濾。我們可以用“and”和“or”邏輯組合條件。

# pandas
 df_pd[(df_pd["cost"] > 750) & (df_pd["store"] == "Violet")]
 
 # polars
 df_pl.filter((pl.col("cost") > 750) & (pl.col("store") == "Violet"))

3、isin

pandas的isin方法可用于將行值與值列表進(jìn)行比較。當(dāng)條件包含多個(gè)值時(shí)，它非常有用。這個(gè)方法的polar版本是" is_in "。

# pandas
 df_pd[df_pd["product_group"].isin(["PG1", "PG2", "PG5"])]
 
 # polars
 df_pl.filter(pl.col("product_group").is_in(["PG1", "PG2", "PG5"]))

4、選擇列的子集

為了選擇列的子集，我們可以將列名傳遞給pandas和polar，如下所示:

cols = ["product_code", "cost", "price"]
 
 # pandas (both of the following do the job)
 df_pd[cols]
 df_pd.loc[:, cols]
 
 # polars
 df_pl.select(pl.col(cols))

5、選擇行子集

pandas中可以使用loc或iloc方法選擇行。在polar則更簡(jiǎn)單。

# pandas
 df_pd.iloc[10:20]
 
 # polars
 df_pl[10:20]

選擇相同的行，但只選擇前三列:

# pandas
 df_pd.iloc[10:20, :3]
 
 # polars
 df_pl[10:20, :3]

如果要按名稱選擇列：

# pandas
 df_pd.loc[10:20, ["store", "product_group", "price"]]
 
 # polars
 df_pl[10:20, ["store", "product_group", "price"]]

按數(shù)據(jù)類型選擇列：

我們還可以選擇具有特定數(shù)據(jù)類型的列。

# pandas
 df_pd.select_dtypes(include="int64")
 
 # polars
 df_pl.select(pl.col(pl.Int64))

總結(jié)

可以看到polar與pandas非常相似，所以如果在處理大數(shù)據(jù)集的時(shí)候，我們可以嘗試使用polar，因?yàn)樗谔幚泶笮蛿?shù)據(jù)集時(shí)的效率要比pandas高，我們這里只介紹了一些簡(jiǎn)單的操作，如果你想了解更多，請(qǐng)看polar的官方文檔:

https://pola-rs.github.io/polars-book/user-guide/coming_from_pandas.html