一、簡(jiǎn)介

SQL是開(kāi)發(fā)者最重要的技能之一。在Python數(shù)據(jù)分析生態(tài)中，Pandas的使用最為廣泛。但是，如果不熟悉Pandas，則必須學(xué)習(xí)Pandas函數(shù)（分組、聚合、連接等）。相比之下，使用SQL查詢(xún)數(shù)據(jù)幀更加容易。Pandasql庫(kù)正好可以滿(mǎn)足需求！

【Pandasql項(xiàng)目主頁(yè)】：https://pypi.org/project/pandasql/

圖片

二、Pandasql的初始步驟

設(shè)置工作環(huán)境。

2.1 安裝Pandasql

如果使用的是Google Colab，可以使用pip來(lái)安裝Pandasql并進(jìn)行相關(guān)代碼編寫(xiě)：

pip install pandasql

如果在本地機(jī)器上使用Python，請(qǐng)確保在專(zhuān)門(mén)為該項(xiàng)目創(chuàng)建的虛擬環(huán)境中安裝了Pandas和Seaborn?？梢允褂脙?nèi)置的venv軟件包創(chuàng)建和管理虛擬環(huán)境。

本文在Ubuntu LTS 22.04上運(yùn)行Python 3.11。因此，以下說(shuō)明適用于Ubuntu（在Mac上也同樣適用）。如果使用的是Windows機(jī)器，請(qǐng)按照以下說(shuō)明來(lái)創(chuàng)建和激活虛擬環(huán)境。

在項(xiàng)目目錄中運(yùn)行以下命令創(chuàng)建虛擬環(huán)境（此處命名為v1）：

python3 -m venv v1

然后激活虛擬環(huán)境：

source v1/bin/activate

現(xiàn)在安裝Pandas、Seaborn和Pandasql：

pip3 install pandas seaborn pandasql

注意：如果尚未安裝pip，可以通過(guò)運(yùn)行apt install python3-pip更新系統(tǒng)軟件包并安裝它。

2.2 sqldf函數(shù)

要在Pandas數(shù)據(jù)幀上運(yùn)行SQL查詢(xún)，可以使用以下語(yǔ)法導(dǎo)入并使用sqldf：

from pandasql import sqldf
sqldf(query, globals())

其中：

• query表示想要在Pandas數(shù)據(jù)幀上執(zhí)行的SQL查詢(xún)語(yǔ)句。它應(yīng)該是一個(gè)包含有效SQL查詢(xún)的字符串。
• globals()指定了查詢(xún)中使用的數(shù)據(jù)幀所在的全局命名空間。

三、使用Pandasql查詢(xún)Pandas數(shù)據(jù)幀

首先導(dǎo)入所需的包和從Pandasql導(dǎo)入sqldf函數(shù)：

import pandas as pd
import seaborn as sns
from pandasql import sqldf

由于將在數(shù)據(jù)幀上運(yùn)行多個(gè)查詢(xún)，因此可以定義一個(gè)函數(shù)，這樣就可以通過(guò)將查詢(xún)作為參數(shù)傳遞來(lái)調(diào)用它：

# 為運(yùn)行SQL查詢(xún)定義可重復(fù)使用的函數(shù)
run_query = lambda query: sqldf(query, globals())

對(duì)于接下來(lái)的所有示例，本文將運(yùn)行run_query函數(shù)（該函數(shù)在底層使用了sqldf()），在tips_df數(shù)據(jù)幀上執(zhí)行SQL查詢(xún)，然后打印出返回的結(jié)果。

3.1 加載數(shù)據(jù)集

這里，使用內(nèi)置于Seaborn庫(kù)中的"tips"數(shù)據(jù)集。"tips"數(shù)據(jù)集包含有關(guān)餐廳小費(fèi)的信息，包括總賬單、小費(fèi)金額、付款人的性別、星期幾等。

將"tips"數(shù)據(jù)集加載到名為tips_df的數(shù)據(jù)幀中：

# 將"tips"數(shù)據(jù)集加載到`pandas`數(shù)據(jù)幀中
tips_df = sns.load_dataset("tips")

3.2 示例1 - 選擇數(shù)據(jù)

下面是本文的第一個(gè)查詢(xún)，簡(jiǎn)單的SELECT語(yǔ)句：

# 簡(jiǎn)單的SELECT查詢(xún)
query_1 = """
SELECT *
FROM tips_df
LIMIT 10;
"""
result_1 = run_query(query_1)
print(result_1)

如圖所示，該查詢(xún)選擇了tips_df數(shù)據(jù)幀中的所有列，并使用"LIMIT"關(guān)鍵字將輸出限制在前10行。這相當(dāng)于在Pandas中執(zhí)行tips_df.head(10)：

圖片

query_1的輸出

3.3 示例2 - 根據(jù)條件過(guò)濾

接下來(lái)，編寫(xiě)根據(jù)條件過(guò)濾結(jié)果的查詢(xún)：

# 根據(jù)條件過(guò)濾
query_2 = """
SELECT *
FROM tips_df
WHERE total_bill > 30 AND tip > 5;
"""

result_2 = run_query(query_2)
print(result_2)

該查詢(xún)根據(jù)WHERE子句中指定的條件過(guò)濾tips_df數(shù)據(jù)幀。它從tips_df數(shù)據(jù)幀中選擇其中'total_bill'大于30并且'tip'金額大于5的所有列。

運(yùn)行query_2將得到以下結(jié)果：

query_2的輸出

3.4 示例3 - 分組和聚合

運(yùn)行以下查詢(xún)，以獲取按天分組的平均賬單金額：

# 分組和聚合
query_3 = """
SELECT day, AVG(total_bill) as avg_bill
FROM tips_df
GROUP BY day;
"""

result_3 = run_query(query_3)
print(result_3)

以下是輸出結(jié)果：

query_3的輸出

可以清楚地看到周末的平均賬單金額略高。

再舉一個(gè)分組和聚合的例子。觀察以下查詢(xún)：

query_4 = """
SELECT day, COUNT(*) as num_transactions, AVG(total_bill) as avg_bill, MAX(tip) as max_tip
FROM tips_df
GROUP BY day;
"""

result_4 = run_query(query_4)
print(result_4)

查詢(xún)query_4通過(guò)'day'列對(duì)tips_df數(shù)據(jù)幀中的數(shù)據(jù)進(jìn)行分組，并為每個(gè)分組計(jì)算以下聚合函數(shù)：

• num_transactions：交易次數(shù)。
• avg_bill：'total_bill'列的平均值。
• max_tip：'tip'列的最大值。

如圖所示，得到了按日期分組的上述數(shù)量：

query_4的輸出

3.5 示例4 - 子查詢(xún)

接下來(lái)添加一個(gè)使用子查詢(xún)的查詢(xún)示例：

# 子查詢(xún)
query_5 = """
SELECT *
FROM tips_df
WHERE total_bill > (SELECT AVG(total_bill) FROM tips_df);
"""

result_5 = run_query(query_5)
print(result_5)

其中，

• 內(nèi)部子查詢(xún)計(jì)算了tips_df數(shù)據(jù)幀中'total_bill'列的平均值。
• 然后，外部查詢(xún)選擇了tips_df數(shù)據(jù)幀中'total_bill'大于計(jì)算得到的平均值的所有列。

運(yùn)行query_5，得到以下結(jié)果：

query_5的輸出

3.6 示例5 - 連接兩個(gè)數(shù)據(jù)幀

由于目前只有一個(gè)數(shù)據(jù)幀。為了進(jìn)行簡(jiǎn)單的連接操作，創(chuàng)建另一個(gè)數(shù)據(jù)幀，如下所示：

# 創(chuàng)建另一個(gè)要與`tips_df`連接的數(shù)據(jù)幀
other_data = pd.DataFrame({
    'day': ['Thur','Fri', 'Sat', 'Sun'],
    'special_event': ['Throwback Thursday', 'Feel Good Friday', 'Social Saturday','Fun Sunday', ]
})

other_data數(shù)據(jù)幀將每天與一個(gè)特殊事件關(guān)聯(lián)起來(lái)。

現(xiàn)在，在共同的'day'列上執(zhí)行tips_df和other_data數(shù)據(jù)幀之間的LEFT JOIN：

query_6 = """
SELECT t.*, o.special_event
FROM tips_df t
LEFT JOIN other_data o ON t.day = o.day;
"""

result_6 = run_query(query_6)
print(result_6)

以下是連接操作的結(jié)果：

query_6的輸出

四、總結(jié)

本文介紹了如何使用Pandasql在Pandas數(shù)據(jù)幀上運(yùn)行SQL查詢(xún)。盡管在Pandasql中使用SQL查詢(xún)數(shù)據(jù)幀變得非常簡(jiǎn)單，但也存在一些限制。

最主要的限制是，Pandasql比原生Pandas慢幾個(gè)數(shù)量級(jí)。本文對(duì)此的建議是：如果需要使用Pandas進(jìn)行數(shù)據(jù)分析，可以在學(xué)習(xí)Pandas并快速上手時(shí)使用Pandasql來(lái)查詢(xún)數(shù)據(jù)幀。然后，一旦熟悉了Pandas，可以切換到Pandas或其他的庫(kù)（類(lèi)似Polars）。