本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)。

一間屋子10個人，可能其中5位數(shù)據(jù)科學(xué)家都表示需要結(jié)構(gòu)化查詢語言(SQL)才能工作，另一半人則表示還有其他方法可以處理數(shù)據(jù)。

作為一名數(shù)據(jù)科學(xué)家，你使用什么方法?你還有其它方法嗎?數(shù)據(jù)科學(xué)家必須要會使用SQL嗎?本文將討論SQL在數(shù)據(jù)科學(xué)中的作用，以及結(jié)構(gòu)化查詢語言(SQL)的替代方法。

[[355527]]

SQL

是否需要了解SQL具體取決于個人所屬公司和數(shù)據(jù)科學(xué)團(tuán)隊(duì)。有些團(tuán)隊(duì)有數(shù)位數(shù)據(jù)工程師和數(shù)據(jù)分析師以及機(jī)器學(xué)習(xí)工程師，而有些團(tuán)隊(duì)則只有一位數(shù)據(jù)科學(xué)家。所以數(shù)據(jù)科學(xué)家是否需要了解SQL，你心中自有答案。

但是，討論一下是否需要了解SOL的原因，以及不需要SOL的時機(jī)是頗為有趣且十分重要，討論這個問題也有助于即將入職的數(shù)據(jù)科學(xué)家了解工作期望。以下是我使用SQL的原因：

• 使用SQL查詢表格以獲得有用的數(shù)據(jù)集
• 保持自主感(盡管也需要幫助)
• 在現(xiàn)有的SQL查詢中隨時發(fā)現(xiàn)和創(chuàng)建新功能

盡管數(shù)據(jù)科學(xué)可以看作是只專注于Python和R以及復(fù)雜機(jī)器學(xué)習(xí)算法的工作，但如果不充分利用SQL的優(yōu)勢，一個團(tuán)隊(duì)可能很難執(zhí)行數(shù)據(jù)科學(xué)運(yùn)算進(jìn)程。不過，有時SQL并不是必需的，這取決于個人在數(shù)據(jù)科學(xué)領(lǐng)域的具體角色。

如果能從數(shù)據(jù)工程師或數(shù)據(jù)分析師那里獲得一些幫助，便可以參考其他替代方法。此外，當(dāng)SQL查詢功能完全不符合專業(yè)時也不需要SQL，因?yàn)榇藭r專注點(diǎn)在于數(shù)據(jù)科學(xué)模型開發(fā)，類似于在已獲取的數(shù)據(jù)上相互測試各種機(jī)器學(xué)習(xí)算法。

替代方法

從數(shù)據(jù)分析師或數(shù)據(jù)工程師處獲取數(shù)據(jù)集后，對數(shù)據(jù)集的下一步改進(jìn)就是創(chuàng)建新功能要素，而不只是直接從數(shù)據(jù)表中獲取字段。例如，如果數(shù)據(jù)集中有10個字段，則可以開發(fā)幾個全新指標(biāo)作為字段，而不是通過計(jì)算第1列和第2列來直接創(chuàng)建新的第11列。除了SQL以外，另一個比較容易進(jìn)行此計(jì)算的工具是pandas。充分理由顯示，數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家已廣泛使用該庫。

使用pandas，能夠快速執(zhí)行復(fù)雜計(jì)算，并且只需一行代碼。有時很難使用SQL計(jì)算數(shù)據(jù)，因?yàn)樗谝曈X上呈多行布局(僅為個人看法)。

以下是一些常用的pandas 數(shù)據(jù)框操作，旨在方便化數(shù)據(jù)集特征工程運(yùn)算。

* groupby* items* loc* iloc* iteritems*keys* iterrows* query (this operation is quite similar to SQL quering, Ihighly recommend)* aggregate* corr* mean, median, min, and max* quantile*rank* sum* std* var* append* merge* join* sort_values* isnull* notna*between_time 

大量操作都可以應(yīng)用到pandas 數(shù)據(jù)框架中。個人最喜歡的操作：

• 分組(Groupby)——對數(shù)據(jù)進(jìn)行分組，并對所述組執(zhí)行進(jìn)一步的操作。
• 查詢(query)——一種類似SQL的查詢方式，但在個人的數(shù)據(jù)框架中。

[[355528]]

圖源：unsplash

個人認(rèn)為，計(jì)算全新的字段或指標(biāo)更容易，這些字段或指標(biāo)最終將用于個人pandas數(shù)據(jù)科學(xué)模型。不過，有人偏愛只在SQL中執(zhí)行計(jì)算。對我來說，使用SQL的好處是我不必一次性添加所有新特性(查詢時間過長)，這樣當(dāng)我想添加一個新特性時，操作就非常簡單有效。

數(shù)據(jù)科學(xué)家需要了解SQL嗎?答案不是絕對的。這取決于公司、團(tuán)隊(duì)，有時還取決于個人偏好。

使用SQL查詢，可以使用戶受益匪淺，所以如果你還不了解SQL，可以學(xué)習(xí)其使用方法。如果你偏愛類似pandas的替代方法，你可能是龐大數(shù)據(jù)科學(xué)團(tuán)隊(duì)中的一員。

一些數(shù)據(jù)科學(xué)家同時使用SQL和Python來為模型創(chuàng)建最終的數(shù)據(jù)集。pandas最獨(dú)特的地方在于它有一個類似于SQL的查詢操作，用戶可以在pandas數(shù)據(jù)框中綜合使用SQL和Python。所以，想好你自己的解決方案了嗎?