簡(jiǎn)介

數(shù)據(jù)科學(xué)已經(jīng)滲透到各行各業(yè)，由于數(shù)據(jù)以指數(shù)級(jí)速度增長(zhǎng)，數(shù)據(jù)科學(xué)家從數(shù)據(jù)中挖掘價(jià)值、進(jìn)行分析的挑戰(zhàn)越來(lái)越高。此時(shí)，必須使用相應(yīng)的數(shù)據(jù)科學(xué)工具，挖掘、清洗、規(guī)整和可視化數(shù)據(jù)。

本文從眾多的數(shù)據(jù)科學(xué)工具中整理了一組開源工具，因?yàn)殚_源工具擁有低成本、靈活性和高透明度的特點(diǎn)。

1. KNIME

【KNIME】：https://www.knime.com/

圖片

KNIME是一款免費(fèi)開源的工具，可進(jìn)行數(shù)據(jù)分析、可視化和部署，幾乎不需要編程。它具有以下特點(diǎn)：

• 基于圖形用戶界面的數(shù)據(jù)預(yù)處理和流水線操作，可使不同技術(shù)背景的用戶輕松完成復(fù)雜任務(wù)。
• 和正在使用的管道和系統(tǒng)進(jìn)行無(wú)縫集成。
• KNIME的模塊化方法可使用戶根據(jù)需求自定義工作流程。

2. Weka

【W(wǎng)eka】：https://www.weka.io/

圖片

Weka是一款經(jīng)典的開源工具，支持預(yù)處理數(shù)據(jù)、構(gòu)建和測(cè)試機(jī)器學(xué)習(xí)模型，還行使用圖形界面對(duì)數(shù)據(jù)進(jìn)行可視化。盡管出現(xiàn)了很長(zhǎng)時(shí)間，但由于其適應(yīng)性強(qiáng)，能處理不同模型，因此仍然很流行。Weka支持多種語(yǔ)言，包括R、Python、Spark、scikit-learn等，使用非常方便和可靠。Weka的優(yōu)勢(shì)如下所示：

• Weka不僅適用于數(shù)據(jù)科學(xué)從業(yè)人員，還是優(yōu)秀的機(jī)器學(xué)習(xí)教學(xué)平臺(tái)。
• 大大提高創(chuàng)建數(shù)據(jù)管道的效率。
• 無(wú)需調(diào)整，即可支持高I/O、低延遲、小文件和混合任務(wù)，且性能強(qiáng)大。

3. Apache Spark

【Apache Spark】：https://spark.apache.org/

圖片

Apache Spark是一個(gè)著名的數(shù)據(jù)科學(xué)工具，可提供實(shí)時(shí)數(shù)據(jù)分析，是廣泛使用的可擴(kuò)展計(jì)算引擎。此外，Spark還具有極快的數(shù)據(jù)處理能力。用戶可以輕松連接到不同的數(shù)據(jù)源，不必?fù)?dān)心數(shù)據(jù)存儲(chǔ)的位置。Spark的缺點(diǎn)是它需要大量的內(nèi)存。Spark的特點(diǎn)如下所示：

• 易于使用，提供了簡(jiǎn)單的編程模型，支持多種編程語(yǔ)言。
• 可以用統(tǒng)一的處理引擎處理任務(wù)。
• 一站式解決方案，可用于批處理、實(shí)時(shí)計(jì)算和機(jī)器學(xué)習(xí)。

4. RapidMiner

【RapidMiner】：https://rapidminer.com/

圖片

RapidMiner功能強(qiáng)大，在完整數(shù)據(jù)科學(xué)周期的不同階段，從數(shù)據(jù)建模和分析到數(shù)據(jù)部署和監(jiān)控，都能派上用場(chǎng)。它提供了可視化的工作流程設(shè)計(jì)，消除了繁瑣的編碼需求。RapidMiner還可以從零開始構(gòu)建自定義數(shù)據(jù)科學(xué)管道和算法。RapidMiner強(qiáng)大的數(shù)據(jù)預(yù)處理功能能協(xié)助用戶清洗數(shù)據(jù)。RapidMiner的特點(diǎn)如下所示：

• 通過(guò)提供可視化和直觀的界面簡(jiǎn)化數(shù)據(jù)科學(xué)流程。
• RapidMiner的連接器簡(jiǎn)化了使數(shù)據(jù)集成。

5. Neo4j Graph Data Science

【Neo4j Graph Data Science】：https://neo4j.com/product/graph-data-science/

圖片

Neo4j Graph Data Science是一種解決方案，用于分析數(shù)據(jù)之間的復(fù)雜關(guān)系，發(fā)現(xiàn)隱藏的聯(lián)系。它能識(shí)別數(shù)據(jù)點(diǎn)之間的相互關(guān)系。它由預(yù)配置的圖形算法和自動(dòng)化程序組成，能快速展示圖形分析的價(jià)值。它在社交網(wǎng)絡(luò)分析、推薦系統(tǒng)和其他關(guān)聯(lián)關(guān)系重要的場(chǎng)景中特別有用。以下是它的一些額外優(yōu)勢(shì)：

• 通過(guò)65種豐富的圖形算法改進(jìn)預(yù)測(cè)。
• 使用30多個(gè)連接器和插件實(shí)現(xiàn)無(wú)縫集成數(shù)據(jù)生態(tài)。
• 支持快速部署。

6. ggplot2

【ggplot2】：https://ggplot2.tidyverse.org/

圖片

ggplot2是R語(yǔ)言中一款出色的數(shù)據(jù)可視化軟件包。它基于圖形語(yǔ)法構(gòu)建，并提供自定義的創(chuàng)作空間。即使是默認(rèn)的配色方案效果也很好。ggplot2利用不同方法為可視化添加細(xì)節(jié)。雖然它具有強(qiáng)大的數(shù)據(jù)可視化能力，但處理復(fù)雜圖形可能要用到繁瑣的語(yǔ)法，需要注意。ggplot2的特點(diǎn)如下：

• 將圖形保存為對(duì)象，從而不需要重復(fù)大量代碼就可以創(chuàng)建不同版本的圖形。
• ggplot2提供了統(tǒng)一的解決方案，而無(wú)需在多個(gè)平臺(tái)之間切換。
• 提供豐富的資源和文檔，可幫助你入門。

7. D3.js

【D3.js】：https://d3js.org/

圖片

D3是數(shù)據(jù)驅(qū)動(dòng)文檔（Data-Driven Documents）的簡(jiǎn)稱。它是一個(gè)功能強(qiáng)大的開源JavaScript庫(kù)，通過(guò)DOM操作技術(shù)能夠創(chuàng)建令人驚嘆的可視化效果。它創(chuàng)建的可交互式可視化能夠?qū)?shù)據(jù)的變化做出響應(yīng)。然而，對(duì)于不熟悉JavaScript的用戶，D3.js不容易上手。D3.js的特點(diǎn)如下所示：

• 提供豐富的模塊和API，可定制程度高。
• 足夠輕巧，不會(huì)影響Web應(yīng)用程序的性能。
• 符合當(dāng)前的Web標(biāo)準(zhǔn)，并且可以輕松與其他庫(kù)集成。

8. Metabase

【Metabase】：https://www.metabase.com/

圖片

Metabase是一個(gè)拖放式的數(shù)據(jù)探索工具，適用于專業(yè)用戶和普通用戶。它簡(jiǎn)化了分析和可視化數(shù)據(jù)的過(guò)程。Metabase直觀的界面使用戶能創(chuàng)建交互式面板、報(bào)告和可視化效果。它在企業(yè)中越來(lái)越受歡迎。它還提供了其他一些優(yōu)勢(shì)，包括：

• 用簡(jiǎn)單語(yǔ)言查詢替代復(fù)雜的SQL查詢。
• 支持協(xié)作。
• 支持超過(guò)20種數(shù)據(jù)源，使用戶能夠連接到數(shù)據(jù)庫(kù)、電子表格和API。

9. Great Expectations

【Great Expectations】：https://greatexpectations.io/

圖片

Great Expectations是一款數(shù)據(jù)質(zhì)量工具，使你能夠?qū)?shù)據(jù)進(jìn)行檢查并高效監(jiān)控任何違規(guī)行為。通過(guò)為數(shù)據(jù)定義一些期望或規(guī)則，然后根據(jù)這些規(guī)則監(jiān)控?cái)?shù)據(jù)。它還提供數(shù)據(jù)分析工具，加速數(shù)據(jù)發(fā)現(xiàn)過(guò)程。Great Expectations的主要優(yōu)勢(shì)如下：

• 為數(shù)據(jù)生成詳細(xì)的文檔。
• 與不同的數(shù)據(jù)管道和工作流無(wú)縫集成。
• 支持自動(dòng)化測(cè)試，以便在流程的早期檢測(cè)到問題或偏差。

10. PostHog

【PostHog】：https://posthog.com/

圖片

PostHog是一款產(chǎn)品分析領(lǐng)域的開源工具，使企業(yè)能夠跟蹤用戶行為以提升產(chǎn)品體驗(yàn)。使用PostHog，數(shù)據(jù)科學(xué)家和工程師無(wú)需編寫SQL查詢，就能夠快速獲取數(shù)據(jù)。它包含數(shù)據(jù)面板、趨勢(shì)分析、漏斗分析、會(huì)話記錄等功能。以下是PostHog的關(guān)鍵特點(diǎn)：

• 通過(guò)A/B測(cè)試功提供實(shí)驗(yàn)平臺(tái)。
• 支持與數(shù)據(jù)倉(cāng)庫(kù)無(wú)縫集成，用于導(dǎo)入和導(dǎo)出數(shù)據(jù)。
• 通過(guò)采集會(huì)話、控制臺(tái)日志和網(wǎng)絡(luò)監(jiān)控，提供對(duì)用戶與產(chǎn)品交互情況的深入理解。