數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)是一門偏向應(yīng)用的學(xué)科領(lǐng)域，因此工具就成為重要的組成部分。在工作中，數(shù)據(jù)科學(xué)家如果選擇有效的工具會(huì)帶來(lái)事半功倍的效果。一般來(lái)說(shuō)，數(shù)據(jù)科學(xué)家應(yīng)該具有操作數(shù)據(jù)庫(kù)、數(shù)據(jù)處理和數(shù)據(jù)可視化等相關(guān)技能，還有很多人還認(rèn)為計(jì)算機(jī)技能也是不可或缺的，可以提高數(shù)據(jù)科學(xué)家工作的效率。

開(kāi)源社區(qū)多年來(lái)對(duì)數(shù)據(jù)科學(xué)工具包開(kāi)發(fā)有著巨大貢獻(xiàn)，這也讓數(shù)據(jù)科學(xué)領(lǐng)域得以不斷進(jìn)步。這里我們收集了一些在數(shù)據(jù)庫(kù)、編程語(yǔ)言、機(jī)器學(xué)習(xí)、可視化、計(jì)算機(jī)等方面的開(kāi)源工具。希望可以幫助到更多數(shù)據(jù)科學(xué)家及對(duì)這個(gè)領(lǐng)域感興趣的人。

1. 數(shù)據(jù)庫(kù)

1.1 MongoDB

MongoDB是一個(gè)以可伸縮性和高性能著稱的NoSQL數(shù)據(jù)庫(kù)。它提供了傳統(tǒng)數(shù)據(jù)庫(kù)的強(qiáng)大替代品，并使特定應(yīng)用程序中的數(shù)據(jù)集成更加容易。特別適用于構(gòu)建大型web應(yīng)用程序。

1.2 Apache HBase

Apache HBase(Hadoop數(shù)據(jù)庫(kù))是一個(gè)分布式、可擴(kuò)展的大數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)科學(xué)家在需要對(duì)大數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時(shí)讀/寫(xiě)訪問(wèn)時(shí)，可以使用這個(gè)開(kāi)源工具。

2. 編程語(yǔ)言

2.1 R

R是一種用于數(shù)據(jù)處理和圖形處理的編程語(yǔ)言，是數(shù)據(jù)科學(xué)家和分析人員使用的一種流行工具。根據(jù)數(shù)據(jù)科學(xué)家的說(shuō)法，R語(yǔ)言是最容易學(xué)習(xí)的語(yǔ)言之一，因?yàn)橛写罅康陌椭改峡晒┯脩羰褂谩?/p>

2.2 Python

Python是數(shù)據(jù)科學(xué)家中另一種廣泛使用的語(yǔ)言，它是一種通用編程語(yǔ)言，著眼于可讀性和簡(jiǎn)單性。而且python中有非常多可以用于數(shù)據(jù)處理、機(jī)器學(xué)習(xí)和可視化的代碼庫(kù)。

2.3 Scala

Scala是一種運(yùn)行在Java平臺(tái)上的通用編程語(yǔ)言。它適用于大型數(shù)據(jù)集，主要用于Apache Spark和Apache Kafka等大數(shù)據(jù)工具。這種函數(shù)式編程風(fēng)格帶來(lái)了速度和更高的生產(chǎn)率，這導(dǎo)致越來(lái)越多的公司慢慢地將其作為數(shù)據(jù)科學(xué)工具包的重要組成部分加以適應(yīng)。

2.4 SQL

SQL是用于存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)的專用編程語(yǔ)言。SQL用于更基本的數(shù)據(jù)分析，可以執(zhí)行組織和操作數(shù)據(jù)或從數(shù)據(jù)庫(kù)檢索數(shù)據(jù)等任務(wù)。在數(shù)據(jù)科學(xué)工具中，它是在數(shù)據(jù)庫(kù)中過(guò)濾和選擇數(shù)據(jù)的***工具之一。

2.5 Julia

Julia是一種用于技術(shù)計(jì)算的動(dòng)態(tài)編程語(yǔ)言。它沒(méi)有被廣泛使用，但由于其靈活性、設(shè)計(jì)和性能，在數(shù)據(jù)科學(xué)工具中越來(lái)越受歡迎。

3. 數(shù)據(jù)挖掘

3.1 RapidMiner

RapidMiner是一個(gè)具有可視化和統(tǒng)計(jì)建模功能的預(yù)測(cè)分析工具。該軟件的基礎(chǔ)是RapidMiner Studio，它是一個(gè)免費(fèi)的開(kāi)源平臺(tái)。

3.2 Data Melt

Data Melt是一款數(shù)學(xué)軟件，擁有先進(jìn)的數(shù)學(xué)計(jì)算、統(tǒng)計(jì)分析和數(shù)據(jù)挖掘功能，而且可以通過(guò)編程語(yǔ)言進(jìn)行補(bǔ)充，甚至包含一個(gè)廣泛的教程庫(kù)。

此外，Python和R中都有很多用于數(shù)據(jù)挖掘的庫(kù)，這里就不再贅述了。

4. 機(jī)器學(xué)習(xí)

4.1 Weka

Weka是由懷卡托大學(xué)用Java編寫(xiě)的機(jī)器學(xué)習(xí)軟件。它用于數(shù)據(jù)挖掘，允許用戶處理大數(shù)據(jù)集。Weka的一些特性包括預(yù)處理、分類、回歸、聚類、實(shí)驗(yàn)、工作流和可視化。

4.2 TensorFlow

TensorFlow是一個(gè)用于數(shù)值計(jì)算的軟件庫(kù)，它允許程序員在不需要理解其背后的一些復(fù)雜原理的情況下的應(yīng)用深度學(xué)習(xí)，并被列為幫助數(shù)千家公司應(yīng)用深度學(xué)習(xí)的數(shù)據(jù)科學(xué)工具之一。

4.2 Apache Mahout

Apache Mahout是一種構(gòu)建可伸縮機(jī)器學(xué)習(xí)算法的環(huán)境。算法是在Hadoop上編寫(xiě)的。Mahout實(shí)現(xiàn)了三個(gè)主要的機(jī)器學(xué)習(xí)任務(wù):協(xié)同過(guò)濾、聚類和分類。

4.3 Orange

Orange一個(gè)是簡(jiǎn)單的數(shù)據(jù)科學(xué)工具，它致力于使數(shù)據(jù)科學(xué)變得有趣和交互式，允許用戶在不需要編碼的情況下分析和可視化數(shù)據(jù)，也為初學(xué)者提供機(jī)器學(xué)習(xí)選項(xiàng)。

4.4 MLBase

MLBase是加州大學(xué)伯克利分校的AMP(算法機(jī)器人)實(shí)驗(yàn)室開(kāi)發(fā)的一個(gè)開(kāi)源項(xiàng)目。背后的核心思想是為機(jī)器學(xué)習(xí)應(yīng)用于大規(guī)模問(wèn)題提供一個(gè)簡(jiǎn)單的解決方案。

5. 數(shù)據(jù)可視化

5.1 D3

5.2 Axiis

在數(shù)據(jù)科學(xué)工具中，Axiis是一個(gè)鮮為人知的數(shù)據(jù)可視化框架。它允許用戶以一種富有表現(xiàn)力和簡(jiǎn)潔的形式使用預(yù)先構(gòu)建的組件構(gòu)建圖表和探索數(shù)據(jù)。

6. 其他工具

6.1 Linux

Bash腳本是計(jì)算機(jī)科學(xué)中最基本的工具，并且數(shù)據(jù)科學(xué)中很大一部分需要編程，必須用一些命令行來(lái)處理包、框架管理、環(huán)境變量、訪問(wèn)路徑($PATH)等等，因此Linux是必要的。

6.2 Git

在團(tuán)隊(duì)中編碼時(shí)，可以借助 git解決團(tuán)隊(duì)成員代碼沖突、修復(fù)bug、更新。將代碼提交到開(kāi)源或私有的repo(如Github)時(shí)，可以使用Coveralls之類的東西進(jìn)行代碼測(cè)試，還有幫助部署代碼到生產(chǎn)中的其他框架。

6.3 REST APIs

REST APIs可以讓本地的訓(xùn)練模型和可用程序無(wú)縫銜接。通過(guò)標(biāo)準(zhǔn)API調(diào)用或開(kāi)發(fā)可用的應(yīng)用程序真正讓數(shù)據(jù)科學(xué)模型進(jìn)行預(yù)測(cè)。這也是其在數(shù)據(jù)科學(xué)中的巨大作用。

6.4 Docker & Kubernetes

Docker讓用戶擁有一個(gè)生產(chǎn)就緒(production ready)的應(yīng)用環(huán)境，不需要為每個(gè)運(yùn)行的單個(gè)服務(wù)集中配置生產(chǎn)服務(wù)器。與需要安裝完整操作系統(tǒng)的虛擬機(jī)不同，docker容器在與主機(jī)相同的內(nèi)核上運(yùn)行，并且輕量得多。一些高級(jí)的機(jī)器學(xué)習(xí)庫(kù)(如Tensorflow)需要特定的配置，很難在某些主機(jī)上進(jìn)行故障排除，docker就是一個(gè)很好地選擇。

Kubernetes(K8s)是一個(gè)在多主機(jī)上進(jìn)行規(guī)模管理和部署容器化服務(wù)的平臺(tái)。本質(zhì)上，這意味著您可以輕松地通過(guò)跨水平可擴(kuò)展集群，管理和部署docker容器。

6.***pache Airflow

Airflow是一個(gè)較為小眾的Python平臺(tái)，可以使用有向無(wú)環(huán)圖(DAG)程序化地創(chuàng)建、調(diào)度和監(jiān)控工作流。它能讓你可以隨時(shí)根據(jù)需要輕松地設(shè)置Python或bash腳本，并在用戶友好的GUI中控制調(diào)度作業(yè)。

6.6 Elasticsearch

Elasticsearch也是一個(gè)比較小眾的工具。Elastic通過(guò)Python客戶端便捷地提供了所需的一切，讓你可以輕松地以容錯(cuò)和可擴(kuò)展的方式索引和搜索文檔。你擁有的數(shù)據(jù)越多，啟動(dòng)的節(jié)點(diǎn)就越多，查詢執(zhí)行的速度就越快。它有很多功能，甚至支持多語(yǔ)言分析器等定制插件。

6.7 Homebrew

Homebrew是一個(gè)Mac OS系統(tǒng)的工具，可以幫助不能開(kāi)箱即用的OS系統(tǒng)通過(guò)終端命令進(jìn)行安裝, 彌補(bǔ)了OS系統(tǒng)無(wú)包管理的缺陷。