數(shù)據(jù)科學(xué)早已不是新鮮事物了，不過對數(shù)據(jù)質(zhì)量的需求卻是這幾年才激增起來的。這可不是一陣時尚或舊詞新用，而是一場革命。大至總統(tǒng)選舉，小至總部設(shè)在廚房餐桌的小創(chuàng)業(yè)公司的各種決策，已不再是建立于直覺與猜想之上，而是植根于真實可靠的數(shù)據(jù)。

數(shù)據(jù)科學(xué)發(fā)展日新月異，如今各種數(shù)據(jù)工具已經(jīng)形成了一個龐大的生態(tài)系統(tǒng)。我花了一個多月以嘗試給這個生態(tài)系統(tǒng)勾畫出一個清晰的輪廓，在接下來的文章里會介紹給大家。

數(shù)據(jù)科學(xué)本身功能交叉，許多數(shù)據(jù)公司與工具難以歸類。但總體來說，它們分屬數(shù)據(jù)專家工作流程中的三個主要部分：數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析（文首圖可見本生態(tài)系的概貌）

為何要勾畫這個數(shù)據(jù)生態(tài)信息系統(tǒng)？

我花了大量時間與數(shù)據(jù)專家交流，了解他們的工作流程、難點及解決方案。數(shù)據(jù)科學(xué)工具成千上萬，這個生態(tài)系統(tǒng)表當(dāng)然無法將其一一羅列，不過最常見的軟件、公司及推動這些工具發(fā)展的開源程序都已包含其中。

數(shù)據(jù)專家不能只生活在R語言或Excel表格里。他們需要工具來獲得質(zhì)量拔尖且可用于預(yù)測分析的數(shù)據(jù)。其實我覺得這正是統(tǒng)計學(xué)家和數(shù)據(jù)專家的區(qū)別所在。在我看來，統(tǒng)計學(xué)家使用數(shù)據(jù)進行回歸分析。而數(shù)據(jù)專家需要切實獲取數(shù)據(jù)、進行回歸分析、溝通結(jié)果、展示模式，并超越所在機構(gòu)當(dāng)時的局限，立足于制高點帶領(lǐng)大家尋求切實可行的突破發(fā)展。鑒于他們需要統(tǒng)籌整個數(shù)據(jù)通道，我希望這個數(shù)據(jù)生態(tài)系統(tǒng)可以羅列出數(shù)據(jù)專家門常用的重要工具和使用方法，以及工具之間的交互聯(lián)系。

現(xiàn)在干貨來了！

第一部分：數(shù)據(jù)源

數(shù)據(jù)是整個數(shù)據(jù)生態(tài)系統(tǒng)的源頭?？偟膩碚f，數(shù)據(jù)源可分為數(shù)據(jù)庫、應(yīng)用和第三方數(shù)據(jù)三類。

數(shù)據(jù)庫

結(jié)構(gòu)化數(shù)據(jù)庫早于非結(jié)構(gòu)化數(shù)據(jù)庫出現(xiàn)。結(jié)構(gòu)化數(shù)據(jù)庫每年有約250億美元的市場，你可以在數(shù)據(jù)生態(tài)系統(tǒng)圖里看到眾所周知的Oracle，和一些新創(chuàng)公司譬如MemSQL等。結(jié)構(gòu)化數(shù)據(jù)庫儲存有限的數(shù)據(jù)列，一般由結(jié)構(gòu)化查詢語言(SQL)運行，用于數(shù)據(jù)可靠完善至關(guān)重要的領(lǐng)域，比如說財政和運營。

對結(jié)構(gòu)化數(shù)據(jù)庫有一個重要假設(shè)，那就是查詢數(shù)據(jù)時必須能得到一致且完善的結(jié)果。想一想誰絕對需要這樣一種結(jié)構(gòu)化數(shù)據(jù)庫？對了，就是你的銀行。它們存儲賬戶信息、個人姓名、借款等等，必須隨時分毫不差地知道你賬戶中的金額。

而另外一種則是非結(jié)構(gòu)化數(shù)據(jù)庫。情理之中，非結(jié)構(gòu)化數(shù)據(jù)庫是由數(shù)據(jù)專家們開拓的，因為數(shù)據(jù)專家眼中的數(shù)據(jù)與賬戶并不相同。數(shù)據(jù)專家不太在意查詢結(jié)果絕對一致，他們更關(guān)注數(shù)據(jù)的靈活性。因此，非結(jié)構(gòu)化數(shù)據(jù)在許多方面降低了對數(shù)據(jù)存儲和查詢的要求。

很多非結(jié)構(gòu)化數(shù)據(jù)庫是谷歌獲得成功的直接產(chǎn)物。谷歌嘗試把互聯(lián)網(wǎng)存儲在數(shù)據(jù)庫中，其野心和工程之龐大可想而知。MapReduce是一種用于這種數(shù)據(jù)庫的技術(shù)，雖然它一定程度上沒有結(jié)構(gòu)化查詢語言 (SQL)那么強大，但是用戶可以依據(jù)需要來調(diào)整和擴充它們的數(shù)據(jù)。MapReduce的數(shù)據(jù)使用甚至已經(jīng)超出了谷歌的初始預(yù)期。比如現(xiàn)在谷歌可以在所有網(wǎng)站間查詢，并根據(jù)網(wǎng)站之間的互相鏈接來調(diào)整搜索結(jié)果。這種可量化的靈活查詢使谷歌獲得了巨大的競爭優(yōu)勢，因此雅虎和其他公司以巨額投資來開發(fā)這種技術(shù)的開源版本，名叫Hadoop。

此外，非結(jié)構(gòu)化數(shù)據(jù)庫通常所需的儲存空間通常更小。在過去數(shù)據(jù)存儲十分昂貴，因此幾年前，一些主要的互聯(lián)網(wǎng)公司不得不每隔幾個月就清空一次數(shù)據(jù)庫。現(xiàn)在這種情況已難以想象了。

從強大的推薦引擎，到世界級的翻譯系統(tǒng)，到令人難以置信的存貨管理，都建立于這些數(shù)據(jù)之上。非結(jié)構(gòu)化數(shù)據(jù)庫一般來說沒有結(jié)構(gòu)化數(shù)據(jù)庫那么精確，但對于許多應(yīng)用（尤其是數(shù)據(jù)科學(xué)界），這個折衷是值得的。舉例來說，比如你的非結(jié)構(gòu)化數(shù)據(jù)庫在100個機器上運行，但是其中有一個當(dāng)機了。這時你僅用99臺機器（而非100臺）來決定向用戶推薦觀看一部特定的電影，也完全可行。這種類型的數(shù)據(jù)庫看重靈活性，量化以及速度，哪怕不能隨時保證完全精確。

還有一個更有名的例子。一個軟件公司創(chuàng)建了一個基于Hadoop的非結(jié)構(gòu)化數(shù)據(jù)庫軟件Cloudera。來看看它有多大的成長空間吧：7年前，我接到風(fēng)投的電話，他們預(yù)期Cloudera在全球有10到15家公司的市場，去年Cloudera已獲得了將近10億美元的融資。

隨著數(shù)據(jù)專家取代財務(wù)和會計，成為最主要的數(shù)據(jù)消費者，數(shù)據(jù)庫將會越來越走進每一個人的生活 。

商業(yè)應(yīng)用

十年前，沒有人想過能把重要的商業(yè)數(shù)據(jù)存在云端，如見這卻早已成為了現(xiàn)實。這也許是商業(yè)的IT基礎(chǔ)結(jié)構(gòu)的最大轉(zhuǎn)變之處。

我在數(shù)據(jù)庫生態(tài)系統(tǒng)中列出了四種主要的商業(yè)應(yīng)用，分別是銷售、營銷、產(chǎn)品和消費者，每一種功能都有多種SaaS應(yīng)用可供選擇。SalesForce 應(yīng)該是首先掀起這股趨勢的并最先獲得成功的。他們把軟件開發(fā)的目標(biāo)人群是終端用戶（銷售團隊），而非單個的首席技術(shù)官。這對他們的用戶十分有用，在此過程中，大家也能看到公司客戶能夠信任地把重要公司數(shù)據(jù)放在云端。

銷售數(shù)據(jù)不再存在于用戶自己安裝的內(nèi)部數(shù)據(jù)庫，而是被放在云端，由致力于保證數(shù)據(jù)可用且穩(wěn)定的云端公司提供服務(wù)。其他公司也紛紛效仿這種做法。如今基本上每個商業(yè)部門都有一個對應(yīng)的數(shù)據(jù)應(yīng)用。Marketo存儲營銷數(shù)據(jù)，MailChimp存儲電子郵件，Optimizely存儲A/B測試數(shù)據(jù)，Zendesk存儲顧客滿意度，諸如此類。

為什么這是相關(guān)的呢？如今每個商業(yè)部門都有強大的數(shù)據(jù)庫，由數(shù)據(jù)專家分析并用于預(yù)測分析。數(shù)據(jù)量很大，卻零散地分布在多個應(yīng)用之中。比如說你在SugarCRM 中查看某個消費者的信息，但是當(dāng)你想知道這名顧客的服務(wù)記錄時，需要去ZenDesk中查看。而如果你想要知道他是否支付了最近的賬單，則要去查Xero。所有的數(shù)據(jù)都被存放在不同的地點，網(wǎng)站和數(shù)據(jù)庫中。

商業(yè)數(shù)據(jù)被轉(zhuǎn)移到了云端，可以存放更多的數(shù)據(jù)了，但是這些數(shù)據(jù)被零散地存放在全世界的不同服務(wù)器的不同應(yīng)用里。

第三方數(shù)據(jù)

第三方數(shù)據(jù)出現(xiàn)得比結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)庫都早得多。Dun & Bradstreet從1841年就開始賣數(shù)據(jù)了。隨著數(shù)據(jù)對每個機構(gòu)都愈發(fā)重要，這個領(lǐng)域也將會獲得長足的發(fā)展。

在數(shù)據(jù)庫生態(tài)系統(tǒng)圖中，我大體把第三方數(shù)據(jù)分成四個領(lǐng)域，分別是商業(yè)信息數(shù)據(jù)，社交媒體數(shù)據(jù)，網(wǎng)頁爬蟲和公開數(shù)據(jù)。

商業(yè)信息數(shù)據(jù)開始最早。我上面提到了Dun & Broadstreet，商業(yè)數(shù)據(jù)購買對許多商業(yè)機構(gòu)來說都至關(guān)重要。商業(yè)數(shù)據(jù)能回答所有B2B公司至關(guān)重要的問題：我們的銷售團隊該找誰談？如今，這些數(shù)據(jù)更被擴展應(yīng)用至網(wǎng)上地圖和高頻交易等領(lǐng)域。新創(chuàng)的數(shù)據(jù)賣方如Factual，不僅售賣商業(yè)數(shù)據(jù)，更傾向于從這些高盈利的新型領(lǐng)域起步。

社交媒體數(shù)據(jù)雖然是新興產(chǎn)物，但發(fā)展很快。通過智能PR公司對社交媒體中的文本作情感分析，營銷人員能夠切實地了解到品牌熱度與影響力，并有效評估品牌價值。你可以從Radian6 和DatSift里看到全部細節(jié)。

接下來我們來看看網(wǎng)絡(luò)爬蟲，我個人認(rèn)為這是一個很有發(fā)展?jié)摿Φ念I(lǐng)域。如果能夠把所有網(wǎng)站都作為數(shù)據(jù)源，由數(shù)據(jù)科學(xué)團隊發(fā)展和分析，真不知道還有多少新型商業(yè)和技術(shù)會由此而生。如今從事網(wǎng)絡(luò)爬蟲的重要公司包括 import.io和kimono，我認(rèn)為這個領(lǐng)域?qū)⒃诮酉聛韼啄瓿尸F(xiàn)爆炸式的增長。

最后，當(dāng)然還要提及公眾數(shù)據(jù)。如果沒有數(shù)據(jù)專家團隊的支持， 不知道奧巴馬總統(tǒng)是否還能夠贏得2004年的大選，這可能也是后來奧巴馬大力推動 Data.gov 的原因。許多地方政府也緊隨其后。亞馬遜網(wǎng)絡(luò)服務(wù) 存放了許多驚人的公眾數(shù)據(jù)，囊括從衛(wèi)星圖像到安然公司的郵件等各個方面。這些龐大的數(shù)據(jù)系列可以幫助擴大新型商業(yè)，訓(xùn)練更智能的算法，并解決許多實際問題。這個領(lǐng)域發(fā)展快速，甚至出現(xiàn)了 Enigma.io 這種專門幫助企業(yè)使用公眾數(shù)據(jù)的公司。

開源工具

開源數(shù)據(jù)儲存的種類激增，尤其是在非結(jié)構(gòu)化數(shù)據(jù)的存儲方面，Cassandra, redistribute, Riak，Spark, CouchDB 和MongoDB 等都大受歡迎。它們多數(shù)專注于公司應(yīng)用，另外也著重于數(shù)據(jù)工程的生態(tài)系統(tǒng)。通過這個交互式地圖 你將可以一睹最受歡迎的開源數(shù)據(jù)存儲及開采工具的概貌。