大數(shù)據(jù)的生態(tài)系統(tǒng)如今已經(jīng)非常龐大，涌現(xiàn)大量主流數(shù)據(jù)處理框架如Hadoop、Spark、Flink、Google的Tensorflow以及其他不計(jì)其數(shù)的Apache開(kāi)源項(xiàng)目(最受歡迎的十個(gè)開(kāi)源大數(shù)據(jù)技術(shù))。

今天我們要推薦的五個(gè)“非主流”開(kāi)源大數(shù)據(jù)技術(shù)項(xiàng)目，在某些特定的應(yīng)用場(chǎng)合，往往能助您出奇制勝。

一、Luigi

Luigi是Spotify開(kāi)發(fā)的數(shù)據(jù)管線批處理工具，熱度正在不斷飆升。Luigi的定位不是取代底層數(shù)據(jù)處理工具如Hive或者Pig，而是在眾多任務(wù)間創(chuàng)建工作流。Luigi原生支持Hadoop，這對(duì)于很多用戶(hù)來(lái)說(shuō)非常有吸引力。

近日創(chuàng)業(yè)公司Mortar就將Spotify開(kāi)發(fā)的開(kāi)源大數(shù)據(jù)工具Luigi搬上云端，在亞馬遜云上提供復(fù)雜的，涉及大量工具和數(shù)據(jù)庫(kù)的大數(shù)據(jù)流水線處理服務(wù)，不論是否使用Hadoop，用戶(hù)都可以用Luigi管理復(fù)雜的大數(shù)據(jù)工作流。

二、Lumify

Lumify是一個(gè)開(kāi)源大數(shù)據(jù)分析和可視化平臺(tái)，開(kāi)發(fā)者Altamira認(rèn)為當(dāng)前的大數(shù)據(jù)分析工具并不完善，因此開(kāi)發(fā)了Lumify來(lái)聚合、管理和洞察數(shù)據(jù)，此外，Lumify還可以用來(lái)分析數(shù)據(jù)內(nèi)部之間的關(guān)系，進(jìn)行地理圖形數(shù)據(jù)分析，并實(shí)時(shí)組織和協(xié)調(diào)數(shù)據(jù)。Lumify的官網(wǎng)由比較完整的文檔和介紹視頻，還提供了了一個(gè)在線應(yīng)用示例。

三、Google 云平臺(tái)Hadoop互操作工具

這個(gè)技術(shù)項(xiàng)目來(lái)自Google Cloud Platform的官方Github賬號(hào)，描述如下：

為實(shí)現(xiàn)Hadoop相關(guān)開(kāi)源軟件、Google云平臺(tái)之間互操作的代碼庫(kù)和工具集。如果你打算在Google云平臺(tái)上運(yùn)行基于HDFS數(shù)據(jù)的Map-Reduce任務(wù)，那么這些工具值得投資。

四、Presto

Presto是一個(gè)分布式的大數(shù)據(jù)SQL查詢(xún)引擎，支持所有數(shù)據(jù)源格式，以及從GB到PB級(jí)別的數(shù)據(jù)規(guī)模。Presto主打的賣(mài)點(diǎn)是速度和可擴(kuò)展性，如果你想提升SQL查詢(xún)速度又不愿對(duì)數(shù)據(jù)源存儲(chǔ)系統(tǒng)進(jìn)行投資或改動(dòng)，或者需要對(duì)存儲(chǔ)在多個(gè)平臺(tái)的數(shù)據(jù)源進(jìn)行查詢(xún)，Presto都是值得考慮的選擇。Presto的官網(wǎng)由比較詳細(xì)的資料，這里還有一個(gè)Teradata的五分鐘視頻介紹(youtube)，以及Facebook的Presto設(shè)置應(yīng)用指南(youtube)。

五、Clusterize

來(lái)自Denis Lukov的這個(gè)項(xiàng)目是今天介紹的“非主流”中的非主流，與前面介紹的四個(gè)后端數(shù)據(jù)科學(xué)/工程工具不同，Clusterize是一個(gè)Javascript寫(xiě)成的前端開(kāi)發(fā)小項(xiàng)目，目的是提高大數(shù)據(jù)集的瀏覽效率，降低延遲，這算得上是一個(gè)大數(shù)據(jù)工具嗎?也許吧，至少對(duì)于很多開(kāi)發(fā)者來(lái)說(shuō)是如此。