世界各地?zé)o數(shù)的組織，他們使用的數(shù)據(jù)現(xiàn)在日益龐大而復(fù)雜，使用傳統(tǒng)的數(shù)據(jù)處理程序已無法再進行優(yōu)化分析及獲得洞察。而這正是的新一代的大數(shù)據(jù)應(yīng)用程序要解決的問題。近期Apache軟件基金會(ASF)又將一批有趣的開源大數(shù)據(jù)項目畢業(yè)為的Apache頂級項目。這意味著，這些項目將能夠得到積極的發(fā)展和社區(qū)的大力支持。

大多數(shù)人都聽過的Apache Spark，一個針對Streaming, SQL，機器學(xué)習(xí)和圖形處理的內(nèi)置模塊的大數(shù)據(jù)處理架構(gòu)。 IBM和其他公司正在投入數(shù)十億美金開發(fā)資金到Spark項目，NASA和SETI Institute正在利用Spark的機器學(xué)習(xí)能力，合作分析TB數(shù)量級的外太空無線信號數(shù)據(jù)，尋找外星智能生命存在的形式。

然而，其他幾個最近被Apache擢升為頂級的大數(shù)據(jù)項目也值得您額外關(guān)注。事實上，他們中的一些所構(gòu)建和發(fā)展的生態(tài)系統(tǒng)，很可能將對Spark 發(fā)起挑戰(zhàn)。結(jié)合本周舉行的“ApacheCon北美峰會”(ApacheCon North America conference)和“Apache大數(shù)據(jù)峰會”(Apache: Big Data events)，本文將歸納那些你應(yīng)該知道的Apache的大數(shù)據(jù)項目。

下面是六個正在冉冉興起的項目：

Kylin

Apache近日宣布其Kylin項目，一個始于eBay的開源大數(shù)據(jù)項目在eBay已經(jīng)畢業(yè)為頂級項目。Kylin是一個開源的分布式分析引擎，旨在提供在Apache Hadoop之上SQL接口的多維分析引擎(OLAP)，可支持超大數(shù)據(jù)集。它已廣泛在eBay和其他一些組織中被采用。

“Apache Kylin的孵化之旅已經(jīng)證明Apache軟件基金會(ASF)開源治理的價值，以及圍繞項目建設(shè)開源社區(qū)和生態(tài)系統(tǒng)的強大力量。”Apache Kylin副總裁Luke Han(韓卿)說： “我們的開源社區(qū)是世界上最大的本土開發(fā)者參與的社區(qū)，完全依照The Apache Way的社區(qū)運作方式。”

作為一個領(lǐng)先的基于Hadoop的OLAP解決方案，Apache Kylin填補了大數(shù)據(jù)與人使用之間的空白，他補充說道：“使分析人員，最終用戶，開發(fā)者和數(shù)據(jù)愛好者能夠在大規(guī)模數(shù)據(jù)集上進行亞秒級延遲的交互式分析?；谶@些能力，Apache Kylin將商業(yè)智能(BI)帶回Apache Hadoop以釋放出大數(shù)據(jù)的價值。”

Lens

Apache近日宣布，Apache Lens，一個開源的大數(shù)據(jù)和分析工具，也已經(jīng)從Apache孵化器畢業(yè)成為一個頂級項目(TLP)。根據(jù)公告：“Apache Lens是一個統(tǒng)一的分析平臺，以統(tǒng)一視圖形式為分析查詢提供了優(yōu)化的執(zhí)行環(huán)境。Apache Lens旨在通過提供一個跨多個數(shù)據(jù)存儲的單一視圖來橫向打通數(shù)據(jù)分析中遇到的異構(gòu)單元。”

“通過在數(shù)據(jù)之上提供一個在線的分析處理(OLAP)模型，Lens無縫地集成Hadoop和傳統(tǒng)數(shù)據(jù)倉庫，提供統(tǒng)一的外部接口。它同時提供系統(tǒng)中查詢歷史、統(tǒng)計和查詢的生命周期管理。”

“在ASF中孵化Apache Lens是一段神奇的經(jīng)歷” Apache Lens的副總裁Amareshwari Sriramadasu說：“Apache Lens從最終用戶角度出發(fā)，為大數(shù)據(jù)分析解決了一個難題，它使得業(yè)務(wù)用戶、分析師、開發(fā)者和其他用戶，可以輕松的進行復(fù)雜的數(shù)據(jù)分析，而不需要了解底層的數(shù)據(jù)架構(gòu)。”

Ignite

ASF還宣布Apache Ingite成為了一個頂級項目，一個通過開源方式建立的內(nèi)存數(shù)據(jù)網(wǎng)絡(luò)。Apache Ignite是一個高性能的整合的分布式的內(nèi)存數(shù)據(jù)網(wǎng)絡(luò)，實現(xiàn)在大規(guī)模數(shù)組上進行實時的計算和交互。Apache社區(qū)成員認為“可能比傳統(tǒng)的硬盤或閃存技術(shù)要快幾個數(shù)量級。它的設(shè)計使現(xiàn)有的以及各種新的應(yīng)用可以輕松的部署在一個價格適宜的行業(yè)標準的大規(guī)模并行架構(gòu)的硬件上。”

Brooklyn

ASF宣布Apache Brooklyn已成為一個TLP(頂級項目)。“這標志著該項目的社區(qū)和產(chǎn)品在ASF優(yōu)異的流程和原則下治理有方。”Brooklyn是用于整合跨多個數(shù)據(jù)中心的應(yīng)用程序的藍圖和管理平臺，并適用于各種云端軟件。

Brooklyn 宣稱：“隨著現(xiàn)代應(yīng)用程序正在由更多個部件組成，微服務(wù)架構(gòu)又逐漸興起，部署以及已部署應(yīng)用的演化越來越成為一個難題。Apache Brooklyn的藍圖提供了一個清晰簡潔的方式，在部署到公共云或私有基礎(chǔ)設(shè)施之前，來規(guī)范應(yīng)用，及它的組件、配置和組件之間的關(guān)聯(lián)性。這種建立在自主計算理論的基礎(chǔ)上的策略管理，會不斷地評估運行應(yīng)用程序，修改以保持它的運行健康和指標優(yōu)化，例如成本和響應(yīng)能力。”

Brooklyn已經(jīng)在一些知名企業(yè)中應(yīng)用。云服務(wù)商Canopy和Virtustream已在Brooklyn上提供產(chǎn)品。IBM也已經(jīng)大規(guī)模的使用Brooklyn，以將大量工作從AWS遷移到IBM Softlayer之上。

Apex

今年4月，Apache軟件基金會將Apex項目提升至頂級項目。它被稱為“應(yīng)用在Apache Hadoop生態(tài)系統(tǒng)的大規(guī)模，高吞吐量，低延時，能容錯的，統(tǒng)一的大數(shù)據(jù)流和批量處理平臺。” Apex與Apache Hadoop資源管理平臺YARN，一起作用于Hadoop工作集群。

Tajo

最后，Apache Tajo，一個領(lǐng)先的Apache Hadoop之上的開源數(shù)據(jù)倉庫系統(tǒng)，成為另一個你需要了解的大數(shù)據(jù)項目。Apache宣稱Tajo提供了針對Hadoop、第三方數(shù)據(jù)庫以及商用BI工具的快速抓取能力。

顯然，盡管Apache Spark吸引了大量的眼球，但它不是唯一需要你關(guān)注的來自Apache的大數(shù)據(jù)工具。今年接下去，Apache也許會將更多引人注目的大數(shù)據(jù)項目升級為頂級項目，這些項目必將由此獲得更好的開發(fā)資源和更多的受益。