大數(shù)據(jù)應(yīng)用開(kāi)發(fā)的12個(gè)輔助開(kāi)發(fā)工具
在大數(shù)據(jù)應(yīng)用的開(kāi)發(fā)中, 除了基礎(chǔ)的Hadoop或者R語(yǔ)言之外,還有很多優(yōu)秀的輔助開(kāi)發(fā)工具, 能使開(kāi)發(fā)者如虎添翼。
就像當(dāng)年的舊金山淘金熱時(shí), ***掙錢的除了淘金者, 還有Levi’s這樣的做牛仔褲的和那些給淘金這賣水的人,在現(xiàn)在的大數(shù)據(jù)淘金熱里, 也出現(xiàn)了很多提供開(kāi)發(fā)工具或者開(kāi)發(fā)環(huán)境的公司。 下面介紹12個(gè)公司和他們的工具, 無(wú)論你是從事大數(shù)據(jù)應(yīng)用的開(kāi)發(fā),還是希望分析你的移動(dòng)應(yīng)用,這些工具都可以幫助你更好的淘金。
1) BitDeli
BitDeli是一家剛剛成立的公司, 他的產(chǎn)品就是可以讓開(kāi)發(fā)者利用Python腳本, 對(duì)應(yīng)用進(jìn)行分析。 Python腳本可以很簡(jiǎn)單, 也可以很復(fù)雜。 一切可以由開(kāi)發(fā)者來(lái)定制。 BitDeli的產(chǎn)品甚至包含了一些機(jī)器學(xué)習(xí)的模塊。相比較龐大的Hadoop分析工具, BitDeli把自己比作是應(yīng)用分析方面的RoR (Ruby on Rail)。

2) Continuity
Continuity的兩個(gè)創(chuàng)始人是雅虎的前***云架構(gòu)師Todd Papaioannou和前Facebook的HiBase工程師 Jonathan Gray。 他們的目的, 就是想使客戶能夠像雅虎和Facebook
利用大數(shù)據(jù)。 Continuity的產(chǎn)品App Fabric主要是把復(fù)雜的與Hadoop和HBase集群的工作作為一個(gè)抽象層, 提供各種大數(shù)據(jù)開(kāi)發(fā)工具, 來(lái)滿足企業(yè)內(nèi)部或外部數(shù)據(jù)需求。

3) Flurry
Flurry是個(gè)一站式的移動(dòng)應(yīng)用商店, 它每年已經(jīng)有100美元的營(yíng)收了。 它不但幫助開(kāi)發(fā)者在它的平臺(tái)上開(kāi)發(fā),還可以幫助開(kāi)發(fā)者通過(guò)運(yùn)營(yíng)數(shù)據(jù), 對(duì)應(yīng)用進(jìn)行分析以改善應(yīng)用。 而且, Flurry平臺(tái)還可以和廣告網(wǎng)絡(luò)相對(duì)接, 幫助開(kāi)發(fā)者更好的實(shí)現(xiàn)盈利。

4) Google Predictive API
在Google提供的眾多開(kāi)發(fā)工具中, Google Predictive API 是最酷的一個(gè)了。如果你有好的訓(xùn)練樣本數(shù)據(jù), 那么Google Predictive API將會(huì)利用機(jī)器學(xué)習(xí)算法來(lái)為你的應(yīng)用建立模型,并把這些模型整合到你的應(yīng)用中去。 在Google給出的例程里, 包括了反垃圾郵件, 推薦引擎, 以及情緒分析等模型的搭建步驟和代碼。

5) Infochimps
盡管Infochimps把自己定義為面向企業(yè)的IT平臺(tái), 他們大數(shù)據(jù)平臺(tái)對(duì)開(kāi)發(fā)者來(lái)說(shuō)也非常有幫助。它的技術(shù)平臺(tái)叫做Wukong(悟空), 用來(lái)進(jìn)行大數(shù)據(jù)環(huán)境的配置和管理。 從起一個(gè)Hadoop進(jìn)程到用Ruby腳本來(lái)傳遞數(shù)據(jù)流。 Wukong都可以讓開(kāi)發(fā)者的工作變得更簡(jiǎn)單。 此外, Infochimps的平臺(tái)還包括了一個(gè)數(shù)據(jù)市場(chǎng),以API或者下載方式提供各類數(shù)據(jù)。

6) Keen IO
Keen IO是個(gè)強(qiáng)大的移動(dòng)應(yīng)用分析工具。 開(kāi)發(fā)者只需要簡(jiǎn)單到一行代碼, 就可以跟蹤他們想要的關(guān)于他們應(yīng)用的任何信息。開(kāi)發(fā)者接下來(lái)只需要做一些Dashboard或者查詢的工作就可以了。

7)Kontagent
Kontagent是一個(gè)移動(dòng), 社交, 網(wǎng)站應(yīng)用的分析平臺(tái)。 它基于Hadoop大數(shù)據(jù)平臺(tái)而建。 今年, Kontagent平臺(tái)增添了新功能。 它可以讓用戶直接采用Hive查詢語(yǔ)言對(duì)數(shù)據(jù)進(jìn)行任意查詢和分析,而不像原來(lái)那樣只能進(jìn)行預(yù)定義的查詢和分析

8) Mortar Data
Mortar Data是專為開(kāi)發(fā)者打造的Hadoop開(kāi)發(fā)平臺(tái),它用Pig 和Python的組合替代了MapReduce以便開(kāi)發(fā)者能簡(jiǎn)單地編寫Hadoop管道(Pipeline)。 今年11月, 它推出了Mortar Data開(kāi)源開(kāi)發(fā)框架, 利用開(kāi)源社區(qū)來(lái)推動(dòng)數(shù)據(jù)共享。 Mortar Data平臺(tái)運(yùn)行在亞馬遜的云平臺(tái)上。 支持亞馬遜S3 以及MangoDB。 #p#
9) Placed Analytics
利用腳本語(yǔ)言以及API, Placed Analytics能夠提供針對(duì)移動(dòng)和網(wǎng)絡(luò)應(yīng)用的詳細(xì)用戶行為分析。包括, 用戶使用時(shí)間和地理位置信息。 這些可以幫助開(kāi)發(fā)者的應(yīng)用更好地吸引廣告商, 也可以幫助開(kāi)發(fā)者對(duì)自己的應(yīng)用進(jìn)行改善。

10) Precog
Precog提供的是一個(gè)基于開(kāi)源查詢語(yǔ)言Quirrel的交互式開(kāi)發(fā)環(huán)境, 名為L(zhǎng)abcoat??梢詭椭_(kāi)發(fā)者進(jìn)行應(yīng)用分析的開(kāi)發(fā)。 這個(gè)IDE環(huán)境還提供了關(guān)于Quirrel的教程,以及其他一些復(fù)雜的函數(shù)。 用公司***運(yùn)營(yíng)官Jeff Carr的話來(lái)說(shuō):“就算是一個(gè)非技術(shù)人員, 幾個(gè)小時(shí)也能掌握基本功能。” #p#
11) Spring For Apache Hadoop
盡管Hadoop是用Java寫的, 但是這并不意味著, 在Hadoop上編程或者使用Hadoop對(duì)Java程序員來(lái)說(shuō)就很簡(jiǎn)單。因此, 在2012年初, SpringSource宣布推出了Spring For Apache Hadoop項(xiàng)目。 把Spring開(kāi)發(fā)框架和Hadoop結(jié)合起來(lái)。 這樣也便于其他的Spring應(yīng)用或者基于Java虛擬機(jī)的腳本, 更好地和Hadoop以及利用Hadoop的其他技術(shù)如Hive或者HBase進(jìn)行整合。
12) StatMix
和BitDeli以及Keen IO一樣, StatMix也希望能夠使開(kāi)發(fā)者用他們所熟知的語(yǔ)言來(lái)進(jìn)行數(shù)據(jù)查詢與分析。 因此, 出來(lái)提供預(yù)定義的查詢之外, StatMix也提供API和代碼庫(kù)來(lái)讓開(kāi)發(fā)者定制化的查詢。 并可以把不同數(shù)據(jù)源的查詢結(jié)果整合在一個(gè)定制的Dashboard里。

原文鏈接:http://www.ctocio.com/ccnews/10394.html