WibiData這家初創(chuàng)公司也許“名不見經(jīng)傳”，但是這家公司的聯(lián)合創(chuàng)始人Christophe Bisciglia和Aaron Kimball同時(shí)也締造了Cloudera，這家成立于2008年的公司在大數(shù)據(jù)領(lǐng)域絕對可以算得上“大名鼎鼎”了。在2012年，Cloudera還獲得了6500萬美元E輪融資，這也是 2012年大數(shù)據(jù)領(lǐng)域融資的No.1。

其實(shí)WibiData在創(chuàng)立初期，并沒有什么宏偉的戰(zhàn)略規(guī)劃，僅僅是想成為***個(gè)提供基于Hadoop商業(yè)應(yīng)用套件的軟件供應(yīng)商(即使不是***，也應(yīng)該是之一)。在今年5月份，WibiData宣布獲得了1500萬美元的B輪融資，該輪融資由Canaan Partners領(lǐng)投，原有的投資者NEA以及谷歌董事長埃里克·施密特也有參投，共同助力WibiData完成這一宏偉的目標(biāo)。

言歸正傳，現(xiàn)在Hadoop的市場也是“炙手可熱”，很多公司也是雄心勃勃準(zhǔn)備大干一場，但是昂貴的咨詢費(fèi)用，同時(shí)還要為特定目標(biāo)開發(fā)不同應(yīng)用的要求，阻擋了大多數(shù)創(chuàng)新企業(yè)的腳步。甚至導(dǎo)致了很多企業(yè)已經(jīng)不能局限于從非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)向到了結(jié)構(gòu)化數(shù)據(jù)(常常被稱之為ETL)或者執(zhí)行一些后端的分析工作。實(shí)際上，WibiData已經(jīng)投入了18個(gè)月的時(shí)間在做這件事情。Bisciglia表示，Hadoop領(lǐng)域三大巨頭(Cloudera、Hortonworks以及MapR基本上已經(jīng)壟斷了全部的市場份額。

家庭能源管理初創(chuàng)公司Opower就是一個(gè)很好的用戶案例。這家公司原本是Cloudera的老牌客戶，但是“當(dāng)Opower想使用SaaS工具超越批量分析和 ETL工作負(fù)載時(shí)，”Bisciglia表示，Opower就不得不尋求WibiData的幫助。原來Opower的服務(wù)只能專注于分析用戶夜間的能源使用數(shù)據(jù)情況，現(xiàn)在完全可以動(dòng)態(tài)地向用戶進(jìn)行推薦，在用戶和應(yīng)用之間構(gòu)建一種全新的聯(lián)系方式。

WibiData的系統(tǒng)架構(gòu)

WibiData已經(jīng)構(gòu)建了自己的核心技術(shù)架構(gòu)，將后端的Hadoop環(huán)境與面向客戶的預(yù)測性應(yīng)用連接到一起，包括HBase數(shù)據(jù)集，數(shù)據(jù)格式化工具以及機(jī)器學(xué)習(xí)算法。WibiData還創(chuàng)建了一個(gè)開源的項(xiàng)目稱之為 Kiji。

Kiji開源項(xiàng)目

WibiData創(chuàng)建 開源項(xiàng)目Kiji是為了提供一個(gè)構(gòu)建大數(shù)據(jù)應(yīng)用的框架。Kiji的核心模塊是KijiSchema，它提供了一個(gè)簡單的Java API，通過Avro存儲(chǔ)系列化來存儲(chǔ)和管理HBase中類型化的數(shù)據(jù)。就像是構(gòu)建在HBase上的一層Wrapper，基本上目的是讓應(yīng)用程序的編寫者能更容易的用HBase管理結(jié)構(gòu)化的數(shù)據(jù)，而不是作為一個(gè)扁平的表使用。

kiji的基本操作包括KijiTable的創(chuàng)建修改，以及Entity數(shù)據(jù)的讀寫。其操作的流程步驟和HBase的比較相似，也有許多對應(yīng)的概念對象如Configuration/Admin/Table等。

總體來說，Kiji基本上就是對HBase應(yīng)用模式的一個(gè)封裝，用Avro來承載對象化的數(shù)據(jù)，方便Schema的演化。從數(shù)據(jù)的角度加強(qiáng)面向?qū)ο缶幊痰母拍?相對Hbase Table)。面對的是希望能使用HBase存儲(chǔ)數(shù)據(jù)，快速上手開發(fā)應(yīng)用的用戶。

Bisciglia表示，WibiData近期將重點(diǎn)關(guān)注金融和零售這兩個(gè)行業(yè)內(nèi)的發(fā)展。他預(yù)期未來成型的產(chǎn)品將包括數(shù)據(jù)格式化的預(yù)定義模式以及預(yù)制的預(yù)測模型，這兩個(gè)產(chǎn)品主要面向廣義的行業(yè)客戶，而不是專門針對個(gè)人用戶。WibiData也將為不同類型的用戶(像數(shù)據(jù)科學(xué)家，系統(tǒng)工程師以及商業(yè)用戶)提供不同種類的接口，他們可以通過自己特有的方式來跟數(shù)據(jù)進(jìn)行交互。

時(shí)間會(huì)告訴我們一切，如果WibiData可以真正實(shí)現(xiàn)其目標(biāo)，可以把Hadoop專門封裝成一個(gè)特定的軟件集合數(shù)據(jù)包，這將會(huì)一個(gè)新的里程碑。即使是像Cloudera這樣的行業(yè)巨頭也看到了這些需求，但是它們滿手的業(yè)務(wù)都是將Hadoop集成到現(xiàn)有環(huán)境中，以便盡早的進(jìn)行使用和運(yùn)行。Cloudera公司的CEO Mike Olson曾表示，“如果誰有雄心來解決Hadoop與應(yīng)用之間的銜接問題，給我打電話，我馬上就給資金，這筆錢隨時(shí)放在那里!”