專訪IBM硅谷實(shí)驗(yàn)室大數(shù)據(jù)項(xiàng)目總監(jiān)Steven Sit
【51CTO獨(dú)家特稿】在2012 IBM軟件技術(shù)峰會上,51CTO記者有幸對IBM硅谷實(shí)驗(yàn)室大數(shù)據(jù)項(xiàng)目總監(jiān)Steven Sit進(jìn)行了專訪。就大數(shù)據(jù)在自然災(zāi)害預(yù)防,IBM未來在大數(shù)據(jù)技術(shù)方面的遠(yuǎn)景,數(shù)據(jù)分析師人才培養(yǎng)方面進(jìn)行了充分的交流。
左為IBM硅谷實(shí)驗(yàn)室大數(shù)據(jù)項(xiàng)目總監(jiān)Steven Sit先生(51CTO攝)
北京的一場大雨讓人們看到了自然災(zāi)害的巨大破壞力,災(zāi)害之后我們應(yīng)該反思如何提升預(yù)防能力。如同Steven給我們分享的那樣,IBM大數(shù)據(jù)項(xiàng)目已經(jīng)開始在地震預(yù)報(bào)方面有了進(jìn)展。可以將更多的數(shù)據(jù)進(jìn)行整合,這種平時(shí)記錄大量“平安”信息,關(guān)鍵時(shí)刻記錄災(zāi)害信息的模式,IBM稱之為動(dòng)態(tài)大數(shù)據(jù)。透過大數(shù)據(jù)分析技術(shù),我們可以對未來的情況進(jìn)行預(yù)測和疏導(dǎo)。這對災(zāi)害發(fā)生后的快速反應(yīng),應(yīng)急疏散減少損失有巨大的幫助。
大數(shù)據(jù)的軟硬件一體化方案已經(jīng)越來越多,這樣的方案對于企業(yè)來說可以節(jié)約相當(dāng)大的一部分精力。談到IBM在大數(shù)據(jù)軟硬件一體化方面,Steven表示IBM未來將會有相關(guān)的項(xiàng)目研究。
在Steven上午的演講中,提到了大數(shù)據(jù)平臺主要功能,即
***,大數(shù)據(jù)平臺必須有海量分析的能力。在這方面我們是很認(rèn)同Hadoop System,Hadoop和它的EcoSystem。
第二,大數(shù)據(jù)很多時(shí)候會產(chǎn)生流量的數(shù)據(jù),所以我們需要一個(gè)流計(jì)算的平臺或者引進(jìn)。
第三,針對傳統(tǒng)性很密集,而且是結(jié)構(gòu)性的數(shù)據(jù),我們需要一個(gè)大型的、并行的數(shù)據(jù)資料庫,這也是我們最近收入了Netezza的一些功能。
第四,剛才說到80%的數(shù)據(jù)是非結(jié)構(gòu)性或半結(jié)構(gòu)性的,在這些文本的分析功能方面,我們需要有索引的功能。
在***層,我們當(dāng)然需要一些信息整合和信息管理,來加強(qiáng)平臺的安全性、整融性。而在這些引進(jìn)的上層,我們加了一些針對不同應(yīng)用的加速器,而在最上面我們有一些不同的工具,針對與我剛才所說的數(shù)據(jù)科學(xué)家、開發(fā)人員、管理人員的不同開發(fā)工具。針對不同行業(yè)的加速器,我們將在今年年底和明年推出一系列針對不同行業(yè),像電信、財(cái)務(wù)、公共交通、零售業(yè)、媒體業(yè)的一些加速器。
更多內(nèi)容,請參閱本次專訪視頻。