“忽如一夜春風(fēng)來，千樹萬(wàn)樹梨花開。”用岑參的這句詩(shī)形容大數(shù)據(jù)最為形象不過了。隨著云計(jì)算日漸成熟，大數(shù)據(jù)話題好像突然變得尤為火熱，大數(shù)據(jù)時(shí)代正在悄然降臨。而提到大數(shù)據(jù)，不得不說的是與大數(shù)據(jù)相關(guān)的技術(shù)名詞，Hadoop、MapReduce、Hbase、NoSQL等，業(yè)界的眾多廠商也都開始從技術(shù)入手，打造各自的大數(shù)據(jù)解決方案，一時(shí)間，Hadoop成為了大數(shù)據(jù)的代名詞。

 

 

一提到大數(shù)據(jù)，首先想到的就是Hadoop，Hadoop是由Apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序。而大數(shù)據(jù)就是Hadoop么？開源技術(shù)Hadoop可以提供相對(duì)廉價(jià)的分布式的存儲(chǔ)系統(tǒng)，通過MadReduce的技術(shù)，進(jìn)行并發(fā)、高效能的計(jì)算。大數(shù)據(jù)引擎基本上完成是存儲(chǔ)和計(jì)算，但真正的存儲(chǔ)計(jì)算結(jié)果還要與傳統(tǒng)的業(yè)務(wù)系統(tǒng)和其他應(yīng)用來使用。

 

IBM軟件集團(tuán)大中華區(qū)信息管理軟件總經(jīng)理盧偉權(quán)認(rèn)為，“Hadoop只是大數(shù)據(jù)平臺(tái)中的一部分，Hadoop里沒有管理工具也沒有匯總數(shù)據(jù)的功能。大數(shù)據(jù)不單使用Hadoop平臺(tái)做靜態(tài)的分析，因?yàn)殪o態(tài)的分析只是把過去的數(shù)據(jù)倉(cāng)庫(kù)靜態(tài)的數(shù)據(jù)做了延伸而已。”此外，大數(shù)據(jù)不能只是處理底層靜態(tài)架構(gòu)的數(shù)據(jù)，不能只是考慮數(shù)據(jù)的存儲(chǔ)等，更多的是將數(shù)據(jù)進(jìn)行動(dòng)態(tài)和實(shí)時(shí)的分析，從而更好的為業(yè)務(wù)做出決策，提高競(jìng)企業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)。

 

 

 

 

大數(shù)據(jù)的宗旨也是如此，在處理數(shù)據(jù)和信息的過程中發(fā)掘其背后的商業(yè)價(jià)值。而如今，IBM提出了另一個(gè)維度來看待大數(shù)據(jù)，也就是第四個(gè)V，數(shù)據(jù)的真實(shí)性（Veracity）。IBM軟件集團(tuán)大中華區(qū)業(yè)務(wù)分析洞察及智慧地球解決方案總經(jīng)理卜曉軍認(rèn)為，如今要做的決策來自于可確認(rèn)的信息，而世界產(chǎn)生的信息是各個(gè)維度，若不分析數(shù)據(jù)就只是存在數(shù)據(jù)庫(kù)里的數(shù)據(jù)，只有分析了才能發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在價(jià)值。大數(shù)據(jù)是原始的數(shù)據(jù)，數(shù)據(jù)的展示角度不同，其中有些數(shù)據(jù)是不為所用的，需要對(duì)數(shù)據(jù)進(jìn)行質(zhì)量的分析或是真實(shí)性的分析，最重要的是分析的結(jié)果要準(zhǔn)確。盧偉權(quán)表示，“IBM除了可以對(duì)傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)信息進(jìn)行管控和審計(jì)，也可以對(duì)來自不同信息源的大數(shù)據(jù)信息進(jìn)行真實(shí)性審核并實(shí)現(xiàn)有效管控，這也是IBM在業(yè)界特別強(qiáng)于其他廠商重要的維度。”

 

 

 

IDC研究表明，數(shù)字領(lǐng)域存在著1.8萬(wàn)億GB的數(shù)據(jù)，企業(yè)數(shù)據(jù)正在以55%的速度逐年增長(zhǎng)。IBM認(rèn)為，“大數(shù)據(jù)”已經(jīng)成為重要的時(shí)代特征，企業(yè)需要重新思考已有的IT模式，應(yīng)對(duì)在數(shù)量和類型上不斷新增的數(shù)據(jù)；同時(shí)，大數(shù)據(jù)又將推動(dòng)企業(yè)進(jìn)行基于信息革命的業(yè)務(wù)轉(zhuǎn)型，更多商業(yè)價(jià)值和發(fā)展機(jī)會(huì)將產(chǎn)生于數(shù)據(jù)和洞察。

 

基于“3A5步”動(dòng)態(tài)路線圖，IBM結(jié)合信息管理、業(yè)務(wù)分析等軟件，提出“大數(shù)據(jù)平臺(tái)”架構(gòu)，該平臺(tái)的四大核心能力包括Hadoop系統(tǒng)、流計(jì)算（Stream Computing）、數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）和信息整合與治理（Information Integration and Governance）。

 

IBM在Hadoop系統(tǒng)領(lǐng)域的代表產(chǎn)品是InfoSphere BigInsights，它是基于開源Apache Hadoop框架實(shí)現(xiàn)，增加了包括管理能力、工作流、安全管理等能力，并融入了IBM研究實(shí)驗(yàn)室的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)技術(shù)以及文本數(shù)據(jù)分析挖掘；IBM在流計(jì)算領(lǐng)域的代表產(chǎn)品是InfoSphere Streams，是目前業(yè)界獨(dú)有的流數(shù)據(jù)處理技術(shù)。Streams能夠在對(duì)諸如氣象信息、通訊信息、金融交易數(shù)據(jù)的管理中動(dòng)態(tài)捕捉信息、進(jìn)行實(shí)時(shí)分析，能夠?qū)o態(tài)數(shù)據(jù)的處理提供有效補(bǔ)充；在數(shù)據(jù)倉(cāng)庫(kù)方面是InfoSphere Warehouse和etezza。Netezza克服了傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)在面臨大數(shù)據(jù)挑戰(zhàn)時(shí)的瓶頸，可以將大量數(shù)據(jù)整合到統(tǒng)一的平臺(tái)上，計(jì)算能力高達(dá)TB級(jí)。通過與Cognos和SPSS等卓越的業(yè)務(wù)分析工具相結(jié)合，實(shí)現(xiàn)了定制化的分析功能；信息整合與治理是IBM在業(yè)界獨(dú)有的方法論和技術(shù)，其代表產(chǎn)品是Optim和Guardium。近期推出的Guardium 9能夠?qū)⑷鏒B2這樣的傳統(tǒng)關(guān)系型數(shù)據(jù)倉(cāng)庫(kù)和基于Hadoop的分布式存儲(chǔ)系統(tǒng)進(jìn)行統(tǒng)一管理，并提供完整的數(shù)據(jù)生命周期管控。此外，Guardium 9也能夠管理除IBM之外的第三方數(shù)據(jù)平臺(tái)，幫助客戶保持在原有的系統(tǒng)的基礎(chǔ)上，最小成本、最大能力地提高信息安全和質(zhì)量。