【51CTO專訪報(bào)道】BigData又是一個(gè)沒有規(guī)范定義的概念，不同的應(yīng)用對(duì)大數(shù)據(jù)都有不同的理解。雖然我們不能現(xiàn)在就下結(jié)論是否大數(shù)據(jù)又開啟了一個(gè)新時(shí)代，但是，近期Facebook宣布用戶量目前超過了7.5億，每天的分享的次數(shù)達(dá)到40億。IDC預(yù)測(cè)從2009年到2020年，數(shù)據(jù)總量將增長44倍，達(dá)到35ZB(zettabyte)，并且其中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)。

“僅僅是數(shù)量級(jí)上的不斷刷新并不能代表就是Big Data大數(shù)據(jù)”，51CTO記者采訪Informatica企業(yè)數(shù)據(jù)集成產(chǎn)品管理總監(jiān)鄭瑋時(shí)，她分享道：“大數(shù)據(jù)有兩個(gè)明顯的特征，***，數(shù)據(jù)的屬性是非結(jié)構(gòu)化或者半結(jié)構(gòu)化數(shù)據(jù)；第二，數(shù)據(jù)之間頻繁產(chǎn)生交互，大規(guī)模進(jìn)行數(shù)據(jù)分析，并實(shí)時(shí)與業(yè)務(wù)結(jié)合進(jìn)行數(shù)據(jù)挖掘。”

[[37690]] 

Informatica企業(yè)數(shù)據(jù)集成產(chǎn)品管理總監(jiān)鄭瑋

大數(shù)據(jù)的技術(shù)解構(gòu)

從這兩大特征可以看出，大數(shù)據(jù)是包括了交易和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)，無論從規(guī)模還是復(fù)雜程度上，遠(yuǎn)超出常用數(shù)據(jù)庫或者商業(yè)智能技術(shù)的捕捉、管理和處理能力。一些企業(yè)已經(jīng)感受到失控的數(shù)據(jù)增長對(duì)業(yè)務(wù)造成的影響，鄭瑋認(rèn)為大數(shù)據(jù)是由三項(xiàng)主要技術(shù)趨勢(shì)匯聚組成的：
1、大交易數(shù)據(jù)：在從 ERP 應(yīng)用程序到數(shù)據(jù)倉庫應(yīng)用程序的在線交易處理（OLTP）與分析系統(tǒng)中，傳統(tǒng)的關(guān)系數(shù)據(jù)以及非結(jié)構(gòu)化和半結(jié)構(gòu)化信息仍在繼續(xù)增長。隨著企業(yè)將更多的數(shù)據(jù)和業(yè)務(wù)流程移向公共和私有云，這一局面變得更加復(fù)雜。
2、大交互數(shù)據(jù)：這一新生力量由源于 Facebook、Twitter、LinkedIn 及其它來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄（CDR）、設(shè)備和傳感器信息、GPS 和地理定位映射數(shù)據(jù)、通過管理文件傳輸（Manage File Transfer）協(xié)議傳送的海量圖像文件、Web 文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等。
3、大數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)，例如具有開放源碼、在商品硬件群中運(yùn)行的 Apache Hadoop。對(duì)于企業(yè)來說，難題在于以具備成本效益的方式快速可靠地從 Hadoop 中存取數(shù)據(jù)。

不久前在美國舉行的2011 Hadoop論壇，5500名參會(huì)者，入場(chǎng)券據(jù)說在開放后8小時(shí)全部售罄。Hadoop 分布式文件系統(tǒng)、MapReduce 算法、大規(guī)模并行處理（MPP）數(shù)據(jù)庫技術(shù)***是由Google、Facebook等互聯(lián)網(wǎng)公司發(fā)展起來的。Hadoop作為開源技術(shù)，現(xiàn)在吸引了很多企業(yè)級(jí)用戶開始嘗試。相對(duì)于之前昂貴的大規(guī)模并行處理和海量數(shù)據(jù)分析技術(shù)，Hadoop確實(shí)能夠用比較經(jīng)濟(jì)的、有更高性價(jià)比的方式進(jìn)行大數(shù)據(jù)的部署應(yīng)用。“將傳統(tǒng)的交易數(shù)據(jù)與全新的交互數(shù)據(jù)組合起來，獲得企業(yè)的洞察力和商業(yè)價(jià)值”，鄭瑋舉例談到：“企業(yè)可以通過社交媒體來了解客戶的喜好，完善客戶資料來提高目標(biāo)營銷的效率。”

大數(shù)據(jù)的應(yīng)用平臺(tái)

從業(yè)務(wù)角度來看，大數(shù)據(jù)環(huán)境中企業(yè)仍然需要數(shù)據(jù)集成、商業(yè)智能，只是它們的規(guī)模進(jìn)入海量級(jí)別，同時(shí)對(duì)數(shù)據(jù)集成的基礎(chǔ)架構(gòu)要有更好的延展性。今年6月Informatica推出了Informatica9.1 for Big Data，鄭瑋認(rèn)為這是全球***個(gè)專門為大數(shù)據(jù)而構(gòu)建的統(tǒng)一數(shù)據(jù)集成平臺(tái)。“這個(gè)平臺(tái)的開發(fā)目標(biāo)非常明確，就是以Informatica的數(shù)據(jù)集成技術(shù)為基礎(chǔ)，幫助企業(yè)用戶充分發(fā)揮大數(shù)據(jù)的業(yè)務(wù)潛力”，鄭瑋說：“數(shù)據(jù)集成平臺(tái)上在IT 部門保持操控權(quán)的基礎(chǔ)上，通過自助服務(wù)增強(qiáng)所有用戶獲取相關(guān)信息的能力，并且能夠自適應(yīng)數(shù)據(jù)服務(wù)，提供按業(yè)務(wù)需求進(jìn)行調(diào)整的相關(guān)數(shù)據(jù)和可信數(shù)據(jù)，獲得業(yè)務(wù)洞察力和一致性。”

應(yīng)對(duì)大數(shù)據(jù)的特征，Informatica 9.1在數(shù)據(jù)集成的三個(gè)方面分別提供了創(chuàng)新的解決方案。首先是全新的數(shù)據(jù)倉庫設(shè)備包能夠與大交易數(shù)據(jù)相互連接，并且通過OLTP在線分析處理存儲(chǔ)數(shù)據(jù)，提供對(duì)高流量的交易數(shù)據(jù)的訪問速度。其次，借助與新型社交媒體的連接器與大交互數(shù)據(jù)的連接。訪問如 Facebook、Twitter、LinkedIn 和其它媒體的數(shù)據(jù)源。將數(shù)據(jù)收集的范圍擴(kuò)大到企業(yè)所在行業(yè)的新興價(jià)值數(shù)據(jù)集，還包括了設(shè)備和傳感器、CDR、海量圖像文件。

第三，利用平臺(tái)的連接功能支持對(duì)海量數(shù)據(jù)的處理。讓 IT 部門將不同來源的數(shù)據(jù)輸入Hadoop，并對(duì)Hadoop中的數(shù)據(jù)應(yīng)用、數(shù)據(jù)質(zhì)量進(jìn)行探查和挖掘計(jì)算。更好的將Hadoop系統(tǒng)內(nèi)外的交互數(shù)據(jù)進(jìn)行統(tǒng)一的管理，提供企業(yè)的洞察力。

“我們的某個(gè)客戶，是一家領(lǐng)先的專業(yè)時(shí)裝零售商，通過當(dāng)?shù)氐陌儇浬痰辍⒕W(wǎng)絡(luò)及其郵購目錄業(yè)務(wù)為客戶提供服務(wù)”，鄭瑋向我們介紹了Informatica的一個(gè)成功案例：“公司希望向客戶提供差異化服務(wù)，如何定位公司的差異化，他們通過從 Twitter 和 Facebook 上收集社交信息，更深入的理解化妝品的營銷模式，隨后他們認(rèn)識(shí)到必須保留兩類有價(jià)值的客戶：高消費(fèi)者和高影響者。希望通過接受免費(fèi)化妝服務(wù)，讓用戶進(jìn)行口碑宣傳，這是交易數(shù)據(jù)與交互數(shù)據(jù)的***結(jié)合，為業(yè)務(wù)挑戰(zhàn)提供了解決方案。”Informatica的技術(shù)幫助這家零售商用社交平臺(tái)上的數(shù)據(jù)充實(shí)了客戶主數(shù)據(jù)，使他的業(yè)務(wù)服務(wù)更具有目標(biāo)性。