看Hadoop解決數(shù)據(jù)處理的三大瓶頸
越來越多的大企業(yè)的數(shù)據(jù)集以及創(chuàng)建需要的一切技術(shù)，包括存儲、網(wǎng)絡(luò)、分析、歸檔和檢索等，這些被認為是海量數(shù)據(jù)。這些大量信息直接推動了存儲、服務(wù)器以及安全的發(fā)展。同時也是給IT部門帶來了一系列必須解決的問題。
信息技術(shù)研究和分析的公司Gartner認為海量數(shù)據(jù)處理應(yīng)該是將大量的不同種類以及結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)通過網(wǎng)絡(luò)匯集到處理器和存儲設(shè)備之中，并伴隨著將這些數(shù)據(jù)轉(zhuǎn)換為企業(yè)的商業(yè)報告。
海量數(shù)據(jù)處理的三個主要因素：大容量數(shù)據(jù)、多格式數(shù)據(jù)和速度
大容量數(shù)據(jù)(TB級、PB級甚至EB級)：人們和機器制造的越來越多的業(yè)務(wù)數(shù)據(jù)對IT系統(tǒng)帶來了更大的挑戰(zhàn)，數(shù)據(jù)的存儲和安全以及在未來訪問和使用這些數(shù)據(jù)已成為難點。
多格式數(shù)據(jù)：海量數(shù)據(jù)包括了越來越多不同格式的數(shù)據(jù)，這些不同格式的數(shù)據(jù)也需要不同的處理方法。從簡單的電子郵件、數(shù)據(jù)日志和信用卡記錄，再到儀器收集到的科學(xué)研究數(shù)據(jù)、醫(yī)療數(shù)據(jù)、財務(wù)數(shù)據(jù)以及豐富的媒體數(shù)據(jù)(包括照片、音樂、視頻等)。
速度：速度是指數(shù)據(jù)從端點移動到處理器和存儲的速度。
Kusnetzky集團的分析師Dan Kusnetzky在其博客表示“簡單的說，大數(shù)據(jù)是指允許組織創(chuàng)建、操作和管理的龐大的數(shù)據(jù)集和存儲設(shè)施工具”。這是否意味著將來將會出現(xiàn)比TB和PB更大的數(shù)據(jù)集嗎?供應(yīng)商給出的回應(yīng)是“會出現(xiàn)”。
他們也許會說“你需要我們的產(chǎn)品來管理和組織利用大規(guī)模的數(shù)據(jù)，只是想想繁雜大量的維護動態(tài)數(shù)據(jù)集帶來的麻煩就使人們頭疼“。此外海量數(shù)據(jù)的另外一個價值是它可以幫助企業(yè)在適當?shù)臅r機作出正確決策。
從歷史上看，數(shù)據(jù)分析軟件面對當今的海量數(shù)據(jù)已顯得力不從心，這種局面正在悄然轉(zhuǎn)變。新的海量數(shù)據(jù)分析引擎已經(jīng)出現(xiàn)。如Apache的Hadoop、 LexisNexis的HPCC系統(tǒng)和1010data(托管、海量數(shù)據(jù)分析的平臺供應(yīng)商)的以云計算為基礎(chǔ)的分析服務(wù)。
101data的高級副總裁Tim Negris表示海量數(shù)據(jù)的收集以及存放和利用海量數(shù)據(jù)實際上完全是兩回事。在做任何事前需要大量(準備數(shù)據(jù))的工作是像Oracle和大多數(shù)數(shù)據(jù)庫廠商所面臨的難題之一。我們正是要消除這個難題，并把數(shù)據(jù)直接交到分析師的手中。Hadoop和HPCC系統(tǒng)做到了這一點。這三個平臺都著眼于海量數(shù)據(jù)并提供支持。
開源的Hadoop已經(jīng)在過去5年之中證明了自己是市場中最成功的數(shù)據(jù)處理平臺。目前Cloudera的首席執(zhí)行官和Apache基金會的Doug Cutting是Hadoop的創(chuàng)始人，他曾在Yahoo工作過。
Hadoop將海量數(shù)據(jù)分解成較小的更易訪問的批量數(shù)據(jù)并分發(fā)到多臺服務(wù)器來分析(敏捷是一個重要的屬性，就像你更容易消化被切成小塊的食物)Hadoop再處理查詢。
“Gartner和IDC的分析師認為海量數(shù)據(jù)的處理速度和處理各種數(shù)據(jù)的能力都是Hadoop吸引人們的地方”。Cloudera的產(chǎn)品副總裁Charles Zedlewski說到。
在Cutting和他的Yahoo團隊提出Hadoop項目之后，在Yahoo IT系統(tǒng)測試并廣泛使用了很多年。隨后他們將Hadoop發(fā)布到開源社區(qū)，這使得Hadoop逐漸產(chǎn)品化。
【編輯推薦】
