IT企業(yè)利用云計算平臺Hadoop的10種方式
如果你是世界上廣大Hadoop用戶的一員,你肯定知道Google曾經(jīng)靠著分布式計算技術(shù)(Hadoop),在搜索引擎和廣告方面取得了舉世矚目的成就?,F(xiàn)在的Hadoop不僅是當年的老二Yahoo的專用產(chǎn)品了,從Hadoop長長的用戶名單中,可以看到Facebook, 可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP…。國內(nèi)的公司有淘寶、百度等等。而今天我們要探討的是,Hadoop 作為基礎(chǔ)云計算平臺,除了廣告,IT公司還用哪些方式在利用Hadoop。
1. 在線旅游
云計算供應商Cloudera COO Kirk Dunn 表示,目前上80%的世界在線旅游使用了Cloudera 的Hadoop服務。他沒有透露具體的名單,但著名的Orbitz Worldwide是我知道的客戶之一。
2. 移動數(shù)據(jù)
目前Cloudera為美國70%的智能手機提供Hadoop支持,我們可以確定Dunn講的是無限供應商支持的移動數(shù)據(jù)儲存和處理。
3. 電子商務
Dunn 表示Cloudia為美國超過1000萬在線商家提供Hadoop服務,eBay是他們的一個大客戶, 因為其要管理一個龐大的個人賣家市場,賣家數(shù)量達到1000萬以上。而Ebay在用Hadoop服務90天后,純利潤增加了3%。
4. 能源發(fā)現(xiàn)
雪佛龍代表解釋了他們公司利用Hadoop的實例:通過分類和處理海洋地震數(shù)據(jù)可以預測石油儲備狀況。
5. 節(jié)能
雪佛龍代表同時還表示Hadoop還用在節(jié)能上,雪佛龍利用Hadoop來支持其節(jié)能系統(tǒng),顧客們按照系統(tǒng)提示節(jié)能的同時也節(jié)省了不少錢。而相關(guān)人士甚至表示這個理念可以用到精確和長期的基金預測上。
6. 基礎(chǔ)架構(gòu)管理
越來越多的IT公司在收集和分析他們的服務器數(shù)據(jù),在Cloudera討論會上, NetApp代表表示他們公司利用Hadoop技術(shù)從全部的安裝點上收集設備logs(超過千萬億的logs數(shù)量)。
7. 圖片處理
創(chuàng)業(yè)公司“Skybox圖片”正是利用Hadoop來儲存和處理圖片的,這些圖片是衛(wèi)星根據(jù)地理變化的模式有規(guī)律地抓取的高清圖片。Skybox最近獲得了7000萬美元的融資。
8. 欺詐識別
這是個經(jīng)典實用的話題,這在財政機構(gòu)和情報機構(gòu)非常有市場。Cloudera客戶之一Zions Bancorporation表示他們利用Hadoop儲存一切可能預示欺騙性的用戶交易和異常情況數(shù)據(jù)。
9. IT安全
除了基礎(chǔ)架構(gòu)管理,IT公司們也開始用Hadoop來處理惡意軟件和網(wǎng)絡攻擊數(shù)據(jù)。去年Trust
就用hadoop為各種IP評定分數(shù),然后各大公司就可以決定是否接受那些惡意IP的來訪。
10. 醫(yī)療健康
目前Apixio正使用Hadoop來幫助他們對病人的回答做語義分析,從而幫助醫(yī)生,護士更好的掌控病情。
Hadoop定義:
1. 一個分布式系統(tǒng)基礎(chǔ)架構(gòu),由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。
2. Hadoop是一套開源的、基礎(chǔ)是Java的、目前能夠讓數(shù)千臺普通、廉價的服務器組成一個穩(wěn)定的、強大的集群,使其能夠?qū)b級別的大數(shù)據(jù)進行存儲、計 算。已經(jīng)具有了強大穩(wěn)定的生態(tài)系統(tǒng),也具有很多使用的延伸產(chǎn)品。比如做查詢的Pig, 做分布式命名服務的ZooKeeper, 做數(shù)據(jù)庫的Hive等等。