看亞馬遜AWS如何幫助企業(yè)玩轉(zhuǎn)大數(shù)據(jù)
以“大數(shù)據(jù)”為首的新興技術(shù)使人類社會(huì)的數(shù)據(jù)種類和規(guī)模正以***的速度增長,數(shù)據(jù)的產(chǎn)生已經(jīng)完全不受時(shí)間、地點(diǎn)的限制,數(shù)據(jù)開始從簡單的處理對(duì)象轉(zhuǎn)變?yōu)橐环N基礎(chǔ)性資源。企業(yè)甚至于政府機(jī)構(gòu)等都選擇擁抱大數(shù)據(jù),爭相迎接大數(shù)據(jù)新時(shí)代。
然而,玩轉(zhuǎn)“大數(shù)據(jù)”是需要云計(jì)算技術(shù)在數(shù)據(jù)存儲(chǔ)管理與分析等方面的強(qiáng)力支撐的。而作為全球云計(jì)算服務(wù)提供商,亞馬遜AWS在面對(duì)大數(shù)據(jù)趨勢(shì)時(shí)表現(xiàn)得更加從容和淡定。亞馬遜AWS擁有最完整的大數(shù)據(jù)平臺(tái),可提供一個(gè)廣泛的托管服務(wù),幫助用戶快速、輕松地構(gòu)建并保護(hù)大數(shù)據(jù)應(yīng)用程序。無論用戶的應(yīng)用程序是需要實(shí)時(shí)流式處理、批量數(shù)據(jù)處理,亦或是需要結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),亞馬遜AWS都能提供完善的基礎(chǔ)設(shè)施和工具來處理用戶的大數(shù)據(jù)項(xiàng)目。下面的三個(gè)案例可以說明亞馬遜AWS在大數(shù)據(jù)處理和應(yīng)用上所具有的價(jià)值和貢獻(xiàn)。
幫助***視頻網(wǎng)站應(yīng)對(duì)內(nèi)容暴增挑戰(zhàn)
作為國內(nèi)領(lǐng)先的視頻網(wǎng)站,愛奇藝自2010年正式上線以來便構(gòu)建了涵蓋電影、電視劇、綜藝、動(dòng)漫、紀(jì)錄片等十余種類型的視頻內(nèi)容庫。隨著數(shù)量的急劇增長,這些視頻內(nèi)容已達(dá)PB量級(jí),也致使愛奇藝自己的存儲(chǔ)系統(tǒng)開始面臨諸多挑戰(zhàn)。愛奇藝副總裁劉文峰說,“坦率地講,Amazon Glacier是我們的不二之選。”
使用Amazon Glacier作為冷備系統(tǒng)之后,愛奇藝的視頻數(shù)據(jù)和日志文件歸檔流程得到了極大的簡化。除此之外,歸檔數(shù)據(jù)的安全可靠是Amazon Glacier帶來的***好處,這使得愛奇藝可以放心地把關(guān)鍵的視頻數(shù)據(jù)和日志文件存放在云端。此外,AWS分布在世界各地的數(shù)據(jù)中心也為愛奇藝的全球化服務(wù)提供了強(qiáng)有力的支持。
助力全球***股票市場(chǎng)處理全球交易數(shù)據(jù)
而作為世界***的股票市場(chǎng)之一,納斯達(dá)克也在每天用亞馬遜AWS大數(shù)據(jù)平臺(tái)收集、處理和分析數(shù)十億條記錄。自亞馬遜AWS于2006年成立以來,納斯達(dá)克便成為了其忠實(shí)的用戶。目前,納斯達(dá)克平均每天有50多億條數(shù)據(jù)記錄要運(yùn)行到Amazon Redshift;甚至在2014年的10月,一天的數(shù)據(jù)處理峰值竟然達(dá)到了140億條。
除此之外,納斯達(dá)克還運(yùn)用了Amazon S3 and Amazon EMR來實(shí)現(xiàn)獨(dú)立的數(shù)據(jù)計(jì)算和托管。Amazon S3擁有近乎99.999999999%的***拓展性,可以不用花費(fèi)太多成本,便可以讓數(shù)據(jù)橫跨多個(gè)區(qū)域、在不同的數(shù)據(jù)中心間自由穿梭。而且,納斯達(dá)克在Amazon EMR上的運(yùn)用使得部署和管理Hadoop集群變得十分簡單。其可以根據(jù)自身企業(yè)需要,自由地控制集群的增長或者收縮,甚至在周末或假日期間將其關(guān)閉。亞馬遜AWS給予了納斯達(dá)克在大數(shù)據(jù)處理和維護(hù)上***可能。
推動(dòng)互聯(lián)網(wǎng)公司全球創(chuàng)新和擴(kuò)張
不僅如此,近期一個(gè)很火的旅行房屋租賃網(wǎng)站及應(yīng)用——Airbnb,也正在通過亞馬遜AWS的大數(shù)據(jù)平臺(tái)來逐步完善和升級(jí)自身的服務(wù)系統(tǒng)。為了支持需求,該公司將 200 個(gè) Amazon Elastic Compute Cloud (Amazon EC2) 實(shí)例用于其應(yīng)用程序、內(nèi)存緩存和搜索服務(wù)器。為了每天輕松處理和分析 50 GB 的數(shù)據(jù),Airbnb 使用了 Amazon Elastic MapReduce (Amazon EMR)。Airbnb 還使用 Amazon Simple Storage Service (Amazon S3) 存儲(chǔ)備份和靜態(tài)文件,包括 10 TB 的用戶照片。
此外,Airbnb 已將其主要的 MySQL 數(shù)據(jù)庫遷移到了 Amazon Relational Database Service (Amazon RDS)。Airbnb 只需 15 分鐘的停機(jī)時(shí)間就可以將其整個(gè)數(shù)據(jù)庫遷移到 Amazon RDS。這種快速轉(zhuǎn)換對(duì)于快速增長的 Airbnb 非常重要。Airbnb 的工程師 TOBI Knaup 說: “因?yàn)槭褂昧?AWS,我們一直可以輕松(在所需時(shí)間和成本方面)擴(kuò)展我們的站點(diǎn)。”
毫無疑問,亞馬遜AWS能夠利用自身成熟技術(shù),幫助企業(yè)自如地迎接大數(shù)據(jù)挑戰(zhàn)。更有價(jià)值的是亞馬遜AWS可以通過技術(shù)和平臺(tái),激發(fā)用戶創(chuàng)新,“玩轉(zhuǎn)”大數(shù)據(jù),讓企業(yè)在暗涌翻騰的大數(shù)據(jù)時(shí)代立于不敗之地。當(dāng)然,這是用戶的成功,也是亞馬遜AWS的勝利。