自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

使用Storm實(shí)現(xiàn)實(shí)時(shí)大數(shù)據(jù)分析!

云計(jì)算
不夸張的說(shuō),AWS徹底改變了科技創(chuàng)業(yè)公司的經(jīng)濟(jì)運(yùn)行模式。沒(méi)有人意識(shí)到有多少公司正在使用AWS的EC2,直到它發(fā)生宕機(jī)“真相”才浮出水面。每個(gè)人使用AWS都可以從根本上實(shí)現(xiàn)非常簡(jiǎn)單的運(yùn)行軟件的方式,并節(jié)省大量硬件投資。

awe.sm從創(chuàng)立之初就采用了AWS平臺(tái),過(guò)去3年我們體驗(yàn)了AWS的優(yōu)美和不足,并總結(jié)出一套最佳實(shí)踐。

不夸張的說(shuō),AWS徹底改變了科技創(chuàng)業(yè)公司的經(jīng)濟(jì)運(yùn)行模式。沒(méi)有人意識(shí)到有多少公司正在使用AWS的EC2,直到它發(fā)生宕機(jī)“真相”才浮出水面。每個(gè)人使用AWS都可以從根本上實(shí)現(xiàn)非常簡(jiǎn)單的運(yùn)行軟件的方式,并節(jié)省大量硬件投資。

 

[[106708]]

圖:AWS的優(yōu)勢(shì)和缺陷讓人既愛(ài)又恨EC2是一種運(yùn)行軟件新的方式

 

首先,也是最重要的,EC2絕不僅僅是虛擬托管服務(wù)器。或者說(shuō),它就像雇傭了部分系統(tǒng)和網(wǎng)絡(luò)管理員:代替一名昂貴的管理員,實(shí)現(xiàn)自動(dòng)管理,你只需要為每個(gè)虛擬機(jī)支付一點(diǎn)點(diǎn)費(fèi)用而已,并將產(chǎn)生的問(wèn)題匯總。供電、網(wǎng)絡(luò)拓?fù)洹⒂布杀?、供?yīng)商選擇以及網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)——在2004年以前這些你都需要考慮。而通過(guò)AWS和其它競(jìng)爭(zhēng)對(duì)手的努力,你不用再考慮這些,至少不用考慮這么多。

毫無(wú)疑問(wèn),彈性是使用EC2最大的優(yōu)勢(shì)和特色,我們只需要約5分鐘就能建立一個(gè)虛擬機(jī),這將讓我們有更高的靈活性:

我們可以在新的硬件上進(jìn)行大規(guī)模升級(jí)。當(dāng)我們進(jìn)行大規(guī)模升級(jí)時(shí),可以完全建立全新的硬件以及設(shè)置和依賴關(guān)系,并把它們裝入負(fù)載均衡器,然后重新設(shè)置負(fù)載均衡器即可。當(dāng)然最后要把之前運(yùn)行的虛擬機(jī)關(guān)機(jī)。你需要2倍的硬件來(lái)進(jìn)行升級(jí)切換,但只需要使用24小時(shí),絕對(duì)的廉價(jià)和簡(jiǎn)單。

對(duì)于一些非關(guān)鍵系統(tǒng)的備災(zāi)計(jì)劃(這些非關(guān)鍵系統(tǒng)最長(zhǎng)允許宕機(jī)1個(gè)小時(shí)),我們只要監(jiān)測(cè)到宕機(jī)的虛擬機(jī),然后新啟動(dòng)一個(gè)虛擬機(jī)然后做系統(tǒng)還原即可。

依照負(fù)載進(jìn)行擴(kuò)容絕對(duì)好過(guò)事先的判斷:當(dāng)監(jiān)控到負(fù)載很高時(shí),你可以開(kāi)啟額外的虛擬機(jī),及時(shí)應(yīng)對(duì)高負(fù)載。

我們根本不擔(dān)心對(duì)虛擬機(jī)數(shù)量進(jìn)行計(jì)算:我們總有用不完的虛擬機(jī)可供啟動(dòng),如果我們出錯(cuò)了,可以很容易的關(guān)閉或者啟動(dòng)虛擬機(jī)。這樣的硬件迭代就是AWS最棒的功能。

EC2為初創(chuàng)企業(yè)帶來(lái)強(qiáng)大的財(cái)務(wù)支持

AWS的最明顯的成本優(yōu)勢(shì)是硬件零安裝成本:你使用與亞馬遜相同的帳戶從互聯(lián)網(wǎng)上訂購(gòu),按一下按鈕,并啟動(dòng)服務(wù)器,按小時(shí)支付。你只需支付正在運(yùn)行的硬件,以及實(shí)際使用的存儲(chǔ),這讓你的啟動(dòng)成本達(dá)到最小。同時(shí),這將鼓勵(lì)在硬件層面實(shí)驗(yàn):在現(xiàn)有的資源上增加10倍,運(yùn)行負(fù)載測(cè)試,然后關(guān)閉這些增加的虛擬機(jī),直到你真正需要它們。這不僅僅方便,而且是革命性的。

AWS能夠降低運(yùn)營(yíng)成本。截至到2012年,我們的公司已經(jīng)運(yùn)營(yíng)了2年多,我們甚至沒(méi)有專業(yè)的運(yùn)維人員。不過(guò)我們依然有一名的全職的運(yùn)維人員負(fù)責(zé)管理數(shù)以百計(jì)的虛擬機(jī),這是相當(dāng)高的效率。我們根本不用考慮供電、網(wǎng)絡(luò)等等。

當(dāng)然,AWS并非完美,他的價(jià)格超過(guò)競(jìng)爭(zhēng)對(duì)手不少。但借助定期的降價(jià),10月份的18%,今年3月的10%。最后,如果長(zhǎng)期使用,你可以預(yù)先支付費(fèi)用,并獲得最多50%的折扣。

但是EC2有一些問(wèn)題

EC2有嚴(yán)重的性能和可靠性問(wèn)題,重要的是要做到心中有數(shù),并提前做出應(yīng)對(duì)計(jì)劃。

首先,AWS那臭名昭著的“可用地區(qū)”模式,這些分布在不同地區(qū)的物理設(shè)備彼此分離,包括網(wǎng)絡(luò)、供電等。關(guān)于“可用地區(qū)”我們有幾條非常重要的經(jīng)驗(yàn):

虛擬設(shè)備不可能像硬件設(shè)備那樣長(zhǎng)久:根據(jù)我們?cè)谶^(guò)去3年的觀察,虛擬機(jī)的平均生命周期約為200天。這之后的“退休”將經(jīng)歷非常高的風(fēng)險(xiǎn),AWS的“退休機(jī)制”根本不可控:有些時(shí)候提前10天通知你虛擬機(jī)將被關(guān)閉;有時(shí)候虛擬機(jī)已經(jīng)關(guān)閉2小時(shí)后,才收到通知郵件。頻繁的硬件更迭并不是太大的問(wèn)題,畢竟你可以很輕松的啟動(dòng)新的虛擬機(jī)來(lái)替代,但重要的是你應(yīng)該意識(shí)到,要盡早進(jìn)行自動(dòng)部署,以減少更換虛擬機(jī)所需的時(shí)間。

你需要是在一個(gè)以上的區(qū)域進(jìn)行部署,并建立冗余。這一直是我們的經(jīng)驗(yàn),你可能失去整個(gè)區(qū)域,而不是一個(gè)虛擬機(jī)。如果你的系統(tǒng)有單點(diǎn)故障,你不能從故障虛擬機(jī)中獲取備份或設(shè)置信息,如果整個(gè)區(qū)域不可用,你甚至連這個(gè)虛擬機(jī)都看不到,更別提恢復(fù)數(shù)據(jù)了。

多區(qū)域故障也可能發(fā)生,因此,如果你能負(fù)擔(dān)得起,也要部署多個(gè)區(qū)域。美國(guó)東部是故障頻發(fā)​的地區(qū)(因?yàn)闅v史最長(zhǎng),價(jià)格最便宜),2012年6月、2012年3月,以及最引人注目故障是在2011年。AWS的不穩(wěn)定性似乎有相同的根本原因。

為了保持較高的正常運(yùn)行時(shí)間 我們已經(jīng)不再相信EBS

這就是我們的經(jīng)驗(yàn)和亞馬遜的市場(chǎng)建議最沖突的地方。AWS期望EBS是使用EC2的基礎(chǔ):AWS希望你將所有的數(shù)據(jù)托管在EBS卷上,一旦實(shí)例故障,你能立刻將EBS卷遷移到新的硬件上,這一過(guò)程很輕松。AWS還希望你使用EBS快照來(lái)對(duì)數(shù)據(jù)庫(kù)備份并恢復(fù)。AWS同樣希望你在EBS卷上運(yùn)行操作系統(tǒng),即EBS備份實(shí)例。但根據(jù)我們的經(jīng)驗(yàn),EBS有幾大挑戰(zhàn):

EBS卷的I/O性能太差。虛擬化的硬件的I/O性能顯然不如純粹的硬件,但我們的經(jīng)驗(yàn)卻相反,EBS卷的性能遠(yuǎn)不如本地存儲(chǔ)(AWS稱之為“短暫存儲(chǔ)”)。EBS卷本質(zhì)上是網(wǎng)絡(luò)存儲(chǔ),所以性能不會(huì)非常好。AWS試圖游說(shuō)用戶使用定制IOPS,這是一種更高性能的EBS卷,但它的價(jià)格會(huì)拒你千里之外。

EBS基于地區(qū)的可用性?;谖覀兊慕?jīng)驗(yàn),EBS有兩個(gè)特性:所有的卷可用,或都不可用。在前文提到的3起地區(qū)性的EC2事故中,2起是由EBS故障從一個(gè)地區(qū)擴(kuò)展到其它地區(qū)引起的。如果你的故障恢復(fù)計(jì)劃建立在EBS卷基礎(chǔ)上,當(dāng)遇到EBS故障引起的宕機(jī),你就要倒大霉了。悲催的是,這種情況我們已經(jīng)遇到好幾次了。

基于Ubuntu的EBS故障十分嚴(yán)重,因?yàn)镋BS卷實(shí)際上通過(guò)網(wǎng)絡(luò)驅(qū)動(dòng)偽裝成塊設(shè)備,這與Linux系統(tǒng)不兼容。我們?cè)?jīng)遇到由此引發(fā)的嚴(yán)重事故,EBS卷故障導(dǎo)致整個(gè)虛擬機(jī)鎖定,無(wú)法遷移,甚至對(duì)任何磁盤需求都不予響應(yīng)。

因此,大約半年前開(kāi)始,我們完全放棄了EBS。我們付出了相當(dāng)大的代價(jià)(主要是圍繞如何執(zhí)行備份和恢復(fù)系統(tǒng))。截至到目前看,這么做絕對(duì)值得。

請(qǐng)注意:其他AWS服務(wù)依賴于EBS

由于一些的AWS增值服務(wù)是建立在EBS中,當(dāng)EBS故障時(shí),他們也隨即失效,包括彈性負(fù)載均衡ELB、關(guān)系數(shù)據(jù)庫(kù)RDS、EB(Elastic Beanstalk)以及其它。在我們的經(jīng)驗(yàn)中,EBS總是位于故障的中心。所以,如果EBS發(fā)生故障,你需要迅速的將流量轉(zhuǎn)換到其它地區(qū),但很遺憾,你根本無(wú)法完成切換,因?yàn)樨?fù)載均衡就運(yùn)行在EBS上。同時(shí),你也不能啟動(dòng)新的設(shè)備,因?yàn)锳WS提供的控制臺(tái)服務(wù)也是運(yùn)行在EBS上的。所以,我們愛(ài)EC2(以及真的真的愛(ài)S3),但我們不用AWS提供的任何附加服務(wù)。這么做的好處是,我們可以相對(duì)簡(jiǎn)單地切換到其他托管服務(wù)提供商,而不是密切的鎖定在AWS。

吸取的經(jīng)驗(yàn)教訓(xùn)

如果我們明天再次啟動(dòng)awe.sm,我會(huì)不加思索的繼續(xù)使用AWS。對(duì)于一個(gè)小團(tuán)隊(duì)而言,你只有很少的預(yù)算,還需要迅速作出反應(yīng),AWS就像一部高性能的全自動(dòng)相機(jī)。Joyent、Rackspace等IaaS提供商正加緊追趕,我們期待著與他們的合作。當(dāng)我們從100多臺(tái)虛擬機(jī)增長(zhǎng)到1000臺(tái)后,必須引入更多的供應(yīng)商,或者使用Carpathia的與AWS兼容的混合云方式。

責(zé)任編輯:王程程 來(lái)源: awe.sm
相關(guān)推薦

2012-12-06 10:59:51

大數(shù)據(jù)

2012-08-24 08:51:27

IBMdW

2012-08-28 10:52:58

IBMdW

2015-11-26 10:21:37

基因大數(shù)據(jù)癌癥

2013-11-22 14:14:54

FusionCubeHANA大數(shù)據(jù)分析

2015-08-14 10:28:09

大數(shù)據(jù)

2022-03-01 08:40:34

StormHadoop批處理

2016-09-04 15:14:09

攜程實(shí)時(shí)數(shù)據(jù)數(shù)據(jù)平臺(tái)

2018-04-26 14:11:44

2020-07-09 15:21:58

大數(shù)據(jù)RStudioR語(yǔ)言

2015-08-11 15:52:52

大數(shù)據(jù)數(shù)據(jù)分析

2021-10-12 15:25:08

大數(shù)據(jù)數(shù)據(jù)分析

2022-03-29 14:49:14

大數(shù)據(jù)數(shù)據(jù)分析

2013-04-09 09:28:20

大數(shù)據(jù)大數(shù)據(jù)全球技術(shù)峰會(huì)

2015-07-23 09:34:57

大數(shù)據(jù)數(shù)據(jù)分析

2023-11-17 09:35:58

2018-08-21 22:31:04

數(shù)據(jù)分析單身女朋友

2021-11-11 11:27:55

大數(shù)據(jù)分析系統(tǒng)

2021-08-06 11:01:23

大數(shù)據(jù)數(shù)據(jù)分析技術(shù)

2017-07-22 00:41:27

大數(shù)據(jù)數(shù)據(jù)存儲(chǔ)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)