Slideshare創(chuàng)始人:我們應(yīng)用云計(jì)算的慘痛教訓(xùn)
對(duì)初創(chuàng)公司而言,云計(jì)算可謂是利器,因?yàn)橹灰ㄟ^鼠標(biāo)點(diǎn)擊就能一下子擁有幾乎無限的計(jì)算能力,而且通過這些計(jì)算能力能夠很好地開創(chuàng)新的機(jī)遇。通過鼠標(biāo)點(diǎn)擊就能一下子啟動(dòng)或者關(guān)閉上千臺(tái)服務(wù)器是一個(gè)非常強(qiáng)大的能力,但就好象漫畫書所教我們的那樣“great power comes great responsibility(能力越大,責(zé)任越大)”。
我公司Slideshare在我們幾乎所有的事情中都使用到了云計(jì)算,這也導(dǎo)致,我們?cè)谑褂迷朴?jì)算方面也出現(xiàn)一些大錯(cuò),下面是兩個(gè)最明顯的例子:
在沒有試用之前就浪費(fèi)了五千美元
幾個(gè)月前,我們開始非常著迷于Hadoop,我們甚至在辦公室中組織了一個(gè)Hadoop黑客日(Hackday),并非常迅速地編寫一些Hadoop原型代碼來對(duì)SlideShare用戶的數(shù)據(jù)進(jìn)行分析,
Hadoop分析本身是一個(gè)極為適合云計(jì)算的任務(wù)。雖然你需要一大堆電腦,但卻僅需一天就能把所有的數(shù)據(jù)都給處理了。但當(dāng)我們開始使用越來越多和越來越真實(shí)數(shù)據(jù)集來測(cè)試我們的原型代碼時(shí),它開始花費(fèi)越來越多的時(shí)間來完成一個(gè)任務(wù)。
在那個(gè)時(shí)刻,我決定將機(jī)器的數(shù)目翻四倍(從20臺(tái)升至75臺(tái))。這個(gè)決定是非常有意義的,如果一個(gè)任務(wù)需要100個(gè)計(jì)算時(shí)才能完成,那么100臺(tái)機(jī)器就只需1個(gè)小時(shí)就能將這個(gè)任務(wù)快速地完成。
在我做這個(gè)決定的幾小時(shí)后,一次大型站點(diǎn)事故引起所有工程團(tuán)隊(duì)人員的注意,為了解決處理這個(gè)事故和其它相關(guān)的事故,我們連續(xù)工作一個(gè)晚上和一個(gè)整天,最終直到周五的下午才全部搞定。在我們心安理得享受了一個(gè)周末之后,周一上班的時(shí)候我們發(fā)現(xiàn)在事故之前運(yùn)行的Hadoop分析任務(wù)還在繼續(xù)運(yùn)行著。我們包含 Bug的代碼以一種我們沒有預(yù)想到的方式失敗了,以至于在這個(gè)問題上就算加入再多的硬件也解決不了這個(gè)問題,同時(shí),我們收到了一張來自Amazon Web Service的五千美元的賬單。
我們的教訓(xùn)是:如果你真正想使用云計(jì)算的力量,那么你需要不停地觀測(cè)支出,并且確保它沒有出現(xiàn)亂來的情況或者超出預(yù)算,特別當(dāng)你快速地伸展和縮小使用云計(jì)算的規(guī)模時(shí)。不巧的是,Amazon Web Service并沒有提供任何提醒或者圖表工具來幫助用戶簡(jiǎn)單地跟蹤支出,雖然跟蹤支出是一個(gè)牽涉到下載CSV文件,將它們導(dǎo)入Excel并進(jìn)行分析的繁瑣流程,但它卻是不可或缺的。
#p#
使用云存儲(chǔ)的麻煩
我們最近發(fā)現(xiàn)我們?cè)诖鎯?chǔ)(S3)方面的開支急劇地增大,經(jīng)過多天的調(diào)查,發(fā)現(xiàn)我們?cè)谑褂么鎯?chǔ)方面沒有明確的原則,比如,一些可以被刪去的文件還保留著;不同類型的文件被放置在同一個(gè)目錄;還有些文件我們根本不知道它們的來源和它們還是否需要。
Amazon S3,和其它類似的云存儲(chǔ),都可以被認(rèn)為是一個(gè)大型的文件系統(tǒng),它們不會(huì)對(duì)數(shù)據(jù)的位置進(jìn)行任何控制,它由使用者來確保這個(gè)存儲(chǔ)是否被有條理的使用。如果一個(gè)人寫代碼,這是很簡(jiǎn)單,但是讓一個(gè)團(tuán)隊(duì)來寫多個(gè)依賴云存儲(chǔ)的程序時(shí),是很容易忘記刪除某些文件的。你需要確保你們沒有浪費(fèi)存儲(chǔ),唯一的方法是需要非常明確地定義那些數(shù)據(jù)存放在那些地方。一個(gè)最佳實(shí)踐是將不同類型的資源放置在不同的”bucket(桶,S3的最高層的目錄)“,這也是唯一地能讓你得到每種類型數(shù)據(jù)的占有空間的方法。
#p#
蜘蛛俠的原則
在上面兩個(gè)例子中,我們知道了我們并沒有很嚴(yán)格地使用云計(jì)算的力量,如果讓我們之前借用硬件的話,我們也會(huì)觸及硬件的限制(比如,磁盤空間用完),這是一件麻煩的事情,但去逼迫我們總結(jié)一下過去的行為,來更合理地支出。擁有強(qiáng)大的云計(jì)算力量是一件好事,但是如果你要使用它,就要有一定的責(zé)任心。
【小百科】
SlideShare(SlideShare.net)是一個(gè)分享演示文檔的網(wǎng)絡(luò)社區(qū),被稱為“演示文檔版YouTube”。組織或個(gè)人可以在SlideShare社區(qū)上傳和分享PPT、PDF或OpenOffice格式的演示文檔。
任何人都可以在SlideShare分享演示文檔。SlideShare同時(shí)還是一個(gè)社交和發(fā)掘內(nèi)容的平臺(tái),用戶可以找到相關(guān)的內(nèi)容,還可以讓使用者與擁有類似興趣愛好的其他使用者建立聯(lián)系。
現(xiàn)在在SlideShare,職業(yè)人士可以上傳和分享關(guān)于他們談話、宣傳短片、介紹短片以及網(wǎng)上研討會(huì)的視頻。視頻在這個(gè)平臺(tái)上的功能跟幻燈片和演示文檔一樣,并可以分享到Twitter和Facebook,以及嵌入到博客和網(wǎng)站。職業(yè)人士還可以在全球最大的商務(wù)社交網(wǎng)站LinkedIn上使用SlideShare應(yīng)用,與其同行們分享視頻。
【編輯推薦】