AWS業(yè)務(wù)副總裁:如何降低基礎(chǔ)設(shè)施成本
亞馬遜Amazon Web Services業(yè)務(wù)的副總裁、著名工程師詹姆斯?jié)h密爾頓(James Hamilton)在AWS re:Invent大會(huì)上解釋了公司是如何盡可能地將成本降低,同時(shí)又盡可能地將創(chuàng)新提高的,其實(shí)關(guān)鍵在于控制基礎(chǔ)設(shè)施。
如果有人還想搞清大型云服務(wù)供應(yīng)商如何不斷推出新功能并降低服務(wù)價(jià)格的話,不妨聽(tīng)聽(tīng)詹姆斯?jié)h密爾頓是如何說(shuō)的。他的回答其實(shí)很簡(jiǎn)單,就兩個(gè)字:規(guī)模。
規(guī)模就是AWS成功的秘訣。為了說(shuō)明這個(gè)問(wèn)題,漢密爾頓指出了一個(gè)經(jīng)常被引用的統(tǒng)計(jì)數(shù)據(jù):當(dāng)亞馬遜網(wǎng)站的銷售額達(dá)到70億美元的時(shí)候,為了支持公司的整體運(yùn)作,AWS每天都要增加大量新的容量。他補(bǔ)充說(shuō):“實(shí)際上,它當(dāng)時(shí)的規(guī)模比那大得多,公司的業(yè)務(wù)每一天都在壯大。”
漢密爾頓說(shuō),一周七天就是AWS的周轉(zhuǎn)時(shí)間。AWS現(xiàn)在已經(jīng)在全球9個(gè)地區(qū)部署了服務(wù)器,有些地區(qū)還建了多個(gè)數(shù)據(jù)中心。他解釋說(shuō),你建的數(shù)據(jù)中心越多,你獲得的業(yè)績(jī)就越好,冒的風(fēng)險(xiǎn)就越小。在創(chuàng)新方面,你能做的最好的事情就是降低失敗的風(fēng)險(xiǎn),加快周轉(zhuǎn)的速度。
大規(guī)模提供一項(xiàng)服務(wù)的成本主要取決于基礎(chǔ)設(shè)施。漢密爾頓說(shuō),軟件技術(shù)方面的成本幾乎為零。
因此他認(rèn)為他在過(guò)去5年里看到的創(chuàng)新比之前他在20年里看到的創(chuàng)新還要多。因?yàn)橄髞嗰R遜、Facebook、谷歌(微博)和微軟那樣的公司,已經(jīng)在調(diào)整基礎(chǔ)設(shè)施的規(guī)模方面做得非常好了。
亞馬遜的團(tuán)隊(duì)在網(wǎng)上交易數(shù)據(jù)庫(kù)性能上創(chuàng)造了一項(xiàng)世界紀(jì)錄:平均每秒鐘達(dá)成69項(xiàng)交易!他笑稱:“派對(duì)的時(shí)間很長(zhǎng)啊。”現(xiàn)在,亞馬遜的一個(gè)DynamoDB服務(wù)地區(qū)每月可處理2萬(wàn)億條指令。亞馬遜S3存儲(chǔ)系統(tǒng)的高峰處理速度達(dá)到了每秒150萬(wàn)條指令。
亞馬遜是如何保證將成本降到盡可能低,同時(shí)讓創(chuàng)新保持盡可能高的呢?
服務(wù)器
與谷歌和Facebook一樣,亞馬遜也在設(shè)計(jì)自己的服務(wù)器,那些服務(wù)器都是專門為他們提供的服務(wù)而定制的。以前,漢密爾頓曾經(jīng)勸公司只從服務(wù)器廠商申請(qǐng)1或2個(gè)SKU以降低復(fù)雜性,但是時(shí)過(guò)境遷,現(xiàn)在的情況已經(jīng)不同了。一旦你控制了這個(gè)過(guò)程,直接帶著設(shè)計(jì)去服務(wù)器廠商那里的話,可以將價(jià)格砍掉30%,而且這樣做還可以提高性能和加快周轉(zhuǎn)速度。
他說(shuō):“現(xiàn)在,你可能會(huì)希望你的客戶不要去優(yōu)化你的硬件。”
存儲(chǔ)設(shè)備
漢密爾頓在AWS客戶定制存儲(chǔ)資源問(wèn)題上沒(méi)有透露太多的內(nèi)容,但他談了一則軼聞?,F(xiàn)在你在市面上能夠買到的最密集的存儲(chǔ)服務(wù)器,是由廣達(dá)電腦設(shè)計(jì)的。滿滿一機(jī)架的存儲(chǔ)服務(wù)器的重量大約為四分之三噸。漢密爾頓說(shuō):“我們有更緊密的設(shè)計(jì),它的重量超過(guò)了1噸。”
網(wǎng)絡(luò)
網(wǎng)絡(luò)是一個(gè)大問(wèn)題,因?yàn)閮r(jià)格不斷上漲和很多公司過(guò)分降低其數(shù)據(jù)中心的帶寬。
漢密爾頓說(shuō),在很多典型案例中,每60臺(tái)服務(wù)器中也只有1臺(tái)服務(wù)器可以滿負(fù)荷運(yùn)作。它們的工作效率還不錯(cuò),因?yàn)檎w交易量還不算大。當(dāng)然,它們并不是真地在為AWS服務(wù)工作。AWS無(wú)法控制用戶們運(yùn)行的所有負(fù)載。他解釋說(shuō):如果他們運(yùn)行某些應(yīng)用比如RapReduce,集群中的每一臺(tái)服務(wù)器可能都會(huì)達(dá)到100%的帶寬容量。
與Facebook、谷歌一樣,AWS也在開(kāi)發(fā)自己的硬件和產(chǎn)品,漢密爾頓說(shuō):“我們已經(jīng)接管了網(wǎng)絡(luò),我們突然就能象平時(shí)一樣做各種事了。”
在數(shù)據(jù)中心外面,AWS還將投資各種關(guān)鍵的資源,以保證它能獲得所需的帶寬。
發(fā)電
AWS還建了自己的電站,鑒于每一個(gè)電站的發(fā)電量都在50到100兆瓦,因此這絕不是一項(xiàng)規(guī)模較小的資產(chǎn)。
設(shè)備可能會(huì)非常昂貴。亞馬遜甚至還聘請(qǐng)了固件工程師,他的任務(wù)就是重新編寫通常在開(kāi)關(guān)設(shè)備上運(yùn)行的軟件。
漢密爾頓說(shuō):“我們的目標(biāo)不是保護(hù)發(fā)電機(jī),而是保證服務(wù)器可以持續(xù)運(yùn)行。”
資源利用
各種公司都曾在如何高效利用各種資源的問(wèn)題上糾結(jié)了若干年,因?yàn)樗麄冑?gòu)買了大量的服務(wù)器來(lái)保證他們可以控制高峰時(shí)期的工作負(fù)載,并且在其他時(shí)間保持空閑。它并未改變它們是首先被亞馬遜購(gòu)買的產(chǎn)品,它并未改變這一事實(shí)。實(shí)際上,資源利用的問(wèn)題是AWS在降低成本時(shí)遇到的最大的問(wèn)題。
當(dāng)你在網(wǎng)絡(luò)上規(guī)?;\(yùn)營(yíng)時(shí),能夠改變這一數(shù)據(jù)的任何東西都值很多錢。
幸運(yùn)地是,亞馬遜的一家正宗的云服務(wù)供應(yīng)商,因此它的設(shè)備利用率通常都在20%以上。
AWS推出了Spot Instance定價(jià)系統(tǒng)以保證在服務(wù)計(jì)費(fèi)時(shí)將沒(méi)有被使用過(guò)的資源剔出來(lái),希望以更低的利潤(rùn)將它賣出去。漢密爾頓說(shuō),任何客戶支付的服務(wù)費(fèi)超過(guò)了運(yùn)行那些服務(wù)的成本的話,從補(bǔ)償資本開(kāi)支的角度來(lái)說(shuō)都是值得的。
漢密爾頓笑稱,如果分析師們還是不給亞馬遜股票買入評(píng)級(jí)的話,那他們可能并不了解AWS。他說(shuō):“我們認(rèn)為云計(jì)算市場(chǎng)與電子商務(wù)市場(chǎng)一樣,都是薄利多銷的行業(yè)。”