亞馬遜自爆家史:亞馬遜EC2的發(fā)展史
譯文三年前,其中一款產(chǎn)品EC2(彈性計(jì)算云)還只是個(gè)想法而已。
Bezos說(shuō):“有一個(gè)不為人知的亞馬遜,我們必須在后臺(tái)開(kāi)展這一切工作,以便讓這個(gè)產(chǎn)品切實(shí)可行。”他隨后又強(qiáng)調(diào),S3(簡(jiǎn)單存儲(chǔ)服務(wù))、EC2和Mechanical Turk這些技術(shù)代表了“11年來(lái)的大規(guī)模萬(wàn)維網(wǎng)計(jì)算(web-scale computing)”方面的研發(fā)成果,總共耗費(fèi)了亞馬遜在技術(shù)和內(nèi)容方面“數(shù)十億美元的投入。”
最初開(kāi)發(fā)EC2是用于亞馬遜的內(nèi)部基礎(chǔ)設(shè)施。它起初只是Chris Pinkham頭腦中的一個(gè)設(shè)想。2000年代早期,他擔(dān)任工程師,負(fù)責(zé)亞馬遜的全球基礎(chǔ)設(shè)施。
Pinkham說(shuō):“我們基礎(chǔ)設(shè)施技術(shù)部門(mén)的人員當(dāng)時(shí)覺(jué)得,我們確實(shí)需要為開(kāi)發(fā)團(tuán)隊(duì)提供服務(wù),讓基礎(chǔ)設(shè)施分散化。這是一大激勵(lì)因素。”
“面向全世界的基礎(chǔ)設(shè)施服務(wù)”
Pinkham考慮了這個(gè)問(wèn)題,在2003年開(kāi)始努力構(gòu)建“面向全世界的基礎(chǔ)設(shè)施服務(wù)”。他希望,開(kāi)發(fā)出來(lái)的服務(wù)不僅可以適用于亞馬遜基礎(chǔ)設(shè)施,可以能幫助廣泛開(kāi)發(fā)人員。
亞馬遜的首席技術(shù)官Werner Vogels在社交問(wèn)答網(wǎng)站Quora上寫(xiě)道:“我們憑經(jīng)驗(yàn)知道,采用一種傳統(tǒng)的多數(shù)據(jù)中心模式來(lái)維護(hù)一套可靠的、可擴(kuò)展的基礎(chǔ)設(shè)施,其在時(shí)間和人力方面的成本可能高達(dá)70%,還需要投入大量的智力資本,才能在一段比較長(zhǎng)的時(shí)間內(nèi)維持正常運(yùn)行。初衷是,提供的服務(wù)可以把這個(gè)成本降低到30%或更少(我們現(xiàn)在知道這個(gè)成本可以低得多)。”
Pinkham和亞馬遜的另一名工程師Benjamin Black撰寫(xiě)了一篇短文,向亞馬遜的首席執(zhí)行官Jeff Bezos概述了這方面的想法,后者很喜歡這個(gè)想法,隨后詢(xún)問(wèn)了可通過(guò)云來(lái)配置的虛擬服務(wù)器方面的更多細(xì)節(jié)。
但Pinkham當(dāng)時(shí)有了第二個(gè)孩子,于是與亞馬遜的其他人談?wù)摵?,他離開(kāi)公司,在南非設(shè)立了一家附屬的開(kāi)發(fā)辦事處:這是亞馬遜在南非所開(kāi)的第一家辦事處;他和另外幾個(gè)工程師(包括Christopher Brown和Wiljem Van Biljon)致力于設(shè)計(jì)EC2服務(wù)。
積極大膽的做法
到2005年,亞馬遜將這項(xiàng)技術(shù)提供給簽訂了保密協(xié)議的一些客戶(hù)。這項(xiàng)服務(wù)定于2006年夏天正式發(fā)布。
Pinkham說(shuō):“亞馬遜一貫主張采取非常積極大膽的舉動(dòng)。”
這家公司的大膽做法體現(xiàn)在兩個(gè)方面:一是非常迅速地?cái)U(kuò)展服務(wù),二是選擇了比較低的利潤(rùn),以此“把競(jìng)爭(zhēng)對(duì)手擋在門(mén)外,”Pinkham如是說(shuō)。
EC2和S3發(fā)布后,分析師們連珠炮似地向亞馬遜的首席財(cái)務(wù)官Tom Szkutak提出了關(guān)于該服務(wù)的眾多問(wèn)題:營(yíng)業(yè)利潤(rùn)將怎樣?亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)方面的發(fā)展會(huì)如何推動(dòng)整個(gè)亞馬遜集團(tuán)的發(fā)展?又有什么樣的投資計(jì)劃?
據(jù)股市分析網(wǎng)站SeekingAlpha上的一份文字記錄(http://seekingalpha.com/article/19142-amazon-com-q3-2006-earnings-call-transcript?part=qanda)顯示,Szkutak在2006年說(shuō)過(guò):“我們之所以搞萬(wàn)維網(wǎng)服務(wù),原因是過(guò)去的11年我們?cè)谶@些方面做得非常好,可以構(gòu)建名為Amazon.com的這個(gè)大規(guī)模萬(wàn)維網(wǎng)應(yīng)用系統(tǒng)。于是,我們開(kāi)始著手披露亞馬遜的內(nèi)情,外面的其他開(kāi)發(fā)人員需要同樣那些種類(lèi)的大規(guī)模萬(wàn)維網(wǎng)服務(wù)……我們所做的就是披露那些服務(wù),并且把這逐步打造成有意義的業(yè)務(wù)。”
Pinkham最后離開(kāi)了亞馬遜,與別人創(chuàng)辦了Nimbula,這家公司試圖把亞馬遜通過(guò)EC3推而廣之的技術(shù),運(yùn)用到內(nèi)部私有云。他說(shuō):“我是從亞馬遜出來(lái)的,驚訝地發(fā)現(xiàn)客戶(hù)搭建小規(guī)模的基礎(chǔ)設(shè)施也并非易事。”
自2006年EC2正式發(fā)布以來(lái),其價(jià)值越來(lái)越大,它已成為亞馬遜的云服務(wù)生態(tài)系統(tǒng)的基石。如果客戶(hù)對(duì)亞馬遜的任何一款高級(jí)產(chǎn)品(比如DynamoDB或Elastic Beanstalk)有興趣,就有很強(qiáng)烈的動(dòng)機(jī)來(lái)配置其中一個(gè)EC2虛擬計(jì)算實(shí)例。這對(duì)于一項(xiàng)旨在改善網(wǎng)上書(shū)店業(yè)績(jī)的技術(shù)來(lái)說(shuō)并不賴(lài)。
鏈接:AWS的崛起之路
該圖顯示,自EC2和S3在2006年發(fā)布以來(lái),亞馬遜的“其他收入”這一塊的收益同比出現(xiàn)了大幅增長(zhǎng),一條迅速遞增的曲線(xiàn)與亞馬遜擴(kuò)建數(shù)據(jù)中心的步伐和在該平臺(tái)上提供的技術(shù)和服務(wù)的數(shù)量增長(zhǎng)緊密對(duì)應(yīng)。
就算我們采取保守的估計(jì),以代表亞馬遜網(wǎng)絡(luò)服務(wù)公司(AWS)的“其他收入”這個(gè)數(shù)字的僅僅50%為準(zhǔn),增長(zhǎng)率也是相當(dāng)驚人。
亞馬遜繼續(xù)充實(shí)其技術(shù),從商品化的存儲(chǔ)和計(jì)算方案擴(kuò)大到更復(fù)雜的領(lǐng)域,比如固態(tài)硬盤(pán)(SSD)支持的DynamoDB NoSQL數(shù)據(jù)庫(kù),或者是基于代理軟件、連接到私有數(shù)據(jù)中心的存儲(chǔ)網(wǎng)關(guān),不斷地為亞馬遜網(wǎng)絡(luò)服務(wù)公司添加新的方面。
亞馬遜的首席技術(shù)官Werner Vogels表示,他希望“1000個(gè)平臺(tái)在亞馬遜環(huán)境上蓬勃發(fā)展”,聲稱(chēng)開(kāi)發(fā)方法就是不斷增添服務(wù),那樣每一個(gè)開(kāi)發(fā)人員都能在其平臺(tái)上找到歸宿。
2011年1月Werner在個(gè)人博客上寫(xiě)道:“AWS的開(kāi)發(fā)生態(tài)系統(tǒng)始終非常豐富,我們希望這樣子可以保持下去。我們的目的就是,確保每一個(gè)開(kāi)發(fā)人員青睞的系統(tǒng)在AWS上始終隨時(shí)可用,那樣他們不用再為部署和運(yùn)行可擴(kuò)展、容錯(cuò)的應(yīng)用軟件而操心了,而是可以致力于開(kāi)發(fā)應(yīng)用軟件。”
通過(guò)為AWS云提供更多的服務(wù),亞馬遜發(fā)現(xiàn)了有辦法從一系列更廣泛的應(yīng)用軟件獲取更多類(lèi)型的數(shù)據(jù)。這體現(xiàn)在其主要的S3存儲(chǔ)服務(wù)中的單個(gè)文件存儲(chǔ)區(qū)的數(shù)量出現(xiàn)了爆炸式增長(zhǎng)。
亞馬遜繼續(xù)投資興建數(shù)據(jù)中心,以適應(yīng)其云服務(wù)蓬勃發(fā)展的需要。截至2012年,該公司在除中東和大洋洲之外的全球各大區(qū)域都建有數(shù)據(jù)中心。它的基礎(chǔ)設(shè)施主要集中在美國(guó)東海岸地區(qū),不過(guò)以愛(ài)爾蘭為大本營(yíng)的歐洲數(shù)據(jù)中心也發(fā)展起來(lái)。
由于每大區(qū)域都有多個(gè)可用區(qū)域(availability zone),而可用區(qū)域本身可能是整個(gè)數(shù)據(jù)中心或多個(gè)數(shù)據(jù)中心,所以很難確定亞馬遜的數(shù)據(jù)中心到底有幾個(gè)。不過(guò),每當(dāng)亞馬遜宣布在新地區(qū)興建數(shù)據(jù)中心,它的資本投入額日益增長(zhǎng),這表明了數(shù)據(jù)中心變得更加先進(jìn),或者變得規(guī)模更加龐大。
除了興建數(shù)據(jù)中心外,亞馬遜還一直在全球各地慎重選擇一大批邊緣位置。業(yè)界最近猜測(cè)德國(guó)很可能成為下一個(gè)AWS區(qū)域和建有相應(yīng)數(shù)據(jù)中心的國(guó)家,那是由于德國(guó)的數(shù)據(jù)保護(hù)法律很?chē)?yán)格。
原文鏈接:http://www.zdnet.co.uk/news/cloud/2012/06/07/how-amazon-exposed-its-guts-the-history-of-awss-ec2-40155310/