為什么說Amazon的James Hamilton可遇不可求的?
James Hamilton曾蘭博基尼和法拉利的專業(yè)汽修工,如今Amazon數(shù)據(jù)中心帝國的“國王”。曾效力于IBM和微軟。Wired作者Robert McMillan最近帶來了一篇關(guān)于Hamilton的文章,稱其為文藝復(fù)興式黑客,黑掉生活、黑掉一切,然后尋求煥然一新。下面看看IBM、微軟以及Amazon都看上了這個“汽修哥”的何處。
以下為譯文:
Hamilton在自己的Dirona號上
2011年8月的一個雨天的星期一,弗吉尼亞州北部一個千萬瓦變壓器發(fā)生爆炸,爆炸在電網(wǎng)中造成一個龐大的突增電壓。這場風暴襲擊了Amazon維吉尼亞州Ashburn的一個數(shù)據(jù)中心,擊穿了設(shè)備的主電源;大約15分鐘后,James Hamilton駕車抵達。
而Hamilton的到達無疑是個意外的驚喜,Hamilton是個杰出的工程師,負責管理Amazon數(shù)據(jù)中心日益復(fù)雜的設(shè)計。AWS ——這個不亞于革命性的在線服務(wù)集合,用戶包括Netflix、Pinterest、Dropbox等公司。Ashburn的設(shè)備是AWS數(shù)據(jù)中心帝國的一部分。一旦服務(wù)中斷,類似NetFlix這些服務(wù)都會存在中斷的危險,而Hamilton就是負責保證宕機不會發(fā)生的人。
當Hamilton和他的團隊抵達時,備用發(fā)電機已經(jīng)啟動;然而基于某些原因,電子并不能成功的送達數(shù)據(jù)中心內(nèi)部的服務(wù)器。而在Hamilton到達之前,這些服務(wù)器已經(jīng)消耗了電池系統(tǒng)的大部分電力;介于只是斷電時的備用電池,其儲電量并不是很高。Hamilton在Amazon最近的拉斯維加斯會議上發(fā)表講話說:“我們剛好在服務(wù)開始宕機之前抵達,非常煩。”
“非常煩”還是一個婉轉(zhuǎn)的說法。然而Hamilton的工作是冷靜的面對這種情況,并且指出在以后該如何避免。他的團隊最終認識到,設(shè)施中的備份電力開關(guān)設(shè)計并不符合Amazon;而在Amazon,這種宕機時間是不能被容忍的。現(xiàn)在Amazon已經(jīng)使用了自己的PLC電力裝置。Hamilton在拉斯維加斯的會議上解釋道:“我們現(xiàn)在擁有多家開關(guān)裝置供應(yīng)商,我們已經(jīng)對所有的PLC程序設(shè)計進行了仔細檢查,并且做了編碼復(fù)核。”
Amazon的EC2和S3網(wǎng)絡(luò)服務(wù)于2006問世,它們改變了計算業(yè)務(wù)。而大服務(wù)器制造商(比如Sun Microsystems)曾經(jīng)企圖使用類公用事業(yè)公司出售電力和水的方式去重鑄這個行業(yè),但是出乎所有人的意料,Amazon這個賣書和光盤零售商,建立起市場所需要的一套服務(wù)。7年后Amazon已經(jīng)運轉(zhuǎn)幾十億美元的云計算業(yè)務(wù) —— 大約占整個互聯(lián)網(wǎng)份額的1%,然后Rackspace、HP等公司紛紛效仿試圖復(fù)制它的成功。
然而這個巨大的成功同樣帶來一系列的計算問題,而James Hamilton就是解決類似問題的一個關(guān)鍵人物,尋求重鑄云時代數(shù)據(jù)中心的方法。就像另外兩個云巨頭微軟和Google一樣,Amazon對其數(shù)據(jù)中心技術(shù)也是相當?shù)谋C埽阉鳛樽钪匾纳虡I(yè)機密;然而 Hamilton卻反其道而行,他是Amazon為數(shù)不多被允許在博客中發(fā)表優(yōu)秀想法的員工之一;而這個50多歲的加拿大人已經(jīng)成為整個行業(yè)分布系統(tǒng)領(lǐng)域名副其實的專家,幫助Amazon建立為全球上萬公司提供服務(wù)的分布式系統(tǒng)。
Netflix(Amazon最高調(diào)的用戶)云架構(gòu)總監(jiān)Adrian Cockcroft說道:“他確實是個內(nèi)行,已經(jīng)制造了許多有趣的東西。”
對Netflix來說,Amazon的服務(wù)是完美的。Netflix在星期天晚上的訪問量將達到峰值,而星期一則是低谷。通過Amazon,Netflix可以在在最需要的時候獲得足夠的資源,而在不需要的時候可以拋棄它們。但是Cockcroft和公司必須堅信Amazon可以承擔它的主要操作,并且一直不會中斷,同樣開銷必須比自己做來的低。這就是Hamilton的用武之地!
從法拉利到數(shù)據(jù)庫
我們于2012年11月(Asburn數(shù)據(jù)中心災(zāi)難發(fā)表講話的前一天)在拉斯維加斯遇見Hamilton,他和他的妻子剛剛完成從舊金山到夏威夷的11天海上旅行。如照片所見,Hamilton并不是一個典型的數(shù)據(jù)中心工程師;他還是一個典型的船夫 —— 甚至在船上居住,他曾今還是一個蘭博基尼和法拉利的專業(yè)汽修工。
在80年代,他從汽車轉(zhuǎn)至數(shù)據(jù)庫,開始在IBM的DB2和微軟的SQL Server做一些創(chuàng)意設(shè)計。NetFlix的Adrian Cockroff在加利福尼亞Asilomar的高性能系統(tǒng)作坊(High Performance Transaction Systems Workshop)會議上遇見了Hamilton,這是極客界的Bohemaian Gorve,在那里你可以找到可以和你暢談數(shù)據(jù)庫的人。會議只有接到邀請函的人才能出席,聯(lián)合創(chuàng)始人為Jim Gray —— 數(shù)據(jù)中心行業(yè)的傳奇性專家,而在之后業(yè)界也經(jīng)常把他與Hamiltion相提并論。Gray和Hamilton對大海有著同樣的愛好,而不幸的是,Gray于6年前在加利福尼亞北部的海面失蹤;在Hamilton去微軟之前,他們曾共事于IBM的數(shù)據(jù)中心。
Hamilton在微軟效力時,擔任Data Center Futures的研究團隊中擔任架構(gòu)師。在2009年他進入了Amazon負責類似的工作,然而其中的細節(jié)至今仍是秘密,因為Amazon和微軟都不愿公布其數(shù)據(jù)中心秘密。當我們詢問微軟數(shù)據(jù)中心部門主管David Gauthier他是否認識Hamilton時,他回答:“是的,曾今與Hamilton共事了很長時間,直到他離開了微軟。”然而他拒絕透露更多相關(guān)事宜。
然而我們還能間或的聽到Hamilton在改善數(shù)據(jù)中心:當漢Hamilton效力微軟時,曾有報道稱其為微軟發(fā)展模塊化(使用自定制容器將服務(wù)器更好的組織在一起)數(shù)據(jù)中心背后的驅(qū)動力之一。而在一次與Hamilton共飲時,他證實:為了更好的節(jié)省成本,Amazon正在設(shè)計自己的服務(wù)器。
在他的博客中,Hamilton展示了他設(shè)計數(shù)據(jù)中心方法的冰山一角 —— 比如說他負責的巨大柴油引擎。他曾今還支持在服務(wù)器中使用類手機的超低功耗芯片,而在這個月早期Orleans Superdome第47界超級碗進行到一半停電時,他對如何阻止類似事情發(fā)生做一份詳細的分析。
通過計算機科學(xué)教授Lazowska了解到:而在過去幾年里,Hamilton一直在華盛頓大學(xué)發(fā)表客座演講,內(nèi)容涉及到數(shù)據(jù)中心設(shè)計和效率。Lazowska還強調(diào)這些只是他工作的一部分,他于以前的Gray同樣的“廣闊和深遠”。
文藝復(fù)興式的黑客
大約四年前,James夫婦賣掉了自己的房子、汽車和大多數(shù)身外之物,搬到了Dirona號?,F(xiàn)在,當其停泊在西雅圖時,他會騎自行車去Amazon總部,使用Amazon Prime,在當?shù)氐腢PS處收郵件。然而他不會一直滯留在西雅圖,有時他會駕船開往夏威夷,而后在那里工作。
簡而言之,他黑了自己的生活。他會對生活方式進行重新思考,然后煥然一新。Hamilton是那種企圖黑掉一切的人,這也是Amazon迫切需要他的原因。
Amazon已經(jīng)在全球建立了諸多數(shù)據(jù)中心,從巴西到新加坡到愛爾蘭。Amazon2011年在科技和內(nèi)容領(lǐng)域上的投資達到45億美元;雖然Amazon并未透露該公司在數(shù)據(jù)中心業(yè)務(wù)上的開銷,然而在2012年新增的16億美元支出中大部分被放在了服務(wù)器上。由于涉及數(shù)十億美元的龐大資金,Amazon需要有人能維持數(shù)據(jù)中心的運作,還要盡可能高效的運作。
Ed Lazowska稱這種人才是可遇而不可求的。“即使是在微軟、Amazon和Google這樣的大公司中,也只有少數(shù)人真正明白你需要聚焦何處。如果你把目標放在盡可能以高的成本效益來運營數(shù)據(jù)中心,只有他們知道需要做些什么。”
James Hamilton就是其中之一!