颶風(fēng)桑迪：曼哈頓數(shù)據(jù)中心的災(zāi)難應(yīng)急方案
譯文【51CTO專稿】在曼哈頓下城區(qū)，颶風(fēng)的影響令電梯無法正常工作，Peer 1 Hosting公司的管理員們不得不用大桶為位于18樓的柴油發(fā)電機補充燃料。而在新澤西州，SunGard公司則緊急規(guī)劃燃油車行進路線，避免車輛為洪水所困。
紐約城嚴陣以待，中心商業(yè)區(qū)曼哈頓的證券交易所門口擺滿了沙袋
災(zāi)備規(guī)劃已經(jīng)被公認為數(shù)據(jù)中心運維工作中的***實踐之一，但颶風(fēng)桑迪用自己的強大的威力證明，自然災(zāi)害一旦出現(xiàn)，管理人員意料之外的情況總會不請自來。在這個時候，固有災(zāi)難恢復(fù)計劃很可能暴露出諸多弊端，這就需要管理者即興發(fā)揮、針對具體情況迅速做出反應(yīng)。
即使是SunGard公司這樣一家專門從事災(zāi)難恢復(fù)工作、有著豐富經(jīng)驗的企業(yè)同樣在新澤西迦勒斯大遇上了麻煩。那里河堤崩潰、附近的三家數(shù)據(jù)中心受到嚴重影響。他們在現(xiàn)場搭建起架空地板，希望能憑借這一丁點高度上的優(yōu)勢避免洪水在漫入停車場之后觸及數(shù)據(jù)中心設(shè)施。問題還不僅如此，為備用發(fā)電機運輸燃料的車隊同樣舉步維艱。正所謂禍不單行，接踵而至的打擊令管理人員一籌莫展。
位于曼哈頓低處百老匯街75號附近的Peer 1基礎(chǔ)設(shè)施處境尷尬，管理人員們組成的救災(zāi)小隊憑借健壯的體魄與堅強的意識，把一個個五加侖容量裝滿柴油的燃料桶從地下停車場運送到17樓——這堪稱一項壯舉，理應(yīng)獲得由市長辦公室頒發(fā)的應(yīng)變能力獎。數(shù)據(jù)中心后備柴油發(fā)電機位于18樓，源源不斷供往17樓日常供應(yīng)油箱的燃料被泵至上層，保證了服務(wù)的正常運作。
Peer 1 Hosting公司董事長兼CEO Sabio Banducci指出，他的公司不得不在“大廳積水達四英尺深”的情況下停止辦公，積水甚至一路下滲、影響到了地下室以及正在修建當中的燃料輸送系統(tǒng)。本來能夠在颶風(fēng)侵襲下發(fā)揮巨大的作用的地下管道就這樣被洪水瞬間擊潰。
75號的建筑工程師們正試圖修建一套后備管道系統(tǒng)，但其傳導(dǎo)壓力不足以將燃油提升到17層樓的高度。Peer 1公司的災(zāi)難恢復(fù)小隊曾經(jīng)在2003年困擾整個曼哈頓地區(qū)的大規(guī)模停電事故中表現(xiàn)出色、成功在逆境中維持了數(shù)據(jù)中心可用性，這一次他們再次迅速做出反應(yīng)，希望通過車載泵等手段解決問題。然而現(xiàn)實令人沮喪，由于公共交通幾近癱瘓、城市街道嚴重堵塞，運輸公司無法及時為Peer 1提供燃料供應(yīng)。眼看日常供應(yīng)油箱里的儲備已經(jīng)不多，停機似乎根本無法避免。
作為Peer 1公司的客戶，網(wǎng)站開發(fā)企業(yè)SquareSpace很快意識到問題的嚴重性，并在***時間通知自家用戶之余，提醒Peer 1稱：全市“燃油與供水都處于短缺狀態(tài)。”該公司于本周二在博客上專門撰寫博文陳述了當時的情況。
Peer 1公司也在周二上午10：45更新了博客狀態(tài)，指出“有計劃實施計劃內(nèi)停機。”好在應(yīng)急小隊的英勇表現(xiàn)終于力挽狂瀾，使得這次颶風(fēng)并未導(dǎo)致任何停機故障。
Peer 1公司的柴油發(fā)電機部署在大樓樓頂，這一方面免去了設(shè)備被雨水淹沒的后顧之憂，卻在另一方面導(dǎo)致工作人員很難為其供應(yīng)燃料。Peer 1數(shù)據(jù)中心經(jīng)理及其團隊決定組織一個“尖刀班”，在電梯無法使用的情況下依靠人力將燃料從樓梯間搬運到油箱所在地。這是一場人與自然之間的艱苦斗爭，他們無法利用任何現(xiàn)有災(zāi)備計劃，只能憑借頭腦與雙手奮力一搏。
數(shù)據(jù)中心工作人員連同其他Peer 1員工及多家分包商組成了25個攻堅團隊，自十月三十號晚到十月三十一號上午一刻不停地為17樓的日常供應(yīng)油箱加注燃料，以確保柴油發(fā)電機的長效運轉(zhuǎn)。而接到“計劃內(nèi)停機通知”的客戶也行動起來，為可能發(fā)生的故障提前做好數(shù)據(jù)保護工作。然而與預(yù)期不同，服務(wù)并未中斷，Peer 1公司不負眾望、在颶風(fēng)桑迪的肆虐下頑強堅持了下來。
“不少客戶都以為停機在所難免，但在得知我們?yōu)榫S持服務(wù)所做出的艱苦努力后，他們也加入到應(yīng)急工作中來，”Banducci告訴我們。
由25人組成的運輸隊在大樓樓梯間隨時待命，將裝有五加侖柴油的大桶逐級向上傳遞。曼哈頓網(wǎng)站開發(fā)企業(yè)SquareSpace公司是率先加入到工作中來的Peer 1客戶，其雇員還把雙方攜手奮戰(zhàn)的照片于本周三發(fā)布在企業(yè)網(wǎng)站上。另一位伸出援手的客戶則是Fog Creek公司，這是一家專門為在線項目管理開發(fā)協(xié)作軟件的企業(yè)，總部位于相隔不遠的百老匯街55號。
在運輸卡車抵達的間歇，員工們將貨廂中的8個15加侖柴油圓桶逐一卸下，并小心倒入擺放在地面高度上的5加侖容器之中。位于18層的發(fā)電機此刻擺出無情的面容，重重疊疊的樓梯考驗著每一位員工的體力與意志。就在這種情況下，三個25人隊有序開拔，開始了漫長甚至充滿折磨的搬運工作。
Banducci不無自嘲地把這次應(yīng)急行動稱為“公司剛剛研制的自發(fā)性健身計劃”——不過參與者必須自愿放棄睡眠。在他的果斷決策下，周三晚間大規(guī)模停電出現(xiàn)時發(fā)電機油箱幾乎處于滿載狀態(tài)，數(shù)據(jù)中心也始終運轉(zhuǎn)如常。雖然大樓底層仍有儲備燃油，但由于缺乏對停機可能性的預(yù)估，管理者們沒能在電力尚未中斷時及時將燃料運送到位。周三中午員工們甚至輕松愉快地花了90分鐘享受午餐。為了避開城市擁堵的交通，其他工作人員步行通過布魯克林橋、給現(xiàn)場同事帶來了餐點。正是由于災(zāi)難恢復(fù)計劃對意外事態(tài)估計不足，Peer 1公司才在一天之內(nèi)從天堂摔進地獄。
但并不是每個人都如此幸運。與Peer 1公司相隔不遠的另一家托管服務(wù)供應(yīng)商Internap公司的故事則完全不同。他們在停電時立即啟用現(xiàn)場發(fā)電機及備用燃料供應(yīng)，“然而洪水持續(xù)不斷、威力驚人，我們的冗余燃油泵與發(fā)電機燃料罐最終進水并引發(fā)失效。系統(tǒng)仍然運行了一段時間，直到上午11：45后備油箱被用光、設(shè)施就此陷入一片黑暗”。該公司在周二發(fā)布的通知中寫道。
Internap公司開發(fā)及運營高級副總裁Steve Orchard在周三上午的報告中稱，百老匯街75號的設(shè)施在燃油系統(tǒng)與發(fā)電機恢復(fù)工作后已經(jīng)能夠正常運行?？蛻粝到y(tǒng)再次上線，這時管理者手中已經(jīng)擁有足以應(yīng)付40小時使用的柴油與運輸卡車資源，他寫道。
Internap公司的另一套設(shè)施則位于地勢更低的曼哈頓第八街111號，其屋頂也部署了發(fā)電機。然而由于“建筑燃料供應(yīng)系統(tǒng)發(fā)生故障”且“泵機無法為屋頂?shù)陌l(fā)電機提供柴油，工作人員不得不關(guān)閉了持續(xù)供電系統(tǒng)。因此備用電池耗盡之后，我們的基礎(chǔ)設(shè)施也失去了動力，”Orchard在Internap公司的博客狀態(tài)中解釋稱。
正因為如此，使用Internap公司第八街設(shè)施作為互聯(lián)網(wǎng)接入點的客戶在電力恢復(fù)之前徹底喪失了業(yè)務(wù)能力。“我們一直在努力與供應(yīng)商協(xié)調(diào)，嘗試盡快恢復(fù)現(xiàn)場設(shè)施的工作狀態(tài)，”他在周三的博客中寫道。
桑迪過后 緊張忙碌的救援人員
當時建筑中燃料管道與泵機的狀態(tài)我們尚不清楚，不過估計這些在短期測試時運轉(zhuǎn)正常的系統(tǒng)發(fā)生了很多小問題——管道中存在大量碎片、堵塞了過濾器或是某個機械零件失靈導(dǎo)致接下來24小時中系統(tǒng)始終無法復(fù)原。雖然新建樓宇普遍部署了能夠報告系統(tǒng)功能、幫助管理者發(fā)現(xiàn)薄弱環(huán)節(jié)的工具，但想在實際應(yīng)用前準確預(yù)測此類問題仍然非常困難。即便如此，經(jīng)驗豐富的建筑工程師仍然應(yīng)該時刻關(guān)注供給系統(tǒng)、通過分析與反饋確定潛在風(fēng)險。無論出于何種原因，最終的結(jié)果證明了第八街111號燃料系統(tǒng)在災(zāi)難發(fā)生時的無力，這一點值得建筑工程師們加以深思。
不過即使是SunGard公司也承認，不可預(yù)見的事件總會發(fā)生，并最終破壞看似盡善盡美的災(zāi)難恢復(fù)規(guī)劃。Nick Magliato指出，他和他的應(yīng)急小組兵分兩路，分別在現(xiàn)場與大樓底層通過步話機進行溝通，討論這場規(guī)模完全超越往年同季颶風(fēng)所引發(fā)的洪水可能從哪里侵入。
周一晚上，風(fēng)暴帶來的降水超過排水溝11英尺之高，不過此時的水量還處于大壩能夠控制的范圍之內(nèi)。SunGard公司地面團隊發(fā)現(xiàn)雨水已經(jīng)開始溢出，并慢慢向SunGard公司三個位于工業(yè)園區(qū)內(nèi)的數(shù)據(jù)中心蔓延，但積水高度盡為一兩英寸，上漲速度也還不算快。當時工作人員還抱有僥幸心理，希望這次由災(zāi)害引發(fā)的洪水能夠靜靜地來、悄悄地走。
然而天不遂人愿，來自地面小隊的信息顯示，短短十分鐘洪水深度已經(jīng)上升了一點五英尺——來自數(shù)據(jù)中心的標尺測量結(jié)果令人揪心。大壩出現(xiàn)裂縫，水流逐漸涌出。面對這樣的狀況，Magliato意識到“按照這樣的速度，用不了太長時間整個地方就會被洪水徹底淹沒。”
觀察員根據(jù)遠距離測量結(jié)果向數(shù)據(jù)中心發(fā)出警報，提醒管理者盡快組織應(yīng)對措施。不過老天爺留給大家的時間并不多，僅在警報發(fā)出之后不久，工業(yè)園的停車場邊界就出現(xiàn)了大量積水，園區(qū)內(nèi)部也很快慘遭侵襲。Magliato仍然在努力指揮工作人員把數(shù)據(jù)中心設(shè)備搬運到設(shè)施中的活動地板上，希望能夠依靠這一點點高度差優(yōu)勢與洪水對抗。然而每個忙碌在現(xiàn)場的人都知道水位還將增加六到七英尺，無論如何掙扎設(shè)備最終都必然受到損害——因為根據(jù)災(zāi)備規(guī)劃，沒人能想到洪水能達到現(xiàn)在的規(guī)模。
盡管如此，SunGard公司的應(yīng)急小隊還是發(fā)現(xiàn)自己所做的搶救工作與保護目標越來越南轅北轍——迦勒斯大當?shù)貜奈从龅竭^此等降雨，所以預(yù)先制訂的措施幾乎瞬間失效。當時企業(yè)整個管理團隊都投身其中，甚至全部董事會成員都接到了緊急通知。公司向客戶發(fā)出警示，并以電話會議的形式隨時通報***情況——在嚴峻的形勢下，客戶得以準確了解現(xiàn)場事態(tài)、實時水位，并以此為依據(jù)時刻準備迅速轉(zhuǎn)移或關(guān)閉程序。
有鑒于此，Magliato在接受采訪時指出，他意識到了自己在制定災(zāi)備恢復(fù)規(guī)劃時的疏忽與大意。舉例來說，原本企業(yè)打算利用燃料驅(qū)動后備發(fā)電機并以此為設(shè)施供電。但當Magliato查閱地圖時，發(fā)現(xiàn)燃料運輸車的必經(jīng)之路正好毗鄰大堤，而當時大堤側(cè)畔的水位達到了全市最深。在千頭萬緒的復(fù)雜情況下，他和員工開始選擇替代路線，最終確?？ㄜ嚸庥谙ɑ鹪诘貏莸屯莸穆房凇⒊晒淼綌?shù)據(jù)中心門口。不久之后，兩輛具備7500加侖載重能力的卡車終于突破重圍，為多變的未來儲備下寶貴的40000加侖燃料。
按照規(guī)劃，“洪水終將隨時間退去，所以其間的燃料補充就成了重中之重，”然而大自然根本就沒按套路出牌。“我們不得不即興發(fā)揮，在地圖上挑選出一條相對安全的通路，”Magliato不無遺憾地表示。
沿海地區(qū)每天都要經(jīng)歷兩次漲潮過程，而且每一次的時間都不盡相同——通常漲潮持續(xù)一個小時，并很快回復(fù)到平潮狀態(tài)。對于Magliato和他的團隊而言，“這是一次久久不愿退去的漲潮過程。我們一直到周四中午都沒能盼到漲潮結(jié)束，”他指出。
就整體而言，災(zāi)難規(guī)劃還是按照預(yù)定效果穩(wěn)步執(zhí)行，而SunGard公司保護下的基礎(chǔ)設(shè)施也沒有造成停機，保障了客戶的正常權(quán)益。雖然結(jié)果還算差強人意，但卻沒有哪一位敢站出來，聲稱整套規(guī)劃已經(jīng)涵蓋了可能出現(xiàn)的任何挑戰(zhàn)、或者說其中不需要任何即興發(fā)揮的情況。正所謂知己知彼才能百戰(zhàn)不殆，希望這次颶風(fēng)桑迪的肆虐能給每一位管理者帶來啟示。
原文：Hurricane Sandy: Disaster Recovery Improv Tales
【編輯推薦】
