在過去六個月當中，AWS方面已經(jīng)兩次針對Xen安全漏洞對其云服務(wù)器進行了重啟。

根據(jù)Gartner公司去年作出的估算，Amazon Web Services的總體規(guī)模已經(jīng)達到其后十四家競爭對手基礎(chǔ)設(shè)施規(guī)?？偤偷奈灞丁ｍ槑б惶?，這些設(shè)備全部運行有開源Xen虛擬機管理程序的一套定制化版本，這意味著一旦這部分Xen代碼存在安全漏洞，AWS將因此受到巨大影響。

在過去六個月當中，AWS方面已經(jīng)兩次針對Xen安全漏洞對其Elastic Compute Cloud(簡稱EC2)服務(wù)器進行了重啟。2014年9月，約有10% EC2實例經(jīng)歷了重啟，而就在本周AWS再次宣布其總體實例當中約有0.1%需要安裝安全補丁并進行重啟。雖然這一比例聽起來并不算高，但從AWS的運營規(guī)模角度看，其涉及的實際設(shè)備數(shù)字仍然相當龐大。

在發(fā)現(xiàn)Xen代碼存在安全漏洞后，AWS內(nèi)部受到了怎樣的影響?

[[129310]]

Steve Schmidt

答案是Steve Schmidt同志要忙上一陣子了(這并不是說他尚未對此類情況做好準備)。Schmidt是AWS安全工程技術(shù)副總裁兼***信息安全官(簡稱CISO)——他還擁有效力于FBI擔任部門主管的經(jīng)歷。目前他主要負責AWS的云安全工作。去年11月，我們曾經(jīng)在AWS re: Invent大會上與Schmidt進行了一次面對面交流，并請他談?wù)勗谌ツ?月那場史無前例的大重啟事件中、AWS內(nèi)部的云運營工作經(jīng)歷了哪些變動。

漏洞驗證

AWS可謂Xen代碼的使用大戶，因此該公司各位高層也是開源社區(qū)當中***了解到Xen存在安全漏洞問題的群體。狀況出現(xiàn)后，Schmidt及其團隊的***項任務(wù)就是檢查該問題是否會對AWS造成影響。該公司已經(jīng)搶在正式公開之前，就通過其定期檢查發(fā)現(xiàn)了存在于Xen當中的各項安全漏洞。這樣一來，他們就能夠提前驗證相關(guān)漏洞是否會影響到AWS并據(jù)此作出補丁開發(fā)與安裝決策。

“Xen是個規(guī)模龐大的軟件包，其中有很多部分與AWS的實際運行完全無關(guān)，”Schmidt指出。

事實上大部分Xen安全漏洞并不會對AWS造成影響，這是因為該公司已經(jīng)開發(fā)出了自己的一套Xen定制化版本。AWS方面從中移除了全部不必要的Xen功能，這一方面是為了保證定制化開源代碼能夠在該公司的獨特用例當中發(fā)揮***性能表現(xiàn)，同時也是為了盡可能降低其存在安全漏洞的可能性。

不過AWS還作出了另一項決策：不單單使用一種Xen版本，而是引入多套版本方案。

“我們刻意在不同服務(wù)之間構(gòu)建起差異化的基礎(chǔ)設(shè)施方案，”他指出。“我們當然不希望一切都保持一致，因為如果某個問題會對設(shè)施造成影響，那么單一版本機制意味著其將影響到一切。”AWS在多種不同服務(wù)及地區(qū)之間采用不同的定制化Xen版本，而且每套版本所使用的都并非普通開源代碼。

內(nèi)部攻堅

如果AWS云受到了影響，那么該公司則選擇出去出擊、實施技術(shù)攻堅。

“我們構(gòu)建了一套測試場景，以確定我們能否觸發(fā)該安全漏洞，”Schmidt表示。在此之后，他們還開展了廣泛的測試工作，旨在了解是否已經(jīng)有惡意人士利用該漏洞侵襲AWS。

與此同時，另一個安全技術(shù)團隊則已經(jīng)完成了補丁的構(gòu)建工作并在AWS所運行的多種Xen版本之上進行測試，希望借此滿足其對安全性及性能水平的需要。

有時候安裝補丁要求硬件設(shè)備進行重新啟動，正如過去半年中曾兩次出現(xiàn)的情況一樣。而且與普通PC機類似，某些更新及補丁在安裝后需要重啟、有一些則不需要。AWS所采用的大多數(shù)補丁都不需要重啟; AWS已經(jīng)對其系統(tǒng)進行了結(jié)構(gòu)調(diào)整，旨在盡可能降低由補丁安裝帶來的服務(wù)重啟次數(shù)。

“我們投入了大量精力以盡可能避免重啟，”Schmidt指出。如果Schmidt和他的團隊發(fā)現(xiàn)無需重啟進行安裝“在技術(shù)上不可行”，那么該公司就會在實施重啟之前向客戶發(fā)出通知。

可怕的重啟流程

“其實思路本身非常簡單，”Schmidt在談到去年9月的大規(guī)模重啟時表示。“我們找不到一種能夠無需重啟而又實現(xiàn)服務(wù)補丁安裝的方式，因此我們選擇進行重啟。”

這種情況下的復(fù)雜之處在于，AWS方面必須如實通知客戶其部分EC2實例需要進行重啟，但他們卻又無法坦率地公布理由。AWS絕不能以公開方式宣揚安全漏洞的存在，并將其告知自家或者其他Xen用戶。

不過客戶應(yīng)當在此時段內(nèi)隨時做好迎接重啟的準備，此外用戶們還需要采用一系列措施以確保自有系統(tǒng)不會受到重啟或者虛擬機故障的影響。方案之一在于將其系統(tǒng)設(shè)計為無狀態(tài)方案，這樣一旦出現(xiàn)重啟或者虛擬機故障，那么應(yīng)用程序會以非破壞性的故障轉(zhuǎn)移方式運行在其它正常虛擬機環(huán)境之下。

去年9月，我們曾經(jīng)就此采訪過一系列AWS用戶，他們大多表示此次重啟并未引必嚴重問題。針對云環(huán)境開發(fā)的應(yīng)用程序往往自帶故障彈性能力，不過傳統(tǒng)應(yīng)用程序的遷移過程卻有可能帶來更多麻煩。

Schmidt指出，AWS一直在努力改進其服務(wù)效果：無論是在技術(shù)方面還是在避免虛擬機重啟方面。此外，該公司也希望能讓客戶及時獲取到相關(guān)消息。相關(guān)努力包括贊助學術(shù)研究以及如何利用研究成果幫助Xen服務(wù)器在無需重啟的前提下完成熱修復(fù)。

原文標題：What happens inside Amazon when there’s a Xen vulnerability