Hotmail系統(tǒng)故障:都是自動(dòng)化腳本惹的禍
上周微軟曾承認(rèn)Windows Live Hotmail出現(xiàn)故障,導(dǎo)致用戶郵箱被完全清空并且聲稱該問(wèn)題已經(jīng)解決。日前,微軟詳細(xì)解釋了Hotmail故障的始末,并100%恢復(fù)了丟失數(shù)據(jù)。微軟Hotmail團(tuán)隊(duì)Mike Schackwitz解釋說(shuō):“Hotmail服務(wù)器健康度監(jiān)控中有一種方式是通過(guò)自動(dòng)化測(cè)試進(jìn)行的。我們創(chuàng)建一些不同配置的帳號(hào),然后使用自動(dòng)化測(cè)試進(jìn)行記錄這些帳號(hào),讓它們模擬正常用戶活動(dòng)和行為,系統(tǒng)會(huì)在遇到錯(cuò)誤時(shí)告警。我們通過(guò)腳本批量創(chuàng)建和刪除這些測(cè)試帳號(hào),而刪除測(cè)試帳號(hào)的方式是從一組將用戶和新郵件指向正確郵箱地址的目錄服務(wù)器中刪除它的記錄。
在12月30日,我們的一個(gè)腳本代碼意外地將部分真實(shí)用戶的帳號(hào)與測(cè)試帳號(hào)一并從目錄服務(wù)器上刪除了。但那些受影響用戶的郵件和文件夾實(shí)際上是沒(méi)有 被刪除的,只是他們指向正確郵箱的位置的記錄被刪除了。當(dāng)這些用戶登錄后,系統(tǒng)(因找不到郵箱位置)自動(dòng)為他們創(chuàng)建了新的郵箱,而新的存儲(chǔ)服務(wù)器是不包括 他們之前的郵件和文件夾的。這也就是為什么這些帳號(hào)收到了‘歡迎使用 Hotmail’的初始郵件。”
隨后的1月1日,不斷有用戶向微軟報(bào)告這個(gè)問(wèn)題,微軟因此開始重視該問(wèn)題,并且與當(dāng)晚查清了故障根源。“我們***步是恢復(fù)這些用戶在目錄服務(wù)器上的 記錄項(xiàng)(1月2日早晨),然后又合并了故障發(fā)生之初至1月1日早晨之間的新郵件與舊的郵件。這個(gè)過(guò)程需要多次執(zhí)行才能獲得所有的帳號(hào)和對(duì)應(yīng)的郵件,對(duì)于一 些用戶來(lái)說(shuō),直到5日才完全恢復(fù)。我們?cè)? 月2日完成了16035個(gè)帳號(hào)的合并,并在5日完成了剩下1320名用戶的合并。”
編輯提醒:這件事情再次說(shuō)明了,運(yùn)維工程師們對(duì)線上環(huán)境的腳本一定要慎之又慎!
【編輯推薦】