微軟藍(lán)屏全球停擺,這個(gè)鍋是ta的?一次更新釀成全球?yàn)?zāi)難
活久見(jiàn)!
只因一次更新,Windows集體藍(lán)屏,全世界直接「斷片」了——
周五大禮包來(lái)了,打工人狂喜
HaveIBeenPwned網(wǎng)絡(luò)安全研究員Troy Hunt表示:這將是史上最大規(guī)模的IT故障
大批金融機(jī)構(gòu)、電視廣播公司、醫(yī)療機(jī)構(gòu)、支付系統(tǒng)原地癱瘓,甚至連便利店和售貨機(jī)都「停擺」了。
在德克薩斯州的一家星巴克,系統(tǒng)全面報(bào)錯(cuò),咖啡都點(diǎn)不了了
在英國(guó)的醫(yī)院,醫(yī)生無(wú)法訪(fǎng)問(wèn)患者記錄和預(yù)約系統(tǒng),只能在紙上記錄患者病情、手寫(xiě)處方。
Sky News和BBC也暫時(shí)停播。
同時(shí),歐洲、澳大利亞和印度的銀行客戶(hù)也發(fā)現(xiàn):自己的在線(xiàn)賬戶(hù)登不上了。
而要說(shuō)受到打擊最嚴(yán)重的,當(dāng)屬航空公司了。
數(shù)據(jù)顯示,全球有超過(guò)4000架航班被取消。
對(duì)美國(guó)空中交通的影響
在美國(guó),United、Delta和American等航空公司被迫停飛和延誤,大批乘客滯留在機(jī)場(chǎng)。
美國(guó)紐約的拉瓜迪亞機(jī)場(chǎng),人們正焦急地等待航班
菲律賓的尼諾·阿基諾國(guó)際機(jī)場(chǎng)摩肩接踵
西西里島巴勒莫機(jī)場(chǎng),乘客直接睡倒在地
印度網(wǎng)友則拿到了人生中第一張手寫(xiě)登機(jī)牌
全球一片混亂之際,「始作俑者」被揪了出來(lái)——它就是網(wǎng)絡(luò)安全巨頭CrowdStrike。
微軟:我不背這個(gè)鍋
網(wǎng)友玩梗系列
實(shí)際上,國(guó)外存在著大量運(yùn)行CrowdStrike軟件的計(jì)算機(jī)系統(tǒng)——
這些設(shè)備包括雜貨店的收銀機(jī)、機(jī)場(chǎng)和火車(chē)站的出發(fā)信息板、學(xué)校的計(jì)算機(jī)、工作用的筆記本電腦和臺(tái)式電腦、機(jī)場(chǎng)的值機(jī)系統(tǒng)、航空公司的票務(wù)和調(diào)度平臺(tái)、醫(yī)療網(wǎng)絡(luò)等等。
因此,CrowdStrike的故障會(huì)在全球范圍內(nèi)以各種方式造成混亂。
闖出如此大禍之后,「罪魁禍?zhǔn)住笴rowdStrike的股票在收盤(pán)時(shí)已暴跌11%,市值蒸發(fā)了近100億美元。
對(duì)它來(lái)說(shuō),這是2022年以來(lái)最糟糕的一天。
外媒銳評(píng):一家本應(yīng)防止故障的公司,自己卻造成了全球最大的故障
對(duì)此,AI大牛Karpathy一針見(jiàn)血地提出了個(gè)中關(guān)鍵:我們?cè)撊绾芜M(jìn)行設(shè)計(jì)才能防范這種風(fēng)險(xiǎn)?
全球大崩潰
在機(jī)場(chǎng),人們焦急地等待著系統(tǒng)恢復(fù)。
超市也只能用現(xiàn)金付款了。
時(shí)代廣場(chǎng)的廣告牌,變成了一片空白。
聯(lián)合太平洋公司的部分區(qū)域受到影響,團(tuán)隊(duì)和調(diào)度員之間的通信一度中斷。
聯(lián)邦快遞表示,公司經(jīng)歷了嚴(yán)重故障,美國(guó)和歐洲的一些UPS計(jì)算機(jī)系統(tǒng)都受到影響。
在麻省布里格姆總醫(yī)院,所有非緊急的手術(shù)、醫(yī)療就診都被臨時(shí)取消。
英國(guó)吉爾福德皇家薩里醫(yī)院直接宣布發(fā)生「嚴(yán)重事件」,醫(yī)院的放射治療IT系統(tǒng)Varian等都因此宕機(jī)。
英國(guó)國(guó)家衛(wèi)生服務(wù)中心表示,大多數(shù)全科醫(yī)生辦公室都出現(xiàn)了服務(wù)中斷。
AWS的客戶(hù)發(fā)現(xiàn),一些使用了CrowdStrike的Windows Instances、Windows Workspaces和Appstream應(yīng)用,都遇到了問(wèn)題。
在亞馬遜倉(cāng)庫(kù),員工用來(lái)管理日程和提交休假申請(qǐng)的A to Z程序直接癱瘓了??梢蕴崆爸∈杖氲腁nytime Pay內(nèi)部服務(wù),也無(wú)法使用。
亞馬遜的貨運(yùn)業(yè)務(wù)也出中斷了。使用Relay平臺(tái)的卡車(chē)司機(jī),則無(wú)法在倉(cāng)庫(kù)提貨。
特斯拉部分工廠(chǎng)的生產(chǎn)線(xiàn),也被迫停止了。服務(wù)器、筆記本電腦和制造設(shè)備,都發(fā)生了故障。
在南非的銀行,服務(wù)也一度中斷。
總之,銀行、媒體、機(jī)場(chǎng)……全球范圍內(nèi)任何使用CrowdStrike的系統(tǒng)都逃不過(guò)。
甚至,此事還驚動(dòng)了美國(guó)總統(tǒng)和國(guó)土安全部。
如何修復(fù)
目前,官方已經(jīng)給出了兩個(gè)推薦的解決方案。
其中一個(gè)是將系統(tǒng)回滾至0409 UTC前創(chuàng)建的snapshot,而另一個(gè)則是利用管理員權(quán)限進(jìn)行修復(fù):
1. 將Windows啟動(dòng)到安全模式或Windows恢復(fù)環(huán)境
2. 進(jìn)入C:\Windows\System32\drivers\CrowdStrike目錄
3. 找到匹配「C-00000291*.sys」的文件并刪除
4. 正常啟動(dòng)電腦
聽(tīng)起來(lái)很簡(jiǎn)單,是吧?
然而,由于設(shè)備已經(jīng)斷聯(lián),這些操作都只能通過(guò)手動(dòng)執(zhí)行。
這意味著IT團(tuán)隊(duì)不僅需要在現(xiàn)實(shí)中找到受影響的遠(yuǎn)程電腦,而且還需要找到對(duì)應(yīng)的Bitlocker恢復(fù)密鑰。(如果存在主機(jī)里,那就直接死鎖了)
那么問(wèn)題來(lái)了,那些部署在偏遠(yuǎn)地區(qū),或者各種「犄角旮旯」的設(shè)備怎么辦?
詳見(jiàn)官方說(shuō)明:https://www.crowdstrike.com/blog/statement-on-falcon-content-update-for-windows-hosts/
挪威網(wǎng)絡(luò)安全公司Promon的首席技術(shù)官Tom Lysemose Hansen表示,持續(xù)的全球IT故障可能并沒(méi)有很簡(jiǎn)單的解決辦法。
罪魁禍?zhǔn)资钦l(shuí)?
CrowdStrike于2011年成立,總部位于德克薩斯州奧斯汀,主營(yíng)業(yè)務(wù)是為企業(yè)提供基于云的企業(yè)安全解決方案。
CrowdStrike于2019年6月12日在納斯達(dá)克首次公開(kāi)募股
其中,一款名為Falcon的工具,可以通過(guò)識(shí)別異常行為和漏洞,來(lái)保護(hù)計(jì)算機(jī)系統(tǒng)免受惡意軟件等威脅。而它正是周五全球大崩潰的原因。
CrowdStrike CEO George Kurtz
截至1月,CrowdStrike的業(yè)務(wù)已經(jīng)遍及170多個(gè)國(guó)家,擁有29000個(gè)客戶(hù),其中500多家位列財(cái)富1000強(qiáng)。
世界上最大的科技公司如谷歌、亞馬遜和英特爾,零售巨頭Target,頂級(jí)F1車(chē)隊(duì)梅賽德斯AMG,甚至美國(guó)50個(gè)州中的43個(gè),都是它的客戶(hù)。
隊(duì)服上印著贊助商CrowdStrike巨大logo的梅賽德斯,果然的在當(dāng)天的FP1中全部藍(lán)屏了
在幫公司發(fā)現(xiàn)和防止安全漏洞方面上,CrowdStrike發(fā)揮著重要作用,自稱(chēng)擁有「最快的平均時(shí)間」來(lái)檢測(cè)威脅。
自2011年成立以來(lái),CrowdStrike已幫助調(diào)查了多起重大網(wǎng)絡(luò)攻擊,例如2014年索尼影業(yè)黑客攻擊,以及2015年和2016年俄羅斯對(duì)民主黨全國(guó)委員會(huì)的網(wǎng)絡(luò)攻擊。
截至周四晚間,CrowdStrike的估值還超過(guò)了830億美元。
CEO:已經(jīng)在修了
對(duì)此,CrowdStrike創(chuàng)始人兼CEO在第一時(shí)間發(fā)文表達(dá)了誠(chéng)摯的道歉,并表示公司已經(jīng)動(dòng)員了所有力量來(lái)幫助客戶(hù)修復(fù)問(wèn)題。
官方通告:https://www.crowdstrike.com/blog/our-statement-on-todays-outage/
George Kurtz極力保證,公司正在「積極與受Windows主機(jī)單一內(nèi)容更新中發(fā)現(xiàn)的缺陷影響的客戶(hù)合作」,并強(qiáng)調(diào)Mac和Linux主機(jī)不會(huì)受到影響。
此外,他提醒客戶(hù)保持警惕,在尋求支持時(shí)一定要和CrowdStrike的官方代表聯(lián)系,因?yàn)椤父?jìng)爭(zhēng)對(duì)手和騙子會(huì)趁機(jī)出動(dòng)」。
在X上,他表示,此次事件并不屬于安全事件或網(wǎng)絡(luò)攻擊,「問(wèn)題已被識(shí)別、隔離,修復(fù)程序已部署」
微軟CEO納德拉也發(fā)帖表示,微軟正在跟CrowdStrike和整個(gè)行業(yè)密切合作,幫客戶(hù)的系統(tǒng)恢復(fù)。
帖子下面出現(xiàn)了我們熟悉的身影
軟件工程師被困機(jī)場(chǎng)
32歲的游戲開(kāi)發(fā)公司CTO Ahmed Al Sharif,有著近20年的軟件工程師生涯。曾是初創(chuàng)公司的創(chuàng)始人,也曾在像EA和Meta這樣的大廠(chǎng)工作過(guò)。
他原計(jì)劃在當(dāng)?shù)貢r(shí)間上午11點(diǎn)從巴塞羅那飛往倫敦希思羅機(jī)場(chǎng)出差。
然而,到了機(jī)場(chǎng)之后,卻驚訝地發(fā)現(xiàn)航班停飛了。
早有跡象
在早上8點(diǎn)出發(fā)前往機(jī)場(chǎng)時(shí),他就已經(jīng)發(fā)現(xiàn)自己無(wú)法登錄網(wǎng)上銀行應(yīng)用程序,登錄基于Outlook的電子郵件時(shí)速度也很慢。但他以為只是酒店的WiFi出了問(wèn)題。
大約在早上8:20到達(dá)機(jī)場(chǎng)時(shí),機(jī)場(chǎng)已經(jīng)擠滿(mǎn)了人。隊(duì)伍非常長(zhǎng)。幾個(gè)值機(jī)柜臺(tái)顯示藍(lán)屏,沒(méi)有人能辦理手續(xù)。
這時(shí),他才意識(shí)到了事件的嚴(yán)重性:
「我不知道該排在哪里,當(dāng)我問(wèn)一位機(jī)場(chǎng)工作人員時(shí),他們告訴我現(xiàn)在排隊(duì)沒(méi)有意義,因?yàn)槠眲?wù)、預(yù)訂和訂位系統(tǒng)都出了問(wèn)題。」
混亂持續(xù)了一天
當(dāng)天,機(jī)場(chǎng)的行李托運(yùn)機(jī)、自動(dòng)售貨機(jī)和大多數(shù)顯示屏都無(wú)法正常工作。
整個(gè)值機(jī)過(guò)程,都是手動(dòng)進(jìn)行的——
在拿到手寫(xiě)的紙質(zhì)機(jī)票之前,必須向工作人員出示電子郵件作為付款證明,來(lái)證明確實(shí)預(yù)訂了當(dāng)天的航班。有托運(yùn)行李的乘客都必須將行李帶到登機(jī)口,然后機(jī)場(chǎng)工作人員手動(dòng)將行李扔進(jìn)貨艙。
相比于那些早已在機(jī)場(chǎng)等了超過(guò)11個(gè)小時(shí)的人來(lái)說(shuō),他還是很幸運(yùn)的——飛機(jī)最后「只」延誤了6個(gè)小時(shí)。
CrowdStrike如何踩在了微軟身上?
雖然CrowdStrike在網(wǎng)絡(luò)安全行業(yè)里非常有名,但直到今天,都沒(méi)有人意識(shí)到它在Windows平臺(tái)上的主導(dǎo)地位——區(qū)區(qū)一個(gè)第三方解決方案,竟能對(duì)所有Windows設(shè)備造成如此大的影響。
而且,作為軟件開(kāi)發(fā)的規(guī)則之一,不在周五推送修復(fù)可以說(shuō)是基本「常識(shí)」了。(避免在周末召集大量的人力來(lái)處理因?yàn)楦露霈F(xiàn)的問(wèn)題)
如今,這個(gè)原則被CrowdStrike打破了。
Sharif認(rèn)為,如果進(jìn)行了更多的盡調(diào),甚至讓政府加入監(jiān)管,這樣的事件就不會(huì)發(fā)生。
獨(dú)立網(wǎng)絡(luò)安全研究員、《網(wǎng)絡(luò)安全哲學(xué)》作者Lukasz Olejnik表示,「我們的軟件是高度互連和相互依賴(lài)的。但這樣就會(huì)存在很多單點(diǎn)故障,特別是當(dāng)組織中存在軟件單一文化時(shí)?!?/span>
網(wǎng)友狂歡
昨天下午,微軟過(guò)得是十分煎熬。
但被微軟意外提早解放了的打工人,則掀起了一場(chǎng)全球狂歡。
「感謝Crowdstrike帶來(lái)了世界和平」
與此同時(shí),網(wǎng)友們也紛紛在X上玩起了梗。
回形針也被拉來(lái)做成了meme。
當(dāng)然,也會(huì)有一些打不開(kāi)電腦的人變得十分暴躁。
有人已經(jīng)提前預(yù)判:又有實(shí)習(xí)生要背鍋了。
網(wǎng)友猜測(cè),今天的CrowdStrike員工be like——
CEO馬斯克一個(gè)上午轉(zhuǎn)發(fā)了多張梗圖,帶頭玩梗。
Mac和Linux上大分。
手寫(xiě)機(jī)票、手寫(xiě)病例算什么?手寫(xiě)二進(jìn)制代碼,才是最燒的。