最近，在版本發(fā)布時；

ES線上未備份的索引，被當(dāng)場「誤刪」了；

對于新手來說，妥妥的社死名場面；

對于老手來說，慌它3秒表示一下態(tài)度；

當(dāng)時的情況也不復(fù)雜；

某「個別」隊友在處理動態(tài)索引的字段問題時，反復(fù)重新構(gòu)建結(jié)構(gòu)和數(shù)據(jù)；

為了嚴(yán)謹(jǐn)；

還在自個本地環(huán)境不斷的測試；

萬事皆因忙中錯；

忙著忙著，本地環(huán)境和線上環(huán)境就混了，手一抖，生產(chǎn)環(huán)境的數(shù)據(jù)跟著就沒了；

當(dāng)場傻楞了3秒，接著就是一句國粹脫口而出；

這一幕，屬實有點(diǎn)似曾相識；

人禍橫跳出來的時候；

慌沒用，自責(zé)沒用，甩鍋更沒用；

有用的操作就是團(tuán)隊靜心找補(bǔ)，快速把問題解決好，不然都得跟著耗時間；

【首先】客觀的說明一下項目情況；

體量很小的項目，幾個「資深」的碼農(nóng)在三心二意應(yīng)付著，然后就有老六不按常理出牌，事后還狡辯說鍛煉了團(tuán)隊的應(yīng)急能力；

【再來】聊聊當(dāng)時每個人的應(yīng)對；

• 項目經(jīng)理：郵件通知相關(guān)人員，版本發(fā)布+結(jié)構(gòu)模型和數(shù)據(jù)升級，并且禁用了相關(guān)模塊；
• 當(dāng)事人甲：平復(fù)情緒，穩(wěn)住完成索引上線；
• 圍觀人甲：拖出線程池腳本，快速完成幾千條索引條數(shù)據(jù)的重建；
• 運(yùn)維同學(xué)：完成服務(wù)的最終升級，備份相關(guān)索引；

【縱觀】全程，主打一手：若無其事，一本正經(jīng)；

此處，細(xì)思極恐；

如果不是項目不值一提，這些個參與者弄不好還值得開會表揚(yáng)一下；

職場上的隊友要都是這般夢幻，一定要珍惜；

客觀來說，項目本身「規(guī)格」很低；

但是，這種有開發(fā)介入，發(fā)布還在臨時調(diào)試的情況本身就不常見；

在實際情況中；

雖然版本發(fā)布，有嚴(yán)謹(jǐn)?shù)膱?zhí)行步驟，依然避不開個別老六靈光乍現(xiàn)的騷操作；

結(jié)果就是，和手搓的BUG正面對線；

這種要是出現(xiàn)在公司系統(tǒng)級的項目中，必然是得祭出點(diǎn)什么，取決于業(yè)務(wù)模塊和影響面；

必須要鄭重提醒；

不能輕易用手動的方式執(zhí)行刪除動作，可以用流程管理的方式實現(xiàn)；

這樣整體可控，也有利于測試驗收；

雖然索引刪除的場面比較尷尬；

但是經(jīng)過實踐考驗的應(yīng)對流程，值得反思和總結(jié)；

不怕一萬，就怕下一次的一萬；

至于哪里能值得借鑒，這得看實際情況；

關(guān)于索引刪除和重建的問題，在以前的文章中有提過，這里更多是記錄一下處理思路；「參考文尾」

圖片

• 【1】快速下線相關(guān)功能模塊，問題影響面廣會增加復(fù)雜度，當(dāng)時絕對在5分鐘內(nèi)下線；
• 【2】索引數(shù)據(jù)是基于消息隊列調(diào)度的，并且可以暫停流程執(zhí)行，方便處理索引結(jié)構(gòu)；
• 【3】基于線程池高效的實現(xiàn)索引數(shù)據(jù)恢復(fù)，（沒實際對比過，經(jīng)常倒騰數(shù)據(jù)用順手的工具腳本）；
• 【4】運(yùn)維進(jìn)行索引備份，增強(qiáng)數(shù)據(jù)安全；

BUG對線過程，半個小時內(nèi)就處理完畢了；

這里對于團(tuán)隊的人來說，每個人都迅速找準(zhǔn)解決問題的切入點(diǎn)，順暢的合作，準(zhǔn)確并高效的解決；

項目負(fù)責(zé)人說，他那會去給客戶道歉的話都想好了；

可惜，沒給他兜底表演的機(jī)會；

最后總結(jié)兩句；

雖然發(fā)布故障有點(diǎn)出其不意，但是團(tuán)隊在處理上還算體面妥當(dāng)；

所以，魔幻的職場不重要，重要的是有魔幻的隊友。