背景：2月23日19點，我們收到系統(tǒng)監(jiān)控報警，服務出現(xiàn)故障，隨后我們立刻召集相關技術人員進行定位，發(fā)現(xiàn)大面積服務集群無法響應，生產(chǎn)環(huán)境及數(shù)據(jù)遭受嚴重破壞。我們立刻啟動緊急響應機制，并與騰訊云技術團隊一起研究制定生產(chǎn)環(huán)境和數(shù)據(jù)修復方案。

截止到2月25日7點，我們的生產(chǎn)環(huán)境和數(shù)據(jù)修復都在有序的進行，我們預計2月25日晚上24點前我們的生產(chǎn)環(huán)境將修復完成，微盟所有新用戶將可恢復服務，老用戶由于數(shù)據(jù)修復時間問題，我們將提供臨時過渡方案，我們預計老用戶數(shù)據(jù)修復將可在2月28日晚上24點前完成。

我們事后對惡意破壞生產(chǎn)環(huán)境的犯罪嫌疑人進行追蹤分析，成功定位到犯罪嫌疑人登錄賬號及IP地址，并于2月24日向寶山區(qū)公安局報案，目前犯罪嫌疑人已經(jīng)被寶山區(qū)公安局進行刑事拘留，犯罪嫌疑人承認了犯罪的事實。犯罪嫌疑人乃微盟研發(fā)中心運維部核心運維人員賀某，賀某于2月23日晚18點56分通過個人VPN登入公司內網(wǎng)跳板機，因個人精神、生活等原因對微盟線上生產(chǎn)環(huán)境進行了惡意的破壞。——微盟集團

在正文開始之前，我們來重溫下有名的阿西莫夫.機器人三定律，定律一：機器人不得傷害人類，或因不作為而使人類受到傷害;定律二：除非違背第一定律，機器人必須服從人類的命令。由此引申出本文一個重要的觀點，人類是系統(tǒng)可靠性和信息安全最大的敵人。

就在前天晚上的晚餐時間，微盟出了一件大事，一個心情劇烈波動的運維同學刪除了數(shù)據(jù)庫，嘩然一片，幸運的是，在微盟和騰訊云的努力下，相關的數(shù)據(jù)都在有條不紊的恢復當中?；厮葸@兩年的刪庫事件，可以說層出不窮，有誤刪的，有介質損壞的，有人為的，單從這件事來說，非常嚴重，始作俑者被拘留，企業(yè)受到很大的損失。所以怎么吸取教訓，怎么避免，下面通過微盟事件的一些細節(jié)，我們來剖析，企業(yè)的信息安全的偽壁壘。

觀點一：需要什么樣的權限來約束運維?

很多人糾結于當今遠程辦公場景下的VPN的權限，此權限不是彼權限，今天我們談的是有關危險行為限制方面的權限，而不是運維職位所需要的履職權限。

其實人的行為比預想中的更加危險，尤其對于要害職位更甚，而這個危險一般來自于：(1)不知道這個行為有多么危險;(2)會故意的執(zhí)行這個明明知道非常危險的一個行為，所以對于權限的控制首先要從對危險行為限制開始。

一直以來，筆者始終覺得在產(chǎn)線環(huán)境下通過命令的方式是一種非常不好的習慣，在領導前面炫技的除外。在我看來，一個公司的運維的技術能力強弱、安全管控體系是否完善完全可以通過運維人員的具體操作和權限控制來看出一二，完全人肉的敲命令顯得運維能力和安全管控體系越弱，自動化平臺化進行運維能力的輸出，則運維能力和安全管控體系越強。

1、rm、mv、alias等危險命令應受到嚴格的制約;應使用盡量細化的權限認證;禁止直接使用root用戶，這些耳熟能詳?shù)钠鋵嵍际沁\維的門規(guī)，在日常運維中屬于必備的checklist。可事實真的如此嗎?如何通過這些有效的手段來限制這些危險的行為?

2、一個良好的運維輸出能力應該是這樣的，人管代碼，代碼管機器，而不是人管機器。大家可能還記得DevOps的宗旨，提高組織級的效率和質量，放在這里，何嘗不是一種很好的解決辦法，危險的行為通過機器來執(zhí)行。從信息審計的角度來看，每一次的現(xiàn)網(wǎng)環(huán)境的改動，也是一點變更，也是一次環(huán)境的發(fā)布，你可以追蹤，可以回溯，可以記錄，可以審計。

3、我們又回到阿西莫夫.機器人三定律，定律三：除非違背第一及第二定律，機器人必須保護自己。當一些危險的行為發(fā)生時，作為系統(tǒng)的使用者和管理者理應進行防范，除了checklist以外，還有更好的方式嗎?那就是分而治之，操作人發(fā)起操作請求，審核人審核操作請求，機器來執(zhí)行請求。

4、過于放大權限的控制，其實也是不對的，這屬于一種開倒車，并不是所有的動作都是具備危險行為的動作。因為故障和災難不同，除了人為的，老天有時候也會跟你作對，介質損壞，設備故障，病毒感染都會讓你的權限管控失去作用，該發(fā)生的故障都會不請自來，你的checklist、運維流程和權限系統(tǒng)將會毫無作用，所以需要什么樣的權限來約束運維，又不會增加太多的人力物力財力，無非三點。(一)框定極具危險行為的動作;(二)平臺化自動化的運維方式;(三)線上復核的流程。

觀點二：備份該怎么做?

對于觀點一中提到的，當你的checklist和權限控制都無法hold住的時候，你需要的是一個具備實操的備份和恢復的手段。

通常來說，在沒有熱備份的情況下執(zhí)行危險操作，不亞于開著200邁的跑車不系安全帶，活著是你幸運。而在此次事故中，我們發(fā)現(xiàn)恢復時間是最亮的電，不亞于順豐刪庫事件中的恢復時間，十分的漫長。經(jīng)過仔細分析，除了始作俑者同時刪除了主備兩套庫，只保留了冷備份，這也是不幸中的萬幸，備份大家都有，那備份到底行不行?

1、備份時間的問題，全量和增量時間會影響你備份數(shù)據(jù)的數(shù)據(jù)失真，打個比方，你備份數(shù)據(jù)恢復到現(xiàn)網(wǎng)環(huán)境，在這時間段內，你對數(shù)據(jù)有一些增刪改，那么你備份的數(shù)據(jù)就存在失真，所以你需要熱備份，且還需要備份所有DDL和DML語句的記錄。

2、恢復的驗證，很多公司執(zhí)行備份策略數(shù)年中，從沒進行過恢復測試，其實真正有重大故障或災難來臨時，你會發(fā)現(xiàn)，各種問題讓你恢復失敗，比如介質問題、數(shù)據(jù)問題，還有操作問題。

觀點三：云廠商的選擇

云計算引爆了互聯(lián)網(wǎng)的發(fā)展，越來越多的企業(yè)選擇了上云，同樣可以預見，云計算的明天就像今天的電力一樣，完全成為了信息經(jīng)濟社會的基礎資源。因此，云廠商的選擇格外重要。對于微盟來說，事故發(fā)生后，騰訊云技術團隊就第一時間與微盟對齊，研究制定修復方案，協(xié)助微盟將損失降到最低。刪庫事件是不幸的，但選擇騰訊云又是幸運的，不難想象，如果沒有騰訊云的協(xié)助，后果可以想象。

觀點四：工程師的操守

在談工程師操守前，理一下道德、制度、法律的關系，準確說靠道德和職業(yè)素養(yǎng)約束自身，靠制度規(guī)避風險，靠法律懲罰違規(guī)。其實所有風險完全靠技術來解決，成本將會非常的高昂，只有通過制度、技術，企業(yè)文化，價值觀各個方面來預防和警戒。

對于管理者來說，要使員工有所成就，意味著要把人看成是一種有著特殊的生理與心理特點、能力、缺陷以及擁有不同行為模式的有機樣本，還意味著要把人力資源看成是活生生的人而不是物。

對于工程師來說，需要的不僅僅的操守，更需要的是對法律的敬畏。

觀點五：請給予更多理解

在安全管理方面，微盟確實做了很多工作，對服務和數(shù)據(jù)庫的權限都有非常嚴格的限制。但是，在特殊情況下的遠程辦公期間，遇到這樣的意外，實在是令人同情。據(jù)我了解，騰訊云目前正在全力以赴幫助微盟及其客戶，希望在他們的一起努力下可以早日恢復。