一、紅藍(lán)對(duì)抗起源

紅藍(lán)對(duì)抗作為一個(gè)軍事概念，近年來(lái)被廣泛應(yīng)用到網(wǎng)絡(luò)信息安全領(lǐng)域。藍(lán)軍采用模擬真實(shí)網(wǎng)絡(luò)攻擊來(lái)評(píng)估企業(yè)的現(xiàn)有防守體系的安全能力，而紅軍則會(huì)對(duì)發(fā)現(xiàn)的問(wèn)題進(jìn)行相應(yīng)的優(yōu)化整改。通過(guò)這種周期性的紅藍(lán)對(duì)抗攻防演習(xí)，企業(yè)可以持續(xù)性地提高在攻擊防護(hù)、威脅檢測(cè)、應(yīng)急響應(yīng)等能力。G行正是借用這一模擬實(shí)戰(zhàn)、攻防對(duì)抗理念，通過(guò)建立應(yīng)用系統(tǒng)故障紅藍(lán)對(duì)抗體系，來(lái)提升管理員在突發(fā)事件中的處理能力和效率，保障好業(yè)務(wù)連續(xù)和安全運(yùn)營(yíng)工作。

二、紅藍(lán)對(duì)抗目標(biāo)

在G行安全生產(chǎn)運(yùn)營(yíng)體系中，應(yīng)用管理員作為系統(tǒng)第一負(fù)責(zé)人，對(duì)應(yīng)用系統(tǒng)安全運(yùn)營(yíng)至關(guān)重要。隨著G行業(yè)務(wù)連續(xù)性管理水平的持續(xù)提升，每年發(fā)生較大生產(chǎn)事件的概率逐步降低，大多數(shù)應(yīng)用管理員沒(méi)有處置重大事件的經(jīng)驗(yàn)。而每一次生產(chǎn)事件的發(fā)生都是一場(chǎng)遭遇戰(zhàn)，讓每個(gè)應(yīng)用管理員經(jīng)歷“炮聲”，讓遭遇戰(zhàn)變成有準(zhǔn)備之戰(zhàn)，打贏沒(méi)有硝煙的安全運(yùn)營(yíng)之戰(zhàn)是紅藍(lán)對(duì)抗的首要目標(biāo)，具體有以下三個(gè)方面：

1. 真演實(shí)練，提升技術(shù)能力和效率：通過(guò)多次參加真實(shí)故障模擬演練，讓管理員親身體驗(yàn)故障處置的緊迫感，培養(yǎng)管理員故障處置的套路，形成“肌肉記憶”，從而提升故障處置效率。

2. 身臨其境，培養(yǎng)主動(dòng)防范的意識(shí)：讓管理員處置同業(yè)或者是其他系統(tǒng)發(fā)生的事件，深刻體會(huì)故障危害，確保同類型故障在其他人和其他系統(tǒng)上“不二過(guò)”。

3. 以練促治，消除系統(tǒng)潛在的風(fēng)險(xiǎn)：通過(guò)演練中的故障注入，查找當(dāng)前系統(tǒng)潛在問(wèn)題和不足，并進(jìn)行針對(duì)性的優(yōu)化和整改，提升系統(tǒng)健壯性。

三、紅藍(lán)對(duì)抗環(huán)境的建設(shè)

為真實(shí)模擬生產(chǎn)環(huán)境故障，紅藍(lán)對(duì)抗環(huán)境對(duì)照生產(chǎn)環(huán)境進(jìn)行建設(shè)，具體包含：應(yīng)用系統(tǒng)環(huán)境、業(yè)務(wù)背景壓力測(cè)試模擬環(huán)境、監(jiān)控報(bào)警體系、混沌平臺(tái)等?；诮当驹鲂г瓌t，主要資源投入采用環(huán)境復(fù)用方式，具體如下：

應(yīng)用系統(tǒng)環(huán)境：復(fù)用我行投產(chǎn)驗(yàn)證環(huán)境，系統(tǒng)架構(gòu)和生產(chǎn)環(huán)境基本一致，關(guān)鍵數(shù)據(jù)與生產(chǎn)環(huán)境相當(dāng)，系統(tǒng)數(shù)量覆蓋我行大部分的重要系統(tǒng)。

業(yè)務(wù)背景壓力測(cè)試模擬環(huán)境：主要復(fù)用G行非功能測(cè)試環(huán)境，另外包含部分生產(chǎn)環(huán)境交易回放環(huán)境和第三方擋板服務(wù)器。

監(jiān)控報(bào)警體系：搭建統(tǒng)一監(jiān)控告警平臺(tái)驗(yàn)證環(huán)境，對(duì)接驗(yàn)證環(huán)境中應(yīng)用系統(tǒng)所有主機(jī)。監(jiān)控告警策略與生產(chǎn)保持一致，當(dāng)應(yīng)用系統(tǒng)產(chǎn)生告警時(shí)，可實(shí)時(shí)查看。

混沌平臺(tái)：使用行內(nèi)混沌平臺(tái)做故障注入。在主機(jī)安裝混沌平臺(tái)探針，通過(guò)平臺(tái)自動(dòng)注入經(jīng)典故障，模擬演練場(chǎng)景。

四、紅藍(lán)對(duì)抗組織形式

G行紅藍(lán)對(duì)抗演練的人員包含紅方、藍(lán)方、組織方、評(píng)價(jià)方。

演練方式既可以針對(duì)單個(gè)重要系統(tǒng)，也可以多個(gè)系統(tǒng)同時(shí)參與。藍(lán)方人員主要負(fù)責(zé)在應(yīng)用系統(tǒng)中進(jìn)行故障注入。紅方人員為本次演練應(yīng)用系統(tǒng)的應(yīng)用管理員和專業(yè)領(lǐng)域人員。評(píng)價(jià)方人員一般為科技運(yùn)營(yíng)中心領(lǐng)導(dǎo)和專家人員，有豐富的生產(chǎn)事件處置經(jīng)驗(yàn)，可對(duì)演練中紅方人員在處置過(guò)程中的不足進(jìn)行評(píng)價(jià)和針對(duì)性的指導(dǎo)。組織方負(fù)責(zé)演練的人員召集，保證演練順利開展。

一次紅藍(lán)對(duì)抗演練實(shí)踐包括：環(huán)境準(zhǔn)備，故障場(chǎng)景設(shè)計(jì)、正式演練開展、演練總結(jié)等4部分。

圖片

1.環(huán)境準(zhǔn)備

演練環(huán)境在架構(gòu)上與生產(chǎn)環(huán)境基本保持一致，其背景測(cè)試交易主要來(lái)自生產(chǎn)上的高頻交易。

圖片

2.故障場(chǎng)景設(shè)計(jì)

正式演練開始前，需要提前針對(duì)演練的應(yīng)用系統(tǒng)進(jìn)行故障設(shè)計(jì)。故障場(chǎng)景設(shè)計(jì)尤為重要，有效而真實(shí)的故障設(shè)計(jì)不僅可以有效考察到紅方的應(yīng)急處置能力，也可以發(fā)現(xiàn)應(yīng)用系統(tǒng)弱點(diǎn)。故障場(chǎng)景設(shè)計(jì)主要來(lái)源于以下3個(gè)方面：

• 歷史事件中的典型場(chǎng)景或該場(chǎng)景的延伸和變體，一些應(yīng)用系統(tǒng)生產(chǎn)事件場(chǎng)景具備通用性，可以移植于其他應(yīng)用系統(tǒng)復(fù)現(xiàn)事件場(chǎng)景，增加其他應(yīng)用系統(tǒng)管理員該類事件處置經(jīng)驗(yàn)。
• 基于對(duì)系統(tǒng)架構(gòu)的理解，針對(duì)某個(gè)組件或模塊人為制造故障，此類故障場(chǎng)景未曾發(fā)生過(guò)。故障設(shè)計(jì)需要基于架構(gòu)的理解，分析該系統(tǒng)所涉及的基礎(chǔ)設(shè)施、云平臺(tái)、數(shù)據(jù)庫(kù)、中間件以及應(yīng)用配置信息等，在這些組件中注入故障。通過(guò)此類故障，讓管理員加深對(duì)系統(tǒng)架構(gòu)的整體理解。
• 利用混沌平臺(tái)隨機(jī)進(jìn)行故障注入，例如網(wǎng)絡(luò)持續(xù)抖動(dòng)、磁盤性能下降、MEM故障。對(duì)JAVA類應(yīng)用還可以注入堆內(nèi)存故障等。此類故障可考察應(yīng)用管理員對(duì)未知故障的處置能力。

3.正式演練開展

演練開始前，組織方確定演練具體時(shí)間，提前通知紅方和藍(lán)方預(yù)留時(shí)間做好準(zhǔn)備。演練開始后，組織方召集人員到指定現(xiàn)場(chǎng)地點(diǎn)，請(qǐng)藍(lán)方在驗(yàn)證環(huán)境中注入故障，確定引發(fā)交易失敗，服務(wù)異常等告警。然后紅方開始真正的事件處置，根據(jù)告警描述信息，執(zhí)行對(duì)應(yīng)的工具箱，初步定位到問(wèn)題所在應(yīng)用服務(wù)器，登錄服務(wù)器，檢查系統(tǒng)狀態(tài)、服務(wù)狀態(tài)是否正常。找到日志文件，對(duì)日志中錯(cuò)誤信息進(jìn)行解讀，定位到引發(fā)錯(cuò)誤的原因，制定故障修復(fù)方案后，應(yīng)用管理員申請(qǐng)授權(quán)進(jìn)行處置后，檢查業(yè)務(wù)恢復(fù)情況，最終在組織方確認(rèn)修復(fù)成功后，演練結(jié)束。

4.演練總結(jié)

在演練結(jié)束后的復(fù)盤和總結(jié)中，紅方會(huì)介紹在本次演練中故障處置步驟以及思路，并分享演練后感想。演練評(píng)價(jià)方會(huì)針對(duì)演練中應(yīng)用管理員處置事件時(shí)，暴露出的問(wèn)題進(jìn)行總結(jié)，并給出指導(dǎo)意見(jiàn)，分享事件處置過(guò)程中的經(jīng)驗(yàn)，并針對(duì)演練中所涉及到的技術(shù)問(wèn)題擴(kuò)展延伸。通過(guò)演練，管理員既能加強(qiáng)對(duì)系統(tǒng)的熟悉程度，增加事件處置經(jīng)驗(yàn)；也能發(fā)掘應(yīng)用系統(tǒng)存在的薄弱點(diǎn)，并做好風(fēng)險(xiǎn)規(guī)避措施和推進(jìn)優(yōu)化整改。

五、紅藍(lán)對(duì)抗演練特點(diǎn)

紅藍(lán)對(duì)抗和傳統(tǒng)演練有著本質(zhì)區(qū)別：傳統(tǒng)演練方式一般不制造真實(shí)故障，是按照設(shè)定的場(chǎng)景和流程進(jìn)行的桌面推演，目的在于檢驗(yàn)流程和應(yīng)急預(yù)案。而紅藍(lán)對(duì)抗的特點(diǎn)是真實(shí)性、挑戰(zhàn)性和不確定性：

1. 真實(shí)性：紅藍(lán)對(duì)抗是需要在環(huán)境中注入真實(shí)故障，并需要雙方進(jìn)行對(duì)抗。通過(guò)注入真實(shí)故障，引發(fā)服務(wù)和交易失敗，直接體現(xiàn)在告警和日志中，讓紅方按照線索進(jìn)行排查。

2. 挑戰(zhàn)性：紅藍(lán)對(duì)抗的開展不會(huì)事先透漏故障，只有在演練開始的前一刻，才會(huì)進(jìn)行故障注入，故障需要等待紅方人員通過(guò)層層分析才能定位，具有一定的挑戰(zhàn)性。

3. 不確定性：部分故障是隨機(jī)注入，紅方不能依賴已有預(yù)案進(jìn)行處置，需要具體問(wèn)題具體分析，有較大不確定性，能夠暴露系統(tǒng)未被發(fā)現(xiàn)的潛在隱患。

總結(jié)與展望

通過(guò)持續(xù)的探索和實(shí)踐，G行的紅藍(lán)對(duì)抗體系已初步建立，主要三個(gè)目標(biāo)也在逐步實(shí)現(xiàn)過(guò)程當(dāng)中。展望未來(lái)，也存在一些需要持續(xù)提升之處：

1. 環(huán)境覆蓋度不夠全面：演練環(huán)境系統(tǒng)數(shù)量未覆蓋全部重要系統(tǒng)，背景交易壓力未能覆蓋全部交易。

2. 故障設(shè)計(jì)局限性和注入故障繁瑣：當(dāng)前故障場(chǎng)景主要集中在已知的各專業(yè)領(lǐng)域發(fā)生的故障，具有一定的局限性；此外，故障注入采用手動(dòng)注入為主，效率較低。

3. 演練環(huán)境中的運(yùn)營(yíng)配套體系與生產(chǎn)環(huán)境尚有差距：演練環(huán)境中的業(yè)務(wù)監(jiān)控、處置工具箱以及日志中心等配套環(huán)境還需補(bǔ)充建設(shè)。

在接下來(lái)的工作中，我們將重點(diǎn)在三個(gè)方面進(jìn)行推進(jìn)：一是在資源投入方面，我們將充分利用我行全棧云彈性能力，讓演練環(huán)境覆蓋全部重要系統(tǒng)，并盡量補(bǔ)齊運(yùn)營(yíng)配套體系建設(shè)；二是在場(chǎng)景設(shè)計(jì)方面，計(jì)劃成立紅藍(lán)對(duì)抗演練專家組，集眾智之力豐富演練場(chǎng)景設(shè)計(jì)，加強(qiáng)與混沌平臺(tái)的結(jié)合，借力混沌平臺(tái)，讓故障注入和演練更加高效；最后是在演練場(chǎng)景方面，將以多系統(tǒng)協(xié)同對(duì)抗為主，重點(diǎn)是提升各領(lǐng)域管理員在應(yīng)對(duì)復(fù)雜故障場(chǎng)景時(shí)的分析、溝通、協(xié)同和處置能力。

圖片

作者：孫曉玉

功夫不負(fù)有心人，星光不負(fù)趕路人。畢業(yè)十年，在不同的工作崗位中堅(jiān)持學(xué)習(xí)，不斷進(jìn)步，只要堅(jiān)持不懈的努力朝目標(biāo)前行，就一定會(huì)有收獲。工作之余喜歡游泳，瑜伽，乒乓球。