[[177164]]

在開發(fā)高并發(fā)系統(tǒng)時有三把利器用來保護(hù)系統(tǒng)：緩存、降級和限流。之前已經(jīng)有一些文章介紹過緩存和限流了。本文將詳細(xì)聊聊降級。當(dāng)訪問量劇增、服務(wù)出現(xiàn)問題(如響應(yīng)時間慢或不響應(yīng))或非核心服務(wù)影響到核心流程的性能時，仍然需要保證服務(wù)還是可用的，即使是有損服務(wù)。系統(tǒng)可以根據(jù)一些關(guān)鍵數(shù)據(jù)進(jìn)行自動降級，也可以配置開關(guān)實現(xiàn)人工降級。本文將介紹一些筆者在實際工作中遇到的或見到過的一些降級方案供大家參考。

降級的最終目的是保證核心服務(wù)可用，即使是有損的。而且有些服務(wù)是無法降級的(如加入購物車、結(jié)算)。

降級預(yù)案

在進(jìn)行降級之前要對系統(tǒng)進(jìn)行梳理，看看系統(tǒng)是不是可以丟卒保帥;從而梳理出哪些必須誓死保護(hù)，哪些可降級;比如可以參考日志級別設(shè)置預(yù)案：

• 一般：比如有些服務(wù)偶爾因為網(wǎng)絡(luò)抖動或者服務(wù)正在上線而超時，可以自動降級;

• 警告：有些服務(wù)在一段時間內(nèi)成功率有波動(如在95~100%之間)，可以自動降級或人工降級，并發(fā)送告警;

• 錯誤：比如可用率低于90%，或者數(shù)據(jù)庫連接池被打爆了，或者訪問量突然猛增到系統(tǒng)能承受的***閥值，此時可以根據(jù)情況自動降級或者人工降級;

• 嚴(yán)重錯誤：比如因為特殊原因數(shù)據(jù)錯誤了，此時需要緊急人工降級。

降級按照是否自動化可分為：自動開關(guān)降級和人工開關(guān)降級。

降級按照功能可分為：讀服務(wù)降級、寫服務(wù)降級。

降級按照處于的系統(tǒng)層次可分為：多級降級。

降級的功能點(diǎn)主要從服務(wù)端鏈路考慮，即根據(jù)用戶訪問的服務(wù)調(diào)用鏈路來梳理哪里需要降級：

• 頁面降級：在大促或者某些特殊情況下，某些頁面占用了一些稀缺服務(wù)資源，在緊急情況下可以對其整個降級，以達(dá)到丟卒保帥;

• 頁面片段降級：比如商品詳情頁中的商家部分因為數(shù)據(jù)錯誤了，此時需要對其進(jìn)行降級;

• 頁面異步請求降級：比如商品詳情頁上有推薦信息/配送至等異步加載的請求，如果這些信息響應(yīng)慢或者后端服務(wù)有問題，可以進(jìn)行降級;

• 服務(wù)功能降級：比如渲染商品詳情頁時需要調(diào)用一些不太重要的服務(wù)：相關(guān)分類、熱銷榜等，而這些服務(wù)在異常情況下直接不獲取，即降級即可;

• 讀降級：比如多級緩存模式，如果后端服務(wù)有問題，可以降級為只讀緩存，這種方式適用于對讀一致性要求不高的場景;

• 寫降級：比如秒殺搶購，我們可以只進(jìn)行Cache的更新，然后異步同步扣減庫存到DB，保證最終一致性即可，此時可以將DB降級為Cache。

• 爬蟲降級：在大促活動時，可以將爬蟲流量導(dǎo)向靜態(tài)頁或者返回空數(shù)據(jù)從而降級保護(hù)后端稀缺資源。

自動開關(guān)降級

自動降級是根據(jù)系統(tǒng)負(fù)載、資源使用情況、SLA等指標(biāo)進(jìn)行降級。

超時降級

當(dāng)訪問的數(shù)據(jù)庫/http服務(wù)/遠(yuǎn)程調(diào)用響應(yīng)慢或者長時間響應(yīng)慢，且該服務(wù)不是核心服務(wù)的話可以在超時后自動降級;比如商品詳情頁上有推薦內(nèi)容/評價，但是推薦內(nèi)容/評價暫時不展示對用戶購物流程不會產(chǎn)生很大的影響;對于這種服務(wù)是可以超時降級的。如果是調(diào)用別人的遠(yuǎn)程服務(wù)，和對方定義一個服務(wù)響應(yīng)***時間，如果超時了則自動降級。

之前總結(jié)過一些的文章《使用httpclient必須知道的參數(shù)設(shè)置及代碼寫法、存在的風(fēng)險》和《dbcp配置及jdbc超時設(shè)置總結(jié)》。在實際場景用一定主要配置好超時時間和超時重試次數(shù)和機(jī)制。

統(tǒng)計失敗次數(shù)降級

有時候依賴一些不穩(wěn)定的API，比如調(diào)用外部機(jī)票服務(wù)，當(dāng)失敗調(diào)用次數(shù)達(dá)到一定閥值自動降級;然后通過異步線程去探測服務(wù)是否恢復(fù)了，則取消降級。

故障降級

比如要調(diào)用的遠(yuǎn)程服務(wù)掛掉了(網(wǎng)絡(luò)故障、DNS故障、http服務(wù)返回錯誤的狀態(tài)碼、rpc服務(wù)拋出異常)，則可以直接降級。降級后的處理方案有：默認(rèn)值(比如庫存服務(wù)掛了，返回默認(rèn)現(xiàn)貨)、兜底數(shù)據(jù)(比如廣告掛了，返回提前準(zhǔn)備好的一些靜態(tài)頁面)、緩存(之前暫存的一些緩存數(shù)據(jù))。

限流降級

當(dāng)我們?nèi)ッ霘⒒蛘邠屬徱恍┫拶徤唐窌r，此時可能會因為訪問量太大而導(dǎo)致系統(tǒng)崩潰，此時開發(fā)者會使用限流來進(jìn)行限制訪問量，當(dāng)達(dá)到限流閥值，后續(xù)請求會被降級;降級后的處理方案可以是：排隊頁面(將用戶導(dǎo)流到排隊頁面等一會重試)、無貨(直接告知用戶沒貨了)、錯誤頁(如活動太火爆了，稍后重試)。

人工開關(guān)降級

在大促期間通過監(jiān)控發(fā)現(xiàn)線上的一些服務(wù)存在問題，這個時候需要暫時將這些服務(wù)摘掉;還有有時候通過任務(wù)系統(tǒng)調(diào)用一些服務(wù)，但是服務(wù)依賴的數(shù)據(jù)庫可能存在：網(wǎng)卡被打滿了、掛掉了或者很多慢查詢，此時需要暫停下任務(wù)系統(tǒng)讓服務(wù)方進(jìn)行處理;還有發(fā)現(xiàn)突然調(diào)用量太大，可能需要改變處理方式(比如同步轉(zhuǎn)換為異步);此時就可以使用開關(guān)來完成降級。開關(guān)可以存放到配置文件、存放到數(shù)據(jù)庫、存放到Redis/ZooKeeper;如果不是存放在本地，可以定期同步開關(guān)數(shù)據(jù)(比如1秒同步一次)。然后通過判斷某個KEY的值來決定是否降級。

另外對于新開發(fā)的服務(wù)想上線進(jìn)行灰度測試;但是不太確定該服務(wù)的邏輯是否正確，此時就需要設(shè)置開關(guān)，當(dāng)新服務(wù)有問題可以通過開關(guān)切換回老服務(wù)。還有多機(jī)房服務(wù)，如果某個機(jī)房掛掉了，此時需要將一個機(jī)房的服務(wù)切到另一個機(jī)房，此時也可以通過開關(guān)完成切換。

還有一些是因為功能問題需要暫時屏蔽掉某些功能，比如商品規(guī)格參數(shù)數(shù)據(jù)有問題，數(shù)據(jù)問題不能用回滾解決，此時需要開關(guān)控制降級。

讀服務(wù)降級

對于讀服務(wù)降級一般采用的策略有：暫時切換讀(降級到讀緩存、降級到走靜態(tài)化)、暫時屏蔽讀(屏蔽讀入口、屏蔽某個讀服務(wù))。在《應(yīng)用多級緩存模式支撐海量讀服務(wù)》中曾經(jīng)介紹過讀服務(wù)，即接入層緩存-->應(yīng)用層本地緩存-->分布式緩存-->RPC服務(wù)/DB，我們會在接入層、應(yīng)用層設(shè)置開關(guān)，當(dāng)分布式緩存、RPC服務(wù)/DB有問題自動降級為不調(diào)用。當(dāng)然這種情況適用于對讀一致性要求不高的場景。

頁面降級、頁面片段降級、頁面異步請求降級都是讀服務(wù)降級，目的是丟卒保帥(比如因為這些服務(wù)也要使用核心資源、或者占了帶寬影響到核心服務(wù))或者因數(shù)據(jù)問題暫時屏蔽。

還有一種是頁面靜態(tài)化場景：

• 動態(tài)化降級為靜態(tài)化：比如平時網(wǎng)站可以走動態(tài)化渲染商品詳情頁，但是到了大促來臨之際可以將其切換為靜態(tài)化來減少對核心資源的占用，而且可以提升性能;其他還有如列表頁、首頁、頻道頁都可以這么玩;可以通過一個程序定期的推送靜態(tài)頁到緩存或者生成到磁盤，出問題時直接切過去;
• 靜態(tài)化降級為動態(tài)化：比如當(dāng)使用靜態(tài)化來實現(xiàn)商品詳情頁架構(gòu)時，平時使用靜態(tài)化來提供服務(wù)，但是因為特殊原因靜態(tài)化頁面有問題了，需要暫時切換回動態(tài)化來保證服務(wù)正確性。

以上都保證出問題了有預(yù)案，用戶還是可以使用網(wǎng)站，不影響用戶購物。

寫服務(wù)降級

寫服務(wù)在大多數(shù)場景下是不可降級的，不過可以通過一些迂回戰(zhàn)術(shù)來解決問題。比如將同步操作轉(zhuǎn)換為異步操作，或者限制寫的量/比例。

比如扣減庫存一般這樣操作：

方案1：

1、扣減DB庫存，2、扣減成功后更新Redis中的庫存;

方案2：

1、扣減Redis庫存，2、同步扣減DB庫存，如果扣減失敗則回滾Redis庫存;

前兩種方案非常依賴DB，假設(shè)此時DB性能跟不上則扣減庫存就會遇到問題;因此我們可以想到方案3：

1、扣減Redis庫存，2、正常同步扣減DB庫存，性能扛不住時降級為發(fā)送一條扣減DB庫存的消息，然后異步進(jìn)行DB庫存扣減實現(xiàn)最終一致即可;

這種方式發(fā)送扣減DB庫存消息也可能成為瓶頸;這種情況我們可以考慮方案4：

1、扣減Redis庫存，2、正常同步扣減DB庫存，性能扛不住時降級為寫扣減DB庫存消息到本機(jī)，然后本機(jī)通過異步進(jìn)行DB庫存扣減來實現(xiàn)最終一致性。

也就是說正常情況可以同步扣減庫存，在性能扛不住時降級為異步;另外如果是秒殺場景可以直接降級為異步，從而保護(hù)系統(tǒng)。還有如下單操作可以在大促時暫時降級將下單數(shù)據(jù)寫入Redis，然后等峰值過去了再同步回DB，當(dāng)然也有更好的解決方案，但是更復(fù)雜，不是本文的重點(diǎn)。

還有如用戶評價，如果評價量太大，也可以把評價從同步寫降級為異步寫。當(dāng)然也可以對評價按鈕進(jìn)行按比例開放(比如一些人的看不到評價操作按鈕)。比如評價成功后會發(fā)一些獎勵，在必要的時候降級同步到異步。

多級降級

緩存是離用戶最近越高效;而降級是離用戶越近越能對系統(tǒng)保護(hù)的好。因為業(yè)務(wù)的復(fù)雜性導(dǎo)致越到后端QPS/TPS越低。

頁面JS降級開關(guān)：主要控制頁面功能的降級，在頁面中通過JS腳本部署功能降級開關(guān)，在適當(dāng)時機(jī)開啟/關(guān)閉開關(guān);

接入層降級開關(guān)：主要控制請求入口的降級，請求進(jìn)入后會首先進(jìn)入接入層，在接入層可以配置功能降級開關(guān)，可以根據(jù)實際情況進(jìn)行自動/人工降級;這個可以參考《京東商品詳情頁服務(wù)閉環(huán)實踐》，尤其在后端應(yīng)用服務(wù)出問題時，通過接入層降級從而給應(yīng)用服務(wù)有足夠的時間恢復(fù)服務(wù);

應(yīng)用層降級開關(guān)：主要控制業(yè)務(wù)的降級，在應(yīng)用中配置相應(yīng)的功能開關(guān)，根據(jù)實際業(yè)務(wù)情況進(jìn)行自動/人工降級。

【本文是51CTO專欄作者張開濤的原創(chuàng)文章，作者微信公眾號：開濤的博客( kaitao-1234567)】