面試官:Sentinel是如何實現(xiàn)限流的?
它的目的是確保系統(tǒng)能夠在承受范圍內(nèi)提供穩(wěn)定和可靠的服務(wù),避免因過多的請求而導致系統(tǒng)崩潰、資源耗盡或響應(yīng)延遲過高的情況發(fā)生。
在 Sentinel 中,實現(xiàn)限流的方法有以下兩種:
- 通過代碼方法實現(xiàn)限流。
- 通過 Sentinel 控制臺設(shè)置實現(xiàn)限流。
一、通過代碼實現(xiàn)限流
通過代碼實現(xiàn)限流需要以下兩步方可實現(xiàn):
- 定義資源
- 通過代碼定義資源。
- 通過注解定義資源。
- 定義限流規(guī)則
具體實現(xiàn)如下。
1、定義資源
定義資源可以通過代碼方式或注解方式來實現(xiàn),具體實現(xiàn)如下。
(1)通過代碼定義資源
可以通過代碼的的方式 SphU.entry("resourceName") 來定義資源,具體實現(xiàn)代碼如下:
@RequestMapping("/getuser")
public String getUser() {
try (Entry entry = SphU.entry("getuser")) {
// 被保護邏輯
return "User";
} catch (Exception e) {
// 限流之后的業(yè)務(wù)邏輯
return "被限流了";
}
}
PS:SphU 是 Sentinel Protection Hotspot Util 的縮寫,Sentinel 熱點保護工具類。
(2)通過注解方式定義資源
通過注解 @SentinelResource 也可以實現(xiàn)資源的定義,如下代碼所示:
// 定義資源和限流后觸發(fā)的方法
@SentinelResource(value = "resourceName", blockHandler = "myBlockHandler")
@RequestMapping("/getnamebyid")
public String getNameById(Integer id) {
return id + "-lei";
}
// 限流后觸發(fā)的方法
public String myBlockHandler(Integer id, BlockException blockException) {
String msg = "Do myBlockHandler method.";
System.out.println(msg);
return msg;
}
其中,value 屬性定義的資源名稱,blockHandler 定義的是原方法被限流/降級/系統(tǒng)保護之后執(zhí)行的方法。
注意事項
- 定義的限流方法 myBlockHandler 必須和原方法的返回值、參數(shù)保持一致;
- 限流方法必須添加 BlockException 參數(shù),不然會因為找不到合適的限流后執(zhí)行方法,而提示以下錯誤:
PS:其中“csp”表示 Concurrent Service Protection,即并發(fā)服務(wù)保護。
@SentinelResource 注解屬性說明:
- value:資源名稱,必需項(不能為空)。
- entryType:資源調(diào)用的流量類型:入口流量(EntryType.IN)和出口流量(EntryType.OUT),注意系統(tǒng)規(guī)則只對 IN 生效。
- blockHandler/blockHandlerClass: 限流和熔斷時執(zhí)行 BlockException 所對應(yīng)的方法名。
- fallback/fallbackClass:非 BlockException 時,其他非限流、非熔斷時異常對應(yīng)的方法。
- exceptionsToIgnore:用于指定哪些異常被排除掉,不會計入異常統(tǒng)計中,也不會進入 fallback 邏輯中,而是會原樣拋出。
注:1.6.0 之前的版本 fallback 函數(shù)只針對熔斷降級異常(DegradeException)進行處理,不能針對業(yè)務(wù)異常進行處理。
2、定義限流規(guī)則
在 Spring Boot 項目中,只需要將限流規(guī)則添加到項目啟動時執(zhí)行即可,如下代碼所示:
public static void main(String[] args) {
SpringApplication.run(SentinelDemoApplication.class, args);
// 加載限流規(guī)則
initFlowRules();
}
而限流規(guī)則定義如下:
private static void initFlowRules() {
List<FlowRule> rules = new ArrayList<>();
FlowRule rule = new FlowRule();
rule.setResource("resourceName"); // 資源名稱
rule.setGrade(RuleConstant.FLOW_GRADE_QPS); // 根據(jù) QPS 限流
rule.setCount(1); // QPS 閾值【每秒只允許通過一個請求】
rule.setStrategy(RuleConstant.STRATEGY_DIRECT); // 調(diào)用關(guān)系限流策略【非必須設(shè)置】
rule.setControlBehavior(RuleConstant.CONTROL_BEHAVIOR_DEFAULT); // 流控效果【非必須設(shè)置】
rule.setClusterMode(false); // 是否集群限流【非必須設(shè)置,默認非集群】
rules.add(rule);
FlowRuleManager.loadRules(rules);
}
其中:
- setStrategy:設(shè)置調(diào)用關(guān)系限流策略,包含的值有:
- 直接(RuleConstant._STRATEGY_DIRECT_)【默認值】
- 鏈路(RuleConstant._STRATEGY_RELATE_)
- 關(guān)聯(lián)(RuleConstant._STRATEGY_CHAIN_)
- setControlBehavior:設(shè)置流控效果,包含的值有:
- 直接拒絕(RuleConstant._CONTROL_BEHAVIOR_DEFAULT_)【默認值】
- 冷啟動(RuleConstant._CONTROL_BEHAVIOR_WARM_UP_)
- 勻速啟動(RuleConstant._CONTROL_BEHAVIOR_RATE_LIMITER_)
- 冷啟動+勻速啟動(RuleConstant._CONTROL_BEHAVIOR_WARM_UP_RATE_LIMITER_)
二、通過控制臺實現(xiàn)限流
Sentinel 還可以使用控制臺的方式進行限流,不過默認情況下限流規(guī)則是保存在內(nèi)存中,所以重啟之后規(guī)則會丟失,默認情況下下的推送流程如下:
它的實現(xiàn)步驟如下:
- 下載并運行 Sentinel Dashboard(控制臺)。
- 在程序中加入并配置 Sentinel Dashboard。
- 在 Sentinel Dashboard 配置限流/熔斷等規(guī)則。
- 驗證效果。
1、下載并運行Sentinel控制臺
我們可以從 Sentinel 官方倉庫下載最新版本的控制臺 jar 包,訪問地址:https://github.com/alibaba/Sentinel/releases
使用如下命令啟動控制臺:
java -jar sentinel-dashboard.jar --server.port=18080
從 Sentinel 1.6.0 起,Sentinel 控制臺引入基本的登錄功能,默認用戶名和密碼都是 sentinel。可以參考 鑒權(quán)模塊文檔 配置用戶名和密碼,命令如下:
java -Dserver.port=18080 -Dsentinel.dashboard.auth.username=sentinel -Dsentinel.dashboard.auth.password=123456 -jar sentinel-dashboard.jar
Sentinel 控制臺啟動時的可選配置項:
配置項 | 默認值 | 描述 |
server.port | 8080 | 指定端口 |
csp.sentinel.dashboard.server | localhost:8080 | 指定地址 |
project.name | - | 指定程序的名稱 |
sentinel.dashboard.auth.username | sentinel | Dashboard 登錄賬號(需要版本1.6+) |
sentinel.dashboard.auth.password | sentinel | Dashboard 登錄密碼(需要版本1.6+) |
server.servlet.session.timeout | 30分鐘 | 登錄 Session 過期時間(需要版本1.6+) |
配置為 7200 表示 7200 秒 | ||
配置為 60m 表示 60 分鐘 |
2、在程序中加入并配置 Sentinel
在需要進行流控的項目中加入 Sentinel 依賴:
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
在項目中配置 Sentinel Dashboard 地址:
spring:
application:
name: sentinel-dashboard-demo
cloud:
sentinel:
transport:
dashboard: localhost:18080
client-ip: 127.0.0.1
port: 8721
heartbeat-interval-ms: 10000
其中,只有 dashboard 是必輸項,其他的都可以省略,他們的含義如下:
- dashboard:sentinel 控制臺地址。
- client-ip:當前客戶端 IP,不設(shè)置自動選擇一個 IP 注冊。
- port:與 sentinel 通訊的端口,如不設(shè)置,會從 8719 開始掃描,依次 +1,直到找到未被占用的接口。
- heartbeat-interval-ms:心跳發(fā)送周期,默認值是 10s。
3、設(shè)置規(guī)則
4、新增限流規(guī)則
參數(shù)說明:
- 針對來源:Sentinel 可以針對調(diào)用者進行限流,填寫具體微服務(wù)名時,指定對此微服務(wù)進行限流 ,默認值為 default(不區(qū)分來源,全部限制)。
- 閾值類型/單機閾值:用于限制和控制流量的一種度量標準的類型,可以為 QPS(Queries Per Second,每秒請求數(shù))也可以為“并發(fā)線程數(shù)”。
- QPS:每秒請求達到此值開始限流。
- 并發(fā)線程數(shù):請求此資源的線程達到某個值時限流。每個請求分配一個線程,當請求執(zhí)行時間長時,很快就會觸發(fā)限流,相反如果線程執(zhí)行速度快,那么限流觸發(fā)就會概率就會比較小。
- 流控模式:流量控制模式。
- 直接:接口達到限流條件時,直接限流。
- 關(guān)聯(lián):當關(guān)聯(lián)的資源達到閾值時,就限流自己。
- 鏈路:指定資源從入口資源進來的流量,如果達到閾值,就進行限流。
- 流控效果:流量控制效果。
- 快速失敗:該方式是默認的流量控制方式,比如 QPS 超過任意規(guī)則的閾值后,新的請求就會被立即拒絕,拒絕方式為拋出 FlowException。這種方式適用于對系統(tǒng)處理能力確切已知的情況下,比如通過壓測確定了系統(tǒng)的準確水位時。
- 排隊等待(也叫勻速通過):排隊等待會嚴格控制請求通過的間隔時間,讓請求穩(wěn)定且勻速的通過,可以用來處理間隔性突發(fā)的高流量。例如搶票軟件,在某一秒或者一分鐘內(nèi)有大量的請求到來,而接下來的一段時間里處于空閑狀態(tài),我們希望系統(tǒng)能夠在接下來的空余時間里也能出去這些請求,而不是直接拒絕。在設(shè)置排隊等待時,需要填寫超時時間。
- Warm Up:此項叫做預熱或者冷啟動方式,此模式主要是防止流量突然增加時,直接把系統(tǒng)拉升到高水位可能瞬間把系統(tǒng)壓垮,通過"冷啟動",讓通過的流量緩慢增加,在一定時間內(nèi)逐漸增加到閾值上限,給冷系統(tǒng)一個預熱的時間,避免冷系統(tǒng)被壓垮。當使用 Warm Up 模式時,我們還需要指定啟動時開放的 QPS 比例(DEFAULT_COLD_FACTOR,默認值為 3,代表 30%),以及系統(tǒng)預熱所需時長(warmUpPeriodSec,默認值是 10 秒)。
限流頁面當“是否集群”選中之后,就會是這樣的界面:
其中最后一項“失敗退化”中的 Token Server 含義如下:Token Server 是 Sentinel 用于集群流量控制的關(guān)鍵組件,它負責分發(fā)令牌并進行流量控制。當 Sentinel 的應(yīng)用程序配置為集群限流模式時,它會向 Token Server 請求令牌,然后根據(jù)令牌情況來進行流量控制。如果 Token Server 不可用,可能是由于網(wǎng)絡(luò)故障、Token Server 實例崩潰等原因,這時候無法從 Token Server 獲取令牌。Token Server 配置的含義如下:
- 當配置選項為"是"時:表示當 Token Server 不可用時,Sentinel 會自動切換為單機限流模式。在單機限流模式中,Sentine 會從本地的限流規(guī)則進行流量控制,不再依賴 Token Server。這樣可以保證即使 Token Server 不可用,也能夠繼續(xù)對流量進行限制。
- 當配置選項為"否"時:表示當 Token Server 不可用時,Sentinel 不會自動切換為單機限流模式,流量控制會被暫停,即無法進行限流,可能會導致服務(wù)負載過高。