Sentinel是如何實(shí)現(xiàn)限流的?
限流是一種通過控制系統(tǒng)對(duì)外提供的資源、服務(wù)或接口的訪問數(shù)量或速率,以保護(hù)系統(tǒng)免受過載的一種策略。
它的目的是確保系統(tǒng)能夠在承受范圍內(nèi)提供穩(wěn)定和可靠的服務(wù),避免因過多的請(qǐng)求而導(dǎo)致系統(tǒng)崩潰、資源耗盡或響應(yīng)延遲過高的情況發(fā)生。
在 Sentinel 中,實(shí)現(xiàn)限流的方法有以下兩種:
- 通過代碼方法實(shí)現(xiàn)限流。
- 通過 Sentinel 控制臺(tái)設(shè)置實(shí)現(xiàn)限流。
一、通過代碼實(shí)現(xiàn)限流
通過代碼實(shí)現(xiàn)限流需要以下兩步方可實(shí)現(xiàn):
- 定義資源
- 通過代碼定義資源。
- 通過注解定義資源。
- 定義限流規(guī)則
具體實(shí)現(xiàn)如下。
1.定義資源
定義資源可以通過代碼方式或注解方式來實(shí)現(xiàn),具體實(shí)現(xiàn)如下。
(1)通過代碼定義資源
可以通過代碼的的方式 SphU.entry("resourceName") 來定義資源,具體實(shí)現(xiàn)代碼如下:
@RequestMapping("/getuser")
public String getUser() {
try (Entry entry = SphU.entry("getuser")) {
// 被保護(hù)邏輯
return "User";
} catch (Exception e) {
// 限流之后的業(yè)務(wù)邏輯
return "被限流了";
}
}
PS:SphU 是 Sentinel Protection Hotspot Util 的縮寫,Sentinel 熱點(diǎn)保護(hù)工具類。
(2)通過注解方式定義資源
通過注解 @SentinelResource 也可以實(shí)現(xiàn)資源的定義,如下代碼所示:
// 定義資源和限流后觸發(fā)的方法
@SentinelResource(value = "resourceName", blockHandler = "myBlockHandler")
@RequestMapping("/getnamebyid")
public String getNameById(Integer id) {
return id + "-lei";
}
// 限流后觸發(fā)的方法
public String myBlockHandler(Integer id, BlockException blockException) {
String msg = "Do myBlockHandler method.";
System.out.println(msg);
return msg;
}
其中,value 屬性定義的資源名稱,blockHandler 定義的是原方法被限流/降級(jí)/系統(tǒng)保護(hù)之后執(zhí)行的方法。
注意事項(xiàng)
- 定義的限流方法 myBlockHandler 必須和原方法的返回值、參數(shù)保持一致。
- 限流方法必須添加 BlockException 參數(shù),不然會(huì)因?yàn)檎也坏胶线m的限流后執(zhí)行方法,而提示以下錯(cuò)誤:
PS:其中“csp”表示 Concurrent Service Protection,即并發(fā)服務(wù)保護(hù)。
@SentinelResource 注解屬性說明:
- value:資源名稱,必需項(xiàng)(不能為空)。
- entryType:資源調(diào)用的流量類型:入口流量(EntryType.IN)和出口流量(EntryType.OUT),注意系統(tǒng)規(guī)則只對(duì) IN 生效。
- blockHandler/blockHandlerClass: 限流和熔斷時(shí)執(zhí)行 BlockException 所對(duì)應(yīng)的方法名。
- fallback/fallbackClass:非 BlockException 時(shí),其他非限流、非熔斷時(shí)異常對(duì)應(yīng)的方法。
- exceptionsToIgnore:用于指定哪些異常被排除掉,不會(huì)計(jì)入異常統(tǒng)計(jì)中,也不會(huì)進(jìn)入 fallback 邏輯中,而是會(huì)原樣拋出。
注:1.6.0 之前的版本 fallback 函數(shù)只針對(duì)熔斷降級(jí)異常(DegradeException)進(jìn)行處理,不能針對(duì)業(yè)務(wù)異常進(jìn)行處理。
2.定義限流規(guī)則
在 Spring Boot 項(xiàng)目中,只需要將限流規(guī)則添加到項(xiàng)目啟動(dòng)時(shí)執(zhí)行即可,如下代碼所示:
public static void main(String[] args) {
SpringApplication.run(SentinelDemoApplication.class, args);
// 加載限流規(guī)則
initFlowRules();
}
而限流規(guī)則定義如下:
private static void initFlowRules() {
List<FlowRule> rules = new ArrayList<>();
FlowRule rule = new FlowRule();
rule.setResource("resourceName"); // 資源名稱
rule.setGrade(RuleConstant.FLOW_GRADE_QPS); // 根據(jù) QPS 限流
rule.setCount(1); // QPS 閾值【每秒只允許通過一個(gè)請(qǐng)求】
rule.setStrategy(RuleConstant.STRATEGY_DIRECT); // 調(diào)用關(guān)系限流策略【非必須設(shè)置】
rule.setControlBehavior(RuleConstant.CONTROL_BEHAVIOR_DEFAULT); // 流控效果【非必須設(shè)置】
rule.setClusterMode(false); // 是否集群限流【非必須設(shè)置,默認(rèn)非集群】
rules.add(rule);
FlowRuleManager.loadRules(rules);
}
其中:
- setStrategy:設(shè)置調(diào)用關(guān)系限流策略,包含的值有:
- 直接(RuleConstant._STRATEGY_DIRECT_)【默認(rèn)值】
- 鏈路(RuleConstant._STRATEGY_RELATE_)
- 關(guān)聯(lián)(RuleConstant._STRATEGY_CHAIN_)
- setControlBehavior:設(shè)置流控效果,包含的值有:
- 直接拒絕(RuleConstant.CONTROL_BEHAVIOR_DEFAULT)【默認(rèn)值】
- 冷啟動(dòng)(RuleConstant.CONTROL_BEHAVIOR_WARM_UP)
- 勻速啟動(dòng)(RuleConstant.CONTROL_BEHAVIOR_RATE_LIMITER)
- 冷啟動(dòng)+勻速啟動(dòng)(RuleConstant._CONTROL_BEHAVIOR_WARM_UP_RATE_LIMITER_)
二、通過控制臺(tái)實(shí)現(xiàn)限流
Sentinel 還可以使用控制臺(tái)的方式進(jìn)行限流,不過默認(rèn)情況下限流規(guī)則是保存在內(nèi)存中,所以重啟之后規(guī)則會(huì)丟失,默認(rèn)情況下下的推送流程如下:
它的實(shí)現(xiàn)步驟如下:
- 下載并運(yùn)行 Sentinel Dashboard(控制臺(tái))。
- 在程序中加入并配置 Sentinel Dashboard。
- 在 Sentinel Dashboard 配置限流/熔斷等規(guī)則。
- 驗(yàn)證效果。
1.下載并運(yùn)行Sentinel控制臺(tái)
我們可以從 Sentinel 官方倉庫下載最新版本的控制臺(tái) jar 包,訪問地址:https://github.com/alibaba/Sentinel/releases
使用如下命令啟動(dòng)控制臺(tái):
java -jar sentinel-dashboard.jar --server.port=18080
從 Sentinel 1.6.0 起,Sentinel 控制臺(tái)引入基本的登錄功能,默認(rèn)用戶名和密碼都是 sentinel??梢詤⒖?鑒權(quán)模塊文檔 配置用戶名和密碼,命令如下:
java -Dserver.port=18080 -Dsentinel.dashboard.auth.username=sentinel -Dsentinel.dashboard.auth.password=123456 -jar sentinel-dashboard.jar
Sentinel 控制臺(tái)啟動(dòng)時(shí)的可選配置項(xiàng):
配置項(xiàng) | 默認(rèn)值 | 描述 |
server.port | 8080 | 指定端口 |
csp.sentinel.dashboard.server | localhost:8080 | 指定地址 |
project.name | - | 指定程序的名稱 |
sentinel.dashboard.auth.username | sentinel | Dashboard 登錄賬號(hào)(需要版本1.6+) |
sentinel.dashboard.auth.password | sentinel | Dashboard 登錄密碼(需要版本1.6+) |
server.servlet.session.timeout | 30分鐘 | 登錄 Session 過期時(shí)間(需要版本1.6+) |
配置為 7200 表示 7200 秒 | ||
配置為 60m 表示 60 分鐘 |
2.在程序中加入并配置 Sentinel
在需要進(jìn)行流控的項(xiàng)目中加入 Sentinel 依賴:
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
在項(xiàng)目中配置 Sentinel Dashboard 地址:
spring:
application:
name: sentinel-dashboard-demo
cloud:
sentinel:
transport:
dashboard: localhost:18080
client-ip: 127.0.0.1
port: 8721
heartbeat-interval-ms: 10000
其中,只有 dashboard 是必輸項(xiàng),其他的都可以省略,他們的含義如下:
- dashboard:sentinel 控制臺(tái)地址。
- client-ip:當(dāng)前客戶端 IP,不設(shè)置自動(dòng)選擇一個(gè) IP 注冊(cè)。
- port:與 sentinel 通訊的端口,如不設(shè)置,會(huì)從 8719 開始掃描,依次 +1,直到找到未被占用的接口。
- heartbeat-interval-ms:心跳發(fā)送周期,默認(rèn)值是 10s。
3.設(shè)置規(guī)則
4.新增限流規(guī)則
參數(shù)說明:
- 針對(duì)來源:Sentinel 可以針對(duì)調(diào)用者進(jìn)行限流,填寫具體微服務(wù)名時(shí),指定對(duì)此微服務(wù)進(jìn)行限流 ,默認(rèn)值為 default(不區(qū)分來源,全部限制)。
- 閾值類型/單機(jī)閾值:用于限制和控制流量的一種度量標(biāo)準(zhǔn)的類型,可以為 QPS(Queries Per Second,每秒請(qǐng)求數(shù))也可以為“并發(fā)線程數(shù)”。
- QPS:每秒請(qǐng)求達(dá)到此值開始限流。
- 并發(fā)線程數(shù):請(qǐng)求此資源的線程達(dá)到某個(gè)值時(shí)限流。每個(gè)請(qǐng)求分配一個(gè)線程,當(dāng)請(qǐng)求執(zhí)行時(shí)間長(zhǎng)時(shí),很快就會(huì)觸發(fā)限流,相反如果線程執(zhí)行速度快,那么限流觸發(fā)就會(huì)概率就會(huì)比較小。
- 流控模式:流量控制模式。
- 直接:接口達(dá)到限流條件時(shí),直接限流。
- 關(guān)聯(lián):當(dāng)關(guān)聯(lián)的資源達(dá)到閾值時(shí),就限流自己。
- 鏈路:指定資源從入口資源進(jìn)來的流量,如果達(dá)到閾值,就進(jìn)行限流。
- 流控效果:流量控制效果。
- 快速失敗:該方式是默認(rèn)的流量控制方式,比如 QPS 超過任意規(guī)則的閾值后,新的請(qǐng)求就會(huì)被立即拒絕,拒絕方式為拋出 FlowException。這種方式適用于對(duì)系統(tǒng)處理能力確切已知的情況下,比如通過壓測(cè)確定了系統(tǒng)的準(zhǔn)確水位時(shí)。
- 排隊(duì)等待(也叫勻速通過):排隊(duì)等待會(huì)嚴(yán)格控制請(qǐng)求通過的間隔時(shí)間,讓請(qǐng)求穩(wěn)定且勻速的通過,可以用來處理間隔性突發(fā)的高流量。例如搶票軟件,在某一秒或者一分鐘內(nèi)有大量的請(qǐng)求到來,而接下來的一段時(shí)間里處于空閑狀態(tài),我們希望系統(tǒng)能夠在接下來的空余時(shí)間里也能出去這些請(qǐng)求,而不是直接拒絕。在設(shè)置排隊(duì)等待時(shí),需要填寫超時(shí)時(shí)間。
- Warm Up:此項(xiàng)叫做預(yù)熱或者冷啟動(dòng)方式,此模式主要是防止流量突然增加時(shí),直接把系統(tǒng)拉升到高水位可能瞬間把系統(tǒng)壓垮,通過"冷啟動(dòng)",讓通過的流量緩慢增加,在一定時(shí)間內(nèi)逐漸增加到閾值上限,給冷系統(tǒng)一個(gè)預(yù)熱的時(shí)間,避免冷系統(tǒng)被壓垮。當(dāng)使用 Warm Up 模式時(shí),我們還需要指定啟動(dòng)時(shí)開放的 QPS 比例(DEFAULT_COLD_FACTOR,默認(rèn)值為 3,代表 30%),以及系統(tǒng)預(yù)熱所需時(shí)長(zhǎng)(warmUpPeriodSec,默認(rèn)值是 10 秒)。
限流頁面當(dāng)“是否集群”選中之后,就會(huì)是這樣的界面:
其中最后一項(xiàng)“失敗退化”中的 Token Server 含義如下:Token Server 是 Sentinel 用于集群流量控制的關(guān)鍵組件,它負(fù)責(zé)分發(fā)令牌并進(jìn)行流量控制。當(dāng) Sentinel 的應(yīng)用程序配置為集群限流模式時(shí),它會(huì)向 Token Server 請(qǐng)求令牌,然后根據(jù)令牌情況來進(jìn)行流量控制。如果 Token Server 不可用,可能是由于網(wǎng)絡(luò)故障、Token Server 實(shí)例崩潰等原因,這時(shí)候無法從 Token Server 獲取令牌。Token Server 配置的含義如下:
- 當(dāng)配置選項(xiàng)為"是"時(shí):表示當(dāng) Token Server 不可用時(shí),Sentinel 會(huì)自動(dòng)切換為單機(jī)限流模式。在單機(jī)限流模式中,Sentine 會(huì)從本地的限流規(guī)則進(jìn)行流量控制,不再依賴 Token Server。這樣可以保證即使 Token Server 不可用,也能夠繼續(xù)對(duì)流量進(jìn)行限制。
- 當(dāng)配置選項(xiàng)為"否"時(shí):表示當(dāng) Token Server 不可用時(shí),Sentinel 不會(huì)自動(dòng)切換為單機(jī)限流模式,流量控制會(huì)被暫停,即無法進(jìn)行限流,可能會(huì)導(dǎo)致服務(wù)負(fù)載過高。