限流一般是指限制在指定時(shí)間間隔內(nèi)的請(qǐng)求量，避免因請(qǐng)求過多導(dǎo)致服務(wù)崩潰，限流被看作是服務(wù)端的自我保護(hù)能力。
由于hystrix官方已經(jīng)停止維護(hù)了，目前spring-cloud推薦使用resilience4j來代替hystrix實(shí)現(xiàn)熔斷、限流。
熔斷一般指客戶端調(diào)用服務(wù)端接口出現(xiàn)異常時(shí)客戶端側(cè)的處理，當(dāng)然也可以是服務(wù)端的處理出現(xiàn)異常時(shí)熔斷快速返回，可以暫時(shí)切斷對(duì)下游服務(wù)的調(diào)用，是一種犧牲局部保全整體的有效措施（同時(shí)此客戶端也可能是服務(wù)端）。
限流一般是指限制在指定時(shí)間間隔內(nèi)的請(qǐng)求量，避免因請(qǐng)求過多導(dǎo)致服務(wù)崩潰，限流被看作是服務(wù)端的自我保護(hù)能力。
1、客戶端openfeign使用resilience4j實(shí)現(xiàn)熔斷
模擬一個(gè)客戶端，通過feign調(diào)用一個(gè)服務(wù)端接口來模擬此功能。
使用spring-boot的版本為2.7.3，spring-cloud版本為2021.0.4，關(guān)鍵的依賴如下：
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-circuitbreaker-resilience4j</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-openfeign</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-loadbalancer</artifactId>
</dependency>
<dependency>
<groupId>io.github.resilience4j</groupId>
<artifactId>resilience4j-feign</artifactId>
</dependency>
- application.yaml增加以下熔斷配置。
resilience4j:
circuitbreaker:
instances:
ApiService:
registerHealthIndicator: true
slidingWindowSize: 7
slidingWindowType: COUNT_BASED
waitDurationInOpenState: 5000
permittedNumberOfCallsInHalfOpenState: 6
feign:
client:
config:
default:
readTimeout: 1000
connectTimeout: 1000
circuitbreaker:
enabled: true
logging:
level:
root: info
pattern:
console: "%d{${LOG_DATEFORMAT_PATTERN:HH:mm:ss.SSS}} %m%n"
需要注意的是feign需要開啟circuitbreaker，并在啟動(dòng)類中增加@EnableFeignClients，spring-boot默認(rèn)情況下會(huì)使用logback來管理日志，為了便于觀察調(diào)整參數(shù)后的效果調(diào)整一下日志格式，在此案例中默認(rèn)的日志格式在org.springframework.boot.logging.logback.DefaultLogbackConfiguration類中defaults方法中定義，此類在包spring-boot:2.7.3中。
增加feign客戶端請(qǐng)求類并需要增加fallback方法處理熔斷后的默認(rèn)返回，簡單寫一個(gè)測(cè)試類完成測(cè)試，觀察對(duì)應(yīng)的參數(shù)情況。
//ApiClient.java
@FeignClient(name = "ApiService", url = "http://localhost:8082")
public interface ApiClient {
@GetMapping("/api/test")
@CircuitBreaker(name = "ApiService", fallbackMethod = "getUserFallback")
String getUser(@RequestParam(name = "param") String param, @RequestParam(name = "time") int time);
default String getUserFallback(String param, int time, Exception exc) {
return "default value";
}
}
- 編寫一個(gè)單元測(cè)試模擬調(diào)用。
//ResilienceTest.java
@Slf4j
@SpringBootTest
class ResilienceTest {
@Autowired
private ApiClient apiClient;
@Autowired
private CircuitBreakerRegistry circuitBreakerRegistry;
@Test
void test() throws Exception {
for (int i = 0; i < 1000; i++) {
apiClient.getUser("test", 500);
status();
Thread.sleep(500);
}
}
private void status(){
CircuitBreaker breaker = circuitBreakerRegistry.circuitBreaker("ApiService");
CircuitBreaker.Metrics metrics = breaker.getMetrics();
log.info("state={},metrics[failureRate={},bufferedCalls={},failedCalls={},successCalls={},maxBufferCalls={},notPermittedCalls={}]"
, breaker.getState(), metrics.getFailureRate(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfFailedCalls()
, metrics.getNumberOfSuccessfulCalls(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfNotPermittedCalls());
}
}
在沒有任務(wù)服務(wù)端的情況下，運(yùn)行單元測(cè)試即可模擬熔斷的效果。另外需要注意配置的feign調(diào)用的超時(shí)，單元測(cè)試中增加獲取metrics并打印以便觀察效果。
運(yùn)行結(jié)果如下：
簡單分析一下，滑動(dòng)窗口的大小slidingWindowSize為7，滑動(dòng)窗口類型slidingWindowType為計(jì)數(shù)器，熔斷器從打開到半開的狀態(tài)等待時(shí)間為5秒，熔斷器半開狀態(tài)下允許的數(shù)量permittedNumberOfCallsInHalfOpenState為6。
failureRateThreshold的含義：如60（即%60），這個(gè)閾值控制兩個(gè)狀態(tài)的變化，從CLOSE=>OPEN時(shí)，表示當(dāng)錯(cuò)誤率高于60%時(shí)開啟熔斷，而狀態(tài)從HALF_OPEN=>CLOSE時(shí)，表示當(dāng)錯(cuò)誤率低于60%時(shí)關(guān)閉熔斷。
2、服務(wù)端使用resilience4j實(shí)現(xiàn)限流
使用一個(gè)服務(wù)端的接口簡單模擬一下限流的方式，如設(shè)定5秒內(nèi)最多10個(gè)請(qǐng)求，觀察異常情況。
同樣是使用spring-boot的版本2.7.3，spring-cloud版本2021.0.4進(jìn)行模擬。
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-circuitbreaker-resilience4j</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-aop</artifactId>
</dependency>
- application.yaml配置文件增加ratelimiter配置。
resilience4j:
ratelimiter:
instances:
ApiService:
limitForPeriod: 10
limitRefreshPeriod: 5s
timeoutDuration: 0
limitRefreshPeriod表示刷新周期，limitForPeriod表示一個(gè)時(shí)間周期內(nèi)請(qǐng)求的總數(shù)，配置表示5秒內(nèi)允許10個(gè)請(qǐng)求。
- 寫一個(gè)controller接收請(qǐng)求，service處理請(qǐng)求并增加限流控制，同時(shí)增加一個(gè)限流后異常處理。
//ApiController.java
@Slf4j
@RequestMapping("/api")
@RestController
public class ApiController {
@Autowired
private ApiService apiService;
@GetMapping("/limit")
public String limit() {
return apiService.limit();
}
}
//ApiService.java
@Slf4j
@Service
public class ApiService {
@RateLimiter(name = "ApiService", fallbackMethod = "testFallback")
public String limit() {
return "success";
}
@SneakyThrows
public String testFallback(java.lang.Throwable exception) {
throw exception;
}
}
//Advice.java
@Slf4j
@ControllerAdvice
public class Advice {
@ExceptionHandler(RequestNotPermitted.class)
@ResponseStatus(HttpStatus.TOO_MANY_REQUESTS)
public void error(){
log.error("Too Many Requests");
}
}
編寫一個(gè)ControllerAdvice通過處理RequestNotPermitted異常，返回客戶端響應(yīng)碼429。
@Slf4j
@SpringBootTest
class ResilienceTest {
private RestTemplate restTemplate = new RestTemplate();
@Test
void limit() throws Exception {
for (int i = 1; i <= 99; i++) {
try {
ResponseEntity<String> response = restTemplate.getForEntity("http://localhost:9999/api/limit", String.class);
log.info("status code {} {}", String.format("%02d", i), response.getStatusCode());
} catch (HttpClientErrorException e) {
log.error("status code {}", e.getStatusCode());
}
Thread.sleep(400);
}
}
}
可以適當(dāng)減少單元測(cè)試的休眠時(shí)間，觀察發(fā)生限流的情況。
