[[416714]]

某些業(yè)務(wù)需求需要追蹤我們的接口訪問(wèn)情況，也就是把請(qǐng)求和響應(yīng)記錄下來(lái)?；镜挠涗浘S度包含了請(qǐng)求入?yún)?路徑query參數(shù)，請(qǐng)求體)、請(qǐng)求路徑(uri)、請(qǐng)求方法(method)、請(qǐng)求頭(headers)以及響應(yīng)狀態(tài)、響應(yīng)頭、甚至包含了敏感的響應(yīng)體等等。今天總結(jié)了幾種方法，你可以按需選擇。

請(qǐng)求追蹤的實(shí)現(xiàn)方式

網(wǎng)關(guān)層

很多網(wǎng)關(guān)設(shè)施都具有httptrace的功能，可以幫助我們集中記錄請(qǐng)求流量的情況。Orange、Kong、Apache Apisix這些基于Nginx的網(wǎng)關(guān)都具有該能力，就連Nginx本身也提供了記錄httptrace日志的能力。

優(yōu)點(diǎn)是可以集中的管理httptrace日志，免開(kāi)發(fā);缺點(diǎn)是技術(shù)要求高，需要配套的分發(fā)、存儲(chǔ)、查詢的設(shè)施。

Spring Boot Actuator

在Spring Boot中，其實(shí)提供了簡(jiǎn)單的追蹤功能。你只需要集成：

<dependency> 
    <groupId>org.springframework.boot</groupId> 
    <artifactId>spring-boot-starter-actuator</artifactId> 
</dependency> 

開(kāi)啟/actuator/httptrace：

management: 
  endpoints: 
    web: 
      exposure: 
        include: 'httptrace' 

就可以通過(guò)http://server:port/actuator/httptrace獲取最近的Http請(qǐng)求信息了。

不過(guò)在最新的版本中可能需要顯式的聲明這些追蹤信息的存儲(chǔ)方式，也就是實(shí)現(xiàn)HttpTraceRepository接口并注入Spring IoC。

例如放在內(nèi)存中并限制為最近的100條(不推薦生產(chǎn)使用)：

@Bean 
public HttpTraceRepository httpTraceRepository(){ 
    return new InMemoryHttpTraceRepository(); 
} 

追蹤日志以json格式呈現(xiàn)：

Spring Boot Actuator記錄的httptrace

記錄的維度不多，當(dāng)然如果夠用的話可以試試。

優(yōu)點(diǎn)在于集成起來(lái)簡(jiǎn)單，幾乎免除開(kāi)發(fā);缺點(diǎn)在于記錄的維度不多，而且需要搭建緩沖消費(fèi)這些日志信息的設(shè)施。

CommonsRequestLoggingFilter

Spring Web模塊還提供了一個(gè)過(guò)濾器CommonsRequestLoggingFilter，它可以對(duì)請(qǐng)求的細(xì)節(jié)進(jìn)行日志輸出。配置起來(lái)也比較簡(jiǎn)單：

@Bean 
CommonsRequestLoggingFilter  loggingFilter(){ 
    CommonsRequestLoggingFilter loggingFilter = new CommonsRequestLoggingFilter(); 
    // 記錄 客戶端 IP信息 
    loggingFilter.setIncludeClientInfo(true); 
    // 記錄請(qǐng)求頭 
    loggingFilter.setIncludeHeaders(true); 
    // 如果記錄請(qǐng)求頭的話，可以指定哪些記錄，哪些不記錄 
    // loggingFilter.setHeaderPredicate(); 
    // 記錄 請(qǐng)求體  特別是POST請(qǐng)求的body參數(shù) 
    loggingFilter.setIncludePayload(true); 
    // 請(qǐng)求體的大小限制 默認(rèn)50 
    loggingFilter.setMaxPayloadLength(10000); 
    //記錄請(qǐng)求路徑中的query參數(shù)  
    loggingFilter.setIncludeQueryString(true); 
    return loggingFilter; 
} 

而且必須開(kāi)啟對(duì)CommonsRequestLoggingFilter的debug日志：

logging: 
  level: 
    org: 
      springframework: 
        web: 
          filter: 
            CommonsRequestLoggingFilter: debug 

一次請(qǐng)求會(huì)輸出兩次日志，一次是在第一次經(jīng)過(guò)過(guò)濾器前;一次是完成過(guò)濾器鏈后。

CommonsRequestLoggingFilter記錄請(qǐng)求日志

這里多說(shuō)一句其實(shí)可以改造成輸出json格式的。

優(yōu)點(diǎn)是靈活配置、而且對(duì)請(qǐng)求追蹤的維度全面，缺點(diǎn)是只記錄請(qǐng)求而不記錄響應(yīng)。

ResponseBodyAdvice

Spring Boot統(tǒng)一返回體其實(shí)也能記錄，需要自行實(shí)現(xiàn)。這里借鑒了CommonsRequestLoggingFilter解析請(qǐng)求的方法。響應(yīng)體也可以獲取了，不過(guò)響應(yīng)頭和狀態(tài)因?yàn)樯芷谶€不清楚，這里獲取還不清楚是否合適，不過(guò)這是一個(gè)思路。

/** 
 * @author felord.cn 
 * @since 1.0.8.RELEASE 
 */ 
@Slf4j 
@RestControllerAdvice(basePackages = {"cn.felord.logging"}) 
public class RestBodyAdvice implements ResponseBodyAdvice<Object> { 
    private static final int DEFAULT_MAX_PAYLOAD_LENGTH = 10000; 
    public static final String REQUEST_MESSAGE_PREFIX = "Request ["; 
    public static final String REQUEST_MESSAGE_SUFFIX = "]"; 
    private ObjectMapper objectMapper = new ObjectMapper(); 
 
    @Override 
    public boolean supports(MethodParameter returnType, Class<? extends HttpMessageConverter<?>> converterType) { 
        return true; 
    } 
 
    @SneakyThrows 
    @Override 
    public Object beforeBodyWrite(Object body, 
                                  MethodParameter returnType, 
                                  MediaType selectedContentType, 
                                  Class<? extends HttpMessageConverter<?>> selectedConverterType, 
                                  ServerHttpRequest request, 
                                  ServerHttpResponse response) { 
 
        ServletServerHttpRequest servletServerHttpRequest = (ServletServerHttpRequest) request; 
 
        log.debug(createRequestMessage(servletServerHttpRequest.getServletRequest(), REQUEST_MESSAGE_PREFIX, REQUEST_MESSAGE_SUFFIX)); 
        Rest<Object> objectRest; 
        if (body == null) { 
            objectRest = RestBody.okData(Collections.emptyMap()); 
        } else if (Rest.class.isAssignableFrom(body.getClass())) { 
            objectRest = (Rest<Object>) body; 
        } 
        else if (checkPrimitive(body)) { 
            return RestBody.okData(Collections.singletonMap("result", body)); 
        }else { 
            objectRest = RestBody.okData(body); 
        } 
        log.debug("Response Body ["+ objectMapper.writeValueAsString(objectRest) +"]"); 
        return objectRest; 
    } 
 
 
    private boolean checkPrimitive(Object body) { 
        Class<?> clazz = body.getClass(); 
        return clazz.isPrimitive() 
                || clazz.isArray() 
                || Collection.class.isAssignableFrom(clazz) 
                || body instanceof Number 
                || body instanceof Boolean 
                || body instanceof Character 
                || body instanceof String; 
    } 
 
 
    protected String createRequestMessage(HttpServletRequest request, String prefix, String suffix) { 
        StringBuilder msg = new StringBuilder(); 
        msg.append(prefix); 
        msg.append(request.getMethod()).append(" "); 
        msg.append(request.getRequestURI()); 
 
 
        String queryString = request.getQueryString(); 
        if (queryString != null) { 
            msg.append('?').append(queryString); 
        } 
 
 
        String client = request.getRemoteAddr(); 
        if (StringUtils.hasLength(client)) { 
            msg.append(", client=").append(client); 
        } 
        HttpSession session = request.getSession(false); 
        if (session != null) { 
            msg.append(", session=").append(session.getId()); 
        } 
        String user = request.getRemoteUser(); 
        if (user != null) { 
            msg.append(", user=").append(user); 
        } 
 
        HttpHeaders headers = new ServletServerHttpRequest(request).getHeaders(); 
        msg.append(", headers=").append(headers); 
 
        String payload = getMessagePayload(request); 
        if (payload != null) { 
            msg.append(", payload=").append(payload); 
        } 
 
        msg.append(suffix); 
        return msg.toString(); 
    } 
 
    protected String getMessagePayload(HttpServletRequest request) { 
        ContentCachingRequestWrapper wrapper = 
                WebUtils.getNativeRequest(request, ContentCachingRequestWrapper.class); 
        if (wrapper != null) { 
            byte[] buf = wrapper.getContentAsByteArray(); 
            if (buf.length > 0) { 
                int length = Math.min(buf.length, DEFAULT_MAX_PAYLOAD_LENGTH); 
                try { 
                    return new String(buf, 0, length, wrapper.getCharacterEncoding()); 
                } catch (UnsupportedEncodingException ex) { 
                    return "[unknown]"; 
                } 
            } 
        } 
        return null; 
    } 
} 

別忘記配置ResponseBodyAdvice的logging級(jí)別為DEBUG。

logstash-logback-encoder

這個(gè)是logstash的logback編碼器，可以結(jié)構(gòu)化輸出httptrace為json。引入：

<dependency> 
    <groupId>net.logstash.logback</groupId> 
    <artifactId>logstash-logback-encoder</artifactId> 
    <version>6.6</version> 
</dependency> 

配置logback的ConsoleAppender為L(zhǎng)ogstashEncoder:

<configuration> 
    <appender name="jsonConsoleAppender" class="ch.qos.logback.core.ConsoleAppender"> 
        <encoder class="net.logstash.logback.encoder.LogstashEncoder"/> 
    </appender> 
    <root level=" INFO"> 
        <appender-ref ref="jsonConsoleAppender"/> 
    </root> 
</configuration> 

然后同樣實(shí)現(xiàn)一個(gè)解析的Filter:

import org.slf4j.Logger; 
import org.slf4j.LoggerFactory; 
import org.slf4j.MDC; 
import org.springframework.core.annotation.Order; 
import org.springframework.stereotype.Component; 
 
import javax.servlet.*; 
import javax.servlet.http.HttpServletRequest; 
import javax.servlet.http.HttpServletResponse; 
import java.io.IOException; 
import java.util.UUID; 
 
/** 
 * @author felord.cn 
 * @since 1.0.8.RELEASE 
 */ 
@Order(1) 
@Component 
public class MDCFilter implements Filter { 
 
    private final Logger LOGGER = LoggerFactory.getLogger(MDCFilter.class); 
    private final String X_REQUEST_ID = "X-Request-ID"; 
 
    @Override 
    public void doFilter(ServletRequest request, 
                         ServletResponse response, 
                         FilterChain chain) throws IOException, ServletException { 
        HttpServletRequest req = (HttpServletRequest) request; 
        HttpServletResponse res = (HttpServletResponse) response; 
        try { 
            addXRequestId(req); 
            LOGGER.info("path: {}, method: {}, query {}", 
                    req.getRequestURI(), req.getMethod(), req.getQueryString()); 
            res.setHeader(X_REQUEST_ID, MDC.get(X_REQUEST_ID)); 
            chain.doFilter(request, response); 
        } finally { 
            LOGGER.info("statusCode {}, path: {}, method: {}, query {}", 
                    res.getStatus(), req.getRequestURI(), req.getMethod(), req.getQueryString()); 
            MDC.clear(); 
        } 
    } 
 
    private void addXRequestId(HttpServletRequest request) { 
        String xRequestId = request.getHeader(X_REQUEST_ID); 
        if (xRequestId == null) { 
            MDC.put(X_REQUEST_ID, UUID.randomUUID().toString()); 
        } else { 
            MDC.put(X_REQUEST_ID, xRequestId); 
        } 
    } 
 
} 

這里解析方式其實(shí)還可以更加精細(xì)一些。

然后所有的日志都可以結(jié)構(gòu)化為json了：

{"@timestamp":"2021-08-10T23:48:51.322+08:00","@version":"1","message":"statusCode 200, path: /log/get, method: GET, query foo=xxx&bar=ooo","logger_name":"cn.felord.logging.MDCFilter","thread_name":"http-nio-8080-exec-1","level":"INFO","level_value":20000,"X-Request-ID":"7c0db56c-b1f2-4d85-ad9a-7ead67660f96"} 

總結(jié)

今天介紹了不少記錄追蹤接口請(qǐng)求響應(yīng)的方法，總有一款適合你。

本文轉(zhuǎn)載自微信公眾號(hào)「碼農(nóng)小胖哥」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系碼農(nóng)小胖哥公眾號(hào)。