用Option模式和對接層簡化和管理Go項目的外部API
在項目開發(fā)實現(xiàn)功能需求的過程中不可避免的要與外部第三方系統(tǒng)進行交互,這些交互大部分是通過請求API接口來完成的。
前幾節(jié)提到但一直沒帶大家用代碼過一遍的Lib層就是負責(zé)寫第三方對接邏輯的,通過把跟第三方對接的邏輯限制在Lib層里,讓項目的其他部分不需要關(guān)注第三方的邏輯,從而達到每部分都職責(zé)分明,這樣項目的代碼多起來后才不會變得臃腫和雜亂。
不過在演示Lib層的使用前我們需要先一起給項目封裝一個好用的HTTP請求工具。
圖片
用Go 實現(xiàn)一個好用的 HTTP 請求工具
Go自帶了的http庫就能發(fā)起API調(diào)用,為啥我們還要做這個封裝呢?其實主要有以下幾個目的:
- 簡化 HTTP 請求的發(fā)起
- 利用Option模式用命名參數(shù)的方式進行請求的多選項設(shè)置
- header 頭中自動攜帶trace信息,方便內(nèi)部的二方服務(wù)一起做好鏈路追蹤
- 慢請求的日志記錄
- 非 200 響應(yīng)錯誤統(tǒng)一處理
我們一個個來說,首先在項目中發(fā)起HTTP請求調(diào)用API的時候不同的情況會有不同的設(shè)置:
- Method GET 或者 是POST
- POST 請求要設(shè)置請求Body
- 超時時間是否要單獨設(shè)置
- Header 頭是否要攜帶的信息
- 特殊情況下還可能有其他更多的請求設(shè)置
如果項目中每次調(diào)用API都是像下面這段代碼一樣用原生 http 庫中的方法, 先 new 出一個Request對象,再按照需要一個個設(shè)置上面的配置項,最后再發(fā)起請求,當(dāng)然是沒有問題,完全能實現(xiàn)功能。
req, err := http.NewRequest(method, url, bytes.NewReader(reqOpts.data))
req.WithContext(ctx)
req.Header.Add("Content-Type", "application/json")
client := &http.Client{Timeout: 5 * time.Second}
resp, err := client.Do(req)
但就是每次都得寫這一堆代碼,在多人開發(fā)的項目中一定會把這些代碼粘來粘去,除此之外像請求日志記錄、請求頭設(shè)置追蹤信息等通用操作的代碼每次也都得寫一遍,增加很多冗余不說,一旦忘記了這些后面出問題想排查原因也不好排查。
所以我們必須要封裝一個統(tǒng)一的 HTTP 請求工具方法,把一些通用的基礎(chǔ)工作在工具中都做好避免每次都要記得去手寫那些代碼,從而減少編碼中不必要的精力浪費。
那么要封裝HTTP請求工具就遇到一個問題,我們并不是每次發(fā)請求都需要設(shè)置這么多參數(shù),那你的工具方法應(yīng)該怎么設(shè)置參數(shù)呢?設(shè)置少了遇到不滿足的情況還得重新再寫一個多參數(shù)版本的工具方法,那誰能保證類似需要加參數(shù)的情況會不會再有呢?
而且參數(shù)設(shè)置的多了,每次使用時用不到的參數(shù)也得給傳一個零值才能調(diào)用,一旦調(diào)用時參數(shù)順序傳錯了還會有問題,屬于自己給自己寫B(tài)UG的一種常見情況。
用Option模式讓Go支持命名參數(shù)
考慮到這些情況后,根據(jù)這些痛點,我們利用Golang func 的可變參數(shù)特性,結(jié)合 Option 模式的設(shè)計,讓我們的工具方法支持可變且具名的參數(shù),即擁有下面的兩個能力
- 用到哪些設(shè)置了,調(diào)用時再傳那些參數(shù),不需要讓用不到的設(shè)置占用參數(shù)位置。
- 利用Option模式讓參數(shù)變成具有名稱的參數(shù),不再限定參數(shù)的順序。
首先我們在 common/util 下創(chuàng)建 httptool 目錄,其中新增httptool.go 文件。
我們用Option模式是為了設(shè)置請求的選項,所以我們在 httptool.go 中先定義一個用于保存請求選項的結(jié)構(gòu)體。
type requestOption struct {
ctx context.Context
timeout time.Duration
data []byte
headers map[string]string
}
func defaultRequestOptions() *requestOption {
return &requestOption{
ctx: context.Background(),
timeout: 5 * time.Second,
data: nil,
headers: map[string]string{},
}
}
這個里面的字段可以根據(jù)自己的需要再增加。然后我們定義出Option的通用行為:
type Option interface {
apply(option *requestOption) error
}
type optionFunc func(option *requestOption) error
func (f optionFunc) apply(opts *requestOption) error {
return f(opts)
}
我們看下面這幾個請求配置選項對應(yīng)的Option 函數(shù),這里我不寫注釋光看每個函數(shù)的名字你們也能看出來他們都是用來設(shè)置什么的。
func WithContext(ctx context.Context) Option {
return optionFunc(func(opts *requestOption) (err error) {
opts.ctx = ctx
return
})
}
func WithTimeout(timeout time.Duration) Option {
return optionFunc(func(opts *requestOption) (err error) {
opts.timeout, err = timeout, nil
return
})
}
func WithHeaders(headers map[string]string) Option {
return optionFunc(func(opts *requestOption) (err error) {
for k, v := range headers {
opts.headers[k] = v
}
return
})
}
func WithData(data []byte) Option {
return optionFunc(func(opts *requestOption) (err error) {
opts.data, err = data, nil
return
})
}
optionFunc 把這些 func(opts *requestOption) (err error) 類型函數(shù)都轉(zhuǎn)換成了自己的類型,讓他們成為了Option接口的實現(xiàn),擁有了apply方法, apply方法的邏輯就是直接調(diào)用這些被轉(zhuǎn)換的函數(shù)。
這樣在我們的請求工具方法中,就可以迭代可變參數(shù)的實際參數(shù),然后一個個地去調(diào)用他們的 apply 方法來構(gòu)造最終的請求選項, 像下面這樣。
func Request(method string, url string, options ...Option) (httpStatusCode int, respBody []byte, err error) {
start := time.Now()
reqOpts := defaultRequestOptions() // 默認的請求選項
for _, opt := range options { // 在reqOpts上應(yīng)用通過options設(shè)置的選項
err = opt.apply(reqOpts)
if err != nil {
return
}
}
...
}
上面這個Request方法就是我們的工具提供的函數(shù),method、url 因為是必填的就不必再整成Option參數(shù)了,其他關(guān)于請求的設(shè)置都可以通過在調(diào)用是使用WithXXX()一系列的函數(shù)傳參進來。
Request("POST", url, WithTimeout(timeout), WithHeaders(headers), WithData(data))
日志和追蹤頭信息
我們在發(fā)起請求的第一個參數(shù)都是 context.Context 類型的上下文參數(shù), 這個意圖是為了讓你調(diào)用時把請求上下文 gin.Context 傳遞進來,我們好從其中取到一開始種進去的追蹤信息,然后設(shè)置到要發(fā)起的請求的Header中去。
func Request(method string, url string, options ...Option) (httpStatusCode int, respBody []byte, err error) {
......
// 在Header中添加追蹤信息 把內(nèi)部服務(wù)串起來
traceId, spanId, _ := util.GetTraceInfoFromCtx(reqOpts.ctx)
reqOpts.headers["traceid"] = traceId
reqOpts.headers["spanid"] = spanId
if len(reqOpts.headers) != 0 { // 設(shè)置請求頭
for key, value := range reqOpts.headers {
req.Header.Add(key, value)
}
}
......
}
同時因為有了ctx 信息,我們使用項目自己的Logger門面進行日志記錄的時候也會把請求的追蹤信息一并寫到日志信息中去,通過trace、span 信息也能查到項目的一個接口在執(zhí)行過程中內(nèi)部發(fā)起了哪些API調(diào)用?以及得到了什么結(jié)果?
func Request(method string, url string, options ...Option) (httpStatusCode int, respBody []byte, err error) {
......
// 發(fā)起請求
client := &http.Client{Timeout: reqOpts.timeout}
resp, err := client.Do(req)
if err != nil {
return
}
defer resp.Body.Close()
// 記錄請求日志
dur := time.Since(start).Seconds()
if dur >= 3 { // 超過 3s 返回, 記一條 Warn 日志
log.Warn("HTTP_REQUEST_SLOW_LOG", "method", method, "url", url, "body", reqOpts.data, "reply", respBody, "err", err, "dur/ms", dur)
} else {
log.Debug("HTTP_REQUEST_DEBUG_LOG", "method", method, "url", url, "body", reqOpts.data, "reply", respBody, "err", err, "dur/ms", dur)
}
}
連接池的設(shè)置
服務(wù)間接口調(diào)用,維持穩(wěn)定數(shù)量的長連接,對性能非常有幫助,這就需要我們在Go 的 http Client的連接池特性,該特性需要在創(chuàng)建Client時用 http.Transport 進行設(shè)置。