Go的Net/Http有哪些值得關(guān)注的細(xì)節(jié)？
golang的net/http庫是我們平時寫代碼中，非常常用的標(biāo)準(zhǔn)庫。由于go語言擁有g(shù)oroutine，goroutine的上下文切換成本比普通線程低很多，net/http庫充分利用了這個優(yōu)勢，因此，它的內(nèi)部實現(xiàn)跟其他語言會有一些區(qū)別。
其中最大的區(qū)別在于，其他語言中，一般是多個網(wǎng)絡(luò)句柄共用一個或多個線程，以此來減少線程之間的切換成本。而golang則會為每個網(wǎng)絡(luò)句柄創(chuàng)建兩個goroutine，一個用于讀數(shù)據(jù)，一個用于寫數(shù)據(jù)。
讀寫協(xié)程
下圖是net/http源碼中創(chuàng)建這兩個goroutine的地方。
源碼中創(chuàng)建兩個協(xié)程的地方
了解它的內(nèi)部實現(xiàn)原理，可以幫助我們寫出更高性能的代碼，以及避免協(xié)程泄露造成的內(nèi)存泄漏問題。
這篇文章是希望通過幾個例子讓大家對net/http的內(nèi)部實現(xiàn)有更直觀的理解。
連接與協(xié)程數(shù)量的關(guān)系
首先我們來看一個例子。
func main() {
tr := &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 3 * time.Second,
}
n := 5
for i := 0; i < n; i++ {
req, _ := http.NewRequest("POST", "https://www.baidu.com", nil)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
Timeout: 3 * time.Second,
}
resp, _ := client.Do(req)
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
time.Sleep(time.Second * 5)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}上面的代碼做的事情很簡單，執(zhí)行5次循環(huán)http請求，最終通過runtime.NumGoroutine()方法打印當(dāng)前的goroutine數(shù)量。
代碼里只有三個地方需要注意：
- Transport設(shè)置了一個3s的空閑連接超時。
- for循環(huán)執(zhí)行了5次http請求。
- 程序退出前執(zhí)行了5s sleep。
答案輸出1。也就是說當(dāng)程序退出的時候，當(dāng)前的goroutine數(shù)量為1，毫無疑問它指的是正在運行main方法的goroutine，后面我們都叫它main goroutine。
再來看個例子。
func main() {
tr := &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 3 * time.Second,
}
n := 5
for i := 0; i < n; i++ {
req, _ := http.NewRequest("POST", "https://www.baidu.com", nil)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
Timeout: 3 * time.Second,
}
resp, _ := client.Do(req)
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
time.Sleep(time.Second * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}在原來的基礎(chǔ)上，我們程序退出前的睡眠時間，從5s改成1s，此時輸出3。也就是說除了main方法所在的goroutine，還多了兩個goroutine，我們大概也能猜到，這就是文章開頭提到的讀goroutine和寫goroutine。也就是說程序在退出時，還有一個網(wǎng)絡(luò)連接沒有斷開。
這是一個TCP長連接。
HTTP1.1底層依賴TCP
網(wǎng)絡(luò)五層模型中，HTTP處于應(yīng)用層，它的底層依賴了傳輸層的TCP協(xié)議。
當(dāng)我們發(fā)起http請求時，如果每次都要建立新的TCP協(xié)議，那就需要每次都經(jīng)歷三次握手，這會影響性能，因此更好的方式就是在http請求結(jié)束后，不立馬斷開TCP連接，將它放到一個空閑連接池中，后續(xù)有新的http請求時就復(fù)用該連接。
像這種長時間存活，被多個http請求復(fù)用的TCP連接，就是所謂的長連接。反過來，如果每次HTTP請求結(jié)束就將TCP連接進行四次揮手?jǐn)嚅_，下次有需要執(zhí)行HTTP調(diào)用時就再建立，這樣的TCP連接就是所謂的短連接。
HTTP1.1之后默認(rèn)使用長連接。
連接池復(fù)用連接
那為什么這跟5s和1s有關(guān)系？
這是因為長連接在空閑連接池也不能一直存放著，如果一直沒被使用放著也是浪費資源，因此會有個空閑回收時間，也就是上面代碼中的IdleConnTimeout，我們設(shè)置的是3s，當(dāng)代碼在結(jié)束前sleep了5s后，長連接就已經(jīng)被釋放了，因此輸出結(jié)果是只剩一個main goroutine。當(dāng)sleep 1s時，長連接還在空閑連接池里，因此程序結(jié)束時，就還剩3個goroutine（main goroutine+網(wǎng)絡(luò)讀goroutine+網(wǎng)絡(luò)寫goroutine）。
我們可以改下代碼下驗證這個說法。我們知道，HTTP可以通過connection的header頭來控制這次的HTTP請求是用的長連接還是短連接。connection:keep-alive 表示http請求結(jié)束后，tcp連接保持存活，也就是長連接， connection:close則是短連接。
req.Header.Add("connection", "close")就像下面這樣。
func main() {
tr := &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 3 * time.Second,
}
n := 5
for i := 0; i < n; i++ {
req, _ := http.NewRequest("POST", "https://www.baidu.com", nil)
req.Header.Add("content-type", "application/json")
req.Header.Add("connection", "close")
client := &http.Client{
Transport: tr,
Timeout: 3 * time.Second,
}
resp, _ := client.Do(req)
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
time.Sleep(time.Second * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}此時，會發(fā)現(xiàn)，程序重新輸出1。完全符合我們預(yù)期。
resp.body是否讀取對連接復(fù)用的影響
func main() {
n := 5
for i := 0; i < n; i++ {
resp, _ := http.Get("https://www.baidu.com")
_ = resp.Body.Close()
}
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}注意這里沒有執(zhí)行 ioutil.ReadAll(resp.Body)。也就是說http請求響應(yīng)的結(jié)果并沒有被讀取的情況下，net/http庫會怎么處理。
上面的代碼最終輸出3，分別是main goroutine，read goroutine 以及write goroutine。也就是說長連接沒有斷開，那長連接是會在下一次http請求中被復(fù)用嗎？先說答案，不會復(fù)用。
我們可以看代碼。resp.Body.Close() 會執(zhí)行到 func (es * bodyEOFSignal) Close() error 中，并執(zhí)行到es.earlyCloseFn()中。
earlyCloseFn的邏輯也非常簡單，就是將一個false傳入到waitForBodyRead的channel中。那寫入通道后的數(shù)據(jù)會在另外一個地方被讀取，我們來看下讀取的地方。
bodyEOF為false, 也就不需要執(zhí)行 tryPutIdleConn()方法。
tryPutIdleConn會將連接放到長連接池中備用）。
最終就是alive=bodyEOF ，也就是false，字面意思就是該連接不再存活。因此該長連接并不會復(fù)用，而是會釋放。
那為什么output輸出為3？這是因為長連接釋放需要時間。
我們可以在結(jié)束前加一個休眠，比如再執(zhí)行休眠1毫秒。
func main() {
n := 5
for i := 0; i < n; i++ {
resp, _ := http.Get("https://www.baidu.com")
_ = resp.Body.Close()
}
time.Sleep(time.Millisecond * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}此時就會輸出1。說明協(xié)程是退出中的，只是沒來得及完全退出，休眠1ms后徹底退出了。
如果我們，將在代碼中重新加入 ioutil.ReadAll(resp.Body)，就像下面這樣。
func main() {
n := 5
for i := 0; i < n; i++ {
resp, _ := http.Get("https://www.baidu.com")
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}此時，output還是輸出3，但這個3跟上面的3不太一樣，休眠5s后還是輸出3。這是因為長連接被推入到連接池了，連接會重新復(fù)用。
下面是源碼的解釋。
body.close()不執(zhí)行會怎么樣
網(wǎng)上都說不執(zhí)行body.close()會協(xié)程泄漏（導(dǎo)致內(nèi)存泄露），真的會出現(xiàn)協(xié)程泄漏嗎，如果泄漏，會泄漏多少？
func main() {
tr := &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 3 * time.Second,
}
n := 5
for i := 0; i < n; i++ {
req, _ := http.NewRequest("POST", "https://www.baidu.com", nil)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
}
resp, _ := client.Do(req)
_, _ = ioutil.ReadAll(resp.Body)
//_ = resp.Body.Close()
}
time.Sleep(time.Second * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}我們可以運行這段代碼，代碼中將resp.body.close()注釋掉，結(jié)果輸出3。debug源碼，會發(fā)現(xiàn)連接其實復(fù)用了。代碼執(zhí)行到tryPutIdleConn函數(shù)中，會將連接歸還到空閑連接池中。
休眠5s，結(jié)果輸出1，這說明達到idleConnTimeout，空閑連接斷開?？雌饋硪磺姓！?/p>
將resp.Body.Close()那一行代碼重新加回來，也就是下面這樣，會發(fā)現(xiàn)代碼結(jié)果依然輸出3。我們是否刪除這行代碼，對結(jié)果沒有任何影響。
func main() {
tr := &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 3 * time.Second,
}
n := 5
for i := 0; i < n; i++ {
req, _ := http.NewRequest("POST", "https://www.baidu.com", nil)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
}
resp, _ := client.Do(req)
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
time.Sleep(time.Second * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}既然執(zhí)不執(zhí)行body.close()都沒啥區(qū)別，那body.close()的作用是什么呢？
它是為了標(biāo)記當(dāng)前連接請求中，response.body是否使用完畢，如果不執(zhí)行body.close()，則resp.Body中的數(shù)據(jù)是可以不斷重復(fù)讀且不報錯的（但不一定能讀到數(shù)據(jù)），執(zhí)行了body.close()，再次去讀取resp.Body則會報錯，如果resp.body數(shù)據(jù)讀一半，處理代碼邏輯就報錯了，此時你不希望其他地方繼續(xù)去讀，那就需要使用body.close()去關(guān)閉它。這更像是一種規(guī)范約束，它可以更好的保證數(shù)據(jù)正確。
也就是說不執(zhí)行body.close()，并不一定會內(nèi)存泄露。那么什么情況下會協(xié)程泄露呢？
直接說答案，既不執(zhí)行 ioutil.ReadAll(resp.Body) 也不執(zhí)行resp.Body.Close()，并且不設(shè)置http.Client內(nèi)timeout的時候，就會導(dǎo)致協(xié)程泄露。
比如下面這樣。
func main() {
tr := &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 3 * time.Second,
}
n := 5
for i := 0; i < n; i++ {
req, _ := http.NewRequest("POST", "https://www.baidu.com", nil)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
}
resp, _ := client.Do(req)
_ = resp
}
time.Sleep(time.Second * 5)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}最終結(jié)果會輸出11，也就是1個main goroutine + （1個read goroutine + 1個read goroutine）* 5次http請求。
前面提到，不執(zhí)行ioutil.ReadAll(resp.Body)，網(wǎng)絡(luò)連接無法歸還到連接池。不執(zhí)行resp.Body.Close()，網(wǎng)絡(luò)連接就無法為標(biāo)記為關(guān)閉，也就無法正常斷開。因此能導(dǎo)致協(xié)程泄露，非常好理解。
但http.Client內(nèi)timeout有什么關(guān)系？這是因為timeout是指，從發(fā)起請求到從resp.body中讀完響應(yīng)數(shù)據(jù)的總時間，如果超過了，網(wǎng)絡(luò)庫會自動斷開網(wǎng)絡(luò)連接，并釋放read+write goroutine。因此如果設(shè)置了timeout，則不會出現(xiàn)協(xié)程泄露的問題。
另外值得一提的是，我看到有不少代碼都是直接用下面的方式去做網(wǎng)絡(luò)請求的。
resp, _ := http.Get("https://www.baidu.com")這種方式用的是DefaultClient，是沒有設(shè)置超時的，生產(chǎn)環(huán)境中使用不當(dāng)，很容易出現(xiàn)問題。
func Get(url string) (resp *Response, err error) {
return DefaultClient.Get(url)
}
var DefaultClient = &Client{}連接池的結(jié)構(gòu)
我們了解到連接池可以復(fù)用網(wǎng)絡(luò)連接，接下來我們通過一個例子來看看網(wǎng)絡(luò)連接池的結(jié)構(gòu)。
func main() {
tr := &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 3 * time.Second,
}
n := 5
for i := 0; i < n; i++ {
req, _ := http.NewRequest("POST", "http://www.baidu.com", nil)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
Timeout: 3 * time.Second,
}
resp, _ := client.Do(req)
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
time.Sleep(time.Second * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}注意這里請求的不是https，而是http。最終結(jié)果輸出5，為什么？
這是因為，http://www.baidu.com會返回307，重定向到https://www.baidu.com。
http重定向為https
在網(wǎng)絡(luò)中，我們可以通過一個五元組來唯一確定一個TCP連接。
五元組
它們分別是源ip，源端口，協(xié)議，目的ip，目的端口。只有當(dāng)多次請求的五元組一樣的情況下，才有可能復(fù)用連接。
放在我們這個場景下，源ip、源端口、協(xié)議都是確定的，也就是兩次http請求的目的ip或目的端口有區(qū)別的時候，就需要使用不同的TCP長連接。
而http用的是80端口，https用的是443端口。于是連接池就為不同的網(wǎng)絡(luò)目的地建立不同的長連接。
因此最終結(jié)果5個goroutine，其實2個goroutine來自http,2個goroutine來自https，1個main goroutine。
我們來看下源碼的具體實現(xiàn)。net/http底層通過一個叫idleConn的map去存空閑連接，也就是空閑連接池。
idleConn這個map的key是協(xié)議和地址，其實本質(zhì)上就是ip和端口。map的value是長連接的數(shù)組（[]*persistConn），說明net/http支持為同一個地址建立多個TCP連接，這樣可以提升傳輸?shù)耐掏隆?/p>
連接池的結(jié)構(gòu)和邏輯
Transport是什么？
Transport本質(zhì)上是一個用來控制http調(diào)用行為的一個組件，里面包含超時控制，連接池等，其中最重要的是連接池相關(guān)的配置。
我們通過下面的例子感受下。
func main() {
n := 5
for i := 0; i < n; i++ {
httpClient := &http.Client{}
resp, _ := httpClient.Get("https://www.baidu.com")
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
time.Sleep(time.Second * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}func main() {
n := 5
for i := 0; i < n; i++ {
httpClient := &http.Client{
Transport: &http.Transport{},
}
resp, _ := httpClient.Get("https://www.baidu.com")
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
time.Sleep(time.Second * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}上面的代碼第一個例子的代碼會輸出3。分別是main goroutine + read goroutine + write goroutine，也就是有一個被不斷復(fù)用的TCP連接。
在第二例子中，當(dāng)我們在每次client中都創(chuàng)建一個新的http.Transport，此時就會輸出11。
說明TCP連接沒有復(fù)用，每次請求都會產(chǎn)生新的連接。這是因為每個http.Transport內(nèi)都會維護一個自己的空閑連接池，如果每個client都創(chuàng)建一個新的http.Transport，就會導(dǎo)致底層的TCP連接無法復(fù)用。如果網(wǎng)絡(luò)請求過大，上面這種情況會導(dǎo)致協(xié)程數(shù)量變得非常多，導(dǎo)致服務(wù)不穩(wěn)定。
因此，最佳實踐是所有client都共用一個transport。
func main() {
tr := &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 3 * time.Second,
}
n := 5
for i := 0; i < n; i++ {
req, _ := http.NewRequest("POST", "https://www.baidu.com", nil)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
Timeout: 3 * time.Second,
}
resp, _ := client.Do(req)
_, _ = ioutil.ReadAll(resp.Body)
_ = resp.Body.Close()
}
time.Sleep(time.Second * 1)
fmt.Printf("goroutine num is %d\n", runtime.NumGoroutine())
}如果創(chuàng)建客戶端的時候不指定http.Client，會默認(rèn)所有http.Client都共用同一個DefaultTransport。這一點可以從源碼里看出。
默認(rèn)使用DefaultTransport
DefaultTransport
因此當(dāng)?shù)诙未a中，每次都重新創(chuàng)建一個Transport的時候，每個Transport內(nèi)都會各自維護一個空閑連接池。因此每次建立長連接后都會多兩個協(xié)程（讀+寫），對應(yīng)1個main goroutine+（read goroutine + write goroutine）* 5 =11。
別設(shè)置 Transport.Dail里的SetDeadline
http.Transport.Dial的配置里有個SetDeadline，它表示連接建立后發(fā)送接收數(shù)據(jù)的超時時間。聽起來跟client.Timeout很像。
那么他們有什么區(qū)別呢？我們通過一個例子去看下。
package main
import (
"bytes"
"encoding/json"
"fmt"
"io/ioutil"
"net"
"net/http"
"time"
)
var tr *http.Transport
func init() {
tr = &http.Transport{
MaxIdleConns: 100,
Dial: func(netw, addr string) (net.Conn, error) {
conn, err := net.DialTimeout(netw, addr, time.Second*2) //設(shè)置建立連接超時
if err != nil {
return nil, err
}
err = conn.SetDeadline(time.Now().Add(time.Second * 3)) //設(shè)置發(fā)送接受數(shù)據(jù)超時
if err != nil {
return nil, err
}
return conn, nil
},
}
}
func main() {
for {
_, err := Get("http://www.baidu.com/")
if err != nil {
fmt.Println(err)
break
}
}
}
func Get(url string) ([]byte, error) {
m := make(map[string]interface{})
data, err := json.Marshal(m)
if err != nil {
return nil, err
}
body := bytes.NewReader(data)
req, _ := http.NewRequest("Get", url, body)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
}
res, err := client.Do(req)
if res != nil {
defer res.Body.Close()
}
if err != nil {
return nil, err
}
resBody, err := ioutil.ReadAll(res.Body)
if err != nil {
return nil, err
}
return resBody, nil
}上面這段代碼，我們設(shè)置了SetDeadline為3s，當(dāng)你執(zhí)行一段時間，會發(fā)現(xiàn)請求baidu會超時，但其實baidu的接口很快，不可能超過3s。
在生產(chǎn)環(huán)境中，假如是你的服務(wù)調(diào)用下游服務(wù)，你看到的現(xiàn)象就是，你的服務(wù)顯示3s超時了，但下游服務(wù)可能只花了200ms就已經(jīng)響應(yīng)你的請求了，并且這是隨機發(fā)生的問題。遇到這種情況，我們一般會認(rèn)為是“網(wǎng)絡(luò)波動”。
但如果我們?nèi)W(wǎng)絡(luò)抓包，就很容易發(fā)現(xiàn)問題的原因 。
抓包結(jié)果
可以看到，在tcp三次握手之后，就會開始多次網(wǎng)絡(luò)請求。直到3s的時候，就會觸發(fā)RST包，斷開連接。也就是說，我們設(shè)置的SetDeadline，并不是指單次http請求的超時是3s，而是指整個tcp連接的存活時間是3s，計算長連接被連接池回收，這個時間也不會重置。
SetDeadline的解釋
我實在想不到什么樣的場景會需要這個功能，因此我的建議是，不要使用它。
下面是修改后的代碼。這個問題其實在我另外一篇文章有過詳細(xì)的解釋，如果你對源碼解析感興趣的話，可以去看看。
package main
import (
"bytes"
"encoding/json"
"fmt"
"io/ioutil"
"net/http"
"time"
)
var tr *http.Transport
func init() {
tr = &http.Transport{
MaxIdleConns: 100,
// 下面的代碼被干掉了
//Dial: func(netw, addr string) (net.Conn, error) {
// conn, err := net.DialTimeout(netw, addr, time.Second*2) //設(shè)置建立連接超時
// if err != nil {
// return nil, err
// }
// err = conn.SetDeadline(time.Now().Add(time.Second * 3)) //設(shè)置發(fā)送接受數(shù)據(jù)超時
// if err != nil {
// return nil, err
// }
// return conn, nil
//},
}
}
func Get(url string) ([]byte, error) {
m := make(map[string]interface{})
data, err := json.Marshal(m)
if err != nil {
return nil, err
}
body := bytes.NewReader(data)
req, _ := http.NewRequest("Get", url, body)
req.Header.Add("content-type", "application/json")
client := &http.Client{
Transport: tr,
Timeout: 3*time.Second, // 超時加在這里，是每次調(diào)用的超時
}
res, err := client.Do(req)
if res != nil {
defer res.Body.Close()
}
if err != nil {
return nil, err
}
resBody, err := ioutil.ReadAll(res.Body)
if err != nil {
return nil, err
}
return resBody, nil
}
func main() {
for {
_, err := Get("http://www.baidu.com/")
if err != nil {
fmt.Println(err)
break
}
}
}總結(jié)
golang的net/http部分有不少細(xì)節(jié)點，直接上源碼分析怕勸退不少人，所以希望以幾個例子作為引子展開話題然后深入了解它的內(nèi)部實現(xiàn)?？傮w內(nèi)容比較碎片化，但這個庫的重點知識點基本都在這里面了。希望對大家后續(xù)排查問題有幫助。
