從Linux源碼看Socket(TCP)的Bind
前言
筆者一直覺(jué)得如果能知道從應(yīng)用到框架再到操作系統(tǒng)的每一處代碼，是一件Exciting的事情。今天筆者就來(lái)從Linux源碼的角度看下Server端的Socket在進(jìn)行bind的時(shí)候到底做了哪些事情(基于Linux 3.10內(nèi)核)。
一個(gè)最簡(jiǎn)單的Server端例子
眾所周知，一個(gè)Server端Socket的建立，需要socket、bind、listen、accept四個(gè)步驟。
代碼如下:
- void start_server(){
- // server fd
- int sockfd_server;
- // accept fd
- int sockfd;
- int call_err;
- struct sockaddr_in sock_addr;
- sockfd_server = socket(AF_INET,SOCK_STREAM,0);
- memset(&sock_addr,0,sizeof(sock_addr));
- sock_addr.sin_family = AF_INET;
- sock_addr.sin_addr.s_addr = htonl(INADDR_ANY);
- sock_addr.sin_port = htons(SERVER_PORT);
- // 這邊就是我們今天的聚焦點(diǎn)bind
- call_err=bind(sockfd_server,(struct sockaddr*)(&sock_addr),sizeof(sock_addr));
- if(call_err == -1){
- fprintf(stdout,"bind error!\n");
- exit(1);
- }
- // listen
- call_err=listen(sockfd_server,MAX_BACK_LOG);
- if(call_err == -1){
- fprintf(stdout,"listen error!\n");
- exit(1);
- }
- }
首先我們通過(guò)socket系統(tǒng)調(diào)用創(chuàng)建了一個(gè)socket，其中指定了SOCK_STREAM,而且最后一個(gè)參數(shù)為0，也就是建立了一個(gè)通常所有的TCP Socket。在這里，我們直接給出TCP Socket所對(duì)應(yīng)的ops也就是操作函數(shù)。
bind系統(tǒng)調(diào)用
bind將一個(gè)本地協(xié)議地址(protocol:ip:port)賦予一個(gè)套接字。例如32位的ipv4地址或128位的ipv6地址+16位的TCP或UDP端口號(hào)。
- #include <sys/socket.h>
- // 返回，若成功則為0，若出錯(cuò)則為-1
- int bind(int sockfd, const struct sockaddr *myaddr, socklen_t addrlen);
好了，我們直接進(jìn)入Linux源碼調(diào)用棧吧。
- bind
- // 這邊由系統(tǒng)調(diào)用的返回值會(huì)被glibc的INLINE_SYSCALL包一層
- // 若有錯(cuò)誤，則設(shè)置返回值為-1,同時(shí)將系統(tǒng)調(diào)用的返回值的絕對(duì)值設(shè)置給errno
- |->INLINE_SYSCALL (bind......);
- |->SYSCALL_DEFINE3(bind......);
- /* 檢測(cè)對(duì)應(yīng)的描述符fd是否存在，不存在，返回-BADF
- |->sockfd_lookup_light
- |->sock->ops->bind(inet_stream_ops)
- |->inet_bind
- |->AF_INET兼容性檢查
- |-><1024端口權(quán)限檢查
- /* bind端口號(hào)校驗(yàn)or選擇(在bind為0的時(shí)候)
- |->sk->sk_prot->get_port(inet_csk_get_port)
inet_bind
inet_bind這個(gè)函數(shù)主要做了兩個(gè)操作，一是檢測(cè)是否允許bind，而是獲取可用的端口號(hào)。這邊值得注意的是。如果我們?cè)O(shè)置需要bind的端口號(hào)為0，那么Kernel會(huì)幫我們隨機(jī)選擇一個(gè)可用的端口號(hào)來(lái)進(jìn)行bind!
- // 讓系統(tǒng)隨機(jī)選擇可用端口號(hào)
- sock_addr.sin_port = 0;
- call_err=bind(sockfd_server,(struct sockaddr*)(&sock_addr),sizeof(sock_addr));
讓我們看下inet_bind的流程
值得注意的是，由于對(duì)于<1024的端口號(hào)需要CAP_NET_BIND_SERVICE,我們?cè)诒O(jiān)聽(tīng)80端口號(hào)(例如啟動(dòng)nginx時(shí)候),需要使用root用戶或者賦予這個(gè)可執(zhí)行文件CAP_NET_BIND_SERVICE權(quán)限。
- use root
- or
- setcap cap_net_bind_service=+eip ./nginx
我們的bind允許綁定到0.0.0.0即INADDR_ANY這個(gè)地址上(一般都用這個(gè))，它意味著內(nèi)核去選擇IP地址。對(duì)我們最直接的影響如下圖所示:
然后，我們看下一個(gè)比較復(fù)雜的函數(shù)，即可用端口號(hào)的選擇過(guò)程inet_csk_get_port
(sk->sk_prot->get_port)
inet_csk_get_port
第一段，如果bind port為0，隨機(jī)搜索可用端口號(hào)
直接上源碼，第一段代碼為端口號(hào)為0的搜索過(guò)程
- // 這邊如果snum指定為0，則隨機(jī)選擇端口
- int inet_csk_get_port(struct sock *sk, unsigned short snum)
- {
- ......
- // 這邊net_random()采用prandom_u32,是偽(pseudo)隨機(jī)數(shù)
- smallest_rover = rover = net_random() % remaining + low;
- smallest_size = -1;
- // snum=0,隨機(jī)選擇端口的分支
- if(!sum){
- // 獲取內(nèi)核設(shè)置的端口號(hào)范圍,對(duì)應(yīng)內(nèi)核參數(shù)/proc/sys/net/ipv4/ip_local_port_range
- inet_get_local_port_range(&low,&high);
- ......
- do{
- if(inet_is_reserved_local_port(rover)
- goto next_nonlock; // 不選擇保留端口號(hào)
- ......
- inet_bind_bucket_for_each(tb, &head->chain)
- // 在同一個(gè)網(wǎng)絡(luò)命名空間下存在和當(dāng)前希望選擇的port rover一樣的port
- if (net_eq(ib_net(tb), net) && tb->port == rover) {
- // 已經(jīng)存在的sock和當(dāng)前新sock都開(kāi)啟了SO_REUSEADDR,且當(dāng)前sock狀態(tài)不為listen
- // 或者
- // 已經(jīng)存在的sock和當(dāng)前新sock都開(kāi)啟了SO_REUSEPORT,而且兩者都是同一個(gè)用戶
- if (((tb->fastreuse > 0 &&
- sk->sk_reuse &&
- sk->sk_state != TCP_LISTEN) ||
- (tb->fastreuseport > 0 &&
- sk->sk_reuseport &&
- uid_eq(tb->fastuid, uid))) &&
- (tb->num_owners < smallest_size || smallest_size == -1)) {
- // 這邊是選擇一個(gè)最小的num_owners的port，即同時(shí)bind或者listen最小個(gè)數(shù)的port
- // 因?yàn)橐粋€(gè)端口號(hào)(port)在開(kāi)啟了so_reuseaddr/so_reuseport之后，是可以多個(gè)進(jìn)程同時(shí)使用的
- smallest_size = tb->num_owners;
- smallest_rover = rover;
- if (atomic_read(&hashinfo->bsockets) > (high - low) + 1 &&
- !inet_csk(sk)->icsk_af_ops->bind_conflict(sk, tb, false)) {
- // 進(jìn)入這個(gè)分支，表明可用端口號(hào)已經(jīng)不夠了，同時(shí)綁定當(dāng)前端口號(hào)和之前已經(jīng)使用此port的不沖突，則我們選擇這個(gè)端口號(hào)(最小的)
- snum = smallest_rover;
- goto tb_found;
- }
- }
- // 若端口號(hào)不沖突，則選擇這個(gè)端口
- if (!inet_csk(sk)->icsk_af_ops->bind_conflict(sk, tb, false)) {
- snum = rover;
- goto tb_found;
- }
- goto next;
- }
- break;
- // 直至遍歷完所有的可用port
- } while (--remaining > 0);
- }
- .......
- }
由于，我們?cè)谑褂胋ind的時(shí)候很少隨機(jī)端口號(hào)(在TCP服務(wù)器來(lái)說(shuō)尤其如此),這段代碼筆者就注釋一下。一般只有一些特殊的遠(yuǎn)程過(guò)程調(diào)用(RPC)中會(huì)使用隨機(jī)Server端隨機(jī)端口號(hào)。
第二段，找到端口號(hào)或已經(jīng)指定
- have_snum:
- inet_bind_bucket_for_each(tb, &head->chain)
- if (net_eq(ib_net(tb), net) && tb->port == snum)
- goto tb_found;
- }
- tb = NULL;
- goto tb_not_found
- tb_found:
- // 如果此port已被bind
- if (!hlist_empty(&tb->owners)) {
- // 如果設(shè)置為強(qiáng)制重用，則直接成功
- if (sk->sk_reuse == SK_FORCE_REUSE)
- goto success;
- }
- if (((tb->fastreuse > 0 &&
- sk->sk_reuse && sk->sk_state != TCP_LISTEN) ||
- (tb->fastreuseport > 0 &&
- sk->sk_reuseport && uid_eq(tb->fastuid, uid))) &&
- smallest_size == -1) {
- // 這個(gè)分支表明之前bind的port和當(dāng)前sock都設(shè)置了reuse同時(shí)當(dāng)前sock狀態(tài)不為listen
- // 或者同時(shí)設(shè)置了reuseport而且是同一個(gè)uid(注意，設(shè)置了reuseport后，可以同時(shí)listen同一個(gè)port了)
- goto success;
- } else {
- ret = 1;
- // 檢查端口是否沖突
- if (inet_csk(sk)->icsk_af_ops->bind_conflict(sk, tb, true)) {
- if (((sk->sk_reuse && sk->sk_state != TCP_LISTEN) ||
- (tb->fastreuseport > 0 &&
- sk->sk_reuseport && uid_eq(tb->fastuid, uid))) &&
- smallest_size != -1 && --attempts >= 0) {
- // 若沖突，但是設(shè)置了reuse非listen狀態(tài)或者設(shè)置了reuseport且出在同一個(gè)用戶下
- // 則可以進(jìn)行重試
- spin_unlock(&head->lock);
- goto again;
- }
- goto fail_unlock;
- }
- // 不沖突，走下面的邏輯
- }
- tb_not_found:
- if (!tb && (tb = inet_bind_bucket_create(hashinfo->bind_bucket_cachep,
- net, head, snum)) == NULL)
- goto fail_unlock;
- // 設(shè)置fastreuse
- // 設(shè)置fastreuseport
- success:
- ......
- // 將當(dāng)前sock鏈入tb->owner，同時(shí)tb->num_owners++
- inet_bind_hash(sk, tb, snum);
- ret = 0;
- // 返回bind(綁定)成功
- return ret;
判斷端口號(hào)是否沖突
在上述源碼中，判斷端口號(hào)時(shí)否沖突的代碼為
- inet_csk(sk)->icsk_af_ops->bind_conflict 也即 inet_csk_bind_conflict
- int inet_csk_bind_conflict(const struct sock *sk,
- const struct inet_bind_bucket *tb, bool relax){
- ......
- sk_for_each_bound(sk2, &tb->owners) {
- // 這邊判斷表明，必須同一個(gè)接口(dev_if)才進(jìn)入下內(nèi)部分支，也就是說(shuō)不在同一個(gè)接口端口的不沖突
- if (sk != sk2 &&
- !inet_v6_ipv6only(sk2) &&
- (!sk->sk_bound_dev_if ||
- !sk2->sk_bound_dev_if ||
- sk->sk_bound_dev_if == sk2->sk_bound_dev_if))
- {
- if ((!reuse || !sk2->sk_reuse ||
- sk2->sk_state == TCP_LISTEN) &&
- (!reuseport || !sk2->sk_reuseport ||
- (sk2->sk_state != TCP_TIME_WAIT &&
- !uid_eq(uid, sock_i_uid(sk2))))) {
- // 在有一方?jīng)]設(shè)置reuse且sock2狀態(tài)為listen 同時(shí)
- // 有一方?jīng)]設(shè)置reuseport且sock2狀態(tài)不為time_wait同時(shí)兩者的uid不一樣的時(shí)候
- const __be32 sk2_rcv_saddr = sk_rcv_saddr(sk2);
- if (!sk2_rcv_saddr || !sk_rcv_saddr(sk) ||
- // ip地址一樣，才算沖突
- sk2_rcv_saddr == sk_rcv_saddr(sk))
- break;
- }
- // 非放松模式，ip地址一樣，才算沖突
- ......
- return sk2 != NULL;
- }
- ......
- }
上面代碼的邏輯如下圖所示:
SO_REUSEADDR和SO_REUSEPORT
上面的代碼有點(diǎn)繞，筆者就講一下，對(duì)于我們?nèi)粘ｉ_(kāi)發(fā)要關(guān)心什么。
我們?cè)谏厦娴腷ind里面經(jīng)常見(jiàn)到sk_reuse和sk_reuseport這兩個(gè)socket的Flag。這兩個(gè)Flag能夠決定是否能夠bind(綁定)成功。這兩個(gè)Flag的設(shè)置在C語(yǔ)言里面如下代碼所示:
- setsockopt(sockfd_server, SOL_SOCKET, SO_REUSEADDR, &(int){ 1 }, sizeof(int));
- setsockopt(sockfd_server, SOL_SOCKET, SO_REUSEPORT, &(int){ 1 }, sizeof(int));
在原生JAVA中
- // java8中，原生的socket并不支持so_reuseport
- ServerSocket server = new ServerSocket(port);
- server.setReuseAddress(true);
在Netty(Netty版本 >= 4.0.16且Linux內(nèi)核版本>=3.9以上)中,可以使用SO_REUSEPORT。
SO_REUSEADDR
在之前的源碼里面，我們看到判斷bind是否沖突的時(shí)候，有這么一個(gè)分支
- (!reuse || !sk2->sk_reuse ||
- sk2->sk_state == TCP_LISTEN) /* 暫忽略reuseport */){
- // 即有一方?jīng)]有設(shè)置
- }
如果sk2(即已bind的socket)是TCP_LISTEN狀態(tài)或者，sk2和新sk兩者都沒(méi)有設(shè)置_REUSEADDR的時(shí)候，可以判斷為沖突。
我們可以得出，如果原sock和新sock都設(shè)置了SO_REUSEADDR的時(shí)候，只要原sock不是Listen狀態(tài)，都可以綁定成功，甚至ESTABLISHED狀態(tài)也可以!
這個(gè)在我們平常工作中，最常見(jiàn)的就是原sock處于TIME_WAIT狀態(tài)，這通常在我們關(guān)閉Server的時(shí)候出現(xiàn)，如果不設(shè)置SO_REUSEADDR,則會(huì)綁定失敗，進(jìn)而啟動(dòng)不來(lái)服務(wù)。而設(shè)置了SO_REUSEADDR,由于不是TCP_LISTEN,所以可以成功。
這個(gè)特性在緊急重啟以及線下調(diào)試的非常有用，建議開(kāi)啟。
SO_REUSEPORT
SO_REUSEPORT是Linux在3.9版本引入的新功能。
1.在海量高并發(fā)連接的創(chuàng)建時(shí)候，由于正常的模型是單線程listener分發(fā)，無(wú)法利用多核優(yōu)勢(shì)，這就會(huì)成為瓶頸。
2.CPU緩存行丟失
我們看下一般的Reactor線程模型，
明顯的其單線程listen/accept會(huì)存在瓶頸(如果采用多線程epoll accept，則會(huì)驚群，加WQ_FLAG_EXCLUSIVE可以解決一部分)，尤其是在采用短鏈接的情況下。
鑒于此,Linux增加了SO_REUSEPORT,而之前bind中判斷是否沖突的下面代碼也是為這個(gè)參數(shù)而添加的邏輯:
- if(!reuseport || !sk2->sk_reuseport ||
- (sk2->sk_state != TCP_TIME_WAIT &&
- !uid_eq(uid, sock_i_uid(sk2))
這段代碼讓我們?cè)诙啻蝏ind的時(shí)候，如果設(shè)置了SO_REUSEPORT的時(shí)候不會(huì)報(bào)錯(cuò)，也就是讓我們有個(gè)多線程(進(jìn)程)bind/listen的能力。如下圖所示:
而開(kāi)啟了SO_REUSEPORT后，代碼棧如下:
- tcp_v4_rcv
- |->__inet_lookup_skb
- |->__inet_lookup
- |->__inet_lookup_listener
- /* 用打分和偽隨機(jī)數(shù)等挑選出一個(gè)listen的sock */
- struct sock *__inet_lookup_listener(......)
- {
- ......
- if (score > hiscore) {
- result = sk;
- hiscore = score;
- reuseport = sk->sk_reuseport;
- if (reuseport) {
- phash = inet_ehashfn(net, daddr, hnum,
- saddr, sport);
- matches = 1;
- }
- } else if (score == hiscore && reuseport) {
- matches++;
- if (((u64)phash * matches) >> 32 == 0)
- result = sk;
- phash = next_pseudo_random32(phash);
- }
- ......
- }
直接在內(nèi)核層面做負(fù)載均衡，將accept的任務(wù)分散到不同的線程的不同socket上(Sharding)，毫無(wú)疑問(wèn)可以多核能力，大幅提升連接成功后的socket分發(fā)能力。
Nginx已經(jīng)采用SO_REUSEPORT
Nginx在1.9.1版本的時(shí)候引入了SO_REUSEPORT，配置如下:
- http {
- server {
- listen 80 reuseport;
- server_name localhost;
- # ...
- }
- }
- stream {
- server {
- listen 12345 reuseport;
- # ...
- }
- }
總結(jié)
Linux內(nèi)核源碼博大精深，一個(gè)看起來(lái)簡(jiǎn)單的bind系統(tǒng)調(diào)用竟然牽涉這么多，在里面可以挖掘出各種細(xì)節(jié)。在此分享出來(lái)，希望對(duì)讀者有所幫助。
本文轉(zhuǎn)載自微信公眾號(hào)「解Bug之路」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系解Bug之路公眾號(hào)。
【編輯推薦】
