深入理解端口的本質(zhì)、Node.js Socket 的本質(zhì)
作為 web 工程師,我們每天都在和端口、socket 打交道,用的話可能很多人會用,但是問到它們的本質(zhì),可能能答出來的就很少了。
這篇文章,我們就來探究下端口和 socket 的本質(zhì)。
端口
我們網(wǎng)絡(luò)是分層的,OSI 中分了 7 層,TCP/IP 簡化為 5 層或者 4 層。
網(wǎng)絡(luò)層主要是 IP 協(xié)議,是路由器相關(guān)的協(xié)議,它的作用是把數(shù)據(jù)從從一臺主機(jī)傳輸?shù)搅硪慌_主機(jī)。
那到了另一臺主機(jī)之后呢?每臺主機(jī)都有很多的進(jìn)程,怎么知道交給哪個進(jìn)程?這就是運輸層的 TCP、UDP 做的了。
如何定位一臺主機(jī)的進(jìn)程呢?
直接指定進(jìn)程 id 行么?比如 x.x.x.x:進(jìn)程id 的形式。
這樣設(shè)計是可以,但是進(jìn)程 id 是動態(tài)的,不固定,可能下次重啟某個服務(wù)進(jìn)程,進(jìn)程 id 就變了。所以還得繼續(xù)想。
那加一個中間層呢?計算機(jī)不是所以問題都可以加中間層解決么。數(shù)據(jù)不直接給進(jìn)程,而是放到某段內(nèi)存,這段內(nèi)存叫做端口,進(jìn)程就監(jiān)聽這個端口的數(shù)據(jù)。
這樣就不需要固定進(jìn)程 id 了,進(jìn)程 bind 到這段內(nèi)存(端口)就行,然后 listen 它的變化。
這樣不直接依賴具體實現(xiàn),而是雙方都依賴抽象層的思想叫做 IOC( inverse of control 控制反轉(zhuǎn))。
為什么叫做端口呢?因為硬件中也有端口這個概念,如圖:
硬件的端口是設(shè)備和外界通信的入口,軟件的端口也是一樣的定位,所以采用了端口的名字。
這樣,我們定位一個網(wǎng)絡(luò)上的進(jìn)程,需要 IP + 端口 + 協(xié)議 就可以了,這是進(jìn)程網(wǎng)絡(luò)地址的三要素,可以看到 TCP、IP 等協(xié)議是共同其作用的,所以叫做 TCP/IP 協(xié)議族。
端口的本質(zhì)就是一段內(nèi)存中的數(shù)據(jù)結(jié)構(gòu),我們可以通過監(jiān)聽它的變化,當(dāng)數(shù)據(jù)寫入的時候就能收到消息。
那么每個進(jìn)程都要指定端口也太麻煩了吧,能不能統(tǒng)一什么協(xié)議就一定是什么端口,這樣只需要 協(xié)議 + ip 就可以訪問了,端口自動填上。
于是就有專門的機(jī)構(gòu)去協(xié)調(diào)這些,這個機(jī)構(gòu)叫做 IANA(The Internet Assigned Numbers Authority),互聯(lián)網(wǎng)數(shù)字分配機(jī)構(gòu)。因為網(wǎng)絡(luò)不是中央集權(quán)的,需要一個中間機(jī)構(gòu)去協(xié)調(diào)各方,這個機(jī)構(gòu)就是做這件事情的,包括域名、端口、協(xié)議等。
端口是一個 16 位的二進(jìn)制數(shù),兩個字節(jié),所以范圍是 0 到 65535 的整數(shù),IANA 把它們分為了 3 段:
- 0 到 1023 是公認(rèn)端口,把協(xié)議綁定到固定的端口,比如 HTTP 是 80,HTTPS 是 443 等。
- 1024 到 49151 是可注冊的端口,我們給進(jìn)程綁定端口的時候就從這里面選。
- 49152 到 65535 是動態(tài)分配的端口,用于一些需要分配端口的進(jìn)程,動態(tài)從這里面取。
通過固定協(xié)議的端口,我們定位一個網(wǎng)絡(luò)中的進(jìn)程只需要 協(xié)議 + ip 就行了。當(dāng)然,有的時候還是需要 協(xié)議 + ip + 端口來指定的。
socket
有了端口之后,我們就能定位到網(wǎng)絡(luò)中的進(jìn)程,然后進(jìn)行數(shù)據(jù)通信了。但是不同的協(xié)議的數(shù)據(jù)結(jié)構(gòu)不同,也就是要做不同的操作,直接操作網(wǎng)絡(luò)傳過來的數(shù)據(jù)比較復(fù)雜,這件事應(yīng)該操作系統(tǒng)來封裝一下。所以 POSIX 就定義了 socket 的標(biāo)準(zhǔn) api,我們通過這些 api 就可以很方便的操作不同協(xié)議的數(shù)據(jù)。(關(guān)于 POSIX 可以可以看我這篇文章: Node.js 的 api 設(shè)計的源頭:POSIX)
socket 的 api 分為服務(wù)端和客戶端兩方面:
服務(wù)端:bind、listen、accept、read、write、close
客戶端:connet、write、read、close
POSIX 的思想是一切皆文件,所以網(wǎng)絡(luò)通信的 socket 的 api 也設(shè)計成了 read、write 的形式。
服務(wù)端通過 listen 來把進(jìn)程綁定到端口,客戶端連接上服務(wù)端的某個端口,通過網(wǎng)絡(luò)把數(shù)據(jù)傳輸?shù)皆摱丝?,之后進(jìn)行數(shù)據(jù)的讀寫。
各種語言都對 socket api 做了封裝,Node.js 也不例外。
Node.js 中的 socket
Node.js 的文件讀寫是通過 stream 的,而 POSIX 把網(wǎng)絡(luò)操作 socket 也作為文件讀寫來處理,所以 Node.js 的 socket 也是 stream 形式的 api。
服務(wù)端 socket api:
- const net = require('net');
- const server = net.Server((socket) => {
- console.log('client connected');
- socket.on('data', (data) => {
- console.log(data.toString('UTF-8'))
- })
- socket.on('end', () => {
- console.log('client disconnected');
- });
- socket.write('hello\r\n');
- });
- server.on('error', (err) => {
- throw err;
- });
- server.listen(8124, () => {
- console.log('server bound');
- });
可以看到是通過 read、write 的形式,因為 Node.js 封裝成了 stream,所以監(jiān)聽 data 事件。(關(guān)于 stream,可以看我這篇文章:徹底掌握 Node.js 四大流,解決爆緩沖區(qū)的“背壓”問題)
客戶端 socket api:
- const net = require('net');
- const socket = net.Socket({ host: 'xxxx', port: 8124 }, () => {
- console.log('connected to server!');
- client.write('world!\r\n');
- });
- socket.on('data', (data) => {
- console.log(data.toString());
- client.end();
- });
- socket.on('end', () => {
- console.log('disconnected from server');
- });
直接 new 的方式比較麻煩,所以 Node.js 進(jìn)一步提供了工廠方法:
new Server 可以用 net.createServer
new Socket 可以用 net.createConnection
這樣做了進(jìn)一步的簡化。
總結(jié)
網(wǎng)絡(luò)中的兩個進(jìn)程通過 ip + 端口來通信,通過協(xié)議指定數(shù)據(jù)的格式。端口是一種 ioc 的思想,不直接綁定到進(jìn)程 id,而是把數(shù)據(jù)寫入到端口,進(jìn)程 bind 到這個端口的形式。
端口號是 16 位的數(shù)字,表示范圍是 0 到 65535,IANA 把它分成了 3 類來用:
0 到 1024 是協(xié)議對應(yīng)的端口、1024 到 49151 是進(jìn)程可以注冊的端口,49152 到 65535 是動態(tài)分配用的端口。
通過 協(xié)議 + ip + 端口的 3 要素就可以定位網(wǎng)絡(luò)上的進(jìn)程,而具體協(xié)議的數(shù)據(jù)格式不同,所以 POSIX 規(guī)定了 socket 的一系列 api,包括服務(wù)端的 bind、read、write、close,客戶端的 read、write、close 等,提供了類似文件讀寫的 api。
各種語言都對這些操作系統(tǒng)的 api 做了封裝,Node.js 也是。Node.js 對文件讀寫使用 stream 的形式,所以 net.Socket、net.Server 也是 stream 的 api。為了簡化創(chuàng)建,還分別提供了 net.createConnect 和 net.createServer 的工廠方法。
希望這篇文章可以幫助大家理解端口的本質(zhì)(內(nèi)存中用于接受網(wǎng)絡(luò)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)),socket 的本質(zhì)(POSIX 定義的網(wǎng)絡(luò)通信 api),以及熟悉 Node.js 的 net 的 api。