面試官:說說對 Node 中的 Stream 的理解?應(yīng)用場景?
本文轉(zhuǎn)載自微信公眾號「JS每日一題」,作者灰灰 。轉(zhuǎn)載本文請聯(lián)系JS每日一題公眾號。
一、是什么
流(Stream),是一種數(shù)據(jù)傳輸手段,是端到端信息交換的一種方式,是有順序的,是逐塊讀取數(shù)據(jù)、處理內(nèi)容,用于順序讀取輸入或?qū)懭胼敵?/p>
在很多時候,流(Stream)是字節(jié)流(Byte Steram)的簡稱,也就是長長的一串字節(jié)
除了字節(jié)流,還可以有視頻流、音頻流、數(shù)據(jù)流
流的獨特之處在于,它不像傳統(tǒng)的程序那樣一次將一個文件讀入內(nèi)存,而是逐塊讀取數(shù)據(jù)、處理其內(nèi)容,而不是將其全部保存在內(nèi)存中
流可以分成三部分:source、dest、pipe
在source和dest之間有一個連接的管道pipe,它的基本語法是source.pipe(dest),source和dest就是通過pipe連接,讓數(shù)據(jù)從source流向了dest,如下圖所示:
二、種類
在NodeJS,幾乎所有的地方都使用到了流的概念,分成四個種類:
可寫流:可寫入數(shù)據(jù)的流。例如 fs.createWriteStream() 可以使用流將數(shù)據(jù)寫入文件
- 可讀流:可讀取數(shù)據(jù)的流。例如fs.createReadStream() 可以從文件讀取內(nèi)容
- 雙工流:既可讀又可寫的流。例如 net.Socket
- 轉(zhuǎn)換流:可以在數(shù)據(jù)寫入和讀取時修改或轉(zhuǎn)換數(shù)據(jù)的流。例如,在文件壓縮操作中,可以向文件寫入壓縮數(shù)據(jù),并從文件中讀取解壓數(shù)據(jù)
在NodeJS中HTTP服務(wù)器模塊中,request 是可讀流,response 是可寫流。還有fs 模塊,能同時處理可讀和可寫文件流
可讀流和可寫流都是單向的,比較容易理解,而另外兩個是雙向的
雙工流
之前了解過websocket通信,是一個全雙工通信,發(fā)送方和接受方都是各自獨立的方法,發(fā)送和接收都沒有任何關(guān)系
如下圖所示:
基本代碼如下:
- const { Duplex } = require('stream');
- const myDuplex = new Duplex({
- read(size) {
- // ...
- },
- write(chunk, encoding, callback) {
- // ...
- }
- });
轉(zhuǎn)換流
轉(zhuǎn)換流的演示圖如下所示:
比如一個 babel,把es6轉(zhuǎn)換為es5,我們在左邊寫入 es6,從右邊讀取 es5
基本代碼如下所示:
- const { Transform } = require('stream');
- const myTransform = new Transform({
- transform(chunk, encoding, callback) {
- // ...
- }
- });
三、應(yīng)用場景
stream的應(yīng)用場景主要就是處理IO操作,而http請求和文件操作都屬于IO操作
思想一下,如果一次IO操作過大,硬件的開銷就過大,而將此次大的IO操作進行分段操作,讓數(shù)據(jù)像水管一樣流動,知道流動完成
常見的場景有:
- get請求返回文件給客戶端
- 文件操作
- 一些打包工具的底層操作
get請求返回文件給客戶端
使用stream流返回文件,res也是一個stream對象,通過pipe管道將文件數(shù)據(jù)返回
- const server = http.createServer(function (req, res) {
- const method = req.method; // 獲取請求方法
- if (method === 'GET') { // get 請求
- const fileName = path.resolve(__dirname, 'data.txt');
- let stream = fs.createReadStream(fileName);
- stream.pipe(res); // 將 res 作為 stream 的 dest
- }
- });
- server.listen(8000);
文件操作
創(chuàng)建一個可讀數(shù)據(jù)流readStream,一個可寫數(shù)據(jù)流writeStream,通過pipe管道把數(shù)據(jù)流轉(zhuǎn)過去
- const fs = require('fs')
- const path = require('path')
- // 兩個文件名
- const fileName1 = path.resolve(__dirname, 'data.txt')
- const fileName2 = path.resolve(__dirname, 'data-bak.txt')
- // 讀取文件的 stream 對象
- const readStream = fs.createReadStream(fileName1)
- // 寫入文件的 stream 對象
- const writeStream = fs.createWriteStream(fileName2)
- // 通過 pipe執(zhí)行拷貝,數(shù)據(jù)流轉(zhuǎn)
- readStream.pipe(writeStream)
- // 數(shù)據(jù)讀取完成監(jiān)聽,即拷貝完成
- readStream.on('end', function () {
- console.log('拷貝完成')
- })
一些打包工具的底層操作
目前一些比較火的前端打包構(gòu)建工具,都是通過node.js編寫的,打包和構(gòu)建的過程肯定是文件頻繁操作的過程,離不開stream,如gulp
參考文獻
https://xie.infoq.cn/article/1a9695020828460eb3c4ff1fa
https://juejin.cn/post/6844903891083984910