自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

結合異步迭代器實現(xiàn) Node.js 流式數(shù)據(jù)復制

開發(fā) 前端
實現(xiàn)可讀流到可寫流數(shù)據(jù)復制,就是不斷的讀取->寫入這個過程,那么你首先想到的是不是下面這樣呢?代碼看似很簡單,結果卻是很糟糕的,沒有任何的數(shù)據(jù)積壓處理。

[[422219]]

實現(xiàn)可讀流到可寫流數(shù)據(jù)復制,就是不斷的讀取->寫入這個過程,那么你首先想到的是不是下面這樣呢?代碼看似很簡單,結果卻是很糟糕的,沒有任何的數(shù)據(jù)積壓處理。如果讀取的文件很大了,造成的后果就是緩沖區(qū)數(shù)據(jù)溢出,程序會占用過多的系統(tǒng)內(nèi)存,拖垮服務器上的其它應用,如果不明白的回顧下這篇文章 Node.js Stream 背壓 — 消費端數(shù)據(jù)積壓來不及處理會怎么樣?。

  1. // 糟糕的示例,沒有數(shù)據(jù)積壓處理 
  2. readable.on('data', data => { 
  3.   writable.write(data) 
  4. }); 

類似以上的需求,推薦你用 pipe() 方法以流的形式完成數(shù)據(jù)的復制。

作為學習,結合異步迭代器以一種簡單的方式實現(xiàn)一個類似于 pipe 一樣的方法完成數(shù)據(jù)源到目標源的數(shù)據(jù)復制。

數(shù)據(jù)寫入方法實現(xiàn)

_write 方法目的是控制可寫流的數(shù)據(jù)寫入,它返回一個 Promise 對象,如果可寫流的 dest.write() 方法返回 true,表示內(nèi)部緩沖區(qū)未滿,繼續(xù)寫入。

當 dest.write() 方法返回 false 表示向流中寫入數(shù)據(jù)超過了它所能處理的最大能力限制,此時暫停向流中寫入數(shù)據(jù),直到 drain 事件觸發(fā),表示緩沖區(qū)中的數(shù)據(jù)已排空了可以繼續(xù)寫入,再將 Promise 對象變?yōu)榻鉀Q。

  1. function _write(dest, chunk) { 
  2.   return new Promise(resolve => { 
  3.     if (dest.write(chunk)) { 
  4.       return resolve(null); 
  5.     } 
  6.  
  7.     dest.once('drain', resolve); 
  8.   })   

結合異步迭代器實現(xiàn)

異步迭代器使從可讀流對象讀取數(shù)據(jù)變得更簡單,異步的讀取數(shù)據(jù)并調(diào)用我們封裝的 _write(chunk) 方法寫入數(shù)據(jù),如果緩沖區(qū)空間已滿,這里 await _write(dest, chunk) 也會等待,當緩沖區(qū)有空間可以繼續(xù)寫入了,再次進行讀取 -> 寫入。

  1. function myCopy(src, dest) { 
  2.   return new Promise(async (resolve, reject) => { 
  3.     dest.on('error', reject); 
  4.  
  5.     try { 
  6.       for await (const chunk of src) { 
  7.         await _write(dest, chunk); 
  8.       } 
  9.       resolve(); 
  10.     } catch (err) { 
  11.       reject(err); 
  12.     } 
  13.   }); 

使用如下所示:

  1. const readable = fs.createReadStream('text.txt'); 
  2. const writable = fs.createWriteStream('dest-text.txt'); 
  3. await myCopy(readable, writable); 

本文轉(zhuǎn)載自微信公眾號「Nodejs技術棧」,可以通過以下二維碼關注。轉(zhuǎn)載本文請聯(lián)系Nodejs技術棧公眾號。

 

責任編輯:武曉燕 來源: Nodejs技術棧
相關推薦

2021-03-04 23:12:57

Node.js異步迭代器開發(fā)

2020-12-08 06:28:47

Node.js異步迭代器

2021-04-06 10:15:29

Node.jsHooks前端

2022-05-05 08:02:44

MongoDBNode.js加密

2011-12-23 13:58:57

node.js

2025-01-13 00:00:00

2021-05-18 09:01:39

Node.jsJSON文件

2021-07-15 10:15:52

Node.jsJSON前端

2013-11-01 09:34:56

Node.js技術

2015-03-10 10:59:18

Node.js開發(fā)指南基礎介紹

2021-03-16 16:16:41

GeneratorWebsockets前端

2024-06-17 08:03:51

2021-07-16 04:56:03

NodejsAddon

2020-10-12 08:06:28

HTTP 服務器證書

2021-03-09 08:03:21

Node.js 線程JavaScript

2021-01-26 08:07:44

Node.js模塊 Async

2011-09-09 14:23:13

Node.js

2011-11-01 10:30:36

Node.js

2011-09-08 13:46:14

node.js

2011-09-02 14:47:48

Node
點贊
收藏

51CTO技術棧公眾號