自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

Node.js中實(shí)現(xiàn)文件的循環(huán)寫入

開發(fā) 前端
node.js對(duì)所有外部資源調(diào)用提供異步機(jī)制,文件IO也不例外。在這種異步機(jī)制下,進(jìn)程不會(huì)被阻塞,這極大提高了CPU的利用率,為單進(jìn)程的模式奠定了基礎(chǔ)。

node.js對(duì)所有外部資源調(diào)用提供異步機(jī)制,文件IO也不例外。在這種異步機(jī)制下,進(jìn)程不會(huì)被阻塞,這極大提高了CPU的利用率,為單進(jìn)程的模式奠定了基礎(chǔ)。但同時(shí),異步機(jī)制的引入也給程序邏輯的實(shí)現(xiàn)帶來了一定復(fù)雜性,原來一些慣常的思維方式需要進(jìn)行轉(zhuǎn)換。

本文將以一個(gè)文件操作的實(shí)例來說明這一點(diǎn)。

假設(shè)我們需要新建一個(gè)文件,在其中循環(huán)寫入0-9的數(shù)字,文件的總長度為1G bytes。在通常情況下,我們需要建立一個(gè)buffer,將內(nèi)容放入其中,然后打開文件,在一個(gè)循環(huán)中多次向文件中寫入,直至寫滿1G的長度。在node.js中我們同樣可以使用同步文件寫操作(例如 fs.writeSync)來實(shí)現(xiàn)這個(gè)邏輯,但這樣做顯然無法利用node.js提供的異步機(jī)制的優(yōu)勢。寫操作會(huì)在fs.writeSync調(diào)用時(shí)阻塞,如果同時(shí)有其他運(yùn)算任務(wù)需要處理,則會(huì)在進(jìn)程中排隊(duì),造成 CPU資源浪費(fèi)。

如果我們使用基于事件回調(diào)的異步文件寫操作(例如 fs.write),如何來模擬同步模式下的循環(huán)邏輯呢?自然可以想到的一點(diǎn)是定義一個(gè)函數(shù)用來處理單次寫入操作,然后依靠事件回調(diào)反復(fù)調(diào)用此函數(shù),直至寫滿計(jì)劃中的長度。但問題在于回調(diào)函數(shù)的參數(shù)形式是固定的,無法加入fd (file descriptor)和循環(huán)變量來標(biāo)注當(dāng)前運(yùn)行的進(jìn)度狀況。解決這個(gè)問題,我們可以應(yīng)用js語言中的“閉包”機(jī)制,因?yàn)殚]包函數(shù)可以在棧中保存定義此函數(shù)的現(xiàn)場。

具體代碼如下:

  1. var file_size = 1024*1024*1024;         //1G  
  2. var buf_size = 10240;  
  3.  
  4. var fs = require('fs');  
  5. var buf = new Buffer(buf_size);  
  6.  
  7. // init temp buffer  
  8. var temp = new Buffer(10);  
  9. for (var i=0; i<10; i++) {  
  10.     temp[i] = (i).toString().charCodeAt(0);  
  11. }  
  12.  
  13. // init buf  
  14. for (var i=0; i<buf_size/10-1; i++) {  
  15.     temp.copy(buf, 10*i);  
  16. }  
  17. temp.copy(buf, 10*i, 0, buf_size-parseInt(buf_size/10)*10);  
  18.  
  19. // write to file  
  20. fs.open('big.block''w', 0666, function(err, fd){  
  21.     if (err) throw err;  
  22.  
  23.     function write(err, written) {  
  24.         if (err) throw err;  
  25.         if (i>=file_size/buf_size) {    //close the file  
  26.             fs.close(fd);  
  27.         } else {            //continue to write  
  28.             var length = buf_size;  
  29.             if ((i+1)*buf_size>file_size) {  
  30.                 length = file_size-i*buf_size;  
  31.             }  
  32.             fs.write(fd, buf, 0, length, null, write);  
  33.             i++;  
  34.         }  
  35.     }  
  36.  
  37.     var i=0;  
  38.     write(null, 0);  
  39. }); 

需要注意緩沖區(qū)大小對(duì)寫操作的性能影響很大。過小的緩沖區(qū)會(huì)造成從磁盤到文件系統(tǒng),甚至用戶程序,整個(gè)過程更大的資源消耗,從而影響程序的執(zhí)行效率。通過time數(shù)據(jù)可明顯觀察到其差別:

1K緩沖:

real 0m39.340s

user 0m18.244s

sys 0m34.750s

10K緩沖:

real 0m7.985s

user 0m2.037s

sys 0m7.525s

100K緩沖:

real 0m4.223s

user 0m0.312s

sys 0m4.077s

原文:http://cnodejs.org/blog/?p=168#comment-820

【編輯推薦】

  1. Node.js源碼研究之模塊組織加載
  2. 淺析Node.js中的流程控制
  3. 揭秘Node.js事件
  4. Node.js初探之hello world
  5. 什么是Node.js?
責(zé)任編輯:陳貽新 來源: cnodejs.org
相關(guān)推薦

2024-01-05 08:49:15

Node.js異步編程

2012-02-03 09:25:39

Node.js

2021-05-27 09:00:00

Node.js開發(fā)線程

2023-01-31 16:43:31

?Node.js事件循環(huán)

2021-01-04 08:09:58

Node.js磁盤接口

2021-10-22 08:29:14

JavaScript事件循環(huán)

2014-09-12 10:35:09

Node.jsHTTP 206

2021-12-18 07:42:15

Ebpf 監(jiān)控 Node.js

2016-08-11 14:02:02

NodeJS前端

2020-04-15 15:48:03

Node.jsstream前端

2021-05-21 09:36:42

開發(fā)技能代碼

2013-11-01 09:34:56

Node.js技術(shù)

2015-03-10 10:59:18

Node.js開發(fā)指南基礎(chǔ)介紹

2017-03-19 16:40:28

漏洞Node.js內(nèi)存泄漏

2017-03-20 13:43:51

Node.js內(nèi)存泄漏

2022-01-11 17:23:12

配置Node.jsNode

2021-06-10 07:51:07

Node.js循環(huán)機(jī)制

2020-05-29 15:33:28

Node.js框架JavaScript

2021-12-25 22:29:57

Node.js 微任務(wù)處理事件循環(huán)

2021-07-16 04:56:03

NodejsAddon
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)