[[383912]]

 

文件與目錄的創(chuàng)建和刪除較為簡單，因此忽略這部分內(nèi)容的介紹，我們重點學(xué)習(xí)文件的讀寫。本篇內(nèi)容包括：

• 簡單文件讀寫
• 隨機(jī)訪問文件讀寫
• NIO文件讀寫-FileChannel
• 使用MappedByteBuffer讀寫文件

簡單文件讀寫

FileOutputStream

由于流是單向的，簡單文件寫可使用FileOutputStream，而讀文件則使用FileInputStream。

任何數(shù)據(jù)輸出到文件都是以字節(jié)為單位輸出，包括圖片、音頻、視頻。以圖片為例，如果沒有圖片格式解析器，那么圖片文件其實存儲的就只是按某種格式存儲的字節(jié)數(shù)據(jù)罷了。

FileOutputStream指文件字節(jié)輸出流，用于將字節(jié)數(shù)據(jù)輸出到文件，僅支持順序?qū)懭?、支持以追加方式寫入，但不支持在指定位置寫入?/p>

打開一個文件輸出流并寫入數(shù)據(jù)的示例代碼如下。

public class FileOutputStreamStu{ 
    public void testWrite(byte[] data) throws IOException {                     
        try(FileOutputStream fos = new FileOutputStream("/tmp/test.file",true)) { 
            fos.write(data); 
            fos.flush(); 
        } 
    } 
} 

注意，如果不指定追加方式打開流，new FileOutputStream時會導(dǎo)致文件內(nèi)容被清空，而FileOutputStream的默認(rèn)構(gòu)建函數(shù)是以非追加模式打開流的。

FileOutputStream的參數(shù)1為文件名，參數(shù)2為是否以追加模式打開流，如果為true，則字節(jié)將寫入文件的尾部而不是開頭。

調(diào)用flush方法目的是在流關(guān)閉之前清空緩沖區(qū)數(shù)據(jù)，實際上使用FileOutputStream并不需要調(diào)用flush方法，此處的刷盤指的是將緩存在JVM內(nèi)存中的數(shù)據(jù)調(diào)用系統(tǒng)函數(shù)write寫入。如BufferedOutputStream，在調(diào)用BufferedOutputStream方法時，如果緩存未滿，實際上是不會調(diào)用系統(tǒng)函數(shù)write的，如下代碼所示。

public class BufferedOutputStream extends FilterOutputStream { 
    public synchronized void write(byte b[], int off, int len) throws IOException { 
        if (len >= buf.length) { 
            flushBuffer(); 
            out.write(b, off, len); 
            return; 
        } 
        if (len > buf.length - count) { 
            flushBuffer(); 
        } 
        System.arraycopy(b, off, buf, count, len); // 只寫入緩存 
        count += len; 
    } 
} 

FileInputStream

FileInputStream指文件字節(jié)輸入流，用于將文件中的字節(jié)數(shù)據(jù)讀取到內(nèi)存中，僅支持順序讀取，不可跳躍讀取。

打開一個文件輸入流讀取數(shù)據(jù)的案例代碼如下。

public class FileInputStreamStu{ 
    public void testRead() throws IOException {     
        try (FileInputStream fis = new FileInputStream("/tmp/test/test.log")) { 
            byte[] buf = new byte[1024]; 
            int realReadLength = fis.read(buf); 
        } 
    } 
} 

其中buf數(shù)組中下標(biāo)從0到realReadLength的字節(jié)數(shù)據(jù)就是實際讀取的數(shù)據(jù)，如果realReadLength返回-1，則說明已經(jīng)讀取到文件尾并且未讀取到任何數(shù)據(jù)。

當(dāng)然，我們還可以一個字節(jié)一個字節(jié)的讀取，如下代碼所示。

public class FileInputStreamStu{ 
    public void testRead() throws IOException {      
        try (FileInputStream fis = new FileInputStream("/tmp/test/test.log")) { 
            int byteData = fis.read(); // 返回值取值范圍：[-1,255] 
            if (byteData == -1) { 
                return; // 讀取到文件尾了 
            } 
            byte data = (byte) byteData; 
            // data為讀取到的字節(jié)數(shù)據(jù) 
        } 
    } 
} 

至于讀取到的字節(jié)數(shù)據(jù)如何使用就需要看你文件中存儲的是什么數(shù)據(jù)了。

如果整個文件存儲的是一張圖片，那么需要將整個文件讀取完，再按格式解析成圖片，而如果整個文件是配置文件，則可以一行一行讀取，遇到\n換行符則為一行，代碼如下。

public class FileInputStreamStu{ 
    @Test 
    public void testRead() throws IOException { 
        try (FileInputStream fis = new FileInputStream("/tmp/test/test.log")) { 
            ByteBuffer buffer = ByteBuffer.allocate(1024); 
            int byteData; 
            while ((byteData = fis.read()) != -1) { 
                if (byteData == '\n') { 
                    buffer.flip(); 
                    String line = new String(buffer.array(), buffer.position(), buffer.limit()); 
                    System.out.println(line); 
                    buffer.clear(); 
                    continue; 
                } 
                buffer.put((byte) byteData); 
            } 
        } 
    } 
} 

Java基于InputStream、OutputStream還提供了很多的API方便讀寫文件，如BufferedReader，但如果懶得去記這些API的話，只需要記住FileInputStream與FileOutputStream就夠了。

隨機(jī)訪問文件讀寫

RandomAccessFile相當(dāng)于是FileInputStream與FileOutputStream的封裝結(jié)合，即可以讀也可以寫，并且RandomAccessFile支持移動到文件指定位置處開始讀或?qū)憽?/p>

RandomAccessFile的使用如下。

public class RandomAccessFileStu{ 
    public void testRandomWrite(long index,long offset){ 
        try (RandomAccessFile randomAccessFile = new RandomAccessFile("/tmp/test.idx", "rw")) { 
            randomAccessFile.seek(index * indexLength()); 
            randomAccessFile.write(toByte(index)); 
            randomAccessFile.write(toByte(offset)); 
        } 
    } 
} 

RandomAccessFile構(gòu)建方法：參數(shù)1為文件路徑，參數(shù)2為模式，'r'為讀，'w'為寫;

seek方法：在linux、unix操作系統(tǒng)下就是調(diào)用系統(tǒng)的lseek函數(shù)。

RandomAccessFile的seek方法通過調(diào)用native方法實現(xiàn)，源碼如下。

JNIEXPORT void JNICALL 
Java_java_io_RandomAccessFile_seek0(JNIEnv *env, 
                    jobject this, jlong pos) { 
    FD fd; 
    fd = GET_FD(this, raf_fd); 
    if (fd == -1) { 
        JNU_ThrowIOException(env, "Stream Closed"); 
        return; 
    } 
    if (pos < jlong_zero) { 
        JNU_ThrowIOException(env, "Negative seek offset"); 
    } 
    // #define IO_Lseek lseek 
    else if (IO_Lseek(fd, pos, SEEK_SET) == -1) { 
        JNU_ThrowIOExceptionWithLastError(env, "Seek failed"); 
    } 
} 

Java_java_io_RandomAccessFile_seek0函數(shù)的參數(shù)1表示RandomAccessFile對象，參數(shù)2表示偏移量。函數(shù)中調(diào)用的IO_Lseek方法實際是操作系統(tǒng)的lseek方法。

RandomAccessFile提供的讀、寫、指定偏移量其實都是通過調(diào)用操作系統(tǒng)函數(shù)完成的，包括前面介紹的文件輸入流和文件輸出流也不例外。

NIO文件讀寫-FileChannel

Channel(通道)表示IO源與目標(biāo)打開的連接，Channel類似于傳統(tǒng)的流，但Channel本身不能直接訪問數(shù)據(jù)，只能與Buffer進(jìn)行交互。Channel(通道)主要用于傳輸數(shù)據(jù)，從緩沖區(qū)的一側(cè)傳到另一側(cè)的實體(如File、Socket)，支持雙向傳遞。

正如SocketChannel是客戶端與服務(wù)端通信的通道，F(xiàn)ileChannel就是我們讀寫文件的通道。FileChannel是線程安全的，也就是一個FileChannel可以被多個線程使用。對于多線程操作，同時只會有一個線程能對該通道所在文件進(jìn)行修改。如果需要確保多線程的寫入順序，就必須要轉(zhuǎn)為隊列寫入。

FileChannel可通過FileOutputStream、FileInputStream、RandomAccessFile獲取，也可以通過FileChannel#open方法打開一個通道。

以通過FileOutputStream獲取FileChannel為例，通過FileOutputStream或RandomAccessFile獲取FileChannel方法相同，代碼如下。

public class FileChannelStu{ 
    public void testGetFileCahnnel(){ 
        try(FileOutputStream fos = new FileOutputStream("/tmp/test.log"); 
            FileChannel fileChannel = fos.getChannel()){ 
           // do....    
        }catch (IOException exception){ 
        } 
    } 
} 

需要注意，通過FileOutputStream獲取的FileChannel只能執(zhí)行寫操作，通過FileInputStream獲取的FileChannel只能執(zhí)行讀操作，原因可查看getChannel方法源碼。

通過FileOutputStream或FileInputStream或RandomAccessFile打開的FileChannel，在流關(guān)閉時也會被關(guān)閉，可查看這幾個類的close方法源碼。

若想要獲取一個同時支持讀和寫的FileChannel需要通過open方法打開，代碼如下。

public class FileChannelStu{ 
    public void testOpenFileCahnnel(){ 
        FileChannel channel = FileChannel.open( 
                            Paths.get(URI.create("file:" + rootPath + "/" + postion.fileName)), 
                            StandardOpenOption.READ,StandardOpenOption.WRITE); 
        // do.... 
        channel.close(); 
    } 
} 

open方法第二個變長參數(shù)傳StandardOpenOption.READ和StandardOpenOption.WRITE即可打開一個雙向讀寫的通道。

FileChannel允許對文件加鎖，文件鎖是進(jìn)程級別的，不是線程級別的，文件鎖可以解決多個進(jìn)程并發(fā)訪問、修改同一個文件的問題。文件鎖會被當(dāng)前進(jìn)程持有，一旦獲取到文件鎖就要調(diào)用一次release釋放鎖，當(dāng)關(guān)閉對應(yīng)的FileChannel對象時或當(dāng)前JVM進(jìn)程退出時，鎖也會自動被釋鎖。

文件鎖的使用案例代碼如下。

public class FileChannelStu{ 
    public void testFileLock(){ 
        FileChannel channel = this.channel; 
        FileLock fileLock = null; 
        try { 
            fileLock = channel.lock();// 獲取文件鎖 
            // 執(zhí)行寫操作 
            channel.write(...); 
            channel.write(...); 
        } finally { 
            if (fileLock != null) { 
                fileLock.release(); // 釋放文件鎖 
            } 
        } 
    } 
} 

當(dāng)然，只要我們能確保同時只有一個進(jìn)程對文件執(zhí)行寫操作，那么就不需要鎖文件。RocketMQ也并沒有使用文件鎖，因為每個Broker有自己數(shù)據(jù)目錄，即使一臺機(jī)器上部署多個Broker也不會有多個進(jìn)程對同一個日記文件操作的情況。

上面例子去掉文件鎖后代碼如下。

public class FileChannelStu{ 
    public void testWrite(){ 
        FileChannel channel = this.channel; 
        channel.write(...); 
        channel.write(...); 
    } 
} 

這里還存在一個問題，就是并發(fā)寫數(shù)據(jù)問題。雖然FileChannel是線程安全的，但兩次write并不是原子性操作，如果要確保兩次write是連續(xù)寫入的，還必須要加鎖。在RocketMQ中，通過引用計數(shù)器替代了鎖。

FileChannel提供的force方法用于刷盤，即調(diào)用操作系統(tǒng)的fsync函數(shù)，使用如下。

public class FileChannelStu{ 
    public void closeChannel(){ 
        this.channel.force(true); 
        this.channel.close(); 
    }         
} 

force方法的參數(shù)表示除強(qiáng)制寫入內(nèi)容更改外，文件元數(shù)據(jù)的更改是否也強(qiáng)制寫入。后面使用MappedByteBuffer時，可直接使用MappedByteBuffer的force方法。

FileChannel的force方法最終調(diào)用的C方法源碼如下：

JNIEXPORT jint JNICALL 
Java_sun_nio_ch_FileDispatcherImpl_force0(JNIEnv *env, jobject this, 
                                          jobject fdo, jboolean md) 
{ 
    jint fd = fdval(env, fdo); 
    int result = 0; 
    if (md == JNI_FALSE) { 
        result = fdatasync(fd); 
    } else { 
        result = fsync(fd); 
    } 
    return handle(env, result, "Force failed"); 
} 

參數(shù)md對應(yīng)調(diào)用force方法傳遞的metaData參數(shù)。

使用FileChannel支持seek(position)到指定位置讀或?qū)憯?shù)據(jù)，代碼如下。

public class FileChannelStu{ 
    public void testSeekWrite(){ 
        FileChannel channel = this.channel; 
        synchronized (channel) {  
            channel.position(100); 
            channel.write(ByteBuffer.wrap(toByte(index))); 
            channel.write(ByteBuffer.wrap(toByte(offset))); 
        } 
    } 
} 

上述例子的作用是將指針移動到物理偏移量100byte位置處，順序?qū)懭雐ndex和offset。讀取同理，代碼如下。

public class FileChannelStu{ 
    public void testSeekRead(){ 
        FileChannel channel = this.channel; 
        synchronized (channel) {  
            channel.position(100); 
            ByteBuffer buffer = ByteBuffer.allocate(16); 
            int realReadLength = channel.read(buffer);  
            if(realReadLength==16){ 
                long index = buffer.getLong(); 
                long offset = buffer.getLong(); 
            } 
        } 
    } 
} 

其中read方法返回的是實際讀取的字節(jié)數(shù)，如果返回-1則代表已經(jīng)是文件尾部了，沒有剩余內(nèi)容可讀取。

使用MappedByteBuffer讀寫文件

MappedByteBuffer是Java提供的基于操作系統(tǒng)虛擬內(nèi)存映射(MMAP)技術(shù)的文件讀寫API，底層不再通過read、write、seek等系統(tǒng)調(diào)用實現(xiàn)文件的讀寫。

我們需要通過FileChannel#map方法將文件的一個區(qū)域映射到內(nèi)存中，代碼如下。

public class MappedByteBufferStu{ 
  @Test 
  public void testMappedByteBuffer() throws IOException { 
      FileChannel fileChannel = FileChannel.open(Paths.get(URI.create("file:/tmp/test/test.log")), 
                StandardOpenOption.WRITE, StandardOpenOption.READ); 
      MappedByteBuffer mappedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, 4096); 
      fileChannel.close(); 
      mappedByteBuffer.position(1024); 
      mappedByteBuffer.putLong(10000L); 
      mappedByteBuffer.force();     
  } 
} 

上面代碼的功能是通過FileChannel將文件[0~4096)區(qū)域映射到內(nèi)存中，調(diào)用FileChannel的map方法返回MappedByteBuffer，在映射之后關(guān)閉通道，隨后在指定位置處寫入一個8字節(jié)的long類型整數(shù)，最后調(diào)用force方法將寫入數(shù)據(jù)從內(nèi)存寫回磁盤(刷盤)。

映射一旦建立了，就不依賴于用于創(chuàng)建它的文件通道，因此在創(chuàng)建MappedByteBuffer之后我們就可以關(guān)閉通道了，對映射的有效性沒有影響。

實際上將文件映射到內(nèi)存比通過read、write系統(tǒng)調(diào)用方法讀取或?qū)懭霂资甂B的數(shù)據(jù)要昂貴，從性能的角度來看，MappedByteBuffer適合用于將大文件映射到內(nèi)存中，如上百M、上GB的大文件。

FileChannel的map方法有三個參數(shù)：

• MapMode：映射模式，可取值有READ_ONLY(只讀映射)、READ_WRITE(讀寫映射)、PRIVATE(私有映射)，READ_ONLY只支持讀，READ_WRITE支持讀寫，而PRIVATE只支持在內(nèi)存中修改，不會寫回磁盤;
• position和size：映射區(qū)域，可以是整個文件，也可以是文件的某一部分，單位為字節(jié)。

需要注意的是，如果FileChannel是只讀模式，那么map方法的映射模式就不能指定為READ_WRITE。如果文件是剛剛創(chuàng)建的，只要映射成功，文件的大小就會變成(0+position+size)。

通過MappedByteBuffer讀取數(shù)據(jù)示例如下：

public class MappedByteBufferStu{ 
    @Test 
    public void testMappedByteBufferOnlyRead() throws IOException { 
        FileChannel fileChannel = FileChannel.open(Paths.get(URI.create("file:/tmp/test/test.log")), 
                    StandardOpenOption.READ); 
        MappedByteBuffer mappedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_ONLY, 0, 4096); 
        fileChannel.close(); 
        mappedByteBuffer.position(1024); 
        long value = mappedByteBuffer.getLong(); 
        System.out.println(value); 
    } 
} 

mmap繞過了read、write系統(tǒng)函數(shù)調(diào)用，繞過了一次數(shù)據(jù)從內(nèi)核空間到用戶空間的拷貝，即實現(xiàn)零拷貝，MappedByteBuffer使用直接內(nèi)存而非JVM的堆內(nèi)存。

mmap只是在虛擬內(nèi)存分配了地址空間，只有在第一次訪問虛擬內(nèi)存的時候才分配物理內(nèi)存。在mmap之后，并沒有將文件內(nèi)容加載到物理頁上，而是在虛擬內(nèi)存中分配地址空間，當(dāng)進(jìn)程在訪問這段地址時，通過查找頁表，發(fā)現(xiàn)虛擬內(nèi)存對應(yīng)的頁沒有在物理內(nèi)存中緩存則產(chǎn)生缺頁中斷，由內(nèi)核的缺頁異常處理程序處理，將文件對應(yīng)內(nèi)容以頁為單位(4096)加載到物理內(nèi)存中。

由于物理內(nèi)存是有限的，mmap在寫入數(shù)據(jù)超過物理內(nèi)存時，操作系統(tǒng)會進(jìn)行頁置換，根據(jù)淘汰算法，將需要淘汰的頁置換成所需的新頁，所以mmap對應(yīng)的內(nèi)存是可以被淘汰的，被淘汰的內(nèi)存頁如果是臟頁(有過寫操作修改頁內(nèi)容)，則操作系統(tǒng)會先將數(shù)據(jù)回寫磁盤再淘汰該頁。

數(shù)據(jù)寫過程如下：

• 1.將需要寫入的數(shù)據(jù)寫到對應(yīng)的虛擬內(nèi)存地址;
• 2.若對應(yīng)的虛擬內(nèi)存地址未對應(yīng)物理內(nèi)存，則產(chǎn)生缺頁中斷，由內(nèi)核加載頁數(shù)據(jù)到物理內(nèi)存;
• 3.數(shù)據(jù)被寫入到虛擬內(nèi)存對應(yīng)的物理內(nèi)存;
• 4.在發(fā)生頁淘汰或刷盤時由操作系統(tǒng)將臟頁回寫到磁盤。

RocketMQ正是利用MappedByteBuffer實現(xiàn)索引文件的讀寫，實現(xiàn)一個基于文件系統(tǒng)的HashMap。

RocketMQ在創(chuàng)建新的CommitLog文件并通過FileChannel獲取MappedByteBuffer時會做一次預(yù)熱操作，即每個虛擬內(nèi)存頁(Page Cache)都寫入四個字節(jié)的0x00，并強(qiáng)制刷盤將數(shù)據(jù)寫到文件中。這個動作的用處是通過讀寫操作把MMAP映射全部加載到物理內(nèi)存中。并且在預(yù)熱之后還做了一個鎖住內(nèi)存的操作，這是為了避免磁盤交換，防止操作系統(tǒng)把預(yù)熱過的頁臨時保存到swap區(qū)，防止程序再次讀取交換出去的數(shù)據(jù)頁時產(chǎn)生缺頁中斷。

參考文獻(xiàn)

【深入淺出Linux】關(guān)于mmap的解析

本文轉(zhuǎn)載自微信公眾號「Java藝術(shù)」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系Java藝術(shù)公眾號。