前言

上文《Netty 編程看上去懵懵的...》通過比較 Java NIO 和 Netty 的工作流程，并結合 Netty 的源碼，可以更加清晰地理解Netty。本文將結合源碼詳細解析Netty的高效和強大功能的設計原理，學習 Netty 是如何實現其卓越的性能和功能特性，也希望可以在日后工作中利用到 Netty 的設計思想。

Netty 解決的問題

我們先看看使用 Netty 在網絡編程中幫助我們解決了什么問題。

簡化網絡編程

首先，基于 Netty 初次編碼的直觀體驗來講，開發(fā)者不用手動處理網絡通信細節(jié)，包括線程管理、I/O 處理、協(xié)議解析等，可以專注于業(yè)務邏輯的實現。也正是因為如此，在學習 Netty 時比較抽象難懂 。

如下圖，可以看到 Java NIO 的代碼大概有 80 行，而且還沒有實現 HTTP 協(xié)議，并且還是單線程，沒有復雜的線程管理，更不用說性能什么的。

而 Netty 實現的代碼只有 30 多行，其中的差別一目了然。

圖片

粘包和拆包

我們一般說粘包和拆包都是說 TCP 協(xié)議的問題，因為當用戶消息通過 UDP 協(xié)議傳輸時，操作系統(tǒng)不會對消息進行拆分，所以發(fā)送出去的一條 UDP 報文就是完整的用戶消息，也就是每個 UDP 報文就是用戶消息的邊界。

而當用戶消息通過 TCP 協(xié)議傳輸時，消息可能會被操作系統(tǒng)分組成多個的 TCP 報文進行傳輸，這個時候接收方收到多個報文后，由于不知道消息的邊界，也就無法讀出一個完整的消息。

舉個例子，當發(fā)送方準備發(fā)送 「Hi」和「I am Erdan」這兩個消息，由于MTU限制、緩沖區(qū)的大小等條件，可能會出現幾種情況：

第一種情況，兩條消息分到一個報文中，像這樣：

圖片

第二種情況，「I am Erdan」中的部分消息隨「Hi」被分到一個報文中，像這樣：

圖片

還可能會有第三、四...種情況。

當接收方接收到第一種情況時我們稱之為粘包，第二種情況稱之為拆包。

上面的種種情況表明，一個用戶消息不能對應一個 TCP 報文，正因為這樣，所以 TCP 是面向字節(jié)流的協(xié)議。

粘包和拆包解決手段

解決粘包和拆包的根本手段就是找出消息的邊界，有幾種方式：

• 固定消息長度，這種方式靈活性不高，實際中很少用。
• 特殊字符作為邊界，HTTP 是一個非常好的例子，通過設置回車符、換行符作為 HTTP 報文協(xié)議的邊界。
• 自定義消息結構：消息頭消息體，可以自定義一個消息結構，由包頭和數據組成，其中包頭包是固定大小的，而且包頭里有一個字段來說明緊隨其后的數據有多大。

圖片

HTTP格式

Netty的編解碼器

Netty 提供了固定長度解碼器（FixedLengthFrameDecoder）、行分隔符解碼器（LineBasedFrameDecoder）、分隔符解碼器（DelimiterBasedFrameDecoder）、基于長度字段的解碼器（LengthFieldBasedFrameDecoder）幾種方式來解決粘包問題，可以結合 Netty 的 ChannelPipeline 來使用。

除此之外 Netty 也提供了 HTTP、WebSocket、TCP、UDP幾種協(xié)議的編解碼器，這也是 Netty 靈活擴展強大之處。

高性能的設計

Netty 除了幫助開發(fā)人員解決了一些問題，還提高了網絡編程性能，體現如下

多線程調度

在網絡編程中如果使用單線程來處理，即便是IO多路復用，吞吐和性能也是會有局限的。

而 Netty 中通過 EventLoopGroup 管理線程池，每個線程就是一個 EventLoop。EventLoop 內部有一個 Selector 負責處理一個或多個 Channel 的注冊、讀寫和其他事件。

所以 Netty 通過 EventLoopGroup、EventLoop 和 Selector 的配合工作，實現了高效的并發(fā)處理能力。

圖片

線程安全保障

既然是多線程處理，肯定要去考慮線程安全以確保程序的正確性。

Netty 是如何保障線程安全的？

Netty 通過使用管道（ChannelPipeline）和處理器（ChannelHandler）的方式來實現數據的處理和流轉。而 ChannelHandler 會被分配給一個 EventLoop 處理， EventLoop 內部的數據結構和狀態(tài)都是線程封閉的，不會被其他線程訪問或修改。

所以 Netty 通過合理地設計組件之間的關系，通過單線程執(zhí)行、無鎖設計等方式保證了在高并發(fā)情況下的線程安全性。

零拷貝

在傳統(tǒng)的網絡編程中，數據在進行網絡傳輸之前需要從應用層緩沖區(qū)復制到操作系統(tǒng)內核的緩沖區(qū)，然后再從內核的緩沖區(qū)復制到網絡設備的緩沖區(qū)。這種復制操作會增加 CPU 的負載和內存的開銷，如下圖

圖片

而 Netty 利用零拷貝技術來減少數據復制的次數，提高了數據傳輸的效率。

零拷貝將數據從內核空間直接傳輸到網絡適配器，避免了數據在內核空間和用戶空間之間的復制，從而減少了CPU的負擔。如下圖

圖片

Netty的零拷貝體現在以下幾個方面：

• 零拷貝文件傳輸：Netty 的 FileRegion 接口提供了直接在文件系統(tǒng)和網絡之間傳輸數據的功能。通過使用零拷貝技術，數據可以直接從磁盤讀取并發(fā)送到網絡設備，避免了中間的緩沖區(qū)拷貝，提高了文件傳輸的性能。
• 零拷貝內存?zhèn)鬏敚篘etty 的 ByteBuf 類型支持零拷貝的內存?zhèn)鬏?。當數據在應用程序和內核之間傳輸時，Netty 使用直接內存緩沖區(qū)（Direct ByteBuffer）來避免額外的數據拷貝操作，提高了內存?zhèn)鬏數男省?/li>

通過以上方式，Netty 實現了零拷貝技術在網絡編程中的應用，提高了數據傳輸的效率和性能。這使得 Netty 在處理大量數據傳輸和高并發(fā)場景下具有更好的性能表現。

總結

總的來說，Netty 不論在功能、性能以及穩(wěn)定性來講都是一款很nice的網絡編程框架，很多知名的項目都將 Netty 作為其網絡通信的底層框架，比如Apache Kafka、Elasticsearch、gRPC、Dubbo等。熟悉這些框架的開發(fā)者通常都具備高并發(fā)開發(fā)經驗，并且掌握 Netty 是理解這些框架的重要基礎之一。

本文轉載自微信公眾號「Hi程序員」，可以通過以下二維碼關注。轉載本文請聯系Hi程序員公眾號。