為了解決爆炸式增長的數(shù)據(jù)存儲和讀取效率問題，尤其是當前應(yīng)用無論存儲延遲還是高吞吐都有很高要求，傳統(tǒng)架構(gòu)已很難滿足需求。利用分布式存儲實現(xiàn)多節(jié)點橫向空間擴展、多節(jié)點性能高并發(fā)訪問越來越受到歡迎。

但也帶來了因為節(jié)點間數(shù)據(jù)交互導(dǎo)致存儲網(wǎng)絡(luò)繁忙，一旦因擁塞造成丟包，將會引發(fā)IO請求重傳，不僅降低效率，還會加重擁塞。同時傳統(tǒng)的網(wǎng)絡(luò)協(xié)議棧（如TCP/IP）并不是針對高性能應(yīng)用場景設(shè)計的，因此難以提供高效的通信支持，系統(tǒng)調(diào)用和內(nèi)存復(fù)制等操作都會帶來巨大的性能開銷。

為了降低網(wǎng)絡(luò)延遲，提高處理效率，RDMA技術(shù)應(yīng)運而生，通過允許用戶態(tài)的應(yīng)用程序直接讀取和寫入遠程內(nèi)存，而無需CPU介入多次拷貝內(nèi)存，并可繞過內(nèi)核直接向網(wǎng)卡寫數(shù)據(jù)，實現(xiàn)了高吞吐量、超低時延和低CPU開銷的效果。

RDMA是一種通過網(wǎng)絡(luò)把數(shù)據(jù)直接傳入另一臺計算機內(nèi)存區(qū)域的技術(shù)，其很少占用CPU資源，不需要進行內(nèi)存復(fù)制，基本可以不需要內(nèi)核介入數(shù)據(jù)傳輸過程。這種數(shù)據(jù)傳輸方式可以提供低延時，高帶寬和低CPU使用率，最大化的利用網(wǎng)絡(luò)設(shè)備本身的資源，避免各種協(xié)議棧的開銷，其作為NVMe over Fabric的傳輸網(wǎng)絡(luò)非常合適。 

RDMA(RemoteDirect Memory Access)技術(shù)全稱遠程直接內(nèi)存訪問，就是為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。

它將數(shù)據(jù)直接從一臺計算機的內(nèi)存?zhèn)鬏數(shù)搅硪慌_計算機，無需雙方操作系統(tǒng)的介入。這允許高吞吐、低延遲的網(wǎng)絡(luò)通信，尤其適合在大規(guī)模并行計算機集群中使用。

RDMA通過網(wǎng)絡(luò)把資料直接傳入計算機的存儲區(qū)，將數(shù)據(jù)從一個系統(tǒng)快速移動到遠程系統(tǒng)存儲器中，而不對操作系統(tǒng)造成任何影響，這樣就不需要用到多少計算機的處理能力。它消除了外部存儲器復(fù)制和上下文切換的開銷，因而能解放內(nèi)存帶寬和CPU周期用于改進應(yīng)用系統(tǒng)性能。

目前，大致有三類RDMA網(wǎng)絡(luò)，分別是Infiniband、RoCE、iWARP。

其中，Infiniband是一種專為RDMA設(shè)計的網(wǎng)絡(luò)，從硬件級別保證可靠傳輸 。而RoCE 和 iWARP都是基于以太網(wǎng)的RDMA技術(shù)，支持相應(yīng)的verbs接口。在Ethernet以太網(wǎng)上，根據(jù)協(xié)議棧融合度的差異，分為iWARP和RoCE兩種技術(shù)，而RoCE又包括RoCEv1和RoCEv2兩個版本(RoCEv2的最大改進是支持IP路由)，各RDMA網(wǎng)絡(luò)協(xié)議棧的對比如下圖所示：

Infiniband，支持RDMA的新一代網(wǎng)絡(luò)協(xié)議。由于這是一種新的網(wǎng)絡(luò)技術(shù)，因此需要支持該技術(shù)的Infiniband網(wǎng)卡和交換機，性能體驗上最佳。

RoCE，一個允許在以太網(wǎng)上執(zhí)行RDMA的網(wǎng)絡(luò)協(xié)議。其較低的網(wǎng)絡(luò)標頭是以太網(wǎng)標頭，其較高的網(wǎng)絡(luò)標頭（包括數(shù)據(jù)）是InfiniBand標頭。這支持在標準以太網(wǎng)基礎(chǔ)設(shè)施（交換機）上使用RDMA。需要支持RoCE網(wǎng)絡(luò)協(xié)議的以太網(wǎng)卡才可使用，性能接近Infiniband

iWARP，一個允許在TCP上執(zhí)行RDMA的網(wǎng)絡(luò)協(xié)議。IB和RoCE中存在的功能在iWARP中不受支持。這支持在標準以太網(wǎng)基礎(chǔ)設(shè)施（交換機）上使用RDMA，需要支持iWARP特性的網(wǎng)卡才可以使用，對比Infiniband RDMA 和ROCE性能較差

PhegData-X研發(fā)團隊自研存儲引擎SmartStor-X集成RDMA通訊功能，支持通過InfiniBand、RoCE或TCP模式實現(xiàn)計算到存儲端、存儲節(jié)點之間數(shù)據(jù)傳輸。

配合自研高性能SmartCache緩存模塊、自研高并發(fā)塊客戶端，為客戶提供高性能低延遲的理想型分布式存儲解決方案。下圖為通過Infiniband RDMA方式和以太網(wǎng)TCP方式的性能對比，無論8k場景或1024k場景下隨機讀寫性能RDMA方式對比TCP均要提升一倍左右。

作為分布式存儲的新原力，通過軟件定義，具有如下特點：

• 高度的開放兼容性，支持主流X86，申威以及飛騰平臺，不受硬件廠商綁定
• 高性能，Phegdata X通過SSD緩存加速，采用全并發(fā)IO引擎，支持IB，萬兆上去行，能夠提供高性能存儲服務(wù)
• 高可靠性，Phegdata X支持多副本，節(jié)點或磁盤異常后能夠自動重構(gòu)，具有高可靠性的特點
• 高擴展能力，Phegdata X采用去中心化架構(gòu)，支持磁盤和節(jié)點擴展，擴展后自動均衡，最大支持4096個節(jié)點

面向未來數(shù)據(jù)中心設(shè)計打造的PhegData-X系列同時兼顧傳統(tǒng)業(yè)務(wù)應(yīng)用，既可以滿足數(shù)據(jù)庫等傳統(tǒng)核心關(guān)鍵業(yè)務(wù)需求，也可以完美支持大數(shù)據(jù)分析、虛擬化、容器、私有云等新型業(yè)務(wù)應(yīng)用。

典型應(yīng)用場景

結(jié)合RDMA高速網(wǎng)絡(luò)解決方案，PhegData-X可以解決客戶絕大多數(shù)高性能需求場景，保證客戶業(yè)務(wù)高效穩(wěn)定運行的同時，提升業(yè)務(wù)的敏捷性與競爭力。