?傳統(tǒng)協(xié)議無法滿足全閃存數(shù)據中心的要求，NVMe存儲協(xié)議的出現(xiàn)極大提升了存儲系統(tǒng)內部的存儲吞吐性能、降低了傳輸時延，NoF（NVMe over Fabric）存儲網絡應運而生。在多種Fabric技術中，NVMe over RoCE（RDMA over Converged Ethernet）被廣大存儲廠商所接受，成為業(yè)界NoF的主流。華為推出的NoF+存儲網絡解決方案，相較于標準NoF方案，在性能、可靠性、易用性上均實現(xiàn)了顛覆性改進，是全閃存時代的最佳選擇。

隨著存儲介質從 HDD 發(fā)展到 SSD，存儲高性能吞吐與 SCSI 協(xié)議傳輸較低性能吞吐之間的矛盾日益嚴重，從而出現(xiàn)了 NVMe 存儲協(xié)議。NVMe 規(guī)范了 SSD 訪問接口，簡化了協(xié)議復雜性，充分利用 PCIe（Peripheral Component Interconnect Express）通道的低延時以及并行性，利用多核處理器，通過降低協(xié)議交互時延，增加協(xié)議并發(fā)能力，并且精簡操作系統(tǒng)協(xié)議堆棧，顯著提高了 SSD 的讀寫性能。

全場景閃存化推動了數(shù)據中心的網絡改革，NVMe 最大化釋放了 SSD 介質的能力。更快的存儲呼吁更快的網絡。NoF 存儲網絡應運而生，通過使用 IP 網絡對專用網絡的創(chuàng)新性革新，實現(xiàn)了更高的帶寬和更低的時延，同時也兼具 IP 易管理的優(yōu)勢，是更好地實現(xiàn)端到端 NVMe 存儲網絡的最佳方案。

NoF 將 NVMe 協(xié)議應用到服務器主機前端，作為存儲陣列與前端主機連接的通道，可端到端取代 SAN 網絡中的 SCSI 協(xié)議，構建全以太的存儲 SAN 網絡。

NVMe over Fabric 中的“Fabric”，是 NVMe 的承載網絡，這個網絡可以是RoCE、FC 或 TCP。具體說明如下：

NVMe over FC 協(xié)議標準為 FC-NVMe，F(xiàn)C-NVMe 和 FC-SCSI 同樣都基于 FCP，IO 交互基于 Exchange。FC-NVMe 基于傳統(tǒng)的 FC 網絡，通過升級主機驅動和交換機支持，F(xiàn)C-SCSI 和 FC-NVMe 能同時運行在同一個 FC 網絡中。FC-NVMe 能最大化繼承傳統(tǒng)的 FC 網絡，復用網絡基礎設施，基于 FC 物理網絡發(fā)揮 NVMe新協(xié)議的優(yōu)勢。

NVMe over TCP 基于現(xiàn)有的 IP 網絡，采用 TCP 協(xié)議傳輸 NVMe，在網絡基礎設施不變的情況下實現(xiàn)了端到端 NVMe。 

NVMe over RoCE 是 NVMe over RDMA 的一種，RDMA 是承載 NoF 的原生網絡協(xié)議，RDMA 協(xié)議除了 RoCE 外還包括 IB（InfiniBand）和 iWARP（Internet Wide Area RDMA Protocol）。

其中，基于以太網的 RoCE 目前已成為 RDMA 的主流網絡承載方式。NVMe over RDMA 協(xié)議比較簡單，直接把 NVMe 的 IO 隊列映射到 RDMA QP（Queue Pair）連接，通過 RDMA SEND，RDMA WRITE，RDMA READ 三個語義實現(xiàn) IO 交互。NVMe over RoCE 基于融合以太網的RDMA 技術承載 NVMe 協(xié)議。

三種方案相比較，基于以太網的 RoCE 比 FC 性能更高（更高的帶寬、更低的時延），同時兼具 TCP 的優(yōu)勢（全以太化、全 IP 化），因此 NVMe over RoCE 是 NoF最優(yōu)的承載網絡方案，也已成為業(yè)界 NoF 的主流技術。

基于以太網的 RoCE 在存儲性能、帶寬方面比 FC 有顯著優(yōu)勢，但替換 FC，聯(lián)接全閃存，標準的 NVMe over RoCE 還需在 3 個方面加強完善：

1. 網絡性能：零丟包網絡零丟包是存儲網絡的基本需求，傳統(tǒng)以太網絡擁塞易丟包。

2. 可靠性：秒級主備切換存儲為了可靠性，會構建多個網絡平面，切換時間需<1s。

3. 易用性：即插即用FC 存儲網絡場景單一、配置簡單，當前以太網絡還需針對存儲場景適應性改進。

基于當下業(yè)界主流的標準 NoF 方案，華為依靠在網絡和存儲領域的深厚積累，進一步從網絡性能、可靠性和易用性這三點都進行提升，基于智能無損網絡面向集中式存儲場景提出了 NoF+解決方案，將數(shù)據中心存儲網絡進一步推向更廣闊的發(fā)展空間。

網絡性能增強：NoF+方案改變了傳統(tǒng)以太靜態(tài)水線方式，對網絡預測性能力進行專項優(yōu)化，通過樣本計算，針對特定場景，通過算法進行精準的控制，從而預判業(yè)務對網絡的訴求，提前做出優(yōu)化，實現(xiàn)高吞吐帶寬，進一步提升性能。

可靠性增強：保障業(yè)務系統(tǒng)可靠是存儲的根基，比如存儲的秒級切換功能就是可靠性的關鍵保障之一，標準以太缺乏故障主動發(fā)現(xiàn)和通知能力，NoF+實現(xiàn)了從事后被動響應到主動通知、提前識別擁塞和故障。當一個節(jié)點出現(xiàn)故障，業(yè)務會以亞秒級響應速度切換，在高性能運行的前提下，也能維持系統(tǒng)的穩(wěn)定可靠。

易用性增強：華為的存儲與網絡產品強強聯(lián)合，打造了“即插即用”的方案，實現(xiàn)了一鍵式擴容，自動化管理，增強了在未來建設時的易用性。

在數(shù)據中心常規(guī)組網里面，存儲網絡只是其中的一部分，集中式存儲是一個獨立的網絡，與業(yè)務網絡在物理上隔離。

業(yè)務網絡：是指業(yè)務服務器對外提供服務通信網絡，該網絡與外部網絡互連互通。

計算網絡：是指運行 OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）數(shù)據庫的后臺服務計算節(jié)點所組成的物理網絡，使用不同的網卡連接業(yè)務網絡和存儲網絡，實現(xiàn)業(yè)務網絡和存儲網絡之間物理隔離，避免相互影響。

存儲網絡：是指計算服務器訪問存儲數(shù)據時使用通信網絡，該網絡一般是獨立的物理網絡。為了保證數(shù)據高可靠，存儲網絡支持 DC 級容災，支持同城雙活存儲網絡，確保業(yè)務系統(tǒng)發(fā)生設備故障、甚至單數(shù)據中心故障時，業(yè)務無感知自動切換，實現(xiàn) RPO （ Recovery Point Objective ） =0 ， RTO （ Recovery Time Objective）≈0（與應用系統(tǒng)及部署方式有關）。

數(shù)據中心為了容災考慮，需要實現(xiàn)多數(shù)據中心互通。同城兩個數(shù)據中心互為備份，且都處于運行狀態(tài)。當一個數(shù)據中心發(fā)生設備故障，甚至數(shù)據中心整體故障時，業(yè)務自動切換到另一個數(shù)據中心，解決了傳統(tǒng)災備中心不能承載業(yè)務和業(yè)務無法自動切換的問題。提供給用戶高級別的數(shù)據可靠性以及業(yè)務連續(xù)性的同時，提高存儲系統(tǒng)的資源利用率。異地進行異步數(shù)據備份。

在集中式存儲下，為了實現(xiàn)同城讀寫支持 NVME over ROCE，需要實現(xiàn)同城無損網絡，即需要一套跨 DC 的無損網絡，每個 DC 部署兩臺支持智能長距無損的 DCI Leaf，中間通過波分設備或者裸光纖直連實現(xiàn)雙平面，實現(xiàn)端到端的 ROCE 無損網絡。

在本場景中，常見的流量有以下幾種類型：

由應用發(fā)起對存儲節(jié)點數(shù)據的讀操作，此時計算節(jié)點訪問同 DC 中的存儲節(jié)點，存儲節(jié)點返回相應數(shù)據，如圖中藍色線條所示。

當應用同時還需要對存儲寫數(shù)據時，除了對本 DC 內的存儲節(jié)點執(zhí)行寫操作，在存儲系統(tǒng)之間，同時也會發(fā)起對另外 DC 中存儲的寫操作，作為數(shù)據的復制備份，如圖中黑色線條所示。

當上層應用在寫本 DC 存儲時，會先探測本 DC 內存儲節(jié)點是否可用，如果不可用，則應用會將數(shù)據寫入到 DC2 中的存儲節(jié)點中，如圖中紅色線條所示。然后DC2 中的存儲節(jié)點，再嘗試將數(shù)據復制寫如到 DC1 的存儲節(jié)點中，如圖中的紫色線條所示。

RoCEv2 協(xié)議將 RDMA 遷移到了 ETH/IP 網絡，使得 ETH/IP 網絡支持 HPC、AI、分布式存儲和集中式存儲。NoF+存儲網絡解決方案借助 RoCEv2 技術改變了傳統(tǒng)數(shù)據中心前端業(yè)務網采用以太網、計算網采用 IB 網、存儲網采用 FC 網的異構模式，讓智能無損網絡實現(xiàn)三網合一成為可能，全部采用以太的方式部署。?