在數(shù)據(jù)中心開始從機械硬盤向固態(tài)硬盤(SSD)轉換后不久，NVMe協(xié)議就開始支持高性能直接附加的PCIe SSD。緊隨NVMe之后的是NVMe over Fabrics(NVMe-oF)，旨在高效地支持超大型遠程SSD池，有效地取代直接附加存儲(DAS)，進而成為云基礎設施中分離式存儲的默認協(xié)議。

[[401676]]

最近推出的NVMe over TCP可提供更強大的NVMe-oF技術，能夠在降低部署成本和設計復雜度的同時提供更高的性能。本質上，NVMe over TCP使用簡單高效的TCP/IP結構將NVMe擴展到了整個數(shù)據(jù)中心。

商業(yè)和技術咨詢公司Capgemini North America的IT主管Eric Killinger說：“能夠在高帶寬、低延遲的情況下進行通信，在存儲陣列之間實現(xiàn)物理隔離，以及添加包含TCP協(xié)議的普通交換網(wǎng)絡進行傳輸，無疑將改變游戲規(guī)則。超大型云服務提供商已經(jīng)采用這項技術以取代已有二三年歷史的SSD技術，從而為數(shù)據(jù)分析和物聯(lián)網(wǎng)提供了更大的查詢訪問能力。

背景：NVMe和NVMe-oF的出現(xiàn)

由NVMe SSD構建的存儲陣列極大地提升了存儲速度，但是這些設備仍然通過基于SCSI的主機連接與服務器進行通信。NVMe-oF的部署可以跨交換結構支持基于NVMe的塊存儲設備遠程直接內存訪問(RDMA)。

技術研究公司IDC的基礎設施系統(tǒng)研究副總裁Eric Burgener說：“這是一種專門為固態(tài)存儲優(yōu)化的高性能存儲網(wǎng)絡協(xié)議，其提供了更低的延遲、更高的帶寬、并行性和更高的效率。”

NVMe-oF 適用于光纖通道(FC)、以太網(wǎng)和InfiniBand等不同類型的網(wǎng)絡傳輸。在以太網(wǎng)中，用戶還可以選擇RoCE(RDMA over Converged Ethernet)、iWARP以及TCP等不同的傳輸選項。

缺點是FC、InfiniBand、RoCE和iWARP選項都需要定制的主機總線適配器和驅動程序，這使得它們的部署和維護既困難又昂貴。Burgener說：“NVMe over TCP是一個真正的行業(yè)標準，可與幾乎所有的企業(yè)服務器上的標準聚合以太網(wǎng)適配器配合使用。”此外，大多數(shù)重要的Linux變體如今在其標準發(fā)行版中都含有NVMe-over-TCP驅動程序。

Burgener說：“作為一個已發(fā)布且被廣泛接受的標準，從長遠來看，它們將主導NVMe-oF的部署。雖然部署成本也較低，不需要標準Linux或以太網(wǎng)適配器之外的升級計劃，但是它們的延遲比RoCE要高一些。迄今為止，RoCE是另一種被廣泛部署的以太網(wǎng)選項。”

RoCE和iWARP都支持RDMA，而FC和TCP則不支持RDMA。雖然支持RDMA可稍微降低延遲，但是所有這些方法都比基于普通SCSI的存儲網(wǎng)絡技術(如FC和iSCSI)提供了顯著的性能改進。

NVMe/TCP的部署和應用

用戶采用NVMe/TCP的一個主要原因是其提供一個低延遲的共享存儲解決方案。

Burgener說：“如果用戶有一個基于NVMe的全閃存陣列，但是該陣列仍然通過基于SCSI的存儲網(wǎng)絡連接到服務器上，那么用戶可能會遇到很多性能問題，并且固態(tài)存儲資源使用效率也不高。如果用戶希望讓所有的應用程序都能夠享受到基于NVMe的全閃存陣列的性能，那么用戶這時需要用到NVMe-oF存儲網(wǎng)絡。”

對于大多數(shù)企業(yè)而言，最終的傳輸選擇將取決于已部署的技術或是規(guī)模與性能要求。

Burgener說：“FC是滿足后一種要求的最佳傳輸方式，但是隨著高帶寬以太網(wǎng)新版本的不斷推出，這種區(qū)別正在不斷縮小，因為以太網(wǎng)可通過更高的帶寬處理更多的工作負載。一些對性能非常敏感的應用程序使用FC作為NVMe-oF的傳輸層會更好，不過隨著時間的推移，這類應用程序會越來越少。”

如果企業(yè)已經(jīng)有了FC網(wǎng)絡，那么在其上部署NVMe-oF就相對容易些，因為許多企業(yè)已經(jīng)在這樣做了。Burgener認為，大多數(shù)新建企業(yè)還是會選擇部署以太網(wǎng)，而TCP最終將勝出。

Burgener說：“在應用程序方面，我們將會看到NVMe over TCP被用于由人工智能/機器學習(AI/ML)驅動的大數(shù)據(jù)分析工作負載當中，特別是在要求實時的情況下。另一個重要意義在于，環(huán)境已將大量工作負載整合到單個存儲陣列上，并且需要能夠在高工作負載密度下提供出色的性能。”

[[401677]]

雖然AI/ML驅動的大數(shù)據(jù)分析應用正在增長，但是該領域仍處于新興階段。更為直接的原因在于，NVMe/TCP在基于閃存的超大存儲部署環(huán)境中受到了越來越多的關注，尤其是在大量低延遲數(shù)據(jù)必須通過現(xiàn)有的高帶寬交換網(wǎng)絡被快速訪問的情況下。

Killinger說：“超大規(guī)模是這項技術的天然消費者，因為它們可以實現(xiàn)閃電般的數(shù)據(jù)訪問，并允許數(shù)據(jù)分布在多個數(shù)據(jù)中心內，同時它們還在電網(wǎng)、冷卻和本地化的高可用性體系結構方面具有優(yōu)勢，不會帶來的額外成本。”

NVMe/TCP還可以允許用戶利用現(xiàn)有的交換網(wǎng)絡技術。這些技術已經(jīng)商品化并可從許多原始設備制造商處獲得。Killinger說：“與Infiniband或光纖通道相比，連接多個10G以太網(wǎng)端口的每個端口的成本使得利用NVMe的TCP堆棧成為可能。”

Burgener指出，許多高端存儲用戶已經(jīng)致力于FC存儲網(wǎng)絡，并且已經(jīng)或正在計劃升級到RoCE。不過，這種情況在未來幾年可能會發(fā)生變化。

Burgener認為，隨著存儲基礎設施越來越多地轉向固態(tài)存儲，用戶也將越來越關心基礎設施的效率，NVMe over TCP將明顯優(yōu)于SCSI，而且成本低廉，易于部署。

NVMe-over-TCP的可用性

NVMe及其規(guī)范由NVM Express擁有和維護，NVM Express是一個由網(wǎng)絡、存儲和其他IT相關公司組成的聯(lián)盟。NVMe規(guī)范于2011年發(fā)布，其定義了主機軟件如何通過PCI-Express(PCIe)總線與非易失性內存通信，目前已成為PCIe SSD的行業(yè)標準。NVMe/TCP于2018年獲得NVM Express的批準。

從目前的情況來看，對NVMe/TCP的支持主要來自Mellanox Technologies等網(wǎng)絡供應商，以及Lightbits Labs、Excellero、Pavilion Data和Infinidat等存儲初創(chuàng)公司。SSD芯片制造商Kioxia也支持NVMe over TCP。

NVMe/TCP可用性預計將在未來幾年快速增長。Burgener預測稱：“盡管大多數(shù)主要的企業(yè)級存儲供應商還沒有動作，但是他們可能會在未來12~18個月內推出相關的產(chǎn)品。”

雖然大規(guī)模的NVMe-over-TCP部署在短期內是一個障礙，但是它們很可能轉化為一個長期的成功。

Killinger說：“大多數(shù)IT公司都在嘗試公有云服務，估計有超過90%的業(yè)務部門在使用一個或多個公有云。同時，IT更新率一直呈下降趨勢。對于用高端的NVMe技術更新老化的存儲基礎設施，許多公司沒有編列足夠的預算資金。盡管如此，一些公司開始嘗試用公有云服務提供商來替代自己的企業(yè)IT服務。這正是NVMe over TCP大顯身手的地方，其增長速度將是企業(yè)IT購買力的數(shù)倍。”

Burgener認為，NVMe/TCP的未來前景光明，但是部署率可能要到2022年或2023年底才會真正開始上升。Killinger也樂觀地認為，NVMe/TCP最終將成為主流技術。他說：“我沒有找到NVMe over TCP不會蓬勃發(fā)展的理由，甚至在未來幾年它們還會加速SSD的部署。”他預計，SSD存儲OEM廠商很快就會進行大規(guī)模的市場推廣，并積極拓展其產(chǎn)品在NVMe over TCP上的性能。