NVMe SSD的性能有多高？常見PCIe 3.0 x4通道的NVMe SSD，4KB隨機讀取性能接近80萬IOPS已經(jīng)不是新鮮事，采用PCIe x8通道的NVMe SSD更是可以獲得100萬+的IOPS。

性能高也有“煩惱”，比如我們突然發(fā)現(xiàn)CPU的性能不夠了——硬盤時代，大家常說存儲是系統(tǒng)的性能瓶頸，經(jīng)過SATA SSD的過渡，PCIe到NVMe SSD，終于把CPU變成了瓶頸。提高CPU性能有兩大手段：高主頻與多內(nèi)核。不管用哪個手段，最終都反應(yīng)為能耗的一路攀升。今年7月剛剛發(fā)布的至強可擴(kuò)展處理器（Xeon SP）功耗已經(jīng)突破200W，比上一代的至強E5 v4高出近50%，對普遍采用風(fēng)冷散熱的通用服務(wù)器而言，結(jié)構(gòu)設(shè)計的功力空前重要。

并且，NVMe SSD的性能發(fā)揮的前提是高速的PCIe通道。一個U.2接口的NVMe SSD需要PCIe x4，而每個至強SP提供48條PCIe 3.0通道，比前代提高20%。雙路至強SP服務(wù)器共有96條PCIe 3.0通道，全部用上正好支持24個U.2的NVMe SSD，剛好對應(yīng)主流2U服務(wù)器的24個前置2.5英寸盤位設(shè)計。即使考慮到PCH、網(wǎng)卡以及其他必要組件也要占用PCIe通道，實際上能支持的NVMe SSD數(shù)量不會有那么多，但CPU也未必吃得消啊……

考驗服務(wù)器設(shè)計能力的時候到了，尤其是U.2 NVMe SSD的加入。一方面2U標(biāo)準(zhǔn)機箱內(nèi)的高性能（通常意味著高能耗）組件更多，需要更好的散熱設(shè)計；另一方面，如何去兼顧NVMe SSD的性能，同時繼承雙路服務(wù)器“多面手”的優(yōu)良傳統(tǒng)？ 

新處理器的推出必然帶動新一輪服務(wù)器升級，在英特爾正式發(fā)布至強SP家族的當(dāng)天，戴爾也同步推出了基于該系列處理器家族的第一波14G服務(wù)器，包括肩負(fù)更新主流2U市場重任的PowerEdge R740/R740xd。在2017戴爾科技論壇（DTF）舉辦之前，企事錄實驗室獲得了一臺配置誠意滿滿的Dell PowerEdge R740xd服務(wù)器：雙路Xeon Gold 6130處理器（8張圖速覽新至強：Skylake架構(gòu)、外貌與型號）、384GB DDR4-2666內(nèi)存，雙M.2 SSD配置的BOSS（Boot Optimized Storage Solution，優(yōu)化啟動存儲方案）卡，（支持RoCE的）雙端口25GbE網(wǎng)卡，以及最重要的4塊U.2 NVMe SSD。

[[202985]]

乍一看，作為新一代的R740xd跟以前的13G服務(wù)器好像沒什么區(qū)別，但細(xì)看卻大有不同。先看前面板，注意最右4塊盤，就是高性能的U.2規(guī)格NVMe SSD，來個特寫：

4塊800GB的U.2 NVMe SSD，加上內(nèi)部的Xeon Gold 6130處理器和384GB內(nèi)存，讓我們充滿期待。

[[202986]]

R740xd內(nèi)部照，尾部的兩個PCIe ×16插槽上各連接了一個扣著銀色散熱片的PCIe Card，這實際上是連接前面板U.2 NVMe SSD的PCIe擴(kuò)展卡。

[[202987]]

這是PCIe擴(kuò)展卡的核心——基于PLX的PCIe Switch芯片，采用PCIe 3.0 x16接口，分為AB兩個端口，每個端口是PCIe x8規(guī)格，支持兩塊x4的U.2 NVMe SSD。因此一塊卡可以全速連接4塊U.2 SSD。

Dell PowerEdge R740xd服務(wù)器中的U.2 NVMe SSD連接示意圖，最大可支持12個U.2 SSD，或者最大24塊SATA/SAS SSD或者HDD，亦或兩者按比例混插。

再看看R740xd中的PCIe通道分配情況：

根據(jù)企事錄手里的這臺戴爾 R740xd服務(wù)器的配置，我們畫了如上的示意圖。

CPU1/2分別提供不同的PCIe擴(kuò)展槽（其余的PCIe通道被PCH、板載網(wǎng)卡等周邊設(shè)備所使用）：

由此可見，盡管雙路平臺R740xd有96條PCIe通道，但仍有不夠用的感覺，除了BOSS卡（x4）、H740p SAS RAID卡（x8）、25GbE網(wǎng)卡（x8）、PCH和板載網(wǎng)卡（10GbE和1GbE）之后，也僅給高速的NVMe SSD留下了48條PCIe通道可供使用，恰好滿足12個NVMe SSD所需要的PCIe通道數(shù)。（選擇PCIe卡橋接U.2相比板載U.2接口，靈活性更好。在服務(wù)器上將更多的PCIe總線留給擴(kuò)展性更好的PCIe插槽，會方便用戶的使用。）

在企事錄實驗室中的這臺 Dell PowerEdge R740xd服務(wù)器配備了4塊三星PM1725系列的U.2 NVMe SSD： 

Dell PowerEdge R740xd服務(wù)器中所使用的NVMe SSD，800GB容量，屬于三星PM1725系列：最大3.1GB/s帶寬，4k隨機讀寫IOPS分別為75萬和12萬。

數(shù)據(jù)庫類應(yīng)用是目前最能充分發(fā)揮NVMe SSD性能優(yōu)勢的企業(yè)應(yīng)用場景之一，尤其是關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫。因為NVMe SSD具有很好的單位IOPS成本，又具有數(shù)據(jù)庫類應(yīng)用所需要高性能和低延遲。同時考慮到R740xd服務(wù)器配備了兩顆英特爾Xeon Gold 6130處理器和384GB內(nèi)存，具有很好的性能，所以企事錄實驗室首先部署了一個單實例的Oracle數(shù)據(jù)庫環(huán)境，以此來評估這臺PowerEdge R740xd的性能表現(xiàn)。

在構(gòu)建好Oracle 12c數(shù)據(jù)庫之后，考慮到R740xd中配備了384GB的內(nèi)存，而4塊NVMe SSD的容量之和為3.2TB，為避免大內(nèi)存容量導(dǎo)致的數(shù)據(jù)庫I/O性能虛高，企事錄在創(chuàng)建數(shù)據(jù)庫過程中稍微限制了Oracle所能使用的內(nèi)存容量，即將SGA的內(nèi)存容量限制為64GB，同時寫入200GB的測試數(shù)據(jù)。穩(wěn)定運行1小時之后，獲得Oracle數(shù)據(jù)庫性能：

在4塊NVMe SSD下，配備Xeon Gold 6130處理器的R740xd服務(wù)器獲得了172.5萬的平均TPM，峰值TPM超過186萬，接近200萬TPM；平均TPS接近3萬左右，峰值TPS超過3.2萬，且平均響應(yīng)時間僅為3ms。

單純就性能而言，平均3萬TPS的Oracle數(shù)據(jù)庫性能已經(jīng)接近了某些全閃存陣列的性能水平。但結(jié)合企事錄實驗室以往的測試經(jīng)驗來看，計算能力應(yīng)該達(dá)到了瓶頸，畢竟Oracle數(shù)據(jù)庫也是非常消耗計算能力的應(yīng)用，從上圖可以看到，R740xd的CPU占用率已經(jīng)超過了80%。

盡管黃金版的6130處理器在至強SP家族中只處于中上游水平，但其結(jié)合NVMe SSD構(gòu)建的單實例Oracle數(shù)據(jù)庫性能已經(jīng)接近上一代頂級至強E5-2699 v4處理器的性能。200萬TPM對于雙路服務(wù)器而言，似乎是一個不過逾越的難關(guān)，但在新一代Xeon處理器中卻有望破除。

上圖是在Oracle數(shù)據(jù)庫測試過程中，從（Oracle Linux 7.4）操作系統(tǒng)上獲得的截圖，雖然有些核心的利用率為50%左右，但有些核心已經(jīng)高達(dá)90%，從最上面的CPU History曲線來看，已經(jīng)有部分核心的利用率接近100%，這應(yīng)該是Oracle數(shù)據(jù)庫性能無法進(jìn)一步提升的瓶頸所在。

為了證實4塊NVMe SSD并未達(dá)到性能瓶頸，企事錄實驗室利用Oracle數(shù)據(jù)庫本身的命令行腳本測試了在1塊SSD和4塊SSD情況下，Oracle數(shù)據(jù)庫隨機讀取的性能情況：

圖上為1塊NVMe SSD情況下，Oracle數(shù)據(jù)庫的隨機讀取性能，接近42萬IOPS，帶寬在3.3GB/s左右，這基本是單個U.2版本PM1725的極限性能；圖下則為4塊NVMe SSD情況下，Oracle數(shù)據(jù)庫隨機讀取性能高達(dá)170萬IOPS，帶寬約13GB/s。簡單推算，隨著NVMe SSD的增加，其IOPS性能是線性增長的。

這一測試結(jié)果基本可以確定并非NVMe SSD出現(xiàn)瓶頸，接下來，企事錄實驗室分別針對1、2、3塊NVMe SSD下的Oracle數(shù)據(jù)庫性能進(jìn)行了測試，并結(jié)合4塊NVMe SSD下的Oracle數(shù)據(jù)庫性能：

分別在1~4塊NVMe SSD作為數(shù)據(jù)庫存儲下，基于R740xd服務(wù)器構(gòu)建的Oracle數(shù)據(jù)庫性能表現(xiàn)，可見在2塊NVMe SSD情況下，Oracle數(shù)據(jù)庫已經(jīng)獲得最高性能，隨著NVMe SSD的增加，其性能表現(xiàn)并沒有明顯變化。究其原因，即這臺R740xd的兩個Xeon Gold 6130處理器計算性能達(dá)到上限，如果使用更高計算能力的處理器，Oracle數(shù)據(jù)庫的性能還有提升的空間。