存儲極客 | 瓜哥圖解PCIE/NVMe
“存儲極客”欄目再次與大家見面啦!在這里,只有一位大咖名叫“存儲”,它的粉絲我們稱為“存儲極客”!
NVMe固態(tài)盤、PCIE轉接卡、PCIE交換芯片接入到服務器中的方式主要有以下三種:
1.全Combo形式。如下圖,24個插槽均為SFF8639也就是U.2接口,這就意味著不管是插SATA/SAS還是NVMe SSD到任何一個槽位,混差,數(shù)量配比不限,系統(tǒng)都可以識別到對應的硬盤,也就是所謂三模式(Tri-mode)。所以,每個接口必須將對應的金手指觸點真的連接到對應的控制芯片上,如下圖,每個插槽均連接SAS信號到SAS HBA以及PCIE信號到PCIE Switch芯片。這樣做的成本當然是非常高的。
2.只有固定槽位支持全Combo盤的形式。如下圖,同樣是這24個插槽,同樣均為SFF8639也就是U.2接口,但是只有***的4個槽位同時支持三模式Tri-mode,其余的20個槽位只支持SAS/SATA盤。
3.只有固定槽位支持NVMe盤的形式。為了進一步節(jié)省成本,服務器廠商還可以讓少數(shù)幾個槽位只支持NVMe固態(tài)盤而不支持SAS/SATA,雖然依然是U.2接口,上面依然有對應的SAS/SATA的金手指信號,但是這些信號是被空置在那里的,沒有連接任何上游的芯片。只有PCIE對應的針腳會被連接到上游芯片。而由于只有比如2個、4個NVMe Only的槽位,按照每個NVMe固態(tài)盤使用x4 Lane的PCIE接口的話,4個盤共需要16個Lane,可以將這16個Lane對應的金手指信號直接連接到CPU,也就是連接到主板上的一個x16的槽位上。所以,需要一塊連接器轉接卡先插到主板的x16 PCIE插槽上,轉接板下游再出4個x4的miniSAS或者HD miniSAS連接器,然后用線纜連接到該連接器,線纜另一端再與硬盤背板上對應的miniSAS或者HDminiSAS連接器相連,這樣就是下圖所示的拓撲了。
該服務器是一臺戴爾服務器上的***代 Express Flash PCIe SSD,以及PCIe 2.0的轉接卡。散熱片下面的是一塊信號Repeter/Relay,其內部就是大量的三態(tài)緩沖門,為了增強信號質量,增強信號電流。
八、Dell R930服務器硬盤連接方式簡析
Dell R930服務器是一臺***支持4路CPU,提供***24盤位的高端服務器。在硬盤配置方面,其提供了3個不同的背板,4盤位SAS/SATA背板,24 SAS/SATA盤位背板,以及16 SAS/SATA盤位+8 NVMe固態(tài)盤位背板。下面我們就來說說***這種SAS和NVMe混布的選擇。
下圖就是配置了該背板的服務器前視圖。可以看到豎插的12塊SAS/SATA盤和左右兩邊最下方的各兩塊橫插的SAS/SATA盤;以及左右兩邊上方的各4塊NVMe固態(tài)盤。
對于NVMe盤位,其采用了NVMe Only的方式而不是Combo方式,也就是說這8個NVMe插槽只有PCIE信號被接入了系統(tǒng)中,SAS信號空置。如下圖所示,可以看到每一邊的4個U.2插槽上的x4 PCIE Lane信號被分別連接到一個HDminiSAS連接器,兩邊各4個。再采用對應的線纜連接到分別連接到一塊PCIE連接器轉接卡上,插入到主板的x16插槽中。
下圖中可以看到這兩塊PCIE連接器轉接卡的樣子,其插在了服務器的***方。
Dell R930服務器在前部還提供了一個特殊的托架,這個托架中可以安置兩塊子板,每個子板上有一片SAS Expander。由于戴爾R930配備的SAS HBA/RAID卡***只能支持8盤直連,所以當配置的SAS硬盤數(shù)量大于8塊時,必須增加SAS Expander。該Expander子板采用連接器的方式與背板相連,從而與硬盤信號對接,上游提供對應的HDminiSAS連接器,通過線纜連接到其PERC9 RAID卡上。該托架可放置兩塊Expander子板,這樣就可以將所有SAS/SATA硬盤分兩部分分別接入到其中一塊Expander,提升SAS鏈路的并發(fā)度。同時,R930支持插兩塊PERC9 RAID卡,那就可以分別接一塊Expander子卡,進一步提升存儲系統(tǒng)性能了。
***,還有一種利用PCIE Switch將存儲部分接入系統(tǒng)的方案,比如,在Dell PowerEdge FX2平臺上,就使用了支持Partition功能的雙PCIE Switch,具體可以參考冬瓜哥的另一篇文章:《PCIE交換芯片及在戴爾PowerEdge FX2平臺上的應用》。
相關文章導讀
↓↓↓
存儲極客 | 瓜哥圖解SAS RAID
存儲極客 | 瓜哥圖解存儲協(xié)議