互聯(lián)技術(shù)對(duì)決:InfiniBand vs.千兆以太網(wǎng)
早在幾年前,選擇何種協(xié)議來連接計(jì)算機(jī)到網(wǎng)絡(luò)根本不需要糾結(jié)。中等規(guī)模數(shù)據(jù)中心的服務(wù)器使用以太網(wǎng)互聯(lián)技術(shù),而如果你想連接很多節(jié)點(diǎn)到單個(gè)高性能計(jì)算機(jī)(HPC),則需要選擇InfiniBand。
而現(xiàn)在,這種選擇開始模糊。這兩種協(xié)議開始“侵犯對(duì)方的領(lǐng)地”,以更好地互聯(lián)較大的數(shù)據(jù)中心。最新版本的以太網(wǎng)——千兆以太網(wǎng)(Gigabit Ethernet)完全能夠支持更大的HPC系統(tǒng),而InfiniBand也正被越來越多地應(yīng)用于性能敏感的企業(yè)數(shù)據(jù)中心。
從世界最快超級(jí)計(jì)算機(jī)的前500強(qiáng)最新名單來看,500強(qiáng)系統(tǒng)中有226個(gè)系統(tǒng)使用的是InfiniBand,而只有188個(gè)使用千兆以太網(wǎng)。
目前,對(duì)于網(wǎng)絡(luò)聚合點(diǎn),可以使用100千兆以太網(wǎng),其中100千兆以太網(wǎng)卡的每個(gè)端點(diǎn)都能以100Gbps傳輸數(shù)據(jù)。更便宜的1、10和40千兆以太網(wǎng)網(wǎng)卡同樣也可以用于服務(wù)器和交換機(jī)。為了滿足對(duì)更多帶寬的需求,以太網(wǎng)聯(lián)盟已經(jīng)開始開發(fā)400千兆以太網(wǎng)。
當(dāng)前版本的InfiniBand(FDR)提供56Gbps(或者每通道14Gbps)的速度。下一代EDR(增強(qiáng)型數(shù)據(jù)速率)將于明年推出,提供100Gbps。
這些數(shù)字只是告訴了我們一部分事實(shí)。InfiniBand提供的優(yōu)勢(shì)還包括扁平化的拓?fù)浣Y(jié)構(gòu)、更低的延遲性和對(duì)服務(wù)器處理器更少的依賴。而以太網(wǎng)在整個(gè)網(wǎng)絡(luò)設(shè)備市場(chǎng)無處不在。
以太網(wǎng)的力量在于它無處不在,從筆記本電腦到最大的數(shù)據(jù)中心交換機(jī),以太網(wǎng)聯(lián)盟主席John D'Ambrosia表示:“有很多公司都提供以太網(wǎng)解決方案,一個(gè)共同IP可以跨多個(gè)應(yīng)用程序。”
這種無處不在確保了互操作性以及低成本,因?yàn)楹芏喙?yīng)商激烈的競爭將拉低價(jià)格。“對(duì)于以太網(wǎng),你可以將很多東西放在一起用,你可以獲得競爭力,同時(shí)降低成本。”
InfiniBand在2000年出現(xiàn),它主要用于綁定多臺(tái)服務(wù)器的內(nèi)存和處理器,讓它們之間可以進(jìn)行通信,仿佛位于同一塊電路板上一樣。要做到這一點(diǎn),InfiniBand的結(jié)構(gòu)并不簡單,結(jié)合OSI(開放系統(tǒng)互聯(lián))網(wǎng)絡(luò)協(xié)議棧的底部四層(物理、數(shù)據(jù)鏈路、網(wǎng)絡(luò)和傳輸層)到單一架構(gòu)。
InfiniBand行業(yè)協(xié)會(huì)工作組聯(lián)合主席Bill Lee表示:“InfiniBand的目標(biāo)是改善應(yīng)用程序之間的通信。”這似乎在暗諷以太網(wǎng)的“存儲(chǔ)和轉(zhuǎn)發(fā)”的方式。
與千兆以太網(wǎng)的分層拓?fù)浣Y(jié)構(gòu)不同,InfiniBand是平面結(jié)構(gòu),從拓?fù)浣Y(jié)構(gòu)上來說,這意味著每個(gè)節(jié)點(diǎn)都有對(duì)所有其他節(jié)點(diǎn)的直接連接。InfiniBand的特別之處在于RDMa(遠(yuǎn)程直接內(nèi)存訪問),這允許網(wǎng)卡在服務(wù)器上讀取和寫入數(shù)據(jù),而無需服務(wù)器處理器來進(jìn)行這個(gè)工作。
InfiniBand迅速獲得了HPC系統(tǒng)的青睞,如上面所述,這項(xiàng)技術(shù)現(xiàn)在已經(jīng)蔓延到了企業(yè)環(huán)境。例如,Oracle公司使用InfiniBand來為其Exadata和Exalogic數(shù)據(jù)分析設(shè)備提高性能。微軟為其最新發(fā)布的Windows Server 2012添加了對(duì)RDMA的直接支持。
InfiniBand的另一個(gè)企業(yè)用戶是美國退伍軍人事務(wù)部,這個(gè)美國聯(lián)邦機(jī)構(gòu)的信息操作約在200臺(tái)服務(wù)器上運(yùn)行,它們通過InfiniBand來通信。該事務(wù)部的解決方案架構(gòu)師Augie Turano表示:“我們要進(jìn)行大量數(shù)據(jù)傳輸。”數(shù)據(jù)庫經(jīng)常在服務(wù)器間移動(dòng),這樣就可以使用不同的應(yīng)用程序來分析數(shù)據(jù)庫。Turano表示:“對(duì)于我們來說,能夠以InfiniBand的速度來在服務(wù)器間移動(dòng)數(shù)據(jù),是一個(gè)很大的改進(jìn)。”
然而,以太網(wǎng)聯(lián)盟的D'Ambrosia并不畏懼InfiniBand的性能優(yōu)勢(shì),他認(rèn)為以太網(wǎng)能夠趕超這種性能。他說道:“我們喜歡來自其他技術(shù)的挑戰(zhàn),因?yàn)檫@讓我們意識(shí)到我們還可以繼續(xù)完善。”
雖然以太網(wǎng)最初被用來連接少量計(jì)算機(jī),而后來的版本則是專門針對(duì)更大型應(yīng)用,例如作為整個(gè)數(shù)據(jù)中心的背板,這種應(yīng)用很快就成為主流。另外,一些技術(shù)(例如iWarp和RoCE)能夠幫助以太網(wǎng)降低延遲性和處理器使用,讓千兆以太網(wǎng)可以直接與InfiniBand競爭。
D'Ambrosia表示:“以太網(wǎng)正在不斷完善。”InfiniBand要注意了,數(shù)據(jù)中心正潛伏著一個(gè)有力的競爭對(duì)手。