大二層建設(shè)網(wǎng)絡(luò)扁平化數(shù)據(jù)中心
面對SDN的橫空出世,大二層網(wǎng)絡(luò)的聲音似乎淹沒在一片對SDN的討論中。是默默發(fā)展積聚力量,不斷為用戶所采用,還是即將銷聲匿跡,成為技術(shù)變革的匆匆過客。大二層網(wǎng)絡(luò)的準(zhǔn)備工作已經(jīng)完成,技術(shù)標(biāo)準(zhǔn)基本完成,各網(wǎng)絡(luò)廠商基于標(biāo)準(zhǔn)的產(chǎn)品也已經(jīng)上市一段時間,期間陸續(xù)有互通性的測試。但是,從應(yīng)用的角度來看,真正使用SPB(Shortest Path Bridging,最短路徑橋接)和TRILL(Transparent Interconnection of lots of links,多鏈路透明互聯(lián))構(gòu)建網(wǎng)絡(luò)的案例并不多,并沒有呈現(xiàn)出井噴的態(tài)勢。
SPB已經(jīng)在去年三月份正式通過,而作為IETF協(xié)議族的TRILL,其基礎(chǔ)協(xié)議也已經(jīng)完成,有一些協(xié)議文稿標(biāo)準(zhǔn)化發(fā)布。
由于TRILL網(wǎng)絡(luò)中數(shù)據(jù)報文轉(zhuǎn)發(fā)可以實現(xiàn)ECMP和最短路徑,因此采用TRILL組網(wǎng)方式可以極大提高數(shù)據(jù)中心數(shù)據(jù)轉(zhuǎn)發(fā)效率,提高數(shù)據(jù)中心網(wǎng)絡(luò)吞吐量。
另外,每個地點需要傳遞3層可達(dá)性信息到網(wǎng)絡(luò)中的其他站點。最佳做法往往是動態(tài)路由,最好是路由的配置盡可能在目前這種網(wǎng)絡(luò)需要大改動的情況下少改動。使得第三個地點數(shù)據(jù)中心B(DCB)相對于最初的主數(shù)據(jù)中心(MDC)地點和數(shù)據(jù)中心A(DCA)地點的網(wǎng)絡(luò)而言,能夠把數(shù)據(jù)中心的網(wǎng)絡(luò)DCA遷移到DCB。整個SPB交換結(jié)構(gòu)有兩個OSPF 路由的VLAN, 配置用于連接MDC和DCB,每個VLAN在每個數(shù)據(jù)中心核心節(jié)點上均配置IP地址,以及打開交換集群功能。
即使是在未來的網(wǎng)絡(luò)擴(kuò)容中,也可以只是在邊緣位置調(diào)整,而不必再改變網(wǎng)絡(luò)核心的設(shè)置。SPB 核心功能包含了IS-IS路由、SPB全局設(shè)置和連接故障檢查。
在SPB核心上,只需要兩個骨干VLAN,使得IS-IS在有多條等價路徑存在的時候,能夠計算出等價樹,從而把多個VSN的流量進(jìn)行負(fù)載均衡。這就不得不解釋一下IS-IS 協(xié)議,IS-IS 協(xié)議工作在網(wǎng)絡(luò)2層,不需要在鏈路上配置IP地址,用二層的地址即可構(gòu)成相鄰關(guān)系,這種相鄰關(guān)系與OSPF非常類似。在SPB交換機(jī)之間,只需要一個 IS-IS連接。由于原有設(shè)備節(jié)點已經(jīng)啟用交換集群功能,交換集群內(nèi)部互聯(lián)的鏈路匯聚中繼以及交換集群之間(核心到匯聚,核心到核心)的鏈路將啟用SPB 和IS-IS。連接故障檢查和銜接性檢查是為了提供快速故障探測。
特別是TRILL,支持者眾多,但是使用者寥寥,能夠發(fā)布具體使用案例的更是少之又少。與此相對的卻是一些成熟技術(shù)的大量應(yīng)用,這些技術(shù)植根于各廠商各自的產(chǎn)品中,可以很好的實現(xiàn)中小規(guī)模大二層網(wǎng)絡(luò)的構(gòu)建。
在具體應(yīng)用中,SPB也在與其他技術(shù)相結(jié)合來使用,以阿爾卡特朗訊為例,“大二層技術(shù)的演變一直延續(xù)著當(dāng)初的設(shè)計線路,將SPB與vNP技術(shù)結(jié)合,保證虛擬機(jī)在整個數(shù)據(jù)中心內(nèi)部無縫遷移,同時保證其安全、QoS和轉(zhuǎn)發(fā)優(yōu)先級在全網(wǎng)的一致性;SPBMS與PBB、VPLS結(jié)合,保證多數(shù)據(jù)中心的互通以及虛擬聚合。”
“大二層技術(shù)一直在發(fā)展,最初用戶的需求來源于大規(guī)模虛擬化環(huán)境的需要,來源于數(shù)據(jù)中心橫向流量劇增的需求。但是在實現(xiàn)大二層矩陣的過程中,用戶會發(fā)現(xiàn)網(wǎng)絡(luò)自動化越來越重要。”。
SPB是一個純二層網(wǎng)絡(luò),對于分散在不同區(qū)域位置的數(shù)據(jù)中心間的數(shù)據(jù)轉(zhuǎn)發(fā)而言,尚有不足。正在推進(jìn)的部分則是探討了用EVPN方式來通過BGP來擴(kuò)展二層。雖然現(xiàn)在支持TRILL和SPB的產(chǎn)品很多,各網(wǎng)絡(luò)廠商幾乎都發(fā)布了支持其中之一的產(chǎn)品,也有廠商表示在支持兩個標(biāo)準(zhǔn)。但是從應(yīng)用情況來看,目前TRILL和SPB的案例并不很多。與討論的熱度相比,應(yīng)用似乎有一點“雷聲大,雨點小。”我們曾經(jīng)分析了挪威奧斯陸大學(xué)國家醫(yī)院在網(wǎng)絡(luò)建設(shè)中的嘗試。在這個案例中,是通過創(chuàng)建一個通用網(wǎng)絡(luò)來把已合并在一起的三家醫(yī)院網(wǎng)絡(luò)順利合并起來。具體要求是網(wǎng)絡(luò)可以橫跨全部三家醫(yī)院,并且可以支持、分割和傳輸服務(wù)。
管理人員也能分享最佳實踐,推廣優(yōu)秀創(chuàng)新,連接不同地點的專家醫(yī)師,讓工作場所更加靈活。同樣是利用基于SPB的Avaya 的VENA架構(gòu),亞洲的用戶也開始部署,在印度的孟買機(jī)場以及日本的中部高鐵公司(JR TOKAI)都已經(jīng)或正在實施,“用戶通過VENA的部署可以在統(tǒng)一的物理平臺上同時部署多種跨地域的數(shù)據(jù)中心及城域范圍的應(yīng)用。”
但應(yīng)用思科FabricPath技術(shù)來組網(wǎng)的應(yīng)用已經(jīng)出現(xiàn)。FabricPath是TRILL協(xié)議的一個擴(kuò)展集,可以看作是一個“增強(qiáng)版的TRILL”。在中華電信開始提供HiCloud CaaS(Compute as a Service,計算即服務(wù))服務(wù)中,利用OTV 和 FabricPath 技術(shù)的聯(lián)合使用,讓HiCloud 群組云數(shù)據(jù)中心真正實現(xiàn)了只有一個單一虛擬云端機(jī)房的目標(biāo)。
我們認(rèn)為國內(nèi)用戶在大二層的應(yīng)用還在培育期,目前還沒有殺手級的應(yīng)用迫使用戶在這方面轉(zhuǎn)型。而未來大規(guī)模高可用數(shù)據(jù)中心的建設(shè)、 SDN的出現(xiàn),會使大二層的應(yīng)用繼續(xù)深入人心。
使用SPB或者TRILL構(gòu)建的網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)有所不同,而使用這兩種技術(shù)的核心層不能做網(wǎng)關(guān)設(shè)備,疊加的結(jié)果從某種程度上會導(dǎo)致結(jié)構(gòu)復(fù)雜,管理難度增加,而運(yùn)維成本也會上升。另一方面是互通性的問題,盡管現(xiàn)在已經(jīng)進(jìn)行了幾次廠商間的互通性測試。
國內(nèi)這種超大型數(shù)據(jù)中心的建設(shè)本身并沒有太多。而廠商推出的另外一些技術(shù)恰巧可以在中型規(guī)模的數(shù)據(jù)中心中構(gòu)建一個大二層的網(wǎng)絡(luò),而這些技術(shù)已經(jīng)存在了很多年,雖然在當(dāng)初出現(xiàn)的時候,并不是為了大二層而來,但是卻可以達(dá)到這樣的效果,所以在用戶中有了更廣泛的應(yīng)用。
實際部署的大量應(yīng)用的卻是其他的技術(shù)。在這個問題上,網(wǎng)絡(luò)廠商各有高招,比如:思科有VSS、H3C有IRF技術(shù)、博科有VCS網(wǎng)絡(luò)架構(gòu)、極進(jìn)網(wǎng)絡(luò)采用跨機(jī)箱鏈路捆綁技術(shù)、銳捷有VSU技術(shù)、神州數(shù)碼網(wǎng)絡(luò)有VSF技術(shù)、戴爾網(wǎng)絡(luò)有VLT技術(shù)等等。這些技術(shù)有很大的相似性,都可以實現(xiàn)將多臺網(wǎng)絡(luò)設(shè)備虛擬成一臺網(wǎng)絡(luò)設(shè)備,并且將這些設(shè)備作為單一設(shè)備管理和使用。在虛擬化成一臺邏輯設(shè)備的同時,網(wǎng)絡(luò)各層間的鏈路連接也將變成兩臺邏輯設(shè)備間的連接。所不同的是實現(xiàn)多臺虛擬的具體數(shù)量。這樣做的好處是網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)得到簡化,性能得到提升,而管理的工作也可以有效簡化。以H3C的IRF為例,“IRF把多臺設(shè)備變成了一臺設(shè)備,具有統(tǒng)一的管理、統(tǒng)一的轉(zhuǎn)發(fā)表,沒有環(huán)路,也不需要雙機(jī)熱備。所以IRF能簡化網(wǎng)絡(luò)架構(gòu)的設(shè)計。”
在幾百到幾千臺服務(wù)器規(guī)模的數(shù)據(jù)中心中,這類技術(shù)得到了廣泛的應(yīng)用。神州數(shù)碼網(wǎng)絡(luò)(DCN)在政府林業(yè)數(shù)據(jù)中心和教育行業(yè)省級遠(yuǎn)程教育平臺的數(shù)據(jù)中心都應(yīng)用了VSF來組建網(wǎng)絡(luò)。往往用戶在構(gòu)建新一代數(shù)據(jù)中心時會使用多種技術(shù)來配合。在政府林業(yè)數(shù)據(jù)中心中,核心虛擬化轉(zhuǎn)發(fā)與ToR接入、SAN自動化融合三者聯(lián)合實現(xiàn)了數(shù)據(jù)中心網(wǎng)絡(luò)的升級。不僅用在突破了傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中單臺核心設(shè)備的性能及端口密度限制以及核心設(shè)備實現(xiàn)跨設(shè)備的鏈路聚合的需求。
另外一個互聯(lián)網(wǎng)的案例是來自中國,是社會化搜索引擎的云云網(wǎng)。這個網(wǎng)站每日用戶訪問量達(dá)到1億人次,數(shù)據(jù)搜索業(yè)務(wù)服務(wù)量突破10億次。在網(wǎng)絡(luò)建設(shè)上,采用了戴爾分布式的網(wǎng)絡(luò)平臺的做法。具體來說,首先,云云網(wǎng)使用了2臺交換機(jī)作為網(wǎng)絡(luò)核心層交換機(jī),該交換機(jī)通過16對10GB光纖線纜與另外1臺交換機(jī)相連,形成一個160GB的數(shù)據(jù)通路,為數(shù)據(jù)庫群集提供網(wǎng)絡(luò)服務(wù);同時核心層交換機(jī)通過16對10GB光纖線纜與另外2臺交換機(jī)相連,為應(yīng)用群集提供數(shù)據(jù)交換服務(wù)。“這是利用Z9000建立分布式-核心架構(gòu),替代傳統(tǒng)的大機(jī)框設(shè)計的一種成功的創(chuàng)新應(yīng)用,節(jié)省大量的機(jī)架空間、能耗和總擁有成本。”在比較早應(yīng)用40G網(wǎng)絡(luò)的國內(nèi)某石油物探研究院高性能計算網(wǎng)絡(luò),最近又有了新的升級,核心層采用的極進(jìn)網(wǎng)絡(luò)BD X8,用跨機(jī)箱鏈路捆綁技術(shù)互聯(lián),采用了存儲云的設(shè)計,“網(wǎng)絡(luò)整體采用大二層改造后,存儲節(jié)點和計算節(jié)點之間,由過去的多次轉(zhuǎn)發(fā)簡化為單次轉(zhuǎn)發(fā),最大的縮短了存儲和計算節(jié)點之間的時延,提高工作效率,節(jié)省計算和數(shù)據(jù)傳輸?shù)臅r間。”
雖然QFabric在全球部署并不多,但是在那之前的虛擬機(jī)箱技術(shù)其實已經(jīng)非常成熟并且開始多處使用了。優(yōu)酷網(wǎng)就是一個典型案例。具體而言,優(yōu)酷網(wǎng)網(wǎng)絡(luò)分為了內(nèi)網(wǎng)OA和外網(wǎng)兩個部分,內(nèi)網(wǎng)OA有內(nèi)部數(shù)據(jù)同步等需求,網(wǎng)絡(luò)主要需求是在設(shè)備的端口數(shù)量和服務(wù)質(zhì)量;在外網(wǎng)的需求則主要是互聯(lián)。其網(wǎng)絡(luò)中采用了跨交換機(jī)的VLAN架構(gòu),因此需要在接入層到匯聚層之間采用二層方式互聯(lián)。接入層交換機(jī)分兩組實現(xiàn)到匯聚層的上聯(lián),3臺匯聚層交換機(jī)構(gòu)成虛擬機(jī)箱,實現(xiàn)到接入層的多個接口互聯(lián)。此外,接口密度、系統(tǒng)冗余度等虛擬機(jī)箱的特點也滿足了用戶需求。
如果新技術(shù)和原有技術(shù)是替代關(guān)系的話,那么對原有技術(shù)而言,新技術(shù)也可以稱之為敵人。但是,對大二層而言,與SDN的關(guān)系卻是一種又“愛”又“恨”,非常復(fù)雜。SDN的出現(xiàn)搶了大二層的風(fēng)頭,但其實質(zhì)卻并非如此簡單。
“SDN可以實現(xiàn)大二層的功能,但是SDN本身的演進(jìn)和推廣面臨的挑戰(zhàn)更大。”而蔣波也認(rèn)為,大二層是SDN的基礎(chǔ),他解釋說:“SDN的初始網(wǎng)絡(luò)通路,要求各網(wǎng)絡(luò)設(shè)備節(jié)點與控制器之間有 TCP上的連通,OpenFlow 等管理和控制協(xié)議才能在這條通道上傳輸應(yīng)用,控制器才可能將有各種靈活的轉(zhuǎn)發(fā)流表下發(fā)到網(wǎng)絡(luò)節(jié)點上。而這個初始的網(wǎng)絡(luò)通路,如果是要通過三層路由才可達(dá),那就反而增加了這條通路建立的復(fù)雜度以及設(shè)計成本,與 SDN原意不符合。”沈之千認(rèn)為,大二層和SDN是互補(bǔ)的技術(shù)。SDN通過網(wǎng)絡(luò)可編程化將傳統(tǒng)網(wǎng)絡(luò)的控制部分脫離出來,其核心在于軟件化網(wǎng)絡(luò)部署,自主化網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)和實現(xiàn)用戶創(chuàng)新的網(wǎng)絡(luò)模型。但是SDN依賴的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)并非是一個結(jié)構(gòu)復(fù)雜、路徑阻斷、網(wǎng)絡(luò)隔離的傳統(tǒng)架構(gòu),而是需要能夠在底層實現(xiàn)簡化架構(gòu)、實現(xiàn)自我隔離、自我收斂和自我擴(kuò)展的矩陣架構(gòu)。