TRILL(Transparent Interconnection of lots of links，多鏈路透明互聯(lián))是IETF為實(shí)現(xiàn)數(shù)據(jù)中心大二層擴(kuò)展制定的一個(gè)標(biāo)準(zhǔn)，目前已經(jīng)有一些協(xié)議文稿標(biāo)準(zhǔn)化，如RFC6325，6326，6327等等。該協(xié)議的核心思想是將成熟的三層路由的控制算法引入到二層交換中，將原先的L2報(bào)文加一個(gè)新的封裝(隧道封裝)，轉(zhuǎn)換到新的地址空間上進(jìn)行轉(zhuǎn)發(fā)。而新的地址有與IP類似的路由屬性，具備大規(guī)模組網(wǎng)、最短路徑轉(zhuǎn)發(fā)、等價(jià)多路徑、快速收斂、易擴(kuò)展等諸多優(yōu)勢(shì)，從而規(guī)避STP/MSTP等技術(shù)的缺陷，實(shí)現(xiàn)健壯的大規(guī)模二層組網(wǎng)。

一、 TRILL——實(shí)現(xiàn)二層多路徑轉(zhuǎn)發(fā)

TRILL標(biāo)準(zhǔn)涉及幾個(gè)重要的概念：

Routing Bridge：路由橋，簡(jiǎn)稱RBridge或RB，是支持TRILL功能的網(wǎng)絡(luò)節(jié)點(diǎn)的統(tǒng)稱，類似一個(gè)IP Router;

VLAN x Forwarder：VLAN X轉(zhuǎn)發(fā)器，類似于VPN中的PE角色，基于VLAN來(lái)選舉。主要功能是對(duì)用戶側(cè)的報(bào)文封裝TRILL頭送入TRILL網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)發(fā)或者將TRILL網(wǎng)絡(luò)的報(bào)文解封裝還原成用戶側(cè)的報(bào)文發(fā)送給用戶;

Nickname：16bit長(zhǎng)，類似于IP地址，是RB節(jié)點(diǎn)路由計(jì)算的基礎(chǔ)。Nickname從Mac地址演變而來(lái)，因?yàn)镸ac地址有48個(gè)bit，如果直接用于編碼開(kāi)銷太大，而且表示的空間太大，因此從48bit縮減到16bit，64K范圍。每個(gè)節(jié)點(diǎn)的Nickname各不相同，Nickname可以自動(dòng)選舉也可以手工配置，每個(gè)RB可以有多個(gè)Nickname。

“多路徑”概念以往只用于IP轉(zhuǎn)發(fā)。當(dāng)兩臺(tái)路由器間存在多條等價(jià)轉(zhuǎn)發(fā)路徑(等價(jià)或非等價(jià))，路由器可根據(jù)路由協(xié)議的計(jì)算結(jié)果，將IP報(bào)文沿最短路徑、并按照路徑度量值，基于流的方式進(jìn)行分擔(dān)轉(zhuǎn)發(fā)，由此可充分利用帶寬資源。如果我們仔細(xì)回想一下我們交換機(jī)中最常使用的L2轉(zhuǎn)發(fā)表，即MAC表，我們可以看到對(duì)于一個(gè)單播表項(xiàng)，其出端口只能是唯一的一個(gè)物理端口或者聚合端口，并不能同時(shí)有多個(gè)獨(dú)立的物理端口，如果是那樣的話，表項(xiàng)就變成了一個(gè)多播表項(xiàng)。也就是說(shuō)MAC轉(zhuǎn)發(fā)表天生不具備二層多路徑能力。TRILL技術(shù)的出現(xiàn)并沒(méi)有改變這種狀況，而是通過(guò)隧道封裝，將原本的二層MAC轉(zhuǎn)發(fā)轉(zhuǎn)換成一個(gè)類IP的三層路由轉(zhuǎn)發(fā)，即TRILL技術(shù)將IP報(bào)文轉(zhuǎn)發(fā)思路應(yīng)用于以太幀轉(zhuǎn)發(fā)，支持TRILL技術(shù)的以太網(wǎng)交換機(jī)被稱為“RBridge(Routing Bridge)”。

由于RB要對(duì)用戶側(cè)的報(bào)文進(jìn)行封裝和解封裝操作，我們可以通俗的將負(fù)責(zé)報(bào)文加封裝/拆封裝的端點(diǎn)設(shè)備稱為Vlan X Forwarder，類似VPN中的PE。

路由器可通過(guò)鏈路狀態(tài)路由協(xié)議計(jì)算相互之間的最短路徑、等價(jià)多路徑/ECMP，并在拓?fù)渥兓瘯r(shí)更新轉(zhuǎn)發(fā)路徑。RBridge間通過(guò)類似IS-IS路由協(xié)議的鏈路狀態(tài)控制協(xié)議TRILL IS-IS實(shí)現(xiàn)相互間最短路徑和等價(jià)多路徑的計(jì)算。TRILL IS-IS只計(jì)算RBridge間的拓?fù)?，而不關(guān)心網(wǎng)絡(luò)中兩臺(tái)主機(jī)間的拓?fù)?事實(shí)上，兩臺(tái)RB之間最常使用的拓?fù)涫侵边B方式)。

為了實(shí)現(xiàn)上述的路由控制功能，需要在網(wǎng)絡(luò)中為每個(gè)RB定義一個(gè)全局唯一的標(biāo)識(shí)，由于Router ID已經(jīng)被IP使用了，且其形式類似IP地址，考慮到TRILL IS-IS還是為L(zhǎng)2服務(wù)，因此TRILL重新選擇了一種新的ID，名字叫Nickname，用來(lái)標(biāo)識(shí)每個(gè)RB設(shè)備。TRILL IS-IS計(jì)算的最后結(jié)果就是為了形成到不同Nickname的單播和組播轉(zhuǎn)發(fā)表。

圖1. RBridge對(duì)已知單播的轉(zhuǎn)發(fā)

如圖1所示，當(dāng)單播以太幀通過(guò)位于TRILL網(wǎng)絡(luò)邊緣的Ingress RBridge進(jìn)入TRILL網(wǎng)絡(luò)時(shí)，原始幀頭前被增加一個(gè)額外的“TRILL頭”(類似IP報(bào)文頭)，其中包含Ingress RBridge Nickname和Egress RBridge Nickname，就像IP頭中的源IP地址和目的IP地址。“TRILL頭”前還要添加“Next-Hop頭”(就像IP報(bào)文前的MAC頭或PPP頭)，由此完成TRILL幀封裝。此后，TRILL幀在RBridge間的轉(zhuǎn)發(fā)過(guò)程就像IP報(bào)文在路由器間的轉(zhuǎn)發(fā)過(guò)程。RBridge根據(jù)TRILL頭中的Egress Nickname進(jìn)行逐跳轉(zhuǎn)發(fā)，Next-hop頭在每一跳都要修改，而TRILL頭中只有TTL值發(fā)生變化。RBridge間對(duì)TRILL幀實(shí)現(xiàn)最短路徑轉(zhuǎn)發(fā)和等價(jià)路徑分擔(dān)，避免了傳統(tǒng)二層網(wǎng)絡(luò)由于運(yùn)行STP造成的鏈路阻塞問(wèn)題。TRILL幀最終在TRILL網(wǎng)絡(luò)邊緣的Egress RBridge被還原成標(biāo)準(zhǔn)以太幀，并被送出TRILL網(wǎng)。

RBridge只需要知道到達(dá)下一跳RBridge的最優(yōu)路徑即可，無(wú)需知道如何到達(dá)目的主機(jī)。因此，只有Ingress/Egress RBridge需要使能傳統(tǒng)的MAC地址學(xué)習(xí)(MAC表中區(qū)分從本地端口學(xué)到的MAC地址，以及從遠(yuǎn)端Egress RBridge上學(xué)到的MAC地址)，而TRILL網(wǎng)絡(luò)上的核心RBridge無(wú)需維護(hù)與主機(jī)相關(guān)的MAC表。另外，RBridge之間可以采用傳統(tǒng)以太交換機(jī)互聯(lián)，并且在BRridge與互聯(lián)交換機(jī)可運(yùn)行STP協(xié)議，但RBridge會(huì)終結(jié)STP實(shí)例，不會(huì)將BPDU通過(guò)RBridge擴(kuò)散。

圖2. RBridge對(duì)多目的幀的轉(zhuǎn)發(fā)

如圖2所示，對(duì)于多目的以太幀(廣播、組播、未知單播)的處理，要求RBridge通過(guò)TRILL IS-IS的計(jì)算結(jié)果生成出多棵具有不同樹(shù)根的分發(fā)樹(shù)。多目的幀進(jìn)入TRILL網(wǎng)絡(luò)，由Ingress RBridge選擇一顆分發(fā)樹(shù)用于該幀在TRILL網(wǎng)的轉(zhuǎn)發(fā)，并將樹(shù)根RBridge Nickname作為“TRILL頭”中的Egress RBridge Nickname。此后的處理過(guò)程與IP組播報(bào)文在組播路由器間的轉(zhuǎn)發(fā)類似，每個(gè)RBridge只根據(jù)樹(shù)根RBridge標(biāo)識(shí)的分發(fā)樹(shù)選擇TRILL的復(fù)制和轉(zhuǎn)發(fā)策略。

需要說(shuō)明一點(diǎn)，由于TRILL技術(shù)定義了新的幀格式，所以傳統(tǒng)的以太網(wǎng)交換機(jī)不能通過(guò)升級(jí)軟件支持該特性，只有采用新款A(yù)SIC/NP芯片的以太網(wǎng)交換機(jī)才能支持TRILL轉(zhuǎn)發(fā)。

二、 TRILL的局限

雖然TRILL具備明顯的特點(diǎn)，但它也存在一些問(wèn)題待解決。到目前為止，TRILL還在不斷的標(biāo)準(zhǔn)化過(guò)程中，依舊有大量的草案在討論中。其協(xié)議本身問(wèn)題主要包括：

不支持大于4K的VLAN擴(kuò)展能力。對(duì)于虛擬化多租戶的云計(jì)算數(shù)據(jù)中心，往往有大于4K的VLAN隔離需求，而TRILL的支持能力依舊限定在4K以內(nèi)，難以滿足需求;

OAM支持能力弱;

由于TRILL多用于數(shù)據(jù)中心，RB之間多是直連組網(wǎng)，不跨越傳統(tǒng)Ethernet網(wǎng)絡(luò)，對(duì)于這種組網(wǎng)，TRILL的外層以太頭封裝顯得多余，可以精簡(jiǎn)優(yōu)化。

只支持Level0，沒(méi)有Multi Level的機(jī)制;

沒(méi)有考慮如何承載FCoE業(yè)務(wù)。

三、 TRILL的應(yīng)用

TRILL在國(guó)內(nèi)的應(yīng)用目前還處于起步階段。部分運(yùn)營(yíng)商、金融、大企業(yè)以及互聯(lián)網(wǎng)公司用戶已經(jīng)開(kāi)始在關(guān)注或者開(kāi)始考慮TRILL技術(shù)。

TRILL的組網(wǎng)需要考慮下列因素：

收斂比大小

L3網(wǎng)關(guān)的部署位置

L3網(wǎng)關(guān)的負(fù)載分擔(dān)方式

設(shè)備本身MAC/ARP表項(xiàng)的大小

具體到組網(wǎng)應(yīng)用，按照部署場(chǎng)景列舉如下幾種組網(wǎng)類型：

1. 組網(wǎng)模型1：現(xiàn)有組網(wǎng)擴(kuò)建TRILL域

leaf+aggregation+spine三層組網(wǎng)環(huán)境，L3網(wǎng)關(guān)在aggregation層，集中式L3網(wǎng)關(guān)

圖3. 現(xiàn)有組網(wǎng)擴(kuò)建TRILL域

組網(wǎng)說(shuō)明(如圖3所示)：

在現(xiàn)有的POD基礎(chǔ)上，橫向擴(kuò)展新的TRILL POD域，TRILL域的L3網(wǎng)關(guān)在aggregation層，向上和核心層通過(guò)路由協(xié)議對(duì)接;

為了解決leaf層的雙活接入的問(wèn)題，leaf節(jié)點(diǎn)支持N:1虛擬化，如H3C的IRF;

兩個(gè)aggregation節(jié)點(diǎn)也做N:1虛擬化，以便免VRRP配置，實(shí)現(xiàn)L3轉(zhuǎn)發(fā)的流量在網(wǎng)關(guān)的均勻分擔(dān);

由于現(xiàn)有商用ASIC難以支持在一個(gè)Pipeline中同時(shí)處理TRILL+L3，那么aggregation節(jié)點(diǎn)處如何實(shí)現(xiàn)TRILL+L3轉(zhuǎn)發(fā)?

采用板卡代理的方式：將設(shè)備上TRILL和L3分開(kāi)到兩種不同的板卡上，然后在他們之間啟用proxy代理，本質(zhì)上是將原先一個(gè)芯片一個(gè)pipeline流程分解到兩塊芯片上分開(kāi)執(zhí)行，降低對(duì)芯片的要求。典型的如思科N7K上的M1/F1板卡組合;

采用1:N設(shè)備虛擬化方式，將一個(gè)設(shè)備虛擬成兩個(gè)設(shè)備，其中一個(gè)虛擬設(shè)備運(yùn)行TRILL，一個(gè)虛擬設(shè)備運(yùn)行L3。兩個(gè)虛擬設(shè)備通過(guò)外部連線連接，就像完全獨(dú)立的兩臺(tái)設(shè)備之間互聯(lián)一樣(如圖4所示)。例如采用H3C的MDC技術(shù)，或者思科的VDC技術(shù)。

圖4. 通過(guò)設(shè)備1:N技術(shù)實(shí)現(xiàn)TRILL+L3

這種組網(wǎng)模型能在現(xiàn)有傳統(tǒng)技術(shù)組建的數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)上平滑擴(kuò)建TRILL域，實(shí)現(xiàn)TRILL域內(nèi)的VLAN跨機(jī)架二層連通。免STP，鏈路全活利用率高，高可靠。但其TRILL域規(guī)模有限，VLAN只能在POD內(nèi)二層連通，無(wú)法跨POD;才外，集中的L3網(wǎng)關(guān)使得L3轉(zhuǎn)發(fā)性能有限。

2. 組網(wǎng)模型2：新建TRILL核心實(shí)現(xiàn)VLAN跨POD聯(lián)通

新建TRILL core，和L3 core并列

圖5. 新建TRILL核心實(shí)現(xiàn)VLAN跨POD聯(lián)通

組網(wǎng)說(shuō)明(如圖5所示)：

在組網(wǎng)模型1的基礎(chǔ)上，滿足VLAN跨POD更大范圍的二層聯(lián)通需求;

為了不影響現(xiàn)有的組網(wǎng)，加入專門的TRILL核心，和現(xiàn)有的L3核心并列;

VLAN分本POD內(nèi)的本地VLAN，如VLAN10，20，30，40和跨POD VLAN，如VLAN1000;

POD內(nèi)本地VLAN之間的三層轉(zhuǎn)發(fā)流量，比如VLAN10和VLAN20之間或者VLAN30和VLAN40之間，直接在本地的L3網(wǎng)關(guān)上進(jìn)行轉(zhuǎn)發(fā)(如圖5中流量1所示);

跨POD VLAN的L2互通，通過(guò)TRILL進(jìn)行，繞行TRILL core(如圖5中流量2所示);

跨PODVLAN和本地VLAN之間的L3轉(zhuǎn)發(fā)，需要繞行L3 core進(jìn)行轉(zhuǎn)發(fā)(如圖5中流量3所示)。

這種組網(wǎng)模型可以在現(xiàn)有組網(wǎng)基礎(chǔ)上平滑演進(jìn)，實(shí)現(xiàn)VLAN跨POD聯(lián)通。但跨POD VLAN L3網(wǎng)關(guān)目前只能位于某個(gè)POD的aggregation節(jié)點(diǎn)上，存在性能瓶頸。

3. 組網(wǎng)模型3：新建兩層架構(gòu)的TRILL網(wǎng)絡(luò)

完全新建TRILL，采用leaf+spine兩層結(jié)構(gòu)，網(wǎng)關(guān)集中在Spine節(jié)點(diǎn)上

圖6. 新建兩層架構(gòu)的TRILL網(wǎng)絡(luò)

組網(wǎng)說(shuō)明(如圖6所示)：

取消aggregation層，整個(gè)網(wǎng)絡(luò)精簡(jiǎn)為兩層;

網(wǎng)關(guān)在spine節(jié)點(diǎn)上，多網(wǎng)關(guān)負(fù)載分擔(dān)，由于網(wǎng)關(guān)數(shù)量大于2個(gè)，此處可采用VRRPE，實(shí)現(xiàn)多網(wǎng)關(guān)負(fù)載分擔(dān)和備份功能。圖6中用藍(lán)色箭頭示出了不同的host發(fā)出的流量采用不同的網(wǎng)關(guān)MAC，轉(zhuǎn)發(fā)到不同的網(wǎng)關(guān)節(jié)點(diǎn)上進(jìn)行分擔(dān)。

這種組網(wǎng)模型的兩層架構(gòu)更精簡(jiǎn)，低時(shí)延;VLAN可以在數(shù)據(jù)中心內(nèi)任意位置部署;L3網(wǎng)關(guān)負(fù)載分擔(dān)和備份;L2轉(zhuǎn)發(fā)可以做到橫向無(wú)收斂，擴(kuò)展性好。但是集中式網(wǎng)關(guān)對(duì)于大型組網(wǎng)來(lái)如幾千甚至上萬(wàn)臺(tái)虛擬化服務(wù)器組網(wǎng)來(lái)說(shuō)，一是ARP表項(xiàng)要求高;其次VRRPE的分擔(dān)方式對(duì)域同一個(gè)host的流量不能分擔(dān)。

4. 組網(wǎng)模型4：L3網(wǎng)關(guān)在leaf節(jié)點(diǎn)使能

圖7. L3網(wǎng)關(guān)在leaf節(jié)點(diǎn)

組網(wǎng)說(shuō)明(如圖7所示)：

對(duì)于L3轉(zhuǎn)發(fā)要求不高的場(chǎng)合，可以采用在leaf邊緣使能集中的L3網(wǎng)關(guān)功能;

Spine節(jié)點(diǎn)不再擔(dān)當(dāng)L3網(wǎng)關(guān)的功能，只執(zhí)行TRILL轉(zhuǎn)發(fā)功能，也不學(xué)習(xí)用戶的MAC;

執(zhí)行l(wèi)eaf功能的節(jié)點(diǎn)可以做N:1虛擬化，實(shí)現(xiàn)免VRRP配置和網(wǎng)關(guān)雙活轉(zhuǎn)發(fā)。

這種組網(wǎng)模型spine節(jié)點(diǎn)處流量實(shí)現(xiàn)了均勻的分擔(dān)和備份，將leaf節(jié)點(diǎn)翻上去，相當(dāng)于三層設(shè)備組部署TRILL(如圖8所示)，核心集中到一臺(tái)邏輯設(shè)備上。對(duì)于spine節(jié)點(diǎn)，完全按照TRILL的多路徑進(jìn)行L3轉(zhuǎn)發(fā)流量的分擔(dān)，即使對(duì)于同一個(gè)host發(fā)出的不同的流量，也可以在spine節(jié)點(diǎn)之間進(jìn)行分擔(dān)，分擔(dān)更均勻。但局限性體現(xiàn)在該組網(wǎng)只適合L3轉(zhuǎn)發(fā)性能要求不高的場(chǎng)合。

圖8. 三層設(shè)備部署TRILL網(wǎng)絡(luò)

5. 組網(wǎng)模型5：在模型3的基礎(chǔ)上采用分布式L3網(wǎng)關(guān)方式

圖9. 分布式L3網(wǎng)關(guān)組網(wǎng)

組網(wǎng)說(shuō)明(如圖9所示)：

leaf節(jié)點(diǎn)和core節(jié)點(diǎn)同時(shí)使能L3網(wǎng)關(guān)功能;

為保證leaf節(jié)點(diǎn)VLAN之間的聯(lián)通性，整網(wǎng)所有網(wǎng)關(guān)設(shè)備之間配置一個(gè)共同的互通VLAN。等價(jià)于將所有的網(wǎng)關(guān)節(jié)點(diǎn)連接在一個(gè)廣播網(wǎng)上;

各網(wǎng)關(guān)設(shè)備上可以配置靜態(tài)路由，也可以配置動(dòng)態(tài)路由協(xié)議，形成路由轉(zhuǎn)發(fā)表;

本地VLAN的網(wǎng)關(guān)在各個(gè)leaf節(jié)點(diǎn)上，跨leaf節(jié)點(diǎn)的VLAN的三層網(wǎng)關(guān)在spine節(jié)點(diǎn)上;

同leaf本地VLAN之間三層轉(zhuǎn)發(fā)流量如圖9中藍(lán)色線所示，不同leaf節(jié)點(diǎn)本地VLAN之間轉(zhuǎn)發(fā)需要通過(guò)互通VLAN轉(zhuǎn)接，如圖9中紅色線所示;

Leaf節(jié)點(diǎn)的本地VLAN和跨leaf節(jié)點(diǎn)的VLAN之間互通需要到spine節(jié)點(diǎn)上去轉(zhuǎn)發(fā)，如圖9中粉色線所示;

這種組網(wǎng)模型將原先通過(guò)spine節(jié)點(diǎn)轉(zhuǎn)發(fā)的leaf本地VLAN的三層接口下移到leaf節(jié)點(diǎn)，減輕了spine節(jié)點(diǎn)的負(fù)擔(dān)，降低了ARP表項(xiàng)需求;但配置相對(duì)復(fù)雜，需要引入互聯(lián)VLAN實(shí)現(xiàn)各leaf節(jié)點(diǎn)的路由可達(dá)。

四、 結(jié)束語(yǔ)

通過(guò)以上這些組網(wǎng)模型的優(yōu)缺點(diǎn)分析，可以看出在滿足大二層擴(kuò)展、鏈路利用率以及穩(wěn)定性可靠性方面，TRILL已經(jīng)表現(xiàn)出比傳統(tǒng)STP技術(shù)的明顯優(yōu)勢(shì)。

技術(shù)在不斷發(fā)展，TRILL也在不斷發(fā)展進(jìn)步之中，這其中既包括協(xié)議本身的完善，也包括ASIC功能的不斷完善。當(dāng)前的TRILL解決方案并不是十全十美的，還有改進(jìn)優(yōu)化的余地。我們期望未來(lái)能獲得更完美的TRILL組網(wǎng)方案，更好的滿足用戶的需求。