【51CTO.com綜合報道】當前云計算服務發(fā)展迅速，超大規(guī)模、超高性能、靈活與高可擴展成為云計算業(yè)務模式的特征和基本要求，傳統(tǒng)技術基礎的交換機和路由器的交換架構已不能適用這種大規(guī)模、高密集的IT集散模式，而面向統(tǒng)一交換架構和業(yè)務融合、更大容量和帶寬、更高性能和擴展性、更精細的QoS保證、更高的可靠性和容錯性能、智能化和易于管理、綠色節(jié)能等技術方向的全新基礎網絡交換架構，才能滿足不斷涌現的各種新型業(yè)務和應用、改進用戶體驗，并持續(xù)降低單位帶寬成本。網絡技術架構的進步反過來進一步推進云計算的普及和良性發(fā)展。

毫不夸張地說，交換架構是網絡設備的核心，就像人的心臟一樣重要。交換架構決定了一臺設備的容量、性能、擴展性以及QoS等諸多關鍵屬性。在其短短二十幾年的歷史中，先后出現了共享總線交換、共享存儲交換、Crossbar矩陣交換和基于動態(tài)路由的CLOS交換架構等不同形態(tài)。對于代表業(yè)界發(fā)展水平的大容量或超大容量的機架式網絡設備而言，通常采用Crossbar矩陣交換或CLOS交換架構，共享緩存交換則應用于其線卡作為全分布式業(yè)務處理和轉發(fā)的組成部件。

一、 數據中心對新一代交換架構的要求

交換架構的一般模型如圖1所示，在邏輯上由數據通道資源、控制通道資源這兩個相輔相成的部分構成。數據通道資源具體包括交換網及其端口帶寬、交換網適配器（FA：Fabric Adaptor）、流量管理器（TM：Traffic Manager）、緩存（Buffering）以及用于互聯(lián)的高速總線?？刂仆ǖ蕾Y源則包括用于資源分配、業(yè)務調度、擁塞管理的流控單元、調度器（Scheduler），調度器有時也叫仲裁器（Arbiter）。完整意義上的交換架構還包括報文處理器（PP：Packet Processor）或網絡處理器（NP：Network Processor）。

圖1  交換架構一般模型

數據中心作為面向應用的綜合業(yè)務平臺和未來云計算的核心基礎架構，對網絡設備的交換架構提出了更全面、更苛刻的要求，主要包括：支持統(tǒng)一交換架構，大容量及高擴展性，轉發(fā)性能，業(yè)務調度和精細化QoS，彈性。

1、 支持統(tǒng)一交換架構（Unified Switch Fabric）

數據中心目前存在相對獨立的三張網：數據網（Data）、存儲網（SAN）和高性能計算網（HPC）。為了便于未來的業(yè)務整合和服務提供、簡化管理、降低建設成本和運營維護成本，三網將逐步走向融合。要求網絡設備的交換架構能方便地擴展和支持FCoE、FC等接口及其轉發(fā)，從而與存儲網絡無縫融合；支持CEE（Convergence Enhanced Ethernet）增強型以太網等新型接口，使以太網從傳統(tǒng)的"盡力而為（Best-effort）"變成更為成熟的"無損網絡（Lossless）"。

2、 大容量及高擴展性（Capacity & Scalability）

超寬帶時代正在來臨，以Youtube、iTunes、Facebook、GoogleEarth、網真系統(tǒng)、移動視頻等為代表的視頻流、音頻流、社交網絡、P2P、多媒體等業(yè)務正以約70%的年增長速度發(fā)展，對未來網絡提出了近乎無止境的帶寬需求。要求交換機具有大容量和優(yōu)異的可擴展性，即隨著業(yè)務拓展而逐步擴展端口數、端口速率，從而提高端口容量。擴展性還包括能根據業(yè)務需要擴展新的端口類型，支持網絡資源虛擬化，支持集群系統(tǒng)等。

作為衡量系統(tǒng)交換能力和未來可擴展能力關鍵指標，交換機的交換容量相當于汽車的排量指標。新一代機架式數據中心交換機交換容量在1～10Tbps級別，集群系統(tǒng)更高達幾十Tbps。端口容量則指產品當前版本所能提供的最大網絡端口容量，由網絡端口速率乘以相應的線速端口數得出，表征了產品當前實際所能支持的線速轉發(fā)能力。同樣交換容量的產品，在不同版本和階段，可能有不同的端口容量；同樣交換容量的產品，由于交換架構總開銷不同，所能支持的端口容量也會不同。

端口速率：新一代架構要求除支持千兆、萬兆以太網端口之外，還要求每槽位能平滑支持一到多個40Gbps和100Gbps端口，這是帶寬發(fā)展過程中一個質的飛躍。

3、 轉發(fā)性能

線速轉發(fā)性能：通常是指64字節(jié)小包的線速轉發(fā)能力，表征了系統(tǒng)處理報文頭的能力，在相同的端口流量下，64字節(jié)小包要求系統(tǒng)在單位時間內處理更多的報文數。轉發(fā)性能還要關注線速一致性，即大包小包都能線速，都不丟包；Pair模式、Full Mesh模式都能線速轉發(fā)。

轉發(fā)時延及時延抖動：目前存儲轉發(fā)技術的端口到端口時延在幾微秒到幾十微秒，可滿足絕大多數應用場合。Cut-through轉發(fā)時延可達到1微秒以下，主要用于少數對時延非常敏感的緊耦合高性能計算。時延抖動則指時延的一致性、時延可預測性，VoIP、視頻等實時業(yè)務通常要求低時延和時延一致性。

4、 業(yè)務調度和精細化QoS

近年來帶寬需求的年增長達到50～70%，而帶寬供給年增長通常在30%。資源總是有限的，不可能給所有用戶、所有業(yè)務提供足夠的帶寬，從而導致實際的網絡是一個存在擁塞的網絡。網絡設備需要提供更完善和精細的QoS支持，即根據不同用戶不同業(yè)務的SLA要求，提供相應有保證或可預測的帶寬、丟包率、突發(fā)緩存能力、時延、時延抖動等指標承諾。

業(yè)務調度和隊列（Scheduling & Queuing）：沒有業(yè)務調度的交換架構就像沒有紅綠燈的十字路口，容易發(fā)生碰撞和事故，談不上QoS。粗放式調度就像每個方向有一個車道，有單一圓形紅綠燈的十字路口，比沒有紅綠燈有大幅改善，但容易阻塞。而精細化調度則好比每個方向有三個車道（左轉、直行、右轉），紅綠燈由三個對應的方向指示箭頭組成（左轉、直行、右轉箭頭），這種調度顯然效率更高、更加有序了。

在交換機里，車道就好比隊列，紅綠燈就好比調度器。隊列越多，就可以對流量進行更精細化的管理和調度，使到不同出口、不同優(yōu)先級的業(yè)務轉發(fā)互不影響，消除頭阻塞。隊列越多，調度器也越復雜，設計復雜度也高，有的設備還支持層次化調度（H-QoS）。所能支持隊列數目也是網絡設備的關鍵指標之一，一般設備支持十幾、幾十到幾百條隊列不等，少數高端產品可以支持1K、十幾K或幾十K。

流分類和緩存（Classification & Buffering）：與業(yè)務調度緊密相關的就是流分類和緩存。流分類是對不同用戶和業(yè)務進行識別然后映射到不同的優(yōu)先級和隊列。而沒有緩存或緩存太小，再好的調度也形同虛設或大打折扣。隨著應用越來越復雜，流量突發(fā)越來越大，越來越頻繁（比如搜索業(yè)務），足夠大的緩存對新一代數據中心至關重要。

5、 交換架構的彈性（Resiliency）

彈性是指部件出現故障、或人為操作失誤時，能夠自動檢測到，并對故障進行隔離，從而讓系統(tǒng)功能性能不受損失或盡可能少受損失（Graceful Degradation）。包括冗余性（Redundancy）和容錯性（Fault Tolerance）。采用與主控板物理上獨立的N+1交換網板，即轉發(fā)平面和控制平面物理上分離有利于進一步提高系統(tǒng)的彈性。#p#

二、 傳統(tǒng)的基于CIOQ的Crossbar交換架構

基于CIOQ的Crossbar交換架構在上世紀90年代出現。如圖2所示，該架構包含一到多個并行工作的無緩存Crossbar芯片，每個Crossbar芯片通過交換網端口FP（Fabric Port）連接到所有輸入端口對應的FA端口和所有輸出端口對應的交FA端口；業(yè)務調度通常采用集中仲裁器，連到所有的輸入輸出FA芯片和Crossbar芯片；出口FA定時或實時地向仲裁器報告出口擁塞情況。一次典型的交換過程包含三個步驟：（1）輸入端口發(fā)送業(yè)務前，入口FA先要向仲裁器請求發(fā)送（Request to transmit）;（2）仲裁器根據輸出端口隊列擁塞情況，給入口FA發(fā)送允許發(fā)送（Request granted）；（3）業(yè)務通過交換網轉發(fā)到輸出端口。

在入口方向，緩存采用VoQ（Virtual output Queuing：虛擬輸出隊列）方式給到不同目的輸出端口、不同優(yōu)先級的業(yè)務流分配相應的隊列，對入口流量進行緩沖。在出口方向，也有一個緩存，用以吸收交換網過來的突發(fā)流量。因此稱之為CIOQ（Combined Input Output Queuing：組合輸入輸出隊列）。

圖2   基于CIOQ的Crossbar交換架構

由于是集中調度，所以仲裁器的調度算法復雜度很高，性能擴展性較差，系統(tǒng)容量大時調度器容易形成瓶頸，難以做到精確調度。

由于是粗放型調度，所以在出口方向需要放一個比較大的緩存，并做進一步調度，以支持粒度更細的系統(tǒng)級QoS。為了充分利用出口緩存，需要提高系統(tǒng)加速比，加速比通常達到1.6～2，提高加速比意味著系統(tǒng)能支持的有效端口容量下降（加速比是指交換網端口速率與實際的網絡端口速率的比值）。

有些產品交換架構在幾何拓撲上將多個Crossbar連成與下文描述的CLOS架構相類似的形式，并采用靜態(tài)路由方式，即業(yè)務流進入交換網前，根據源端口指定或基于Hash算法選擇一條路徑。所以，屬于同一條流的所有報文將選擇同一條路徑進入交換網。顯然，當系統(tǒng)中業(yè)務流較為單一時，被Hash算法選中的路徑容易形成阻塞，而其它路徑則較為空閑。類似道理，業(yè)務流從第二級交換到第三級時，也容易形成阻塞。這種架構不是嚴格意義上的無阻塞CLOS交換架構，其交換性能與基于CIOQ的Crossbar相當。

基于CIOQ的Crossbar同時滿足了較大容量交換和較好的業(yè)務調度的需求，是一種比較完善的交換架構，交換容量可以從幾百G到幾T，通常支持10G接口但無法支持40G和100G接口。由于交換容量不是很大，交換網通常集成在主控板上，采用1+1主備或負荷分擔工作方式。目前市場上基于10G平臺的機架式高端交換機設備通常采用該架構，典型的比如H3C S9500，Cisco C6500。

三、新一代基于動態(tài)路由的CLOS交換架構

 CLOS交換架構由貝爾實驗室Charles Clos博士在1953年的《無阻塞交換網絡研究》論文中首次提出，后被廣泛應用于TDM網絡，為紀念這一重大成果，便以他的名字CLOS命名這一架構。近二十年來包交換網絡的高速發(fā)展，迫切需要超大容量和具備優(yōu)異可擴展性的交換架構，CLOS這個古老而新穎的技術再一次煥發(fā)出旺盛的生命力。

CLOS交換架構是一個多級架構；在每一級，每個交換單元都和下一級的所有交換單元相連接。一個典型的CLOS交換三級架構由（k，n）兩個參數定義，如圖3所示，參數k是中間級交換單元的數量，n表示的是第一級（第三級）交換單元的數量。第一級和第三級由n個k×k的交換單元組成，中間級由k個n×n的交換單元組成。整個構成了k×n的交換網絡，即該網絡有k×n個輸入和輸出端口。

對于需要更高容量的交換網，中間級也可以是一個3級的CLOS網絡（即CLOS網絡可以遞歸構建），比如4個第一（三）級n×n芯片加上2個n×n的第二級芯片可構成一個2n×2n的交換網。由于CLOS網絡的遞歸特性，它理論上具有無與倫比的可擴展性，支持交換機端口數量、端口速率、系統(tǒng)容量的平滑擴展。

CLOS交換架構可以做到嚴格的無阻塞（Non-blocking）、可重構（Re-arrangeable）、可擴展（Scalable）。

圖3  CLOS交換架構

CLOS架構定義了一種幾何拓撲結構，在早期TDM及語音應用中，其可重構特性通常由軟件計算和配置完成。對于高速包交換系統(tǒng)，大量業(yè)務流的目的端口在頻繁而快速地變化（如ns級），通過軟件來對轉發(fā)路徑進行選擇和重配置變得不現實。因此，需要采用近些年專門針對用于包交換系統(tǒng)的CLOS架構而設計的動態(tài)路由方式。

動態(tài)路由關鍵點在于能負荷分擔地均衡利用所有可達路徑。對于第一級，每個業(yè)務流可通過Round-robin或隨機方式均勻發(fā)送到k條連到第二級的路徑上（通常基于信元的發(fā)送）；到達第二級的業(yè)務流將基于信元自路由技術（Cell-based Self-routing），根據交換網路由選擇相應路徑交換到第三級目的端口。第三級收到所有來自第二級的信元時，把信元重組成報文，并保證報文順序正確。動態(tài)路由方式由此實現了嚴格的無阻塞交換，并有利于減小加速比從而提高有效端口容量。

動態(tài)路由方式有一個突出優(yōu)點，即平滑支持更高速率的網絡端口，比如40GE/100GE。這是因為它可以充分利用所有可用路徑形成一個大的數據流通道，比如24條3.125Gbps通道可以支持100GE數據流。相反，靜態(tài)路由方式則受限于單條路徑的帶寬，比如基于XAUI接口的Crossbar交換，網絡端口速率最高只能達到10Gbps，無法支持40GE和100GE。

基于動態(tài)路由的CLOS架構，再結合合適的業(yè)務調度機制，就可以支持完善的QoS。采用CLOS交換架構的典型設備有：H3C S12500統(tǒng)一交換架構核心交換機，Juniper T1600核心路由器。在2009年2月初，Juniper剛剛發(fā)布了TX-Matrix Plus，通過多框互聯(lián)技術支持把16臺T1600構建成一個25Tbps的無阻塞交換系統(tǒng)，顯示了CLOS架構卓越的可擴展性。2004年，Cisco發(fā)布了其路由器旗艦產品CRS-1，采用了三級動態(tài)自路由的Benes交換架構，支持72個機架的互聯(lián)，達到46T/92T的系統(tǒng)容量。Benes交換實質上是CLOS交換架構的一個特例。

由于CLOS交換系統(tǒng)容量很大，物理實現上，通常采用N+1個獨立的交換網槽位，與主控板控制平面徹底分離，一方面提高了系統(tǒng)容量可擴展性，另一方面極大程度上提高了轉發(fā)平面的可靠性，避免了控制平面出現故障或進行倒換時對轉發(fā)平面的影響。

對于高端機架式交換機和路由器，以基于CIOQ的Crossbar交換架構和CLOS交換架構為主。其中基于動態(tài)路由的CLOS交換架構結合信元自路由技術、分布式調度技術是目前面向新一代數據中心和云計算等多業(yè)務復雜應用、適用于大容量核心交換機和核心路由器的最先進、最完善、最理想的一種交換架構。