@baimmi  中國銀聯(lián)股份有限公司

由于數(shù)據(jù)的機(jī)密性與敏感性，業(yè)務(wù)相互之間的隔離對于在數(shù)據(jù)中心內(nèi)部非常重要。在數(shù)據(jù)中心內(nèi)部，數(shù)據(jù)的訪問需要受到嚴(yán)格控制，必須進(jìn)行業(yè)務(wù)與管理的網(wǎng)絡(luò)相互隔離。管理網(wǎng)段與租戶網(wǎng)絡(luò)三層互通，租戶通過管理網(wǎng)段訪問存儲系統(tǒng)的Portal界面并下發(fā)增、刪、檢、查等管理指令；業(yè)務(wù)網(wǎng)段則負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)的傳輸，當(dāng)存儲空間以卷的形式通過業(yè)務(wù)網(wǎng)段掛載給前端業(yè)務(wù)系統(tǒng)，并在此網(wǎng)段上提供服務(wù)。

按照分布式存儲的范式，存儲系統(tǒng)的管理和業(yè)務(wù)分屬兩個網(wǎng)段，互相獨(dú)立，互不影響，數(shù)據(jù)傳輸只在業(yè)務(wù)網(wǎng)段上進(jìn)行，管理與業(yè)務(wù)通過服務(wù)器通信，無法通過網(wǎng)絡(luò)互訪。

在業(yè)務(wù)網(wǎng)段上，規(guī)劃每個服務(wù)器由兩根網(wǎng)線分別連接到兩臺交換機(jī)。在管理網(wǎng)段上，規(guī)劃每個服務(wù)器由兩根網(wǎng)線分別連接兩臺交換機(jī)。通過節(jié)點(diǎn)級的雙網(wǎng)卡主備以及集群級的交換機(jī)主備來提供網(wǎng)絡(luò)高可靠性。兩個網(wǎng)段使用獨(dú)立的物理網(wǎng)卡進(jìn)行隔離，在條件不滿足的情況下使用不同VLAN隔離。

[[228530]]

依據(jù)木桶效應(yīng)，一個系統(tǒng)的整體性能上限往往是由系統(tǒng)中的薄弱環(huán)節(jié)決定。當(dāng)集群采用混合存儲的配置時，標(biāo)準(zhǔn)的10Gbps高速網(wǎng)絡(luò)能夠滿足相當(dāng)規(guī)模的集群在負(fù)載均衡、數(shù)據(jù)重建時的壓力；然而，當(dāng)集群采用全閃存架構(gòu)時，硬盤性能將大幅提升，此時標(biāo)準(zhǔn)的10Gbps網(wǎng)絡(luò)有可能會成為系統(tǒng)中的短板，56 Gbps InfiniBand網(wǎng)絡(luò)乃至更高速的100 Gbps網(wǎng)絡(luò)，近似無阻塞通信，突破存儲系統(tǒng)內(nèi)部交換的瓶頸。在InfiniBand網(wǎng)絡(luò)中，通信時延控制于納秒級，計算存儲信息及時傳遞，配合SSD的高速讀寫，具有可觀的性能。

@劉東 東軟集團(tuán)

分布式存儲集群在設(shè)計建設(shè)過程中，集群網(wǎng)絡(luò)是個瓶頸。因?yàn)榉植际酱鎯W(wǎng)絡(luò)帶寬的依賴性非常高，所有的數(shù)據(jù)交換都需要通過網(wǎng)絡(luò)進(jìn)行，所有要求具備高速和可靠的網(wǎng)絡(luò)環(huán)境。

具體規(guī)劃如下：

1、盡量采用10G網(wǎng)絡(luò)接口，并采用光口進(jìn)行連接。上行鏈路采用40G接口。

2、網(wǎng)絡(luò)設(shè)備盡量做到冗余，至少配置2個萬兆光口接入交換機(jī)。

3、分布式存儲集群除了需要交換大量的數(shù)據(jù)外，可能還會在網(wǎng)絡(luò)上執(zhí)行虛擬機(jī)復(fù)制和同步活動，具體取決于系統(tǒng)中托管的虛擬機(jī)數(shù)量和有效操作數(shù)量。如果這時候只有千兆網(wǎng)絡(luò)，會不堪重負(fù)，特別是在虛擬機(jī)重建和同步操作期間。

4、將各種流量類型（分布式存儲網(wǎng)絡(luò)、管理網(wǎng)絡(luò) 、虛擬機(jī)遷移網(wǎng)絡(luò)、虛擬機(jī)生產(chǎn)網(wǎng)絡(luò)、）分別放在不同的 VLAN中，并使用份額作為服務(wù)質(zhì)量 (QoS) 機(jī)制，以便在可能出現(xiàn)的爭用場景中保持期望的性能級別。

5、劃分不同的VLAN還可以保證分布式存儲集群網(wǎng)絡(luò)不受影響，因?yàn)榉植际酱鎯壕W(wǎng)絡(luò)一旦發(fā)生IP地址沖突，將導(dǎo)致整個分布式存儲集群不可用。

6、為了實(shí)現(xiàn)***的安全性和性能，應(yīng)將分布式存儲集群網(wǎng)絡(luò)流量隔離至其自己的第 2 層網(wǎng)段。

7、對網(wǎng)卡進(jìn)行綁定配置，作為可用性和冗余措施，做帶寬聚合。

@Garyy 大地保險

網(wǎng)絡(luò)路徑全冗余 虛擬網(wǎng)絡(luò)層通過采用多網(wǎng)卡綁定等技術(shù)避免單個網(wǎng)卡故障引發(fā)的業(yè)務(wù)中斷。

網(wǎng)絡(luò)分平面通信 系統(tǒng)通信平面劃分為業(yè)務(wù)平面、存儲平面和管理平面。為了保證各種網(wǎng)絡(luò)平面數(shù) 據(jù)的可靠性，不同平面間采用VLAN等技術(shù)進(jìn)行隔離，單個平面故障不影響其余兩個平 面的正常工作。 業(yè)務(wù)平面:主要為虛擬機(jī)虛擬網(wǎng)卡的通信平面，對外提供業(yè)務(wù)應(yīng)用。 存儲平面:主要為iSCSI存儲提供通信平面，并為虛擬機(jī)提供存儲資源，但不直 接與虛擬機(jī)通信，而通過虛擬化平臺轉(zhuǎn)換。 管理平面:負(fù)責(zé)整個云計算系統(tǒng)的管理、業(yè)務(wù)部署、系統(tǒng)加載等流量的通信。 -網(wǎng)卡負(fù)荷分擔(dān) 對于各通信平面(業(yè)務(wù)、存儲、管理)均采用雙網(wǎng)卡，雙網(wǎng)卡采用了Bonding模 式，兩網(wǎng)卡被綁定成邏輯上的“一塊網(wǎng)卡”后，同步一起工作。既能對服務(wù)器的訪問 流量進(jìn)行負(fù)荷分擔(dān)，又能保證其中一塊發(fā)生故障的時候，另外的網(wǎng)卡立刻接管全部負(fù) 載，過程是無縫的，服務(wù)不會中斷。