[[320730]]

 容器云平臺(tái)建設(shè)難點(diǎn)之網(wǎng)絡(luò)如何選擇?如果選SDN網(wǎng)絡(luò)，那么SDN網(wǎng)絡(luò)實(shí)現(xiàn)方案又應(yīng)該如何選擇?

容器云平臺(tái)的網(wǎng)絡(luò)一直是一個(gè)技術(shù)難題，是采用SDN網(wǎng)絡(luò)還是橋接到Underlay網(wǎng)絡(luò);如果使用SDN網(wǎng)絡(luò)，那么多的SDN網(wǎng)絡(luò)實(shí)現(xiàn)方案，如何選擇?

問題來自@Dongxin 某銀行股份有限公司系統(tǒng)架構(gòu)師，下文來自twt社區(qū)眾多同行實(shí)踐經(jīng)驗(yàn)分享，歡迎大家參與交流，各抒己見。

@liufengyi 某互聯(lián)網(wǎng)銀行 軟件架構(gòu)設(shè)計(jì)師：

優(yōu)先考慮公司整個(gè)網(wǎng)絡(luò)扁平化，互聯(lián)互通，這樣對(duì)應(yīng)用改造成本要小很多，即基于公司原來的網(wǎng)絡(luò)打通來進(jìn)行。如果容器的應(yīng)用是一個(gè)相對(duì)獨(dú)立的服務(wù)，可以考慮overlay。規(guī)模不大的情況下一些開源網(wǎng)絡(luò)組件可以考慮采用。

@某金融企業(yè) 系統(tǒng)工程師：

calico、bgp、ingress、nginx等都是可以的

1、calico將集群內(nèi)與集群外網(wǎng)絡(luò)打通，但是隨著集群外訪問集群內(nèi)的節(jié)點(diǎn)越來越多，運(yùn)維難度會(huì)加大

2、bgp需配置內(nèi)部路由協(xié)議，性能上有損耗

3、ingress、nginx道理類似，將需要被外部訪問的應(yīng)用使用這兩個(gè)組件外部負(fù)載進(jìn)到集群內(nèi)部

4、hostnetwork方式

5、nodeport方式

……

如何選擇要根據(jù)自身IT架構(gòu)及監(jiān)管要求定了

@zhuqibs 軟件開發(fā)工程師：

關(guān)于SDN還是underlay，如果你是自建的，一定不會(huì)選用SDN， 成本啊，兄弟們!Cisco去年要給我們搭建個(gè)ACI， 一個(gè)交換機(jī)就是1萬多，如果是銀行錢多沒有關(guān)系，中小企業(yè)資金緊張加上疫情，哪會(huì)選擇。

VMware的NST-G我們也用過，有bug，這個(gè)PKS每個(gè)月都會(huì)有一次“月經(jīng)”，每次網(wǎng)絡(luò)存儲(chǔ)全堵死，IO基本龜速，廠商派人解決了大半年，連交換機(jī)都換了都沒有解決，結(jié)果賠了3臺(tái)服務(wù)器，幫我們?nèi)珦Q成普通的vcentor。

SDN聽上去美好，現(xiàn)實(shí)很骨感，當(dāng)然如果你有錢并愿意試錯(cuò)，又追求新技術(shù)，當(dāng)然也是沒問題的。比如阿里云、騰訊云這些公有云，基本必然是SDN，人家有錢有人，來填坑。

所以，一般公司Underlay就可以了，加上Kubernetes自己的calico，fannel，或cattle，一般都沒問題，就是網(wǎng)絡(luò)上沒有硬隔離，沒有客戶化的東東，但我們可以用公有云的啊，自己去建，多費(fèi)錢。

@xiaoping378 某行科技公司 系統(tǒng)架構(gòu)師：

1. 既然是說容器云平臺(tái)建設(shè)，肯定已經(jīng)有了網(wǎng)絡(luò)基礎(chǔ)設(shè)施，那不考慮數(shù)據(jù)中心級(jí)別的SDN方案。只考慮在已有的網(wǎng)絡(luò)建設(shè)成果上建設(shè)。

2. 不用迷信商業(yè)方案，無論是開源還是商業(yè)方案，大家都得遵守k8s的cni接口。不建議在容器網(wǎng)絡(luò)方案中寄托太多的功能，如網(wǎng)絡(luò)限速、安群策略等等。

3. 考慮目前主機(jī)層面大都可以保障二層是通的。最簡(jiǎn)單方案方案可以選flannel。目前flannel發(fā)展到現(xiàn)在，已經(jīng)支持vxlan模式下啟用DR網(wǎng)絡(luò)了，通俗講，就是同一子網(wǎng)下，走h(yuǎn)ostgw，宿主機(jī)充當(dāng)軟路由，性能接近裸網(wǎng)，垮子網(wǎng)的情況走vxlan。即兼顧了性能，又考慮了可擴(kuò)展性。另外flannel目前也重點(diǎn)優(yōu)化了大規(guī)模容器云的路由表或arp占用過多問題，做到了：每擴(kuò)展一個(gè)主機(jī)只增加一個(gè)路由項(xiàng)、一個(gè)fdb項(xiàng)、一個(gè)arp項(xiàng)。

4. 如果考慮容器網(wǎng)絡(luò)隔離和安全策略的話(其實(shí)沒必要，網(wǎng)絡(luò)隔離，可以從項(xiàng)目級(jí)別來設(shè)置調(diào)度策略做到物理隔離)，可以考慮Canal網(wǎng)絡(luò)方案，他是calico和flannel的結(jié)合體。

@Garyy 某保險(xiǎn) 系統(tǒng)工程師：

關(guān)于容器網(wǎng)絡(luò)的建設(shè)思路：

容器網(wǎng)絡(luò)發(fā)展到現(xiàn)在，已經(jīng)是雙雄會(huì)的格局。雙雄會(huì)其實(shí)指的就是Docker的CNM和Google、CoreOS、Kuberenetes主導(dǎo)的CNI。首先明確一點(diǎn)，CNM和CNI并不是網(wǎng)絡(luò)實(shí)現(xiàn)，他們是網(wǎng)絡(luò)規(guī)范和網(wǎng)絡(luò)體系，從研發(fā)的角度他們就是一堆接口，你底層是用Flannel也好、用Calico也好，他們并不關(guān)心，CNM和CNI關(guān)心的是網(wǎng)絡(luò)管理的問題。

網(wǎng)絡(luò)需求調(diào)研發(fā)現(xiàn)，業(yè)務(wù)部門主要關(guān)注以下幾點(diǎn)：1、容器網(wǎng)絡(luò)與物理網(wǎng)絡(luò)打通;2、速度越快越好;3、改動(dòng)越少越好;4、盡可能少的風(fēng)險(xiǎn)點(diǎn)。

容器的網(wǎng)絡(luò)方案大體可分為協(xié)議棧層級(jí)、穿越形態(tài)、隔離方式這三種形式

協(xié)議棧層級(jí)：二層比較好理解，在以前傳統(tǒng)的機(jī)房或虛擬化場(chǎng)景中比較常見，就是基于橋接的 ARP+MAC 學(xué)習(xí)，它最大的缺陷是廣播。因?yàn)槎拥膹V播，會(huì)限制節(jié)點(diǎn)的量級(jí);三層(純路由轉(zhuǎn)發(fā))，協(xié)議棧三層一般基于 BGP，自主學(xué)習(xí)整個(gè)機(jī)房的路由狀態(tài)。它最大的優(yōu)點(diǎn)是它的 IP 穿透性，也就是說只要是基于這個(gè) IP 的網(wǎng)絡(luò)，那此網(wǎng)絡(luò)就可以去穿越。顯而易見，它的規(guī)模是非常有優(yōu)勢(shì)，且具有良好的量級(jí)擴(kuò)展性。但在實(shí)際部署過程中，因?yàn)槠髽I(yè)的網(wǎng)絡(luò)大多受控。比如，有的企業(yè)網(wǎng)絡(luò)的 BGP 是基于安全考慮不給開發(fā)者用或者說企業(yè)網(wǎng)絡(luò)本身不是 BGP，那這種情況下你就受限了;協(xié)議棧二層加三層，它的優(yōu)點(diǎn)是能夠解決純二層的規(guī)模性擴(kuò)展問題，又能解決純?nèi)龑拥母鞣N限制問題，特別是在云化 VPC 場(chǎng)景下，可以利用 VPC 的跨節(jié)點(diǎn)三層轉(zhuǎn)發(fā)能力。

穿越形態(tài)：這個(gè)與實(shí)際部署環(huán)境十分相關(guān)。穿越形態(tài)分為兩種：Underlay、Overlay。

Underlay：在一個(gè)較好的可控的網(wǎng)絡(luò)場(chǎng)景下，我們一般利用 Underlay?？梢赃@樣通俗的理解，無論下面是裸機(jī)還是虛擬機(jī)，只要整個(gè)網(wǎng)絡(luò)可控，容器的網(wǎng)絡(luò)便可直接穿過去 ，這就是 Underlay。

Overlay：Overlay 在云化場(chǎng)景比較常見。Overlay 下面是受控的 VPC 網(wǎng)絡(luò)，當(dāng)出現(xiàn)不屬于 VPC 管轄范圍中的 IP 或者 MAC，VPC 將不允許此 IP/MAC 穿越。出現(xiàn)這種情況時(shí)，我們可利用 Overlay 方式來做。

Overlay網(wǎng)絡(luò)使物理網(wǎng)絡(luò)虛擬化、資源池化，是實(shí)現(xiàn)云網(wǎng)融合的關(guān)鍵。把Overlay網(wǎng)絡(luò)和SDN技術(shù)結(jié)合使用，把SDN控制器作為Overlay網(wǎng)絡(luò)控制平面的控制器，這種方式更容易使網(wǎng)絡(luò)與計(jì)算組件整合，是網(wǎng)絡(luò)向云平臺(tái)服務(wù)轉(zhuǎn)變的理想選擇。

隔離方式：隔離方式通常分為VLAN和VXLAN 兩種。

VLAN：VLAN 機(jī)房中使用偏多，但實(shí)際上存在一個(gè)問題。就是它總的租戶數(shù)量受限。眾所周知，VLAN 具有數(shù)量限制。

VXLAN：VXLAN 是現(xiàn)今較為主流的一種隔離方式。因?yàn)樗囊?guī)模性較好較大，且它基于 IP 穿越方式較好。

@Steven99 軟件架構(gòu)設(shè)計(jì)師：

容器網(wǎng)絡(luò)選擇我個(gè)人覺得不是重點(diǎn)，其實(shí)不管哪種網(wǎng)絡(luò)，都應(yīng)該對(duì)終端用戶透明，所以不應(yīng)該糾結(jié)于網(wǎng)絡(luò)模型。

需要考慮的重點(diǎn)可能是安全性，穩(wěn)定性，易用性等，我們使用calico網(wǎng)絡(luò)，發(fā)現(xiàn)也是很多問題，在考慮替換。開源產(chǎn)品總是需要很多額外的工作，測(cè)試驗(yàn)證，逐步優(yōu)化，不實(shí)際使用，很難說哪種更合適，在使用過程中可能會(huì)逐步清晰自己的需求。

容器安全，容器網(wǎng)絡(luò)安全可能是重點(diǎn)，特別上生產(chǎn)業(yè)務(wù)，服務(wù)數(shù)量達(dá)到一定量后，會(huì)有很多想不到的問題，當(dāng)然，不實(shí)際做過，也很難選擇，所以可以嘗試先用起來，經(jīng)常使用會(huì)逐步清晰明白自己要什么。