Kubernetes 網絡圖解指南,解決實際問題
如果大家已經使用了 kubernetes技術,并運行了一些測試或生產的服務,可能已經能體會到 K8s 技術帶來的革命性變化,如果還沒有用過的小伙伴,我建議盡快入坑,畢竟這是技術趨勢。
目前盡管已經有很多工具可以用來設置和管理集群,但我們仍然需要知道在k8s底層發(fā)生了什么,尤其在碰到問題時,只有知道到底層原理才有可能從某個現象去分析到底是哪里出了問題,才能去解決實際問題。
從技術上說 Kubernetes 其實在底層它是非常復雜的,它有很多組件,因此,必須了解它們如何相互配合并協(xié)同工作,才能實際去理解實際中的問題,那說到這里,不得不說K8s的網絡是最復雜且最關鍵之一。
因此,這篇我們通過圖文來深入理解 Kubernetes 中的網絡如何工作。
Kubernetes網絡模型
Kubernetes Networking 的核心是一種重要的基本設計理念:
每個Pod都有唯一的IP。
此 Pod IP 由該Pod中的所有容器共享,并且可以與所有其他Pod路由。你是否曾經注意到Kubernetes節(jié)點上運行著一些“暫停”容器?它們被稱為“沙盒容器”,其唯一的工作就是保留和保存由Pod中的所有容器共享的網絡名稱空間(netns)。這樣,即使容器死亡,并且在其位置創(chuàng)建了一個新容器,容器IP也不會改變。這種按單機IP模式的巨大好處是與基礎主機之間沒有IP或端口沖突。而且,我們不必擔心應用程序使用哪個端口。
有了這個,Kubernetes 唯一的要求就是,這些Pod IP可以從其他所有Pod進行路由/訪問,而不管它們位于哪個節(jié)點上。
節(jié)點內通信
第一步是確保同一節(jié)點上的Pod能夠互相通信。然后將該思想擴展到跨節(jié)點,到Internet等的通信。
在每個Kubernetes節(jié)點(在本例中為Linux機器)上,都有一個根網絡名稱空間(根為基礎,而不是超級用戶)-root netns。
主網絡接口eth0在此根netns中。
同樣,每個Pod都有其自己的網絡,并且有一個虛擬以太網對將其連接到根網絡。這基本上是一個管道對,一端在根網中,另一端在pod網中。
我們將Pod-end命名為eth0,因此Pod不了解底層主機,并認為它具有自己的根網絡設置。另一端的名稱類似于vethxxx。
可以使用ifconfig或ip a命令在節(jié)點上列出所有這些接口。
對節(jié)點上的所有Pod完成此操作。為了使這些Pod相互通信,使用了Linux以太網橋cbr0。Docker使用了一個類似的橋,名為docker0。
可以使用brctl show命令列出網橋。
假設一個數據包從pod1到pod2。
- 它將pod1的網絡保留在eth0處,并將根網絡保留在vethxxx。
- 將其傳遞給cbr0,后者使用ARP請求發(fā)現目的地,并說“誰擁有此IP?”
- vethyyy說它具有該IP,因此網橋知道將數據包轉發(fā)到何處。
- 數據包到達vethyyy,穿過管道對并到達pod2的網絡。
這就是節(jié)點上的容器相互通信的方式。顯然還有其他方法,但這可能是最簡單的方法.
節(jié)點間通訊
正如之前提到的,pod也必須在節(jié)點之間可訪問。Kubernetes并不關心它是如何完成的。我們可以使用L2(跨節(jié)點的ARP),L3(跨節(jié)點的IP路由-如云提供商路由表)覆蓋網絡。只要流量可以到達另一個節(jié)點上所需的Pod,這都沒有關系。每個節(jié)點都為Pod IP分配了唯一的CIDR塊(一系列IP地址),因此每個Pod具有一個唯一的IP,該IP與另一個節(jié)點上的Pod不沖突。
在大多數情況下,尤其是在云環(huán)境中,云提供商路由表可確保數據包到達正確的目的地。通過在每個節(jié)點上設置正確的路由,可以完成同一件事。還有許多其他的網絡插件也可以發(fā)揮自己的作用。
在這里,我們有兩個節(jié)點,類似于我們之前看到的。每個節(jié)點都有各種網絡名稱空間,網絡接口和網橋。
假設一個數據包從pod1到pod4(在另一個節(jié)點上)。
1. 它將pod1的網絡保留在eth0處,并將根網絡保留在vethxxx。
2. 它傳遞給cbr0,后者發(fā)出ARP請求以查找目的地。
3. 它從cbr0傳到主網絡接口eth0,因為此節(jié)點上沒有人具有pod4的IP地址。
4. 它將離開node1,這時候src = pod1和dst = pod4。
5. 路由表具有為每個節(jié)點CIDR塊設置的路由,并且將數據包路由到其CIDR塊包含pod4 IP的節(jié)點。
6. 因此,數據包到達主網絡接口eth0的node2?,F在,即使pod4不是eth0的IP,由于已將節(jié)點配置為啟用IP轉發(fā),因此數據包仍轉發(fā)到cbr0。在節(jié)點的路由表中查找與pod4 IP匹配的所有路由。它找到cbr0作為此節(jié)點的CIDR塊的目標??梢允褂胷oute -n命令列出節(jié)點路由表.
7. 橋接器接收數據包,發(fā)出ARP請求,然后發(fā)現IP屬于vethyyy。
8. 數據包穿過管道對并到達pod4