自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

從 Flannel 學習 Kubernetes overlay 網(wǎng)絡

作者：張曉輝
網(wǎng)絡 網(wǎng)絡管理
Flannel 是通過 Daemonset 的方式部署的，每臺節(jié)點上都會運行一個 flannel 的 pod。通過掛載本地磁盤的方式，在 Pod 啟動時會通過初始化容器將二進制文件和 CNI 的配置復制到本地磁盤中，分別位于 /opt/cni/bin/flannel 和 /etc/cni/net.d/10-flannel.conflist。

?Flannel 介紹

Flannel 是一個非常簡單的 overlay 網(wǎng)絡（VXLAN），是 Kubernetes 網(wǎng)絡 CNI 的解決方案之一。Flannel 在每臺主機上運行一個簡單的輕量級 agent flanneld? 來監(jiān)聽集群中節(jié)點的變更，并對地址空間進行預配置。Flannel 還會在每臺主機上安裝 vtep flannel.1（VXLAN tunnel endpoints），與其他主機通過 VXLAN 隧道相連。

flanneld 監(jiān)聽在 8472 端口，通過 UDP 與其他節(jié)點的 vtep 進行數(shù)據(jù)傳輸。到達 vtep 的二層包會被原封不動地通過 UDP 的方式發(fā)送到對端的 vtep，然后拆出二層包進行處理。簡單說就是用四層的 UDP 傳輸二層的數(shù)據(jù)幀。

圖片

vxlan-tunnel

在 Kubernetes 發(fā)行版 K3S[1] 中將 Flannel 作為默認的 CNI 實現(xiàn)。K3S 集成了 flannel，在啟動后 flannel 以 go routine 的方式運行。

環(huán)境搭建

Kubernetes 集群使用 k3s 發(fā)行版，但在安裝集群的時候，禁用 k3s 集成的 flannel，使用獨立安裝的 flannel 進行驗證。

安裝 CNI 的 plugin，需要在所有的 node 節(jié)點上執(zhí)行下面的命令，下載 CNI 的官方 bin。

sudo mkdir -p /opt/cni/bin
curl -sSL https://github.com/containernetworking/plugins/releases/download/v1.1.1/cni-plugins-linux-amd64-v1.1.1.tgz | sudo tar -zxf - -C /opt/cni/bin

安裝 k3s 的控制平面。

export INSTALL_K3S_VERSION=v1.23.8+k3s2
curl -sfL https://get.k3s.io | sh -s - --disable traefik --flannel-backend=none --write-kubeconfig-mode 644 --write-kubeconfig ~/.kube/config

安裝 Flannel。這里注意，F(xiàn)lannel 默認的 Pod CIRD 是 10.244.0.0/16?，我們將其修改為 k3s 默認的 10.42.0.0/16。

curl -s https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml | sed 's|10.244.0.0/16|10.42.0.0/16|g' | kubectl apply -f -

添加另一個節(jié)點到集群。

export INSTALL_K3S_VERSION=v1.23.8+k3s2
export MASTER_IP=<MASTER_IP>
export NODE_TOKEN=<TOKEN>
curl -sfL https://get.k3s.io | K3S_URL=https://${MASTER_IP}:6443 K3S_TOKEN=${NODE_TOKEN} sh -

查看節(jié)點狀態(tài)。

kubectl get node
NAME          STATUS   ROLES                  AGE   VERSION
ubuntu-dev3   Ready    <none>                 13m   v1.23.8+k3s2
ubuntu-dev2   Ready    control-plane,master   17m   v1.23.8+k3s2

運行兩個 pod：curl? 和 httpbin，為了探尋

NODE1=ubuntu-dev2
NODE2=ubuntu-dev3
kubectl apply -n default -f - <<EOF
apiVersion: v1
kind: Pod
metadata:
  labels:
    app: curl
  name: curl
spec:
  containers:
  - image: curlimages/curl
    name: curl
    command: ["sleep", "365d"]
  nodeName: $NODE1
---
apiVersion: v1
kind: Pod
metadata:
  labels:
    app: httpbin
  name: httpbin
spec:
  containers:
  - image: kennethreitz/httpbin
    name: httpbin
  nodeName: $NODE2
EOF

網(wǎng)絡配置

接下來，一起看下 CNI 插件如何配置 pod 網(wǎng)絡。

初始化

Flannel 是通過 Daemonset? 的方式部署的，每臺節(jié)點上都會運行一個 flannel 的 pod。通過掛載本地磁盤的方式，在 Pod 啟動時會通過初始化容器將二進制文件和 CNI 的配置復制到本地磁盤中，分別位于 /opt/cni/bin/flannel? 和 /etc/cni/net.d/10-flannel.conflist。

通過查看 kube-flannel.yml[2] 中的 ConfigMap?，可以找到 CNI 配置，flannel 默認委托（見 flannel-cni 源碼 `flannel_linux.go#L78`[3]）給 bridge 插件[4] 進行網(wǎng)絡配置，網(wǎng)絡名稱為 cbr0；IP 地址的管理，默認委托（見 flannel-cni 源碼 `flannel_linux.go#L40`[5]） host-local 插件[6] 完成。

#cni-conf.json 復制到 /etc/cni/net.d/10-flannel.conflist
{
  "name": "cbr0",
  "cniVersion": "0.3.1",
  "plugins": [
    {
      "type": "flannel",
      "delegate": {
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    },
    {
      "type": "portmap",
      "capabilities": {
        "portMappings": true
      }
    }
  ]
}

還有 Flannel 的網(wǎng)絡配置，配置中有我們設置的 Pod CIDR 10.42.0.0/16? 以及后端（backend）的類型 vxlan?。這也是 flannel 默認的類型，此外還有 多種后端類型[7] 可選，如 host-gw、wireguard、udp、Alloc、IPIP、IPSec。

#net-conf.json 掛載到 pod 的 /etc/kube-flannel/net-conf.json
{
  "Network": "10.42.0.0/16",
  "Backend": {
    "Type": "vxlan"
  }
}

Flannel Pod 運行啟動 flanneld? 進程，指定了參數(shù) --ip-masq? 和 --kube-subnet-mgr?，后者開啟了 kube subnet manager 模式。

運行

圖片

集群初始化時使用了默認的 Pod CIDR 10.42.0.0/16?，當有節(jié)點加入集群，集群會從該網(wǎng)段上為節(jié)點分配 屬于節(jié)點的 Pod CIDR 10.42.X.1/24。

flannel 在 kube subnet manager 模式下，連接到 apiserver 監(jiān)聽節(jié)點更新的事件，從節(jié)點信息中獲取節(jié)點的 Pod CIDR。

kubectl get no ubuntu-dev2 -o jsnotallow={.spec} | jq
{
  "podCIDR": "10.42.0.0/24",
  "podCIDRs": [
    "10.42.0.0/24"
  ],
  "providerID": "k3s://ubuntu-dev2"
}

然后在主機上寫子網(wǎng)配置文件，下面展示的是其中一個節(jié)點的子網(wǎng)配置文件的內容。另一個節(jié)點的內容差異在 FLANNEL_SUBNET=10.42.1.1/24，使用的是對應節(jié)點的 Pod CIDR。

#node 192.168.1.12
cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.42.0.0/16
FLANNEL_SUBNET=10.42.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

CNI 插件執(zhí)行

CNI 插件的執(zhí)行是由容器運行時觸發(fā)的，具體細節(jié)可以看上一篇 《源碼解析：從 kubelet、容器運行時看 CNI 的使用》。

圖片

Flannel Plugin Flow

flannel 插件

flannel? CNI 插件（/opt/cni/bin/flannel?）執(zhí)行的時候，接收傳入的 cni-conf.json?，讀取上面初始化好的 subnet.env? 的配置，輸出結果，委托給 bridge 進行下一步。

cat /var/lib/cni/flannel/e4239ab2706ed9191543a5c7f1ef06fc1f0a56346b0c3f2c742d52607ea271f0 | jq
{
  "cniVersion": "0.3.1",
  "hairpinMode": true,
  "ipMasq": false,
  "ipam": {
    "ranges": [
      [
        {
          "subnet": "10.42.0.0/24"
        }
      ]
    ],
    "routes": [
      {
        "dst": "10.42.0.0/16"
      }
    ],
    "type": "host-local"
  },
  "isDefaultGateway": true,
  "isGateway": true,
  "mtu": 1450,
  "name": "cbr0",
  "type": "bridge"
}

bridge 插件

bridge 使用上面的輸出連同參數(shù)一起作為輸入，根據(jù)配置完成如下操作：

  • 創(chuàng)建網(wǎng)橋cni0（節(jié)點的根網(wǎng)絡命名空間）
  • 創(chuàng)建容器網(wǎng)絡接口eth0（ pod 網(wǎng)絡命名空間）
  • 創(chuàng)建主機上的虛擬網(wǎng)絡接口vethX（節(jié)點的根網(wǎng)絡命名空間）
  • 將vethX? 連接到網(wǎng)橋 cni0
  • 委托 ipam 插件分配 IP 地址、DNS、路由
  • 將 IP 地址綁定到 pod 網(wǎng)絡命名空間的接口eth0 上
  • 檢查網(wǎng)橋狀態(tài)
  • 設置路由
  • 設置 DNS

最后輸出如下的結果：

cat /var/li/cni/results/cbr0-a34bb3dc268e99e6e1ef83c732f5619ca89924b646766d1ef352de90dbd1c750-eth0 | jq .result
{
  "cniVersion": "0.3.1",
  "dns": {},
  "interfaces": [
    {
      "mac": "6a:0f:94:28:9b:e7",
      "name": "cni0"
    },
    {
      "mac": "ca:b4:a9:83:0f:d4",
      "name": "veth38b50fb4"
    },
    {
      "mac": "0a:01:c5:6f:57:67",
      "name": "eth0",
      "sandbox": "/var/run/netns/cni-44bb41bd-7c41-4860-3c55-4323bc279628"
    }
  ],
  "ips": [
    {
      "address": "10.42.0.5/24",
      "gateway": "10.42.0.1",
      "interface": 2,
      "version": "4"
    }
  ],
  "routes": [
    {
      "dst": "10.42.0.0/16"
    },
    {
      "dst": "0.0.0.0/0",
      "gw": "10.42.0.1"
    }
  ]
}

port-mapping 插件

該插件會將來自主機上一個或多個端口的流量轉發(fā)到容器。

Debug

讓我們在第一個節(jié)點上，使用 tcpdump? 對接口 cni0 進行抓包。

tcpdump -i cni0 port 80 -vvv

從 pod curl? 中使用 pod httpbin? 的 IP 地址 10.42.1.2 發(fā)送請求：

kubectl exec curl -n default -- curl -s 10.42.1.2/get

cni0

從在 cni0 上的抓包結果來看，第三層的 IP 地址均為 Pod 的 IP 地址，看起來就像是兩個 pod 都在同一個網(wǎng)段。

圖片

tcpdump-on-cni0

host eth0

文章開頭提到 flanneld 監(jiān)聽 udp 8472 端口。

netstat -tupln | grep 8472
udp        0      0 0.0.0.0:8472            0.0.0.0:*                           -

我們直接在以太網(wǎng)接口上抓取 UDP 的包：

tcpdump -i eth0 port 8472 -vvv

再次發(fā)送請求，可以看到抓取到 UDP 數(shù)據(jù)包，傳輸?shù)呢撦d是二層的封包。

圖片

tcpdump-on-host-eth0

Overlay 網(wǎng)絡下的跨節(jié)點通信

在系列的第一篇中，我們研究 pod 間的通信時提到不同 CNI 插件的處理方式不同，這次我們探索了 flannel 插件的工作原理。希望通過下面的圖可以對 overlay 網(wǎng)絡處理跨節(jié)點的網(wǎng)絡通信有個比較直觀的認識。

圖片

當發(fā)送到 10.42.1.2? 流量到達節(jié)點 A 的網(wǎng)橋 cni0?，由于目標 IP 并不屬于當前階段的網(wǎng)段。根據(jù)系統(tǒng)的路由規(guī)則，進入到接口 flannel.1?，也就是 VXLAN 的 vtep。這里的路由規(guī)則也由 flanneld 來維護，當節(jié)點上線或者下線時，都會更新路由規(guī)則。

#192.168.1.12
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         _gateway        0.0.0.0         UG    0      0        0 eth0
10.42.0.0       0.0.0.0         255.255.255.0   U     0      0        0 cni0
10.42.1.0       10.42.1.0       255.255.255.0   UG    0      0        0 flannel.1
192.168.1.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
#192.168.1.13
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         _gateway        0.0.0.0         UG    0      0        0 eth0
10.42.0.0       10.42.0.0       255.255.255.0   UG    0      0        0 flannel.1
10.42.1.0       0.0.0.0         255.255.255.0   U     0      0        0 cni0
192.168.1.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

flannel.1? 將原始的以太封包使用 UDP 協(xié)議重新封裝，將其發(fā)送到目標地址 10.42.1.0? （目標的 MAC 地址通過 ARP 獲?。?。對端的 vtep 也就是 flannel.1? 的 UDP 端口 8472 收到消息，解幀出以太封包，然后對以太封包進行路由處理，發(fā)送到接口 cni0，最終到達目標 pod 中。

響應的數(shù)據(jù)傳輸與請求的處理也是類似，只是源地址和目的地址調換。

參考資料

[1] K3S: https://k3s.io/

[2] kube-flannel.yml: https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

[3] flannel-cni 源碼 flannel_linux.go#L78?: https://github.com/flannel-io/cni-plugin/blob/v1.1.0/flannel_linux.go#L78

[4] bridge 插件: https://www.cni.dev/plugins/current/main/bridge/

[5] flannel-cni 源碼 flannel_linux.go#L40?: https://github.com/flannel-io/cni-plugin/blob/v1.1.0/flannel_linux.go#L40

[6] host-local 插件: https://www.cni.dev/plugins/current/ipam/host-local/

[7] 多種后端類型: https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md

責任編輯：武曉燕 來源： 云原生指北
Flannel網(wǎng)絡磁盤
相關推薦

2019-07-03 10:58:22

Kubernetes網(wǎng)絡插件

2022-02-25 16:18:06

OverlayUnderlay網(wǎng)絡設備

2022-08-17 07:53:45

Overlay網(wǎng)絡數(shù)據(jù)中心

2023-01-12 08:12:33

KubernetesCiliumeBPF

2020-12-30 08:00:00

Kubernetes開發(fā)機器學習

2020-05-19 09:01:51

Overlay網(wǎng)絡虛擬化集群

2022-08-02 20:17:13

網(wǎng)絡UnderlayOverlay

2019-10-24 10:25:32

Kubernetes網(wǎng)絡集群

2013-12-26 10:17:57

overlayVXLAN詳解

2021-12-01 09:48:34

Kubernetes 網(wǎng)絡插件Linux

2024-01-19 18:02:25

Kubernetes網(wǎng)絡流量

2013-10-15 09:11:26

多租戶云計算Overlay

2020-07-08 09:36:03

Kubernetes容器開發(fā)

2020-04-12 22:23:45

Kubernetes容器網(wǎng)絡

2021-04-14 09:33:58

Kubernetes通信網(wǎng)絡模型

2020-09-23 14:20:07

Kubernetes容器網(wǎng)絡模型

2020-05-21 08:58:34

Kubernetes操作系統(tǒng)運維

2021-11-22 08:50:20

Kubernetes網(wǎng)絡策略云原生應用程序

2013-04-08 14:59:54

Android學習筆記百度地圖Overlay

2020-04-28 10:28:30

Kubernetes操作系統(tǒng)運維
點贊
收藏

51CTO技術棧公眾號