Kubernetes 網(wǎng)絡(luò)模型的核心要求之一是每個(gè) Pod 都應(yīng)該有自己的 IP 地址，并且集群中的每個(gè) Pod 都應(yīng)該能夠使用這個(gè) IP 地址與其進(jìn)行通信。有多個(gè)網(wǎng)絡(luò)提供商（flannel、calico、canal 等）實(shí)現(xiàn)了這種網(wǎng)絡(luò)模型。

在 kubernetes 中設(shè)置網(wǎng)絡(luò)有多種方法，容器運(yùn)行時(shí)也有多種選項(xiàng)。在這篇文章中，我將使用 Flannel作為網(wǎng)絡(luò)提供程序， 使用 Containerd作為容器運(yùn)行時(shí)。

一、背景概念

1.容器網(wǎng)絡(luò)：非常簡短的概述

有一些非常好的帖子解釋了容器網(wǎng)絡(luò)的工作原理。對(duì)于上下文，我將在這里使用涉及 Linux 橋接網(wǎng)絡(luò)和數(shù)據(jù)包封裝的單一方法進(jìn)行非常高層次的概述。在這里跳過細(xì)節(jié)。

2.同一主機(jī)上的容器

在同一主機(jī)上運(yùn)行的容器可以通過其 IP 地址相互通信的方式之一是通過 Linux 橋。在 kubernetes（和 docker）世界中， 創(chuàng)建了veth（虛擬以太網(wǎng)）設(shè)備來實(shí)現(xiàn)此目的。該 veth 設(shè)備的一端插入容器網(wǎng)絡(luò)命名空間，另一端連接到 主機(jī)網(wǎng)絡(luò)上的Linux 橋。同一主機(jī)上的所有容器都將這一 veth 對(duì)的一端連接到 linux 網(wǎng)橋，并且它們可以通過網(wǎng)橋使用其 IP 地址相互通信。Linux 網(wǎng)橋還分配有一個(gè) IP 地址，并充當(dāng)從 pod 發(fā)往不同節(jié)點(diǎn)的出口流量的網(wǎng)關(guān)。

3.不同主機(jī)上的容器

在不同主機(jī)上運(yùn)行的容器可以通過其 IP 地址相互通信的方法之一是使用數(shù)據(jù)包封裝。Flannel 通過 vxlan支持此功能，它將原始數(shù)據(jù)包包裝在 UDP 數(shù)據(jù)包中并將其發(fā)送到目的地。

在 kubernetes 集群中，flannel 在每個(gè)節(jié)點(diǎn)上創(chuàng)建一個(gè) vxlan 設(shè)備和一些路由表?xiàng)l目。發(fā)往不同主機(jī)上的容器的每個(gè)數(shù)據(jù)包都會(huì)經(jīng)過 vxlan 設(shè)備并封裝在 UDP 數(shù)據(jù)包中。在目的地，檢索封裝的數(shù)據(jù)包并將數(shù)據(jù)包路由到目標(biāo) Pod。

注意：這只是配置容器之間網(wǎng)絡(luò)的方式之一。

4.什么是 CRI？

CRI（容器運(yùn)行時(shí)接口）是一個(gè)插件接口，允許 kubelet 使用不同的容器運(yùn)行時(shí)。各種容器運(yùn)行時(shí)都實(shí)現(xiàn)了 CRI API，這允許用戶在其 kubernetes 安裝中使用他們選擇的容器運(yùn)行時(shí)。

5.什么是CNI？

CNI 項(xiàng)目包含一個(gè) 規(guī)范，為 Linux 容器提供基于插件的通用網(wǎng)絡(luò)解決方案。它還包含各種插件，在配置 Pod 網(wǎng)絡(luò)時(shí)執(zhí)行不同的功能。CNI 插件是遵循 CNI 規(guī)范的可執(zhí)行文件，我們將在下面的帖子中討論一些插件。

二、為 Pod IP 地址的節(jié)點(diǎn)分配子網(wǎng)

如果所有 Pod 都需要有一個(gè) IP 地址，那么確保整個(gè)集群中的所有 Pod 都具有唯一的 IP 地址非常重要。這是通過為每個(gè)節(jié)點(diǎn)分配一個(gè)唯一的子網(wǎng)來實(shí)現(xiàn)的，從該子網(wǎng)為 Pod 分配該節(jié)點(diǎn)上的 IP 地址。

1.節(jié)點(diǎn) IPAM 控制器

當(dāng)nodeipam作為選項(xiàng)傳遞給 kube-controller-manager 的 --controllers命令行標(biāo)志時(shí)，它會(huì)從集群 CIDR（集群網(wǎng)絡(luò)的 IP 范圍）為每個(gè)節(jié)點(diǎn)分配一個(gè)專用子網(wǎng) (podCIDR)。由于這些 podCIDR 是不相交的子網(wǎng)，因此它允許為每個(gè) pod 分配唯一的 IP 地址。

當(dāng) kubernetes 節(jié)點(diǎn)首次向集群注冊(cè)時(shí)，會(huì)為其分配一個(gè) podCIDR。要更改分配給集群中節(jié)點(diǎn)的 podCIDR，需要取消注冊(cè)節(jié)點(diǎn)，然后重新注冊(cè)節(jié)點(diǎn)，并將任何配置更改首先應(yīng)用于 kubernetes 控制平面。podCIDR可以使用以下命令列出節(jié)點(diǎn)。

$ kubectl get no <nodeName> -o json | jq '.spec.podCIDR'
10.244.0.0/24

2.Kubelet、容器運(yùn)行時(shí)和 CNI 插件 - 如何將它們拼接在一起

當(dāng) pod 被調(diào)度到節(jié)點(diǎn)上時(shí)，會(huì)發(fā)生很多事情來啟動(dòng) pod。在本節(jié)中，我將僅關(guān)注與為 pod 配置網(wǎng)絡(luò)相關(guān)的交互。

在節(jié)點(diǎn)上調(diào)度 Pod 后，以下交互將導(dǎo)致配置網(wǎng)絡(luò)并啟動(dòng)應(yīng)用程序容器。

3.容器運(yùn)行時(shí)和 CNI 插件之間的交互

每個(gè)網(wǎng)絡(luò)提供商都有一個(gè) CNI 插件，容器運(yùn)行時(shí)會(huì)調(diào)用該插件來在 pod 啟動(dòng)時(shí)為其配置網(wǎng)絡(luò)。使用containerd作為容器運(yùn)行時(shí)， Containerd CRI插件調(diào)用CNI插件。每個(gè)網(wǎng)絡(luò)提供商還會(huì)在每個(gè) kubernetes 節(jié)點(diǎn)上安裝一個(gè)代理來配置 pod 網(wǎng)絡(luò)。安裝網(wǎng)絡(luò)提供商代理后，它要么隨 CNI 配置一起提供，要么在節(jié)點(diǎn)上創(chuàng)建一個(gè)配置，然后 CRI 插件使用該配置來確定要調(diào)用哪個(gè) CNI 插件。

CNI 配置文件的位置是可配置的，默認(rèn)值為/etc/cni/net.d/. CNI 插件需要由集群管理員發(fā)送到每個(gè)節(jié)點(diǎn)上。CNI 插件的位置也是可配置的，默認(rèn)值為/opt/cni/bin。

如果使用containerd作為容器運(yùn)行時(shí)，則可以在containerd配置[plugins."io.containerd.grpc.v1.cri".cni]部分 下指定CNI配置和CNI插件二進(jìn)制文件的路徑。

由于我們?cè)谶@里將 Flannel 稱為網(wǎng)絡(luò)提供商，因此我將稍微討論一下 Flannel 的設(shè)置方式。Flanneld 是 Flannel 守護(hù)進(jìn)程，通常install-cni作為 守護(hù)進(jìn)程集和init 容器安裝在 kubernetes 集群上。容器在每個(gè)節(jié)點(diǎn)上install-cni創(chuàng)建 CNI 配置文件。/etc/cni/net.d/10-flannel.conflistFlaneld 創(chuàng)建一個(gè) vxlan 設(shè)備，從 apiserver 獲取網(wǎng)絡(luò)元數(shù)據(jù)并監(jiān)視 Pod 上的更新。創(chuàng)建 Pod 時(shí)，它會(huì)為整個(gè)集群中的所有 Pod 分配路由，這些路由允許 Pod 通過其 IP 地址相互連接。有關(guān)Flannel工作原理的詳細(xì)信息，推薦參考官方描述。

Containerd CRI Plugin 和 CNI 插件之間的交互可以可視化如下：

如上所述，kubelet 調(diào)用 Containerd CRI 插件來創(chuàng)建 pod，Containerd CRI 插件調(diào)用 CNI 插件為 pod 配置網(wǎng)絡(luò)。網(wǎng)絡(luò)提供商 CNI 插件調(diào)用其他基礎(chǔ) CNI 插件來配置網(wǎng)絡(luò)。CNI 插件之間的交互如下所述。

三、CNI 插件之間的交互

有各種 CNI 插件可以幫助配置主機(jī)上容器之間的網(wǎng)絡(luò)。在這篇文章中，我們將參考 3 個(gè)插件。

Flannel CNI 插件當(dāng)使用 Flannel 作為網(wǎng)絡(luò)提供者時(shí)，Containerd CRI 插件 使用CNI 配置文件 - /etc/cni/net.d/10-flannel.conflist.

$ cat /etc/cni/net.d/10-flannel.conflist
{
"name": "cni0",
"plugins": [
  {
    "type": "flannel",
    "delegate": {
    "ipMasq": false,
      "hairpinMode": true,
      "isDefaultGateway": true
    }
  }
]
}

Fannel CNI 插件與 Flanneld 結(jié)合使用。當(dāng) Flaneld 啟動(dòng)時(shí)，它會(huì)從 apiserver 獲取 podCIDR 和其他網(wǎng)絡(luò)相關(guān)詳細(xì)信息，并將它們存儲(chǔ)在文件中 - /run/flannel/subnet.env.

FLANNEL_NETWORK=10.244.0.0/16 
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450 
FLANNEL_IPMASQ=false

Flannel CNI 插件使用其中的信息/run/flannel/subnet.env來配置和調(diào)用橋接 CNI 插件。

1.橋接 CNI 插件

Flannel CNI 插件使用以下配置調(diào)用 Bridge CNI 插件：

{
  "name": "cni0",
  "type": "bridge",
  "mtu": 1450,
  "ipMasq": false,
  "isGateway": true,
  "ipam": {
    "type": "host-local",
    "subnet": "10.244.0.0/24"
  }
}

當(dāng) 第一次調(diào)用Bridge CNI 插件"name": "cni0"時(shí)，它會(huì)使用配置文件中指定的內(nèi)容創(chuàng)建一個(gè) Linux 橋。然后，它為每個(gè) pod 創(chuàng)建一個(gè) veth 對(duì) - 該對(duì)的一端位于容器的網(wǎng)絡(luò)命名空間中，另一端連接到主機(jī)網(wǎng)絡(luò)上的 linux 橋。使用 Bridge CNI 插件，主機(jī)上的所有容器都連接到主機(jī)網(wǎng)絡(luò)上的 linux 橋。

配置 veth 對(duì)后，Bridge 插件會(huì)調(diào)用主機(jī)本地 IPAM CNI 插件。使用哪個(gè) IPAM 插件可以在 CNI 配置中配置 CRI 插件用于調(diào)用 flannel CNI 插件。

2.主機(jī)本地 IPAM CNI 插件

Bridge CNI 插件 使用以下配置調(diào)用主機(jī)本地 IPAM CNI 插件：

{
  "name": "cni0",
  "ipam": {
    "type": "host-local",
    "subnet": "10.244.0.0/24",
    "dataDir": "/var/lib/cni/networks"
  }
}

主機(jī)本地 IPAM（IP 地址管理）插件從 - 中返回容器的 IP 地址，并將subnet分配的 IP 存儲(chǔ)在主機(jī)上本地指定的目錄下。文件包含分配了 IP 的容器 ID。dataDir/var/lib/cni/networks/<network-name=cni0>/<ip>/var/lib/cni/networks/<network-name=cni0>/<ip>

調(diào)用時(shí)，主機(jī)本地 IPAM 插件返回以下有效負(fù)載

{
  "ip4": {
    "ip": "10.244.4.2",
    "gateway": "10.244.4.3"
  },
  "dns": {}
}

小結(jié)

Kube-controller-manager為每個(gè)節(jié)點(diǎn)分配一個(gè)podCIDR。節(jié)點(diǎn)上的 Pod 會(huì)根據(jù) podCIDR 中的子網(wǎng)值分配一個(gè) IP 地址。由于所有節(jié)點(diǎn)上的 podCIDR 都是不相交的子網(wǎng)，因此它允許為每個(gè) pod 分配唯一的 IP 地址。

Kubernetes 集群管理員配置并安裝 kubelet、容器運(yùn)行時(shí)、網(wǎng)絡(luò)提供商代理并在每個(gè)節(jié)點(diǎn)上分發(fā) CNI 插件。當(dāng)網(wǎng)絡(luò)提供商代理啟動(dòng)時(shí)，它會(huì)生成 CNI 配置。當(dāng) pod 被調(diào)度到節(jié)點(diǎn)上時(shí)，kubelet 會(huì)調(diào)用 CRI 插件來創(chuàng)建 pod。在containerd的情況下，Containerd CRI插件然后調(diào)用CNI配置中指定的CNI插件來配置pod網(wǎng)絡(luò)。所有這些都會(huì)導(dǎo)致 Pod 獲得 IP 地址。

參考：https://ronaknathani.com/blog/2020/08/how-a-kubernetes-pod-gets-an-ip-address/