Kubernetes Pod 多網(wǎng)卡解決方案 Multus 中文入門指南
這些規(guī)范被許多 CNI 插件（例如 WeaveNet，F(xiàn)lannel，Calico 等）遵守。這些插件中任何一個都可以在集群上使用和部署以提供網(wǎng)絡(luò)解決方案。該網(wǎng)絡(luò)稱為集群的默認(rèn)網(wǎng)絡(luò)。此默認(rèn)網(wǎng)絡(luò)使 Pods 不僅可以在同一節(jié)點上而且可以在群集中的各個節(jié)點之間相互通信。
隨著發(fā)展，Kubernetes 缺乏支持 VNF 中多個網(wǎng)絡(luò)接口的所需功能。傳統(tǒng)上，網(wǎng)絡(luò)功能使用多個網(wǎng)絡(luò)接口分離控制，管理和控制用戶/數(shù)據(jù)的網(wǎng)絡(luò)平面。他們還用于支持不同的協(xié)議，滿足不同的調(diào)整和配置要求。
為了解決這個需求，英特爾實現(xiàn)了 MULTUS 的 CNI 插件，其中提供了將多個接口添加到 Pod 的功能。這允許 POD 通過不同的接口連接到多個網(wǎng)絡(luò)，并且每個接口都將使用其自己的 CNI 插件。
下面是 Multus CNI 提供的連接到 Pod 的網(wǎng)絡(luò)接口的圖示。該圖顯示了具有三個接口的容器：eth0，net0和net1。eth0連接 Kubernetes 集群網(wǎng)絡(luò)以連接kubernetes服務(wù)器/服務(wù)（例如 Kubernetes api-server，kubelet 等）。net0和net1是其他網(wǎng)絡(luò)附件，并通過使用其他 CNI 插件（例如vlan / vxlan / ptp）連接到其他網(wǎng)絡(luò)。
MULTUS 工作原理
Kubernetes 當(dāng)前沒有提供為POD添加額外的接口選項的規(guī)定，或支持多個 CNI 插件同時工作的規(guī)定，但是它確實提供了一種由 API 服務(wù)器擴展受支持的API的機制。使用 "自定義資源定義" 可以做到這一點。MULTUS依賴于 "自定義資源定義" 來存儲其他接口和CNI插件所需的信息。
我們首先需要確保將 MULTUS 二進制文件放置在 /opt/cni/bin 位置的所有節(jié)點上，并在/etc/cni/net.d位置創(chuàng)建一個新的配置文件。與 MULTUS 使用的 kubeconfig 文件一起使用。
在/etc/cni/net.d中創(chuàng)建的新配置文件基于集群中已經(jīng)存在的默認(rèn)網(wǎng)絡(luò)配置。
在此之后，CRD 用于定義新的種類名稱 "NetworkAttachmentDefinition"，以及服務(wù)帳戶和 MULTUS 的集群角色以及相應(yīng)的綁定。這個新的集群角色將提供對隨 CRD 添加的新 API 組以及默認(rèn) API 組中 Pod 資源的訪問權(quán)限。
然后創(chuàng)建類型為 "NetworkAttachmentDefinition" 的客戶資源實例，該實例稍后將在創(chuàng)建具有多個接口的 Pod 時使用。
部署示例
在本文中，我們將多次提及兩件事：
- "默認(rèn)網(wǎng)絡(luò)" - 這是您的Pod到Pod網(wǎng)絡(luò)。這就是集群中 Pod 之間相互通信的方式，以及它們之間的連通性。一般而言，這被稱為名為 eth0 的接口。此接口始終連接到您的 Pod，以便它們之間可以相互連接。除此之外，我們還將添加接口。
- “ CRD” - 自定義資源定義。自定義資源是擴展 Kubernetes API 的一種方式。我們在這里使用這些存儲 Multus 可以讀取的一些信息。首先，我們使用它們來存儲附加到您的 Pod 的每個其他接口的配置。
目前支持 Kubernetes 1.16+ 版本。
安裝
我們建議的用于部署 Multus 的快速入門方法是使用 Daemonset（在群集中的每個節(jié)點上運行 Pod 的方法）進行部署，該 Pod 會安裝 Multus 二進制文件并配置 Multus 以供使用。
首先，克隆此 GitHub 存儲庫。
$ git clone https://github.com/intel/multus-cni.git && cd multus-cni
我們將在此存儲庫中使用帶有kubectl的YAML文件。
$ cat ./images/multus-daemonset.yml | kubectl apply -f -
Multus daemonset 完成了那些工作？
- 啟動 Multus 守護程序集，這會在每個節(jié)點上運行一個pod，從而在/opt/cni/bin中的每個節(jié)點上放置一個 Multus 二進制文件
- 按照字母順序讀取/etc/cni/net.d中的第一個配置文件，并為 Multus 創(chuàng)建一個新的配置文件，即/etc/cni/net.d/00-multus.conf，此配置是自動生成并基于默認(rèn)網(wǎng)絡(luò)配置（假定是按字母順序排列的第一個配置）
- 在每個節(jié)點上創(chuàng)建一個/etc/cni/net.d/multus.d目錄，其中包含用于 Multus 訪問 Kubernetes API 的身份驗證信息。
創(chuàng)建其他接口
我們要做的第一件事是為我們附加到Pod的每個其他接口創(chuàng)建配置。我們將通過創(chuàng)建自定義資源來做到這一點?？焖偃腴T安裝的一部分會創(chuàng)建一個 "CRD" （自定義資源定義，它是我們保留這些自定義資源的位置），我們將在其中存儲每個接口的配置。
CNI 配置
我們將添加的每個配置都是CNI配置。如果您不熟悉它們，讓我們快速分解它們。這是一個示例CNI配置：
{
"cniVersion": "0.3.0",
"type": "loopback",
"additional": "information"
}CNI配置是 JSON，我們這里有一個結(jié)構(gòu)，其中包含一些我們感興趣的東西：
- cniVersion：告訴每個 CNI 插件正在使用哪個版本，如果使用的版本太晚（或太早），則可以提供插件信息。
- type：告訴 CNI 在磁盤上調(diào)用哪個二進制文件。每個 CNI 插件都是一個二進制文件。通常，這些二進制文件存儲在每個節(jié)點上的/opt/cni/bin中，并且 CNI 執(zhí)行此二進制文件。在這種情況下，我們指定了loopback二進制文件（它將創(chuàng)建一個loopback類型的網(wǎng)絡(luò)接口）。如果這是您首次安裝 Multus，則可能需要驗證 "type" 字段中的插件是否確實在/opt/cni/bin目錄中。
- additional：此字段以此處為例，每個 CNI 插件都可以在JSON中指定所需的任何配置參數(shù)。這些特定于您在 "type" 字段中調(diào)用的二進制文件。
當(dāng) CNI 配置更改時，您不需要重新加載或刷新 Kubelets。每次創(chuàng)建和刪除 Pod 時都會讀取這些內(nèi)容。因此，如果您更改配置，它將在下一次創(chuàng)建 Pod 時應(yīng)用。如果現(xiàn)有 Pod 需要新配置，則可能需要重新啟動。
將配置存儲為自定義資源
因此，我們要創(chuàng)建一個附加接口。讓我們創(chuàng)建一個 macvlan 接口供 Pod 使用。我們將創(chuàng)建一個自定義資源，該資源定義接口的 CNI 配置。
請注意，在以下命令中有一種：NetworkAttachmentDefinition。這是我們配置的名字-它是 Kubernetes 的自定義擴展，定義了我們?nèi)绾螌⒕W(wǎng)絡(luò)連接到 Pod。
其次，注意配置字段。您將看到這是一個 CNI 配置，就像我們前面解釋的那樣。
最后但非常重要的一點是，在元數(shù)據(jù)下注意 name 字段-在這里我們?yōu)樵撆渲弥付Q，這是我們告訴 pod 使用此配置的方式。這里的名稱是macvlan-conf-我們正在為 macvlan 創(chuàng)建配置。
這是創(chuàng)建此示例配置的命令：
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: macvlan-conf
spec:
config: '{
"cniVersion": "0.3.0",
"type": "macvlan",
"master": "eth0",
"mode": "bridge",
"ipam": {
"type": "host-local",
"subnet": "192.168.1.0/24",
"rangeStart": "192.168.1.200",
"rangeEnd": "192.168.1.216",
"routes": [
{ "dst": "0.0.0.0/0" }
],
"gateway": "192.168.1.1"
}
}'
- 本示例使用 eth0 作為主參數(shù)，此主參數(shù)應(yīng)與集群中主機上的接口名稱匹配。
您可以查看使用 kubectl 創(chuàng)建的配置，方法如下：
$ kubectl get network-attachment-definitions
您可以通過描述它們來獲得更多詳細信息：
$ kubectl describe network-attachment-definitions macvlan-conf創(chuàng)建一個附加附加接口的Pod
我們將創(chuàng)建一個 pod。就像您之前可能創(chuàng)建的任何pod一樣，它看起來都很熟悉，但是，我們將有一個特殊的注釋字段-在這種情況下，我們將有一個名為k8s.v1.cni.cncf.io/networks的注釋。如上創(chuàng)建的，該字段以逗號分隔的列表列出了 NetworkAttachmentDefinitions 的名稱。請注意，在下面的命令中，我們具有 k8s.v1.cni.cncf.io/networks 的注釋：macvlan-conf其中macvlan-conf是我們在創(chuàng)建配置時使用的名稱。
讓我們繼續(xù)使用以下命令創(chuàng)建一個 pod：
apiVersion: v1
kind: Pod
metadata:
name: samplepod
annotations:
k8s.v1.cni.cncf.io/networks: macvlan-conf
spec:
containers:
- name: samplepod
command: ["/bin/ash", "-c", "trap : TERM INT; sleep infinity & wait"]
image: alpine
您現(xiàn)在可以檢查Pod并查看連接了哪些接口，如下所示：
$ kubectl exec -it samplepod -- ip a
您應(yīng)該看到，有 3 個接口：
- lo環(huán)回接口
- eth0我們的默認(rèn)網(wǎng)絡(luò)
- net1是我們使用macvlan配置創(chuàng)建的新接口
網(wǎng)絡(luò)狀態(tài) Annotations
為了確認(rèn)，請使用kubectl describe pod pod samplepod，然后會有一個注釋部分，類似于以下內(nèi)容：
Annotations: k8s.v1.cni.cncf.io/networks: macvlan-conf
k8s.v1.cni.cncf.io/networks-status:
[{
"name": "cbr0",
"ips": [
"10.244.1.73"
],
"default": true,
"dns": {}
},{
"name": "macvlan-conf",
"interface": "net1",
"ips": [
"192.168.1.205"
],
"mac": "86:1d:96:ff:55:0d",
"dns": {}
}]
該元數(shù)據(jù)告訴我們，我們有兩個成功運行的 CNI 插件。
如果我想要更多接口怎么辦？
您可以通過創(chuàng)建更多的自定義資源，然后在pod的注釋中引用它們，來向pod添加更多接口。您還可以重復(fù)使用配置，例如，要將兩個 macvlan 接口附加到 Pod，可以創(chuàng)建如下 Pod：
apiVersion: v1
kind: Pod
metadata:
name: samplepod
annotations:
k8s.v1.cni.cncf.io/networks: macvlan-conf,macvlan-conf
spec:
containers:
- name: samplepod
command: ["/bin/ash", "-c", "trap : TERM INT; sleep infinity & wait"]
image: alpine
請注意，注釋現(xiàn)在讀取為k8s.v1.cni.cncf.io/networks：macvlan-conf，macvlan-conf。如果我們有兩次使用相同的配置，并用逗號分隔。
參考資料
- https://zhuanlan.zhihu.com/p/73863683
