引言

面試的時(shí)候問(wèn)到了很多次，但是回答的不是很全面，盡管有時(shí)候面試官聽(tīng)著還可以，但是自己知道回答還不夠全面，所以我們就深入了解下。

如果文章哪里有問(wèn)題，還望指出。

最后有相關(guān)的學(xué)習(xí)群，有興趣可以加入。

開(kāi)始

引言：容器網(wǎng)絡(luò)的挑戰(zhàn)與演進(jìn)

在 Kubernetes 集群中，容器網(wǎng)絡(luò)是支撐微服務(wù)通信的基石。隨著云原生技術(shù)的普及，網(wǎng)絡(luò)性能、安全性和可擴(kuò)展性成為架構(gòu)師的核心考量。本文將深入探討兩大主流 CNI 插件——Flannel 與 Calico 的設(shè)計(jì)原理、工作模式對(duì)比及生產(chǎn)環(huán)境選型策略，通過(guò)原理剖析、性能測(cè)試和真實(shí)案例，助您構(gòu)建最佳容器網(wǎng)絡(luò)方案。

第一章：Flannel 設(shè)計(jì)解析與實(shí)現(xiàn)細(xì)節(jié)

1.1 Flannel 架構(gòu)全景

Flannel 是 Kubernetes 最輕量的 Overlay 網(wǎng)絡(luò)方案，其核心架構(gòu)包含三部分：

圖片

核心組件職責(zé)：

• ? Flanneld：守護(hù)進(jìn)程，負(fù)責(zé)節(jié)點(diǎn)子網(wǎng)管理、路由表更新和隧道維護(hù)。
• ? Backend：數(shù)據(jù)平面實(shí)現(xiàn)（VXLAN/host-gw/UDP），決定流量轉(zhuǎn)發(fā)邏輯。
• ? CNI 插件：配置 Pod 網(wǎng)絡(luò)命名空間（veth pair + IPAM）。

1.2 Flannel 工作模式深度剖析

模式 1：VXLAN（Virtual Extensible LAN）

實(shí)現(xiàn)原理：

• ? 虛擬隧道端點(diǎn)（VTEP）：每個(gè)節(jié)點(diǎn)創(chuàng)建 vxlan0 設(shè)備，通過(guò) UDP 4789 端口封裝 L2 幀。
• ? MAC 地址學(xué)習(xí)：利用 FDB（Forwarding Database）記錄目標(biāo) Pod MAC 與節(jié)點(diǎn) IP 的映射。
• ? 多播組管理：初始階段通過(guò)多播發(fā)現(xiàn)鄰居節(jié)點(diǎn)（生產(chǎn)環(huán)境建議靜態(tài)配置）。

數(shù)據(jù)包生命周期：

圖片

性能優(yōu)化技巧：

# 調(diào)整 VXLAN MTU 避免分片（通常設(shè)為物理 MTU - 50）
ifconfig vxlan0 mtu 1450

# 啟用 UDP 校驗(yàn)和卸載（需網(wǎng)卡支持）
ethtool -K eth0 tx-udp_tnl-csum-segmentation on

模式 2：host-gw（Host Gateway）

實(shí)現(xiàn)原理：

? 直接路由：節(jié)點(diǎn)充當(dāng)網(wǎng)關(guān)，通過(guò)靜態(tài)路由將目標(biāo) Pod 子網(wǎng)指向?qū)?yīng)節(jié)點(diǎn)物理 IP。

? 無(wú)隧道開(kāi)銷：要求節(jié)點(diǎn)間 L2 互通（同一子網(wǎng)），否則路由不可達(dá)。

路由表示例：

# Node1 路由表
10.244.1.0/24 via 192.168.0.2 dev eth0  # Pod 子網(wǎng) -> Node2
10.244.2.0/24 via 192.168.0.3 dev eth0  # Pod 子網(wǎng) -> Node3

適用場(chǎng)景與限制：

? 優(yōu)勢(shì)：吞吐量接近物理網(wǎng)絡(luò)（無(wú)封裝開(kāi)銷），延遲降低 40%+。

? 限制：節(jié)點(diǎn)必須位于同一 L2 網(wǎng)絡(luò)，跨子網(wǎng)需 BGP 或手動(dòng)配置路由。

1.3 Flannel 高級(jí)特性與局限

多后端支持：

? UDP 模式（已棄用）：用戶態(tài)封裝，性能差，僅用于舊內(nèi)核兼容。

? AWS VPC 后端：直接使用 AWS 路由表，需配合 aws-vpc-cni。

局限分析：

? 網(wǎng)絡(luò)策略缺失：依賴 Kubernetes 原生 NetworkPolicy，功能有限。

? 擴(kuò)展性瓶頸：大規(guī)模集群（>1000 節(jié)點(diǎn)）路由表膨脹問(wèn)題。

第二章：Calico 架構(gòu)設(shè)計(jì)與高級(jí)功能

2.1 Calico 組件協(xié)作模型

Calico 采用分布式架構(gòu)，控制平面與數(shù)據(jù)平面解耦：

圖片

核心組件職責(zé)：

? Felix：配置本地路由、ACL 和端點(diǎn)狀態(tài)。

? BIRD：BGP 客戶端，廣播路由到物理網(wǎng)絡(luò)。

? Typha：大規(guī)模集群中降低 API Server 負(fù)載。

2.2 Calico 工作模式詳解

模式 1：BGP（Border Gateway Protocol）

實(shí)現(xiàn)原理：

? 對(duì)等體發(fā)現(xiàn)：節(jié)點(diǎn)與物理路由器（ToR）建立 BGP 會(huì)話，交換路由信息。

? 路由傳播：每個(gè)節(jié)點(diǎn)宣告自身 Pod CIDR（如 10.244.1.0/24）。

? ECMP 支持：通過(guò) BGP 多路徑實(shí)現(xiàn)負(fù)載均衡。

配置示例（Calico BGP）：

apiVersion: projectcalico.org/v3
kind: BGPPeer
metadata:
  name: peer-tor
spec:
  peerIP: 192.168.0.254
  asNumber: 64512
  nodeSelector: all()

模式 2：IP-in-IP 隧道

實(shí)現(xiàn)原理：

? 隧道封裝：跨子網(wǎng)通信時(shí)，將原始 IP 包封裝在另一個(gè) IP 包中（協(xié)議號(hào) 4）。

? 動(dòng)態(tài)封裝策略：通過(guò) ipipMode 控制：

Always：所有流量封裝。

CrossSubnet：僅跨子網(wǎng)流量封裝。

性能影響：

2.3 Calico 網(wǎng)絡(luò)策略實(shí)戰(zhàn)

L4 策略示例：

apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: deny-db-external
spec:
  selector: role == 'database'
  ingress:
    - action: Allow
      protocol: TCP
      source:
        namespaceSelector: project == 'prod'
      destination:
        ports: [5432]
  egress:
    - action: Deny
      destination:
        nets: [0.0.0.0/0]

L7 策略示例（需 Cilium 集成）：

apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: http-methods
spec:
  selector: app == 'api'
  ingress:
    - action: Allow
      http:
        methods: ['GET', 'POST']
      source:
        serviceAccounts:
          names: ['frontend-sa']

第三章：Flannel vs Calico 全方位對(duì)比

3.1 核心能力矩陣

3.2 性能基準(zhǔn)測(cè)試

測(cè)試環(huán)境：

? 節(jié)點(diǎn)規(guī)格：AWS m5.xlarge (4 vCPU, 16GB RAM)

? 集群規(guī)模：10 節(jié)點(diǎn)，100 Pod/節(jié)點(diǎn)

? 工具：iperf3 和 kubectl benchmark

結(jié)果對(duì)比：

3.3 生產(chǎn)環(huán)境選型決策樹(shù)

圖片

第四章：真實(shí)案例與故障復(fù)盤

4.1 案例 1：電商大促 Flannel VXLAN 性能瓶頸

現(xiàn)象：

? 促銷期間 API 網(wǎng)關(guān)延遲從 50ms 飆升至 800ms。

? 節(jié)點(diǎn) CPU 使用率高達(dá) 90%，vxlan0 接口出現(xiàn)丟包。

根因分析：

? VXLAN 封裝導(dǎo)致單核處理瓶頸（Linux 內(nèi)核協(xié)議棧限制）。

? MTU 不匹配引發(fā)大量分片，加劇 CPU 負(fù)擔(dān)。

解決方案：

1. 切換到 host-gw 模式（節(jié)點(diǎn)間 L2 互通）。

2. 優(yōu)化內(nèi)核參數(shù)：

sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216

3. 升級(jí)為 Calico BGP 模式長(zhǎng)期規(guī)劃。

4.2 案例 2：Calico BGP 路由震蕩導(dǎo)致服務(wù)中斷

現(xiàn)象：

? 每 5 分鐘出現(xiàn) 30 秒服務(wù)不可用。

? BIRD 日志顯示路由持續(xù)撤回/更新。

根因分析：

? 節(jié)點(diǎn)與 ToR 交換機(jī) BGP 會(huì)話超時(shí)時(shí)間不匹配。

? 交換機(jī)配置 hold-time=90s，節(jié)點(diǎn)默認(rèn) hold-time=180s。

解決方案：

apiVersion: projectcalico.org/v3
kind: BGPConfiguration
metadata:
  name: bgp-settings
spec:
  logSeverityScreen: Info
  nodeToNodeMeshEnabled: false
  asNumber: 64512
  listenPort: 179
  prefixes:
    - cidr: 10.244.0.0/16
  bgpPeers:
    - peerIP: 192.168.0.254
      asNumber: 64513
      holdTime: 90s  # 與交換機(jī)對(duì)齊

第五章：未來(lái)趨勢(shì)與演進(jìn)方向

5.1 eBPF 對(duì)容器網(wǎng)絡(luò)的影響

? Cilium 的崛起：替代 iptables 實(shí)現(xiàn)高性能策略實(shí)施。

? XDP 加速：在網(wǎng)卡驅(qū)動(dòng)層處理流量，降低延遲。

? 服務(wù)網(wǎng)格融合：Sidecar 模式向 CNI 層轉(zhuǎn)移。

5.2 多云網(wǎng)絡(luò)架構(gòu)

? Submariner：跨集群 L3 連通 + 服務(wù)發(fā)現(xiàn)。

? Network Policy Federation：統(tǒng)一管理多集群策略。

? 零信任安全：基于 SPIFFE 的身份感知網(wǎng)絡(luò)。

結(jié)語(yǔ)：構(gòu)建面向未來(lái)的容器網(wǎng)絡(luò)

選擇 Flannel 還是 Calico，本質(zhì)是在簡(jiǎn)單性與能力豐富性之間權(quán)衡。對(duì)于初創(chuàng)公司或中小集群，F(xiàn)lannel 的極簡(jiǎn)設(shè)計(jì)能快速上線；而中大型企業(yè)需要 Calico 的策略引擎和精細(xì)控制。隨著 eBPF 和硬件卸載技術(shù)的成熟，未來(lái)的容器網(wǎng)絡(luò)將向著更高性能、更智能化的方向持續(xù)演進(jìn)。

行動(dòng)指南：

1. 在開(kāi)發(fā)環(huán)境使用 Flannel 快速驗(yàn)證業(yè)務(wù)。

2. 生產(chǎn)環(huán)境優(yōu)先 Calico，預(yù)留策略擴(kuò)展能力。

3. 定期評(píng)估網(wǎng)絡(luò)架構(gòu)，跟隨社區(qū)演進(jìn)。