開(kāi)始

深夜收到報(bào)警短信，集群突然宕機(jī)——這可能是每個(gè)運(yùn)維人最不愿面對(duì)的噩夢(mèng)。生產(chǎn)級(jí)Kubernetes集群的部署，遠(yuǎn)不是幾條命令就能搞定的事情。本文將結(jié)合真實(shí)踩坑經(jīng)驗(yàn)，從零拆解一個(gè)高可用、高安全、可自愈的Kubernetes生產(chǎn)環(huán)境該如何落地。

一、架構(gòu)設(shè)計(jì)：你的集群能扛住“雙11”嗎？

1. 業(yè)務(wù)需求決定架構(gòu)形態(tài)

? 場(chǎng)景案例：某電商公司大促期間API調(diào)用量暴增10倍，因未預(yù)留足夠控制平面資源，導(dǎo)致API Server過(guò)載崩潰。

? 設(shè)計(jì)原則：

計(jì)算型業(yè)務(wù)（如Web服務(wù)）：優(yōu)先考慮橫向擴(kuò)展，使用HPA（水平擴(kuò)縮容）+ Cluster Autoscaler。

IO密集型業(yè)務(wù)（如日志處理）：選擇本地SSD存儲(chǔ)+Local PersistentVolume。

混合負(fù)載：劃分節(jié)點(diǎn)池（Node Pool），如gpu-worker、high-mem等。

2. 高可用設(shè)計(jì)的三個(gè)致命細(xì)節(jié)

? 負(fù)載均衡器的隱藏陷阱：

# HAProxy配置片段示例
backend k8s-api
  mode tcp
  balance roundrobin
  option tcp-check
  tcp-check connect port 6443
  tcp-check send GET /readyz HTTP/1.0\r\nHost:\ k8s-api\r\n\r\n
  tcp-check expect string ok
  server master1 10.0.0.1:6443 check
  server master2 10.0.0.2:6443 check
  server master3 10.0.0.3:6443 check

? 誤區(qū)：直接使用云廠(chǎng)商的HTTP(S)負(fù)載均衡器。

? 真相：API Server需要TCP層負(fù)載均衡（如HAProxy + Keepalived），且健康檢查必須配置為/readyz端點(diǎn)。

? etcd集群的“黃金法則”：

跨機(jī)房部署：若跨3個(gè)機(jī)房，選擇5節(jié)點(diǎn)（機(jī)房A:2節(jié)點(diǎn)，機(jī)房B:2節(jié)點(diǎn)，機(jī)房C:1節(jié)點(diǎn)）避免腦裂。

磁盤(pán)隔離：etcd節(jié)點(diǎn)禁止與其他服務(wù)共享磁盤(pán)，避免IO競(jìng)爭(zhēng)導(dǎo)致心跳超時(shí)。

     ? Worker節(jié)點(diǎn)的“冷熱分區(qū)”：

熱區(qū)：運(yùn)行核心服務(wù)，禁用自動(dòng)伸縮，確保資源充足。

冷區(qū)：運(yùn)行批處理任務(wù)，啟用Spot實(shí)例（云環(huán)境）或低優(yōu)先級(jí)節(jié)點(diǎn)。

二、集群部署：別讓工具鏈成為“定時(shí)炸彈”

1. 工具選型的血淚教訓(xùn)

? kubeadm的“甜區(qū)”與“毒點(diǎn)”：

適合場(chǎng)景：中小規(guī)模（<200節(jié)點(diǎn)）、標(biāo)準(zhǔn)化環(huán)境。

致命缺陷：默認(rèn)證書(shū)有效期僅1年，過(guò)期會(huì)導(dǎo)致集群癱瘓（某公司曾因此停機(jī)8小時(shí)）。

拯救方案：

# 證書(shū)到期前手動(dòng)續(xù)期
kubeadm certs renew all
# 或使用cert-manager自動(dòng)管理
helm upgrade cert-manager jetstack/cert-manager --set installCRDs=true

? 二進(jìn)制部署的“外科手術(shù)”：

         適用場(chǎng)景：超大規(guī)模集群、內(nèi)核定制（如調(diào)整cgroup v2參數(shù)）。

         操作示例（手動(dòng)簽發(fā)API Server證書(shū)）：

# 使用cfssl生成CA證書(shū)
cfssl gencert -initca ca-csr.json | cfssljson -bare ca
# 生成API Server證書(shū)（必須包含LB IP和DNS）
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json \
  -hostname=10.0.0.100,k8s-api.example.com,kubernetes.default.svc \
  apiserver-csr.json | cfssljson -bare apiserver

2. 網(wǎng)絡(luò)插件的“性能暗戰(zhàn)”

? Calico vs Cilium真實(shí)壓測(cè)：

場(chǎng)景：某游戲公司從Calico遷移至Cilium后，網(wǎng)絡(luò)延遲降低40%。

選型建議：

? 避坑指南：

避免在同一個(gè)集群混用多個(gè)CNI插件。

使用Cilium時(shí)需關(guān)閉kube-proxy：

helm install cilium cilium/cilium --namespace=kube-system \
  --set kubeProxyReplacement=strict

三、安全加固：黑客就在你身邊

1. 認(rèn)證體系的“三道鎖”

? 鎖1：禁用匿名訪(fǎng)問(wèn)

# /etc/kubernetes/manifests/kube-apiserver.yaml
- --anonymous-auth=false

? 鎖2：RBAC精細(xì)化控制

反例：某公司開(kāi)發(fā)人員誤用cluster-admin角色，導(dǎo)致數(shù)據(jù)庫(kù)被誤刪。

正解：按命名空間分配權(quán)限（示例）：

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  namespace: payment
  name: payment-service-role
rules:
- apiGroups: [""]
  resources: ["pods", "services"]
  verbs: ["get", "list"]

? 鎖3：審計(jì)日志追蹤

           記錄所有敏感操作（如delete、patch）：

# audit-policy.yaml
rules:
- level: Metadata
  resources:
  - group: ""
    resources: ["secrets"]
  verbs: ["delete", "patch"]

2. 運(yùn)行時(shí)安全的“最后防線(xiàn)”

? Pod安全策略（替代方案）：

Kubernetes 1.25+已棄用PSP，改用內(nèi)置的Pod Security Admission：

# 命名空間級(jí)別強(qiáng)制隔離
apiVersion: v1
kind: Namespace
metadata:
  name: untrusted
  labels:
    pod-security.kubernetes.io/enforce: restricted

? 鏡像簽名驗(yàn)證：

           使用cosign驗(yàn)證鏡像簽名：

cosign verify --key cosign.pub your-registry/app:v1

四、可觀(guān)測(cè)性：讓故障無(wú)處藏身

1. 監(jiān)控體系的“黃金指標(biāo)”

? 必監(jiān)控項(xiàng)清單：

? Prometheus配置技巧：

          使用Recording Rules預(yù)計(jì)算復(fù)雜指標(biāo)：

groups:
- name: k8s.rules
  rules:
  - record: cluster:apiserver_request_latency:percentile99
    expr: histogram_quantile(0.99, sum(rate(apiserver_request_duration_seconds_bucket[5m])) by (le))

2. 日志收集的“性能殺手”

? EFK架構(gòu)優(yōu)化：

 Fluent Bit：?jiǎn)⒂枚嗑€(xiàn)程Pipeline，避免日志堆積：

[SERVICE]
    Flush        5
    Daemon       Off
    Log_Level    info
    HTTP_Server  On
    HTTP_Listen  0.0.0.0
    HTTP_Port    2020
    storage.path /var/log/flb-storage/

• ? Elasticsearch：冷熱數(shù)據(jù)分層，將舊索引遷移至低成本存儲(chǔ)。

五、災(zāi)備與演練：寧可備而無(wú)用

1. 備份策略的“三二一原則”

? 3份副本：本地、跨區(qū)、離線(xiàn)（如磁帶）。

? 2種形式：

Velero：備份Kubernetes資源+PV快照。

etcd快照：直接備份底層數(shù)據(jù)。

? 1小時(shí)恢復(fù)：定期演練恢復(fù)流程，確保RTO（恢復(fù)時(shí)間目標(biāo)）達(dá)標(biāo)。

2. 混沌工程的“破壞性測(cè)試”

? 模擬真實(shí)故障場(chǎng)景：

案例：某公司未測(cè)試節(jié)點(diǎn)宕機(jī)，導(dǎo)致DNS服務(wù)單點(diǎn)故障引發(fā)全集群癱瘓。

Chaos Mesh實(shí)驗(yàn)?zāi)０澹?/p>

apiVersion: chaos-mesh.org/v1alpha1
kind: PodChaos
metadata:
  name: kill-core-dns
spec:
  action: pod-kill
  mode: one
  selector:
    labelSelectors:
      "k8s-app": "kube-dns"
  gracePeriod: 0 # 立即殺死Pod

六、升級(jí)維護(hù)：穩(wěn)定壓倒一切

1. 滾動(dòng)升級(jí)的“禁忌之舞”

? 跨大版本升級(jí)（如1.24→1.26）：

步驟：

1） 檢查廢棄API（如kubectl convert）。

2）先升級(jí)Master節(jié)點(diǎn)，再升級(jí)Worker節(jié)點(diǎn)。

3）絕對(duì)禁止跳過(guò)次要版本（如1.24→1.26需先升級(jí)到1.25）。

? 回滾預(yù)案：

           保留舊版本etcd快照及二進(jìn)制文件。

            使用Velero備份關(guān)鍵命名空間。

2. 日常運(yùn)維的“隱形戰(zhàn)場(chǎng)”

? 資源泄露排查：

使用kube-score檢測(cè)資源配置問(wèn)題：

kube-score score deployment.yaml

? 垃圾回收配置：

# /var/lib/kubelet/config.yaml
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
imageGCHighThresholdPercent: 85
imageGCLowThresholdPercent: 80

結(jié)語(yǔ)：沒(méi)有完美的架構(gòu)，只有進(jìn)化的系統(tǒng)

生產(chǎn)級(jí)Kubernetes集群的搭建，就像打造一艘遠(yuǎn)洋巨輪——設(shè)計(jì)時(shí)需考慮風(fēng)浪，航行中需警惕暗礁。記住，真正的穩(wěn)定性不是來(lái)自某個(gè)工具，而是來(lái)自對(duì)細(xì)節(jié)的極致把控和持續(xù)的迭代優(yōu)化。

立即行動(dòng)：

1. 檢查你的集群證書(shū)有效期：kubeadm certs check-expiration。

2. 運(yùn)行一次混沌實(shí)驗(yàn)：kubectl apply -f chaos-experiment.yaml。

3. 分享你的踩坑故事到評(píng)論區(qū)，讓我們共同避開(kāi)那些“血淚坑”。