[[392730]]

使用Kubernetes進(jìn)行容器編排的好處是眾所周知的。但是，如果您的業(yè)務(wù)不適合容器化，那又該怎么辦?也許您有一個(gè)基于第三方VM的應(yīng)用，該應(yīng)用不太容易也不太合適進(jìn)行容器化，又或者可能需要與Kubernetes平臺(tái)運(yùn)行不同的內(nèi)核或OS。

您真正想要的是讓Kubernetes與基于標(biāo)準(zhǔn)容器一起編排VM的方式，就像普通Pod一樣。最近，有兩個(gè)比較好的項(xiàng)目旨在使您做到這一點(diǎn)。分別是是KubeVirt和OpenShift CNV。

在此博客中，我將逐步介紹KubeVirt，您可以按照自己的步驟，使用Calico網(wǎng)絡(luò)將KubeVirt添加到群集中，然后使用Calico網(wǎng)絡(luò)策略來(lái)保護(hù)VM。

開(kāi)始之前

我在開(kāi)發(fā)集群中使用Ubuntu 20.04和兩個(gè)裸機(jī)服務(wù)器。盡管我在“第1步”中對(duì)如何創(chuàng)建類似的開(kāi)發(fā)集群進(jìn)行了解釋，但是如果您已經(jīng)選擇了其他Kubernetes或OpenShift環(huán)境，則可以安全地跳過(guò)它。

要求：

至少一臺(tái)具有2個(gè)CPU，4GB Ram和20GB存儲(chǔ)空間的主機(jī)

kubectl命令行實(shí)用程序

SSH客戶端

KubeVirt安裝與管理

步驟1：建立集群

在開(kāi)始創(chuàng)建集群之前，讓我們對(duì)主機(jī)進(jìn)行初始化配置以適合Kubernetes。查看這個(gè)官方的教程(https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/)并準(zhǔn)備您的主機(jī)。

讓我們創(chuàng)建一個(gè)Kubernetes集群

sudo kubeadm init --pod-network-cidr=192.168.0.0/16 

執(zhí)行以下命令來(lái)配置kubectl：

mkdir -p $HOME/.kube 
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config 
sudo chown $(id -u):$(id -g) $HOME/.kube/config 

移除master上的污點(diǎn)，以便您可以在其上調(diào)度pod。

kubectl taint nodes --all node-role.kubernetes.io/master- 

它應(yīng)該返回以下內(nèi)容：

node/<your-hostname> untainted 

步驟2：安裝Calico

使用清單安裝Calico

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml 

步驟3：安裝KubeVirt

使用namespace，我們可以將資源隔離到邏輯模塊中，并且可以更輕松地管理它們。

kubectl create namespace kubevirt 

建議使用支持硬件虛擬化的主機(jī)，以確保您的主機(jī)能夠使用virt-host-validate二進(jìn)制文件。

virt-host-validate qemu 
QEMU: Checking for hardware virtualization               :PASS 

如果主機(jī)缺少此命令，則可以使用發(fā)行版軟件包管理器進(jìn)行安裝，也可以使用來(lái)檢查kvm文件夾是否可用 ls /dev/kvm。

默認(rèn)情況下，KubeVirt嘗試?yán)糜布抡妗５?，此功能并非在所有環(huán)境中都可用，在這種情況下，您可以使用以下方式啟用軟件仿真：

kubectl create configmap -n kubevirt kubevirt-config \ 
--from-literal debug.useEmulation=true 

應(yīng)用這些清單并運(yùn)行KubeVirt operator以自動(dòng)安裝所有必需的資源。

kubectl apply -f https://github.com/kubevirt/kubevirt/releases/download/v0.38.1/kubevirt-operator.yaml 
kubectl apply -f https://github.com/kubevirt/kubevirt/releases/download/v0.38.1/kubevirt-cr.yaml 

啟用遷移功能。(該功能依賴于存儲(chǔ))

kubectl create configmap -n kubevirt kubevirt-config --from-literal feature-gates="LiveMigration" 

啟用VNC代理功能組件。

kubectl apply -f kubevirt/vnc.yaml 

您可以使用此命令檢查KubeVirt的安裝進(jìn)度。

kubectl -n kubevirt wait kv kubevirt --for condition=Available 

步驟4：創(chuàng)建一個(gè)簡(jiǎn)單的VM

首先，我們創(chuàng)建一個(gè)namespace來(lái)隔離此演示的資源。

kubectl create namespace kv-policy-demo 

現(xiàn)在，使用虛擬機(jī)實(shí)例(VMI)定制資源，我們可以創(chuàng)建與Kubernetes完全集成的VM。

kubectl create -f - <<EOF 
apiVersion: kubevirt.io/v1alpha3 
kind: VirtualMachineInstance 
metadata: 
  name: vmi-cirros 
  namespace: kv-policy-demo 
  labels: 
    special: l-vmi-cirros 
spec: 
  domain: 
    devices: 
      disks: 
      - disk: 
          bus: virtio 
        name: containerdisk 
    resources: 
      requests: 
        memory: 64M 
  volumes: 
  - name: containerdisk 
    containerDisk: 
      image: kubevirt/cirros-registry-disk-demo:latest 
EOF 

請(qǐng)注意，如果您使用的是軟件仿真，則啟動(dòng)虛擬機(jī)可能會(huì)非常慢，并且完成IP地址分配可能需要5到6分鐘的時(shí)間。

kubectl create -f - <<EOF 
apiVersion: v1 
kind: Service 
metadata: 
  name: vmi-cirros-ssh-svc 
  namespace: kv-policy-demo 
spec: 
  ports: 
  - name: crrios-ssh-svc 
    nodePort: 30000 
    port: 27017 
    protocol: TCP 
    targetPort: 22 
  selector: 
    special: l-vmi-cirros 
  type: NodePort 
EOF 

通過(guò)使用您節(jié)點(diǎn)的IP地址通過(guò)服務(wù)節(jié)點(diǎn)端口進(jìn)行訪問(wèn)，確認(rèn)我們可以使用SSH訪問(wèn)VM 。默認(rèn)密碼是gocubsgo。

ssh cirros@10.1.2.3 -p 30000 

通過(guò)從新的虛擬機(jī)ping google來(lái)確認(rèn)虛擬機(jī)可以訪問(wèn)外界。

ping www.google.com -c 5 

步驟5：添加網(wǎng)絡(luò)安全性

應(yīng)用以下策略在其namespace中隔離VM。這將僅將允許入向?yàn)镾SH的協(xié)議，并且阻止所有出現(xiàn)的流量VM。(取決于您的VM，您將需要其他策略，但是此簡(jiǎn)單策略對(duì)本教程很有用。)

kubectl create -f - <<EOF 
apiVersion: networking.k8s.io/v1 
kind: NetworkPolicy 
metadata: 
 name: only-allow-ingress-ssh-to-vm 
 namespace: kv-policy-demo 
spec: 
 podSelector: 
   matchLabels:  
    special: l-vmi-cirros 
 policyTypes: 
 - Ingress 
 - Egress 
 ingress: 
 - from: 
   ports: 
   - port: 22 
EOF 

SSH進(jìn)入虛擬機(jī)，然后嘗試再次ping google。

您將無(wú)法執(zhí)行此操作，因?yàn)樵摬呗詫⒆柚顾袕腜od發(fā)起的與外界的通信。這非常強(qiáng)大–您可以使用與保護(hù)Pod相同的范例來(lái)保護(hù)VM!

步驟6：訪問(wèn)虛擬機(jī)

現(xiàn)在我們已經(jīng)為基于Kubernetes的VM管理設(shè)置了Kubevirt，現(xiàn)在讓我們?cè)L問(wèn)我們的VM。

• 使用NodePort服務(wù)和弱密碼在外部公開(kāi)VM時(shí)要小心
• 串行控制臺(tái)僅可通過(guò)kubectl virt插件使用
• SSH以root用戶身份登錄

通過(guò)virt：

• SSH訪問(wèn)：

kubectl virt expose vmi test-vm --port=22 --name=test-vm-ssh --type=NodePort 

• 串行控制臺(tái)：

virtctl console test-vm 

不通過(guò)virt：

apiVersion: v1 
kind: Service 
metadata: 
  name: test-vm-ssh 
  namespace: default 
spec: 
  ports: 
  - name: test-vm-ssh 
    protocol: TCP 
    port: 22 
    targetPort: 22 
  selector: 
    kubevirt.io/name: test-vm 
  type: NodePort 

使用VNC：

• 如果尚未啟用VNC

kubectl apply -f kubevirt/vnc/vnc.yaml 

• 查找VNC服務(wù)節(jié)點(diǎn)端口
• 在以下位置訪問(wèn)VM

http://NODE_IP:NODEPORT/?namespace=VM_NAMESPACE

• 僅顯示namespace VM_NAMESPACE下的VM。選擇所需虛擬機(jī)所在的namespace。

步驟7：測(cè)試CDI

• 在應(yīng)用之前，請(qǐng)確保填寫(xiě)DataVolume/VM清單中的所有變量以適合您的環(huán)境
• 嘗試創(chuàng)建一個(gè)DataVolume

kubectl apply -f datavolume/datavolume-cirros.yaml 
kubectl apply -f datavolume/datavolume-ubuntu.yaml 
kubectl get datavolumes 

• 在VM清單中即時(shí)使用DataVolume

kubectl apply -f vm/CDI-PVC.yaml 

步驟8：清理

要清除本指南中使用的namespace和VM，可以運(yùn)行以下命令

kubectl delete namespace kv-policy-demo 

其他：故障排除

• 確保Kubernetes有足夠的備用CPU/RAM來(lái)部署您請(qǐng)求的VM
• 確保硬件虛擬化受支持并且可用，或者ConfigMap中存在軟件虛擬化標(biāo)志
• 更改標(biāo)志需要重新啟動(dòng)部署
• 確保服務(wù)選擇器正確定位到VM Pod
• 檢查Docker MTU和CNI插件MTU是否適合您的網(wǎng)絡(luò)
• 使用kubectl virt console $VM_NAME_HERE以確保虛擬機(jī)已啟動(dòng)

從內(nèi)部監(jiān)控KubeVirt VM

部署Prometheus Operator

一旦準(zhǔn)備好了k8s集群，就是部署Prometheus Operator。原因是KubeVirt CR安裝在群集上時(shí)將檢測(cè)ServiceMonitor CR是否已存在。如果是這樣，那么它將創(chuàng)建ServiceMonitors，這些ServiceMonitors被配置為可立即監(jiān)控所有KubeVirt組件(virt-controller，virt-api和virt-handler)。

盡管本文中沒(méi)有介紹監(jiān)控KubeVirt本身，但是還是在部署KubeVirt之前先部署Prometheus Operator。

要部署Prometheus Operator，您需要首先創(chuàng)建其namespace，例如monitoring：

kubectl create ns monitoring 

然后在新的namespace中部署operator：

helm fetch stable/prometheus-operator 
tar xzf prometheus-operator*.tgz 
cd prometheus-operator/ && helm install -n monitoring -f values.yaml kubevirt-prometheus stable/prometheus-operator 

部署完所有內(nèi)容后，您可以刪除helm下載的所有內(nèi)容：

cd .. 
rm -rf prometheus-operator* 

要記住的一件事是我們?cè)诖颂幪砑拥陌姹久Q：kubevirt-prometheus。ServiceMonitor稍后聲明我們時(shí)將使用版本名稱。

部署具有持久性存儲(chǔ)的VirtualMachine

現(xiàn)在，我們已經(jīng)準(zhǔn)備好所需要的一切。下面讓我們配置虛擬機(jī)。

我們將從CDI的DataVolume(https://github.com/kubevirt/containerized-data-importer/blob/master/doc/datavolumes.md)資源PersistenVolume開(kāi)始。由于我沒(méi)有動(dòng)態(tài)存儲(chǔ)提供程序，因此我將創(chuàng)建2個(gè)PV，引用將聲明它們的PVC。注意每個(gè)PV的claimRef。

apiVersion: v1 
kind: PersistentVolume 
metadata: 
  name: example-volume 
spec: 
  storageClassName: "" 
  claimRef: 
    namespace: default 
    name: cirros-dv 
  accessModes: 
    - ReadWriteOnce 
  capacity: 
    storage: 2Gi 
  hostPath: 
    path: /data/example-volume/ 
--- 
apiVersion: v1 
kind: PersistentVolume 
metadata: 
  name: example-volume-scratch 
spec: 
  storageClassName: "" 
  claimRef: 
    namespace: default 
    name: cirros-dv-scratch 
  accessModes: 
    - ReadWriteOnce 
  capacity: 
    storage: 2Gi 
  hostPath: 
    path: /data/example-volume-scratch/ 

有了永久性存儲(chǔ)后，我們可以使用以下清單創(chuàng)建虛擬機(jī)：

apiVersion: kubevirt.io/v1alpha3 
kind: VirtualMachine 
metadata: 
  name: monitorable-vm 
spec: 
  running: true 
  template: 
    metadata: 
      name: monitorable-vm 
      labels: 
        prometheus.kubevirt.io: "node-exporter" 
    spec: 
      domain: 
        resources: 
          requests: 
            memory: 1024Mi 
        devices: 
          disks: 
          - disk: 
              bus: virtio 
            name: my-data-volume 
      volumes: 
      - dataVolume: 
          name: cirros-dv 
        name: my-data-volume 
  dataVolumeTemplates: 
  - metadata: 
      name: "cirros-dv" 
    spec: 
      source: 
          http: 
             url: "https://download.cirros-cloud.net/0.4.0/cirros-0.4.0-x86_64-disk.img" 
      pvc: 
        storageClassName: "" 
        accessModes: 
          - ReadWriteOnce 
        resources: 
          requests: 
            storage: "2Gi" 

注意，KubeVirt的VirtualMachine資源有一個(gè)VirtualMachine模板和一個(gè)dataVolumeTemplate。在VirtualMachine模板上，重要的是要注意我們已將VM命名為VM monitorable-vm，以后將使用該名稱連接到其控制臺(tái)virtctl。我們添加的標(biāo)簽prometheus.kubevirt.io: "node-exporter"也很重要，因?yàn)樵赩M內(nèi)部安裝與配置node-exporter時(shí)將會(huì)使用到它。

在dataVolumeTemplate上，需要注意的是，我們將PVC命名為cirros-dv，DataVolume資源將用它創(chuàng)建2個(gè)PVC，cirros-dv和cirros-dv-scratch。注意，cirros-dv和cirros-dv-scratch是PersistentVolume清單上引用的名稱。名稱必須匹配才能工作。

在VM內(nèi)安裝node-exporter

一旦VirtualMachineInstance運(yùn)行，我們就可以使用virtctl console monitorable vm連接到它的控制臺(tái)。如果需要用戶和密碼，請(qǐng)?zhí)峁┫鄳?yīng)的憑據(jù)。如果您使用的是本指南中的同一磁盤(pán)映像，則用戶和密碼分別為cirros和gocubsgo

以下腳本將安裝node-exporter并將虛擬機(jī)配置為在啟動(dòng)時(shí)候自啟：

curl -LO -k https://github.com/prometheus/node_exporter/releases/download/v1.0.1/node_exporter-1.0.1.linux-amd64.tar.gz 
gunzip -c node_exporter-1.0.1.linux-amd64.tar.gz | tar xopf - 
./node_exporter-1.0.1.linux-amd64/node_exporter & 
 
sudo /bin/sh -c 'cat > /etc/rc.local <<EOF 
#!/bin/sh 
echo "Starting up node_exporter at :9100!" 
 
/home/cirros/node_exporter-1.0.1.linux-amd64/node_exporter 2>&1 > /dev/null & 
EOF' 
sudo chmod +x /etc/rc.local 

PS：如果您使用其他基礎(chǔ)映像，請(qǐng)配置node-exporter以在啟動(dòng)時(shí)相應(yīng)地啟動(dòng)

配置Prometheus抓取VM的node-exporter

配置Prometheus來(lái)抓取node-exporter非常簡(jiǎn)單。我們需要做的就是創(chuàng)建一個(gè)新的Service和一個(gè)ServiceMonitor：

apiVersion: v1 
kind: Service 
metadata: 
  name: monitorable-vm-node-exporter 
  labels: 
    prometheus.kubevirt.io: "node-exporter" 
spec: 
  ports: 
  - name: metrics 
    port: 9100 
    targetPort: 9100 
    protocol: TCP 
  selector: 
    prometheus.kubevirt.io: "node-exporter" 
--- 
apiVersion: monitoring.coreos.com/v1 
kind: ServiceMonitor 
metadata: 
  name: kubevirt-node-exporters-servicemonitor 
  namespace: monitoring 
  labels: 
    prometheus.kubevirt.io: "node-exporter" 
    release: monitoring 
spec: 
  namespaceSelector: 
    any: true 
  selector: 
    matchLabels: 
      prometheus.kubevirt.io: "node-exporter" 
  endpoints: 
  - port: metrics 
    interval: 15s 

讓我們分解一下，以確保我們正確設(shè)置了所有內(nèi)容。從Service開(kāi)始：

spec: 
  ports: 
  - name: metrics 
    port: 9100 
    targetPort: 9100 
    protocol: TCP 
  selector: 
    prometheus.kubevirt.io: "node-exporter" 

在規(guī)范中，我們正在創(chuàng)建一個(gè)名為metrics的新端口，該端口將重定向到每個(gè)標(biāo)記為prometheus.kubevirt.io: "node-exporter"，此處為端口9100，這是node_exporter的默認(rèn)端口號(hào)。

apiVersion: v1 
kind: Service 
metadata: 
  name: monitorable-vm-node-exporter 
  labels: 
    prometheus.kubevirt.io: "node-exporter" 

我們還在為服務(wù)本身貼上標(biāo)簽prometheus.kubevirt.io: "node-exporter"，將由ServiceMonitor對(duì)象使用?，F(xiàn)在讓我們看看我們的ServiceMonitor規(guī)范：

spec: 
  namespaceSelector: 
    any: true 
  selector: 
    matchLabels: 
      prometheus.kubevirt.io: "node-exporter" 
  endpoints: 
  - port: metrics 
    interval: 15s 

由于我們的ServiceMonitor將部署在monitoring namespace中，而我們的服務(wù)則在default namespace中，因此我們需要設(shè)置namespaceSelector.any=true。

我們還告訴ServiceMonitor，Prometheus需要從標(biāo)記為prometheus.kubevirt.io: "node-exporter"以及哪些端口被命名為metrics。幸運(yùn)的是，我們的service就是這么做的!

最后一件要注意的事。Prometheus配置可以設(shè)置為監(jiān)視多個(gè)ServiceMonitors。我們可以通過(guò)以下命令查看prometheus正在監(jiān)視的服務(wù)：

# Look for Service Monitor Selector 
kubectl describe -n monitoring prometheuses.monitoring.coreos.com monitoring-prometheus-oper-prometheus 

確保我們的ServiceMonitor具有Prometheus的Service Monitor Selector的所有標(biāo)簽。一個(gè)常見(jiàn)的選擇器是我們?cè)诓渴餳elm的prometheus時(shí)設(shè)置的版本名稱!

測(cè)試

您可以通過(guò)端口轉(zhuǎn)發(fā)Prometheus Web UI并執(zhí)行一些PromQL來(lái)進(jìn)行快速測(cè)試：

kubectl port-forward -n monitoring prometheus-monitoring-prometheus-oper-prometheus-0 9090:9090 

為確保一切正常，請(qǐng)?jiān)L問(wèn)localhost:9090/graph并執(zhí)行PromQL up{pod=~"virt-launcher.*"}。Prometheus應(yīng)該返回從monitorable-vm的node-exporter收集的數(shù)據(jù)。

您可以試用virtctl，停止和啟動(dòng)VM，以查看指標(biāo)的行為。您會(huì)注意到，使用停止VM時(shí)virtctl stop monitorable-vm，VirtualMachineInstance被殺死，因此它也是Pod。這將導(dǎo)致我們的服務(wù)無(wú)法找到pod的端點(diǎn)，然后將其從Prometheus的目標(biāo)中刪除。

由于這種行為，下面的告警規(guī)則將無(wú)法正常工作，因?yàn)槲覀兊哪繕?biāo)實(shí)際上已經(jīng)消失了，而不是降級(jí)了。

- alert: KubeVirtVMDown 
    expr: up{pod=~"virt-launcher.*"} == 0 
    for: 1m 
    labels: 
      severity: warning 
    annotations: 
      summary: KubeVirt VM {{ $labels.pod }} is down. 

但是，如果VM在不停止的情況下連續(xù)崩潰，則pod不會(huì)被殺死，并且仍將監(jiān)視目標(biāo)。node-exporter永遠(yuǎn)不會(huì)啟動(dòng)或?qū)⑴cVM一起不斷關(guān)閉，因此這樣的警報(bào)可能會(huì)起作用：

- alert: KubeVirtVMCrashing 
    expr: up{pod=~"virt-launcher.*"} == 0 
    for: 5m 
    labels: 
      severity: critical 
    annotations: 
      summary: KubeVirt VM {{ $labels.pod }} is constantly crashing before node-exporter starts at boot. 

結(jié)論：

在此博客文章中，首先，我們簡(jiǎn)單介紹以及快速安裝體驗(yàn)了kubevirt， 然后我們使用node-exporter從KubeVirt VM中公開(kāi)了監(jiān)控指標(biāo)。我們還配置了Prometheus Operator來(lái)收集這些指標(biāo)。本文也是將Kubernetes監(jiān)控實(shí)踐與KubeVirt VM運(yùn)行的應(yīng)用程序結(jié)合使用。