[[389818]]

前言

在Kubernetes中，網(wǎng)絡(luò)是通過第三方網(wǎng)絡(luò)插件來提供，這些三方插件本身的實現(xiàn)就比較復(fù)雜，以至于在排查網(wǎng)絡(luò)問題時常常碰壁。那么有沒有什么方式來監(jiān)控集群中所有的網(wǎng)絡(luò)連接呢?

kubenurse就是這樣一個項目，它通過監(jiān)視集群中的所有網(wǎng)絡(luò)連接，并提供監(jiān)控指標供Prometheus采集。

Kubenurse

kubenurse的部署非常簡單，使用Daemonset形式部署到集群節(jié)點上，Yaml文件在項目的example目錄下。

部署成功后，每5秒鐘會對/alive發(fā)一次檢查請求，然后其內(nèi)部會運行各種方法全方位對集群網(wǎng)絡(luò)進行檢測，為了防止過多的網(wǎng)絡(luò)流量，會對檢查結(jié)果緩存3秒。其檢測機制如下：

從上圖可以看出，kubenurse會對ingress、dns、apiserver、kube-proxy進行網(wǎng)絡(luò)探測。

所有的檢查都會創(chuàng)建公開的指標，這些指標可用于檢測：

• SDN網(wǎng)絡(luò)延遲以及錯誤
• Kubelet之間的網(wǎng)絡(luò)延遲以及錯誤
• Pod與apiserver通信問題
• Ingress往返網(wǎng)絡(luò)延遲以及錯誤
• Service往返網(wǎng)絡(luò)延遲以及錯誤(kube-proxy)
• Kube-apiserver問題
• Kube-dns(CoreDns)錯誤
• 外部DNS解析錯誤(ingress url解析)

然后這些數(shù)據(jù)主要通過兩個監(jiān)控指標來體現(xiàn)：

• kubenurse_errors_total：按錯誤類型劃分的錯誤計數(shù)器
• kubenurse_request_duration：按類型劃分的請求時間分布

這些指標都是通過Type類型進行標識，對應(yīng)幾種不同的檢測目標：

• api_server_direct：從節(jié)點直接檢測 API Server
• api_server_dns：從節(jié)點通過 DNS 檢測 API Server
• me_ingress：通過 Ingress 檢測本服務(wù) Service
• me_service：使用 Service 檢測本服務(wù) Service
• path_$KUBELET_HOSTNAME：節(jié)點之間的互相檢測

然后這些指標分別按P50，P90，P99分位數(shù)進行劃分，就可以根據(jù)不同的情況來確認集群網(wǎng)絡(luò)狀況了。

安裝部署

這里直接使用官方的部署文件進行部署。不過需要更改幾個地方。(1)首先將代碼clone到本地

git clone https://github.com/postfinance/kubenurse.git 

(2)進入example目錄，修改ingress.yaml配置，主要是添加域名，如下。

--- 
apiVersion: extensions/v1beta1 
kind: Ingress 
metadata: 
  annotations: 
    kubernetes.io/ingress.class: nginx 
  name: kubenurse 
  namespace: kube-system 
spec: 
  rules: 
  - host: kubenurse-test.coolops.cn 
    http: 
      paths: 
      - backend: 
          serviceName: kubenurse 
          servicePort: 8080 

(2)更新daemonset.yaml配置，主要是更改ingress的入口域名，如下。

--- 
apiVersion: apps/v1 
kind: DaemonSet 
metadata: 
  labels: 
    app: kubenurse 
  name: kubenurse 
  namespace: kube-system 
spec: 
  selector: 
    matchLabels: 
      app: kubenurse 
  template: 
    metadata: 
      labels: 
        app: kubenurse 
      annotations: 
        prometheus.io/path: "/metrics" 
        prometheus.io/port: "8080" 
        prometheus.io/scheme: "http" 
        prometheus.io/scrape: "true" 
    spec: 
      serviceAccountName: nurse 
      containers: 
      - name: kubenurse 
        env: 
        - name: KUBENURSE_INGRESS_URL 
          value: kubenurse-test.coolops.cn      # 需要更改的地方 
        - name: KUBENURSE_SERVICE_URL 
          value: http://kubenurse.kube-system.svc.cluster.local:8080 
        - name: KUBENURSE_NAMESPACE 
          value: kube-system 
        - name: KUBENURSE_NEIGHBOUR_FILTER 
          value: "app=kubenurse" 
        image: "postfinance/kubenurse:v1.2.0" 
        ports: 
        - containerPort: 8080 
          protocol: TCP 
      tolerations: 
      - effect: NoSchedule 
        key: node-role.kubernetes.io/master 
        operator: Equal 
      - effect: NoSchedule 
        key: node-role.kubernetes.io/control-plane 
        operator: Equal 

(4)新創(chuàng)建一個ServiceMonitor，用于獲取指標數(shù)據(jù)，如下：

apiVersion: monitoring.coreos.com/v1 
kind: ServiceMonitor 
metadata: 
  name: kubenurse 
  namespace: monitoring 
  labels: 
    k8s-app: kubenurse 
spec: 
  jobLabel: k8s-app 
  endpoints: 
  - port: "8080-8080"  
    interval: 30s 
    scheme: http 
  selector: 
    matchLabels: 
     app: kubenurse 
  namespaceSelector: 
    matchNames: 
    - kube-system 

(5)部署應(yīng)用，在example目錄下執(zhí)行以下命令。

kubectl apply -f . 

(6)等待所有應(yīng)用變成running，如下。

# kubectl get all -n kube-system -l app=kubenurse 
NAME                  READY   STATUS    RESTARTS   AGE 
pod/kubenurse-fznsw   1/1     Running   0          17h 
pod/kubenurse-n52rq   1/1     Running   0          17h 
pod/kubenurse-nwtl4   1/1     Running   0          17h 
pod/kubenurse-xp92p   1/1     Running   0          17h 
pod/kubenurse-z2ksz   1/1     Running   0          17h 
 
NAME                TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE 
service/kubenurse   ClusterIP   10.96.229.244   <none>        8080/TCP   17h 
 
NAME                       DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE 
daemonset.apps/kubenurse   5         5         5       5            5           <none>          17h 

(7)到prometheus上查看是否正常獲取數(shù)據(jù)。

查看指標是否正常。

(8)這時候就可以在grafana上畫圖，展示監(jiān)控數(shù)據(jù)了，如下。

參考文檔

【1】https://github.com/postfinance/kubenurse

【2】https://github.com/postfinance/kubenurse/tree/master/examples