[[434251]]

前面我們有文章介紹過如何在 Kubernetes 集群中使用 GitLab CI 來實現(xiàn) CI/CD，在構(gòu)建鏡像的環(huán)節(jié)我們基本上都是使用的 Docker On Docker 的模式，這是因為 Kubernetes 集群使用的是 Docker 這種容器運行時，所以我們可以將宿主機的 docker.sock 文件掛載到容器中構(gòu)建鏡像，而最近我們在使用 Kubernetes 1.22.X 版本后將容器運行時更改為了 Containerd，這樣節(jié)點上沒有可用的 Docker 服務(wù)了，這個時候就需要更改構(gòu)建鏡像的模式了，當然要實現(xiàn)構(gòu)建鏡像的方式有很多，我們這里還是選擇使用 Docker 來構(gòu)建我們的 Docker 鏡像，也就是使用 Docker IN Docker 的模式。

在每次構(gòu)建鏡像的時候，GitLab Runner 都會啟動一個包含3個容器的 Pod，其中一個就是運行 Docker 守護進程的 Docker DIND 容器，構(gòu)建的容器會去連接到運行在同一個 Pod 上的 Docker 守護進程，由于 Pod 中的所有容器共享同一個 network namespace，構(gòu)建鏡像的 Docker CLI 能夠通過 localhost 直接連接到 Docker 守護進程進行構(gòu)建。但是這種方式最大的一個問題是每次構(gòu)建都是啟動一個全新的 Docker 守護進程，造成沒有緩存 Docker layer 層，這會顯著增加我們的構(gòu)建時間。

這個問題的解決方法非常簡單，與其為每個 Pod 運行一個 Docker DIND 服務(wù)的 sidecar 容器，不如讓我們運行一個獨立的 Docker DIND 容器，構(gòu)建容器的所有 Docker CLI 都連接到這個一個 Docker 守護進程上，這個時候我們將 Docker layer 層進行持久化，也就起到了緩存的作用了。

首先創(chuàng)建一個 PVC 來存儲 Docker 的持久化數(shù)據(jù)，為了性能考慮，這里我們使用的是一個 Local PV：

apiVersion: storage.k8s.io/v1 
kind: StorageClass 
metadata: 
  name: local-volume 
provisioner: kubernetes.io/no-provisioner 
reclaimPolicy: Delete 
volumeBindingMode: WaitForFirstConsumer 
 
--- 
apiVersion: v1 
kind: PersistentVolume 
metadata: 
  name: docker-pv 
spec: 
  capacity: 
    storage: 5Gi 
  accessModes: 
  - ReadWriteOnce 
  persistentVolumeReclaimPolicy: Retain 
  storageClassName: local-volume 
  local: 
    path: /mnt/k8s/docker  # 數(shù)據(jù)存儲的目錄 
  nodeAffinity: 
    required: 
      nodeSelectorTerms: 
      - matchExpressions: 
        - key: kubernetes.io/hostname 
          operator: In 
          values: 
          - node1  # 運行在node1節(jié)點 
--- 
apiVersion: v1 
kind: PersistentVolumeClaim 
metadata: 
  labels: 
    app: docker-dind 
  name: docker-dind-data 
  namespace: kube-ops 
spec: 
  accessModes: 
    - ReadWriteOnce 
  storageClassName: local-volume 
  resources: 
    requests: 
      storage: 5Gi 

然后使用 Deployment 部署一個 Docker DIND 服務(wù)：

apiVersion: apps/v1 
kind: Deployment 
metadata: 
  name: docker-dind 
  namespace: kube-ops 
  labels: 
    app: docker-dind 
spec: 
  selector: 
    matchLabels: 
      app: docker-dind 
  template: 
    metadata: 
      labels: 
        app: docker-dind 
    spec: 
      containers: 
        - image: docker:dind 
          name: docker-dind 
          args: 
          - --registry-mirror=https://ot2k4d59.mirror.aliyuncs.com/  # 指定一個鏡像加速器地址 
          env: 
            - name: DOCKER_DRIVER 
              value: overlay2 
            - name: DOCKER_HOST 
              value: tcp://0.0.0.0:2375 
            - name: DOCKER_TLS_CERTDIR   # 禁用 TLS  
              value: "" 
          volumeMounts: 
            - name: docker-dind-data-vol # 持久化docker根目錄 
              mountPath: /var/lib/docker/ 
          ports: 
            - name: daemon-port 
              containerPort: 2375 
          securityContext: 
            privileged: true # 需要設(shè)置成特權(quán)模式 
      volumes: 
        - name: docker-dind-data-vol 
          persistentVolumeClaim: 
            claimName: docker-dind-data 

然后創(chuàng)建一個 Service 以方便構(gòu)建的 Docker CLI 與其連接：

apiVersion: v1 
kind: Service 
metadata: 
  name: docker-dind 
  namespace: kube-ops 
  labels: 
    app: docker-dind 
spec: 
  ports: 
    - port: 2375 
      targetPort: 2375 
  selector: 
    app: docker-dind 

將 Docker DIND 服務(wù)部署完成后，我們就可以在 Gitlab CI 中使用這個守護程序來構(gòu)建鏡像了，如下所示：

tages: 
  - image 
 
build_image: 
  stage: image 
  image: docker:latest 
  variables: 
    DOCKER_HOST: tcp://docker-dind:2375  # 通過 service dns 形式連接 docker dind 服務(wù) 
  script: 
    - docker info 
    - docker build -t xxxx . 
    - docker push xxxx 
  only: 
    - tags 

由于我們緩存了 Docker layer 層，這個時候構(gòu)建的速度會明顯提升。最后隨著鏡像的大量構(gòu)建會產(chǎn)生很多鏡像數(shù)據(jù)，我們可以寫一個 Cronjob 用來定時清除緩存：

apiVersion: batch/v1 
kind: CronJob 
metadata: 
  name: docker-dind-clear-cache 
  namespace: kube-ops 
spec: 
  schedule: 0 0 * * 0  # 每周清理一次 
  jobTemplate: 
    metadata: 
      labels: 
        app: docker-dind 
      name: docker-dind-clear-cache 
    spec: 
      template: 
        spec: 
          restartPolicy: OnFailure 
          containers: 
            - name: clear-cache 
              image: docker:latest 
              command: 
                - docker 
                - system 
                - prune 
                - -af 
              env: 
                - name: DOCKER_HOST 
                  value: tcp://docker-dind:2375