1.概念

Kubeflow 是一個(gè)機(jī)器學(xué)習(xí)平臺，旨在簡化 ML 模型的開發(fā)、訓(xùn)練、部署和管理。它提供了一系列工具和組件，包括 Jupyter Notebook、TFJob、Katib（超參數(shù)調(diào)優(yōu)）、KFServing（模型服務(wù)）等，使用戶可以在 Kubernetes 集群上輕松運(yùn)行和管理機(jī)器學(xué)習(xí)工作流。

Volcano 是一個(gè) Kubernetes 調(diào)度系統(tǒng)，專為批處理、HPC、AI 和大數(shù)據(jù)工作負(fù)載設(shè)計(jì)。它通過提供先進(jìn)的調(diào)度策略、資源公平分配和作業(yè)管理功能，優(yōu)化了資源利用率和任務(wù)執(zhí)行效率。Volcano 支持多種調(diào)度策略，如優(yōu)先級調(diào)度、公平調(diào)度、親和性/反親和性調(diào)度等。

2.Kubeflow 與 Volcano 的集成

雖然 Kubernetes 本身具有強(qiáng)大的調(diào)度能力，但對于需要高性能計(jì)算和大規(guī)模 AI 訓(xùn)練的場景，原生調(diào)度器可能不足以滿足需求。Volcano 提供了更高級的調(diào)度功能和優(yōu)化策略，特別適合需要大量計(jì)算資源的 AI 訓(xùn)練任務(wù)。因此，將 Volcano 集成到 Kubeflow 中，可以顯著提升資源調(diào)度的效率和模型訓(xùn)練的性能。

• 安裝 Kubeflow

安裝 Kubeflow 可以通過多種方式進(jìn)行，這里選擇使用 kfctl 工具進(jìn)行安裝。

# 下載 kfctl 工具
wget https://github.com/kubeflow/kfctl/releases/download/v1.4.0/kfctl_v1.4.0-0-ga8e8dbd_linux.tar.gz
tar -xvf kfctl_v1.4.0-0-ga8e8dbd_linux.tar.gz
mv kfctl /usr/local/bin/




# 設(shè)置環(huán)境變量
export KF_NAME=my-kubeflow
export BASE_DIR=/path/to/your/base/dir
export KF_DIR=${BASE_DIR}/${KF_NAME}
export CONFIG_URI=https://raw.githubusercontent.com/kubeflow/manifests/v1.4-branch/kfdef/kfctl_k8s_istio.v1.4.0.yaml


# 初始化 
Kubeflowmkdir -p ${KF_DIR}cd ${KF_DIR}
kfctl apply -V -f ${CONFIG_URI}

• 安裝 Volcano

Volcano 可以通過 Helm 或直接應(yīng)用 Kubernetes 清單文件進(jìn)行安裝。這里選擇使用 Helm 進(jìn)行安裝。

# 添加 Volcano Helm 倉庫


helm repo add volcano-sh https://volcano.sh/charts/






# 更新 Helm 倉庫


helm repo update






# 安裝 Volcano


helm install volcano volcano-sh/volcano

• 配置 Kubeflow 使用 Volcano 調(diào)度器

為了讓 Kubeflow 使用 Volcano 作為調(diào)度器，需要在 Kubeflow 的 CRD（如 TFJob）中進(jìn)行配置。

編輯 TFJob CRD，找到 TFJob 的 YAML 配置文件，添加 Volcano 調(diào)度器配置。

apiVersion: "kubeflow.org/v1"
kind: TFJob
metadata:
  name: tfjob-example
spec:
  schedulerName: volcano
  tfReplicaSpecs:
    Worker:
      replicas: 2
      restartPolicy: OnFailure
      template:
        spec:
          containers:
          - name: tensorflow
            image: tensorflow/tensorflow:latest
            resources:
              limits:
                nvidia.com/gpu: 1

應(yīng)用配置
kubectl apply -f tfjob-example.yaml

3.執(zhí)行 AI 訓(xùn)練

通過上述步驟，Kubeflow 已經(jīng)成功配置使用 Volcano 作為調(diào)度器。接下來，我們可以運(yùn)行一個(gè) AI 訓(xùn)練任務(wù)來驗(yàn)證配置的效果。

創(chuàng)建一個(gè)簡單的 TensorFlow 訓(xùn)練任務(wù)，使用 TFJob CRD，并指定 Volcano 作為調(diào)度器。

apiVersion: "kubeflow.org/v1"
kind: TFJob
metadata:
  name: mnist-tfjob
spec:
  schedulerName: volcano
  tfReplicaSpecs:
    PS:
      replicas: 1
      restartPolicy: OnFailure
      template:
        spec:
          containers:
          - name: tensorflow
            image: tensorflow/tensorflow:latest
            command:
              - "python"
              - "/var/tf_mnist/mnist.py"
            volumeMounts:
              - mountPath: /var/tf_mnist
                name: mnist-volume
    Worker:
      replicas: 2
      restartPolicy: OnFailure
      template:
        spec:
          containers:
          - name: tensorflow
            image: tensorflow/tensorflow:latest
            command:
              - "python"
              - "/var/tf_mnist/mnist.py"
            volumeMounts:
              - mountPath: /var/tf_mnist
                name: mnist-volume
  volumes:
    - name: mnist-volume
      hostPath:
        path: /path/to/mnist/code

提交訓(xùn)練任務(wù)，將上述 YAML 配置文件保存為 mnist-tfjob.yaml，然后使用 kubectl 命令提交任務(wù)。

kubectl apply -f mnist-tfjob.yaml

監(jiān)控訓(xùn)練任務(wù)，使用 kubectl 命令監(jiān)控任務(wù)的運(yùn)行狀態(tài)。通過觀察日志和狀態(tài)，可以確認(rèn)訓(xùn)練任務(wù)是否成功運(yùn)行。

kubectl get tfjob
kubectl logs tfjob/mnist-tfjob

4.總結(jié)與展望

通過將 Kubeflow 與 Volcano 集成，用戶可以在 Kubernetes 集群上高效地運(yùn)行和管理 AI 訓(xùn)練任務(wù)。Kubeflow 提供了強(qiáng)大的機(jī)器學(xué)習(xí)工作流管理功能，而 Volcano 則通過其高級調(diào)度策略和資源管理機(jī)制，顯著提升了資源利用率和任務(wù)執(zhí)行效率。對于需要大規(guī)模計(jì)算資源和高性能調(diào)度的 AI 訓(xùn)練任務(wù)，Kubeflow 與 Volcano 的結(jié)合無疑是一個(gè)理想的解決方案。未來，隨著技術(shù)的不斷發(fā)展和優(yōu)化，這一組合將為更多的 AI 和 ML 應(yīng)用提供支持和保障。 

總的來說可以具備以下優(yōu)勢

• 資源利用率高：通過集成 Volcano，Kubeflow 可以更高效地利用集群資源。Volcano 的高級調(diào)度策略，如優(yōu)先級調(diào)度和公平調(diào)度，可以確保資源在多個(gè)任務(wù)之間合理分配，避免資源浪費(fèi)。
• 任務(wù)執(zhí)行效率高：Volcano 的調(diào)度優(yōu)化算法和資源管理機(jī)制，可以顯著提高 AI 訓(xùn)練任務(wù)的執(zhí)行效率。尤其在大規(guī)模分布式訓(xùn)練場景下，Volcano 可以優(yōu)化節(jié)點(diǎn)間的資源分配和任務(wù)調(diào)度，減少訓(xùn)練時(shí)間。
  具備靈活性和擴(kuò)展性：Kubeflow 和 Volcano 的結(jié)合提供了高度靈活和可擴(kuò)展的解決方案。用戶可以根據(jù)具體需求，自定義調(diào)度策略和資源配置，以滿足不同的訓(xùn)練任務(wù)需求。?

隨著 AI 和 ML 技術(shù)的不斷發(fā)展，對計(jì)算資源的需求也在不斷增加。Kubeflow 和 Volcano 的結(jié)合，為高性能計(jì)算和大規(guī)模訓(xùn)練任務(wù)提供了一個(gè)高效的解決方案。未來，這一組合有望在以下幾個(gè)方面取得進(jìn)一步突破：

• ?更智能的調(diào)度：通過集成更多的智能調(diào)度算法和機(jī)器學(xué)習(xí)技術(shù)，實(shí)現(xiàn)更加智能化的資源調(diào)度和管理。例如，基于歷史數(shù)據(jù)和實(shí)時(shí)監(jiān)控，動態(tài)調(diào)整調(diào)度策略，提高資源利用率和任務(wù)執(zhí)行效率。
• 跨集群調(diào)度：支持跨集群的任務(wù)調(diào)度和資源共享，進(jìn)一步提高資源利用率和任務(wù)執(zhí)行效率?？缂赫{(diào)度可以實(shí)現(xiàn)資源的跨區(qū)域調(diào)度，滿足全球化應(yīng)用的需求。
• 多樣化硬件支持：隨著新型硬件加速器（如 TPUs、FPGA）的出現(xiàn)，Kubeflow 和 Volcano 將不斷擴(kuò)展其支持范圍，滿足不同類型機(jī)器學(xué)習(xí)任務(wù)的需求。通過優(yōu)化硬件資源的調(diào)度和管理，提高訓(xùn)練任務(wù)的性能。

本文轉(zhuǎn)載自??AI遇見云??，作者： 吳中堅(jiān) ????