招商銀行 KubeVela 離線部署實(shí)踐
精選作者 | 馬祥博
招商銀行云平臺(tái)開發(fā)團(tuán)隊(duì)自 2021 年開始接觸 KubeVela，并探索 KubeVela 在招商銀行云平臺(tái)的落地實(shí)踐，借此提升云原生應(yīng)用交付與管理能力。同時(shí)因?yàn)榻鹑诒ｋU(xiǎn)行業(yè)的特殊性，網(wǎng)絡(luò)安全管控措施相對嚴(yán)格，行內(nèi)網(wǎng)絡(luò)無法直接拉取 Docker Hub 鏡像，同時(shí)行內(nèi)暫時(shí)沒有可用的 Helm 鏡像源。因此，要想實(shí)現(xiàn) KubeVela 在行內(nèi)私有環(huán)境的落地，必須進(jìn)行完全的離線部署。
本文將以 KubeVela v1.2.5 版本為例，介紹招商銀行 KubeVela 的離線部署實(shí)踐，來幫助其他用戶在離線環(huán)境中更便捷的完成 KubeVela 的部署。
一、KubeVela 離線部署方案
我們將 KubeVela 的離線部署主要分為三部分，分別是 Vela Cli、Vela Core 以及 Addon 的離線部署，每一部分主要涉及到相關(guān) docker 鏡像的加載及 Helm 的 repackage，通過該離線部署方案，能夠大大加快 KubeVela 在離線環(huán)境的部署。
在離線部署前請確保 Kubernetes 集群版本 >= v1.19 && < v1.22，KubeVela 控制平面依賴 Kubernetes，可以放置在任何托管 Kubernetes 作為底座的產(chǎn)品或自建 Kubernetes 集群中。同時(shí)你也可以使用 kind 或 minikube 在本地部署、測試 KubeVela。
二、Vela Cli 離線部署
- 首先，需要通過 KubeVela 的發(fā)布日志[1]下載你所需版本的 vela 二進(jìn)制文件
- 解壓二進(jìn)制文件，并且在 $PATH 中配置相應(yīng)的環(huán)境變量
解壓二進(jìn)制文件
- tar -zxvf vela-v1.2.5-linux-amd64.tar.gz
- mv ./linux-amd64/vela /usr/local/bin/vela
設(shè)置環(huán)境變量
- vi /etc/profile
- export PATH="$PATH:/usr/local/bin"
- source /etc/profile
通過 vela version 驗(yàn)證 Vela Cli 的安裝，并檢查輸出
CLI Version: v1.2.5
Core Version:
GitRevision: git-ef80b66
GolangVersion: go1.17.7
- 至此，Vela Cli 已經(jīng)離線部署完成!
三、Vela Core 離線部署
- 離線部署 Vela Core 之前，首先需要在離線環(huán)境中安裝 Helm[2]， 并且 Helm 的版本需要滿足v3.2.0+。
- 準(zhǔn)備 docker 鏡像， Vela Core 的部署主要涉及5個(gè)鏡像，你需要首先訪問互聯(lián)網(wǎng)從 Docker Hub 下載相應(yīng)鏡像，之后再 load 到離線環(huán)境。
從Docker Hub拉取鏡像
docker pull oamdev/vela-core:v1.2.5
docker pull oamdev/cluster-gateway:v1.1.7
docker pull oamdev/kube-webhook-certgen:v2.3
docker pull oamdev/alpine-k8s:1.18.2
docker pull oamdev/hello-world:v1
將鏡像保存到本地磁盤
docker save -o vela-core.tar oamdev/vela-core:v1.2.5
docker save -o cluster-gateway.tar oamdev/cluster-gateway:v1.1.7
docker save -o kube-webhook-certgen.tar oamdev/kube-webhook-certgen:v2.3
docker save -o alpine-k8s.tar oamdev/alpine-k8s:1.18.2
docker save -o hello-world.tar oamdev/hello-world:v1
在私有環(huán)境中重新加載鏡像
docker load vela-core.tar
docker load cluster-gateway.tar
docker load kube-webhook-certgen.tar
docker load alpine-k8s.tar
docker load hello-world.tar
- 下載 KubeVela 源碼[3]，拷貝到離線環(huán)境中，并使用 Helm 重新打包
將 KubeVela 源碼重新打 chart 包，并離線安裝 chart 包到控制集群
helm package kubevela/charts/vela-core --destination kubevela/charts
helm install --create-namespace -n vela-system kubevela kubevela/charts/vela-core-0.1.0.tgz --wait
檢查輸出
KubeVela control plane has been successfully set up on your cluster.
- 至此，Vela Core 已經(jīng)離線部署完成!
四、Addon 離線部署
- 首先下載 Catalog 源碼[4]并拷貝到私有環(huán)境中
- 這里將以 VelaUX 為例介紹 Addon 的離線部署，首先準(zhǔn)備 docker 鏡像，VelaUX 主要涉及2個(gè)鏡像，需要首先訪問互聯(lián)網(wǎng)從 Docker Hub 下載相應(yīng)鏡像，之后再 load 到離線環(huán)境
從 Docker Hub 拉取鏡像
docker pull oamdev/vela-apiserver:v1.2.5
docker pull oamdev/velaux:v1.2.5
將鏡像保存到本地磁盤
docker save -o vela-apiserver.tar oamdev/vela-apiserver:v1.2.5
docker save -o velaux.tar oamdev/velaux:v1.2.5
在私有環(huán)境中重新加載鏡像
docker load vela-apiserver.tar
docker load velaux.tar
- 安裝 VelaUX
通過 Vela Cli 安裝VelaUX
vela addon enable catalog-master/addons/velaux
檢查輸出
Addon: velaux enabled Successfully.
若有集群中安裝了 route Controller 或 Nginx Ingress Controller，且有可用域名，你可以部署外部路由訪問 VelaUX，這里以 openshift route 為例，也可以選擇 ingress
apiVersion: route.openshift.io/v1kind: Routemetadata:name: velaux-routenamespace: vela-systemspec:host: velaux.xxx.xxx.cnport: targetPort: 80to: kind: Service name: velaux weight: 100wildcardPolicy: None
檢查安裝
curl -I -m 10 -o /dev/null -s -w %{http_code}
http://velaux.xxx.xxx.cn/applications
至此，VelaUX 已經(jīng)離線部署完成!同時(shí)，對于其他類型 Addon 的離線部署，只需要去 Catalog 源碼的對應(yīng)目錄確定所需鏡像，并重復(fù)以上操作即可完成相應(yīng) Addon 的離線部署
五、總結(jié)
在離線部署的過程中，我們也嘗試將 Vela Core 和 Addon 在互聯(lián)網(wǎng)環(huán)境中部署后產(chǎn)生的資源實(shí)例保存為 yaml 文件，并在私有環(huán)境中進(jìn)行重新部署，從而完成離線部署，但由于涉及的資源實(shí)例較多以及服務(wù)授權(quán)問題，導(dǎo)致該種方式較為繁瑣。
通過 KubeVela 離線部署實(shí)踐，可以幫助你更便捷的在離線環(huán)境中搭建一整套的 KubeVela，探索 KubeVela 的落地實(shí)踐。針對離線部署這個(gè)共性的問題，我們也看到 KubeVela 社區(qū)即將推出全新的 velad[5]，一個(gè)完全離線、數(shù)據(jù)高可用的安裝工具。Velad 可以幫助自動(dòng)化完成準(zhǔn)備集群、下載打包鏡像并安裝到離線環(huán)境等一系列步驟。它支持了：在 Linux 機(jī)器(例如阿里云 ECS)本地啟動(dòng)集群、安裝 vela-core;在快速啟動(dòng)一個(gè) KubeVela 控制平面的同時(shí)，不必?fù)?dān)心控制平面的數(shù)據(jù)隨著機(jī)器關(guān)機(jī)等情況而丟失;velad 可以將控制平面全部數(shù)據(jù)存儲(chǔ)到一個(gè)傳統(tǒng)數(shù)據(jù)庫(例如 RDS 或另一個(gè) ECS 上部署的 MySQL)。
相關(guān)鏈接：[1] 發(fā)布日志：https://github.com/oam-dev/kubevela/releases
[2] 安裝 Helm ：https://helm.sh/docs/intro/install/
[3] KubeVela 源碼 ：https://github.com/oam-dev/kubevela/releases
[4] Catalog 源碼：https://github.com/oam-dev/catalog
[5] velad：https://github.com/oam-dev/velad
