?前言

Databend 是一款完全面向云對象存儲的新一代云原生數(shù)據(jù)倉庫，專為彈性和高效設(shè)計(jì)，為您的大規(guī)模分析需求保駕護(hù)航。Databend 同時(shí)是一款符合 Apache-2.0 協(xié)議的開源軟件，除了訪問云服務(wù)（https://app.databend.com/）之外，用戶還可以自己部署 Databend 生產(chǎn)集群以滿足工作負(fù)載需要。

Databend 的典型使用場景包括：

• 實(shí)時(shí)分析平臺，日志的快速查詢與可視化。
• 云數(shù)據(jù)倉庫，歷史訂單數(shù)據(jù)的多維度分析和報(bào)表生成。
• 混合云架構(gòu)，統(tǒng)一管理和處理不同來源和格式的數(shù)據(jù)。
• 成本和性能敏感的 OLAP 場景，動態(tài)調(diào)整存儲和計(jì)算資源。

KubeSphere 是在 Kubernetes 之上構(gòu)建的以應(yīng)用為中心的多租戶容器平臺，提供全棧的 IT 自動化運(yùn)維的能力，可以管理多個(gè)節(jié)點(diǎn)上的容器化應(yīng)用，提供高可用性、彈性擴(kuò)縮容、服務(wù)發(fā)現(xiàn)、負(fù)載均衡等功能。

利用 KubeSphere 部署和管理 Databend 具有以下優(yōu)點(diǎn)：

• 使用 Helm Charts 部署 Databend 集群，簡化應(yīng)用管理、部署過程和參數(shù)設(shè)置。
• 利用 Kubernetes 的特性來實(shí)現(xiàn) Databend 集群的自動恢復(fù)、水平擴(kuò)展、負(fù)載均衡等。
• 與 Kubernetes 上的其他服務(wù)或應(yīng)用輕松集成和交互，如 MinIO、Prometheus、Grafana 等。

本文將會介紹如何使用 KubeSphere 創(chuàng)建和部署 Databend 高可用集群，并使用 QingStor 作為底層存儲服務(wù)。

配置對象存儲

對象存儲是一種存儲模型，它把數(shù)據(jù)作為對象來管理和訪問，而不是文件或塊。對象存儲的優(yōu)點(diǎn)包括：可擴(kuò)展性、低成本、高可用性等。

Databend 完全面向?qū)ο蟠鎯ΧO(shè)計(jì)，在減少復(fù)雜性和成本的同時(shí)提高靈活性和效率。Databend 支持多種對象存儲服務(wù)，如 AWS S3、Azure Blob、Google Cloud Storage、HDFS、Alibaba Cloud OSS、Tencent Cloud COS 等。您可以根據(jù)業(yè)務(wù)的需求和偏好選擇合適的服務(wù)來存放你的數(shù)據(jù)。

這里我們以青云 QingStor 為例，介紹與 S3 兼容的對象存儲相關(guān)配置的預(yù)先準(zhǔn)備工作。

創(chuàng)建 Bucket

?

對象存儲服務(wù)（QingStor）提供了一個(gè)無限容量的在線文件存儲和訪問平臺。每個(gè)用戶可創(chuàng)建多個(gè)存儲空間（Bucket）；您可以將任意類型文件通過控制臺或 QingStor API 上傳至一個(gè)存儲空間（Bucket）中；存儲空間（Bucket）支持訪問控制，您可以將自己的存儲空間（Bucket）開放給指定的用戶，或所有用戶。

登錄青云控制臺，選中對象存儲服務(wù)，新建用于驗(yàn)證的 bucket 。

需要關(guān)注的是 bucket 的名字 <bucket>? 和其所在的可用區(qū) <region>。

由于這里使用 s3 兼容服務(wù)，所以最后連接的 endpoint_url 是 s3.<bucket>.<region>.qingstor.com 。

創(chuàng)建 API 密鑰

?

API 密鑰（Access Key）可以讓您通過發(fā)送 API 指令來訪問青云的服務(wù)。API 密鑰 ID 須作為參數(shù)包含在每一個(gè)請求中發(fā)送；而 API 密鑰的私鑰負(fù)責(zé)生成 API 請求串的簽名，私鑰需要被妥善保管，切勿外傳。默認(rèn)所有 IP 地址都可使用此密鑰調(diào)用 API，設(shè)置 IP 白名單后只有白名單范圍內(nèi)的 IP 地址才可使用此密鑰。

點(diǎn)擊右上方菜單，選中 API 密鑰，創(chuàng)建新的密鑰用于 API 訪問。

下載文件中的 qy_access_key_id? 對應(yīng) access_key_id? ，qy_secret_access_key? 對應(yīng) secret_access_key 。

準(zhǔn)備 KubeSphere 環(huán)境

KubeSphere[1]（https://kubesphere.io）是在 Kubernetes 之上構(gòu)建的開源容器平臺，提供全棧的 IT 自動化運(yùn)維的能力，簡化企業(yè)的 DevOps 工作流。KubeSphere 已被海內(nèi)外數(shù)萬家企業(yè)采用。此外， KubeSphere 還擁有極為開放的生態(tài)，KubeSphere 在 OpenPitrix 的基礎(chǔ)上，為用戶提供了一個(gè)基于 Helm 的應(yīng)用商店，用于應(yīng)用生命周期管理。KubeSphere 應(yīng)用商店讓 ISV、開發(fā)者和用戶能夠在一站式服務(wù)中只需點(diǎn)擊幾下就可以上傳、測試、安裝和發(fā)布應(yīng)用。目前 Databend 已入駐 KubeSphere 應(yīng)用商店。

KubeSphere 環(huán)境搭建

All-in-One 模式部署測試環(huán)境

參考官方文檔[2] 。

在 Azure 上 Spot 一臺機(jī)器：

Welcome to Ubuntu 18.04.6 LTS (GNU/Linux 5.4.0-1089-azure x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

  System information as of Tue Sep  6 02:09:16 UTC 2022

  System load:  0.15              Processes:           376
  Usage of /:   4.8% of 28.89GB   Users logged in:     0
  Memory usage: 0%                IP address for eth0: 10.0.0.4
  Swap usage:   0%

以 All-In-One 模式部署：

注意，需要在 root 下運(yùn)行。

apt install socat conntrack containerd
systemctl daemon-reload
systemctl enable --now containerd
curl -sfL https://get-kk.kubesphere.io | VERSION=v3.0.2 sh -
chmod +x kk
./kk create cluster --with-kubernetes v1.22.12 --with-kubesphere v3.3.1
+------+------+------+---------+----------+-------+-------+---------+-----------+--------+--------+------------------+------------+-------------+------------------+--------------+
| name | sudo | curl | openssl | ebtables | socat | ipset | ipvsadm | conntrack | chrony | docker | containerd       | nfs client | ceph client | glusterfs client | time         |
+------+------+------+---------+----------+-------+-------+---------+-----------+--------+--------+------------------+------------+-------------+------------------+--------------+
| ks   | y    | y    | y       | y        | y     |       |         | y         | y      |        | 1.5.9-0ubuntu3.1 |            |             |                  | UTC 02:53:56 |
+------+------+------+---------+----------+-------+-------+---------+-----------+--------+--------+------------------+------------+-------------+------------------+--------------+

如果提示依賴缺失，可以根據(jù)需要安裝，sudo apt install <name> ，這里只安裝前兩個(gè)。

訪問 KubeSphere 控制面板。

執(zhí)行下面命令查看關(guān)于登錄的信息：

Collecting installation results ...
#####################################################
###              Welcome to KubeSphere!           ###
#####################################################

Console: http://10.0.0.4:30880
Account: admin
Password: P@88w0rd

NOTES：
  1. After you log into the console, please check the
     monitoring status of service components in
     "Cluster Management". If any service is not
     ready, please wait patiently until all components
     are up and running.
  2. Please change the default password after login.

#####################################################
https://kubesphere.io             2022-09-06 15:41:44
#####################################################

訪問 30880 端口，并使用用戶名密碼登錄，就可以訪問 KubeSphere 。為確保能夠訪問 KubeSphere 和其他服務(wù)，請根據(jù)實(shí)際情況在云平臺控制面板為相應(yīng)端口添加入站出站規(guī)則。

KubeSphere Cloud 創(chuàng)建演示環(huán)境

創(chuàng)建輕量集群服務(wù)：

注冊并登錄 https://kubesphere.cloud[3] 之后，可以輕松創(chuàng)建輕量集群服務(wù)。

使用默認(rèn)配置創(chuàng)建免費(fèi)版集群即可嘗鮮體驗(yàn)，個(gè)人用戶每月有 10 小時(shí)免費(fèi)額度。

訪問 KubeSphere 控制面板。

點(diǎn)擊進(jìn)入 KubeSphere，使用臨時(shí)帳號密碼登錄。

插件啟用

登錄后的界面，如下圖所示：

如需使用應(yīng)用商店，可以參考 KubeSphere 文檔 - 在安裝后啟用應(yīng)用商店[4] 啟用。

開啟后可以在應(yīng)用商店中搜索找到 Databend ，結(jié)果類似下圖。

企業(yè)空間與項(xiàng)目管理

點(diǎn)擊平臺管理?進(jìn)入訪問控制?頁面，選中企業(yè)空間?，點(diǎn)擊創(chuàng)建?，在名稱?一欄填寫你想使用的名稱，比如 databend。

在側(cè)邊欄選中項(xiàng)目?，點(diǎn)擊創(chuàng)建?，分別創(chuàng)建為 databend-meta? 和 databend-query 準(zhǔn)備的項(xiàng)目。創(chuàng)建后效果如圖所示：

部署 Databend

應(yīng)用模板載入

雖然應(yīng)用商店中已經(jīng)有 Databend 可供選用，但版本較舊（v0.8.122-nightly），新的 PR[5]（v1.0.3-nightly）需要等合并之后才可用，所以建議添加 Databend 官方維護(hù)的 helm-charts 作為應(yīng)用模板。

Databend 官方提供了 Helm Charts ，而 KubeSphere 也支持使用 Helm Charts 應(yīng)用模板。

?

應(yīng)用模板是用戶上傳、交付和管理應(yīng)用的一種方式。一般來說，根據(jù)一個(gè)應(yīng)用的功能以及與外部環(huán)境通信的方式，它可以由一個(gè)或多個(gè) Kubernetes 工作負(fù)載（例如部署[6]、有狀態(tài)副本集[7]和守護(hù)進(jìn)程集[8]）和服務(wù)[9]組成。作為應(yīng)用模板上傳的應(yīng)用基于 Helm[10] 包構(gòu)建?？梢詫?Helm Chart 交付至 KubeSphere 的公共倉庫，或者導(dǎo)入私有應(yīng)用倉庫來提供應(yīng)用模板。https://kubesphere.io/zh/docs/v3.3/workspace-administration/upload-helm-based-application/[11]

在企業(yè)空間側(cè)邊欄選中 應(yīng)用管理 ，點(diǎn)擊 應(yīng)用倉庫 ，添加 Databend 官方維護(hù)的 Helm Charts[12] 。

待狀態(tài)變?yōu)槌晒?，就可以基于模板安裝部署新的 Databend 應(yīng)用。

Databend 部署模型

參考 Databend 官方文檔 - Understanding Deployment Modes 文檔[13]。

典型的 Databend 集群架構(gòu)如下圖所示，需要分別部署多個(gè) Meta 和 Query 節(jié)點(diǎn)：

在集群模式下部署 Databend 時(shí)，首先需要啟動一個(gè) Meta 節(jié)點(diǎn)，然后設(shè)置并啟動其他 Meta 節(jié)點(diǎn)以加入第一個(gè) Meta 節(jié)點(diǎn)，形成集群。在成功啟動所有 Meta 節(jié)點(diǎn)后，逐個(gè)啟動 Query 節(jié)點(diǎn)。每個(gè) Query 節(jié)點(diǎn)在啟動后自動注冊到 Meta 節(jié)點(diǎn)以形成集群。

Meta 高可用集群部署

選中 databend-meta? 項(xiàng)目。點(diǎn)擊側(cè)邊欄應(yīng)用負(fù)載?，選中應(yīng)用?。點(diǎn)擊創(chuàng)建?，并選中從應(yīng)用模板。下拉欄中選中之前添加的 Databend ，效果如圖：

選中 databend-meta?，點(diǎn)擊安裝，設(shè)定應(yīng)用名稱及版本，我們推薦總是使用最新版本，以獲得更好的體驗(yàn)。

使用示例設(shè)置，創(chuàng)建 3 副本的 databend-meta 節(jié)點(diǎn)形成集群。生產(chǎn)環(huán)境下推薦至少使用 3 副本高可用集群，可以參考 Databend 官方文檔進(jìn)行配置。

bootstrap: true
replicaCount: 3
persistence:
  size: 5Gi # 考慮到宿主機(jī)資源有限，僅供示范
serviceMonitor:
  enabled: true

Query 集群部署

在 Meta 節(jié)點(diǎn)的所有副本就緒之后，就可以開始部署 Query 集群。

Query 節(jié)點(diǎn)部署的前置步驟與 Meta 節(jié)點(diǎn)類似。進(jìn)入 databend-query 項(xiàng)目，仿照之前的步驟選中 databend-query 應(yīng)用模板進(jìn)行創(chuàng)建即可。

配置中需要關(guān)注的部分是：

• databend-meta 連接：這里的地址取決于之前部署的 Meta 集群的相關(guān)信息。
• 存儲方式：本示例連接的是 QingStor ，使用 S3 兼容協(xié)議，所以需要特別關(guān)注 endpoint_url 。
• 內(nèi)置用戶創(chuàng)建：創(chuàng)建一個(gè)名為 databend? 密碼為 databend 的內(nèi)置用戶，以方便在非 localhost 情況下訪問。

這里啟動的是一個(gè)單副本的 Query 集群，實(shí)際情況下可以根據(jù)工作負(fù)載規(guī)模靈活調(diào)整。

replicaCount: 1
config:
  query:
    clsuterId: default
    # add builtin user
    users:
      - name: databend
        # available type: sha256_password, double_sha1_password, no_password, jwt
        authType: double_sha1_password
        # echo -n "databend" | sha1sum | cut -d' ' -f1 | xxd -r -p | sha1sum
        authString: 3081f32caef285c232d066033c89a78d88a6d8a5
  meta:
    # Set endpoints to use remote meta service
    # depends on previous deployed meta service、namespace and nodes
    endpoints:
      - "databend-meta-0.databend-meta.databend-meta.svc:9191"
      - "databend-meta-1.databend-meta.databend-meta.svc:9191"
      - "databend-meta-2.databend-meta.databend-meta.svc:9191"
  storage:
    # s3, oss
    type: s3
    s3:
      bucket: "<bucket>"
      endpoint_url: "https://s3.<region>.qingstor.com" # for qingstor
      access_key_id: "<key>"
      secret_access_key: "<secret>"
# [recommended] enable monitoring service
serviceMonitor:
  enabled: true
# [recommended] enable access from outside cluster
service:
  type: LoadBalancer

KubeSphere 監(jiān)控

KubeSphere 觀測工作負(fù)載

待狀態(tài)變?yōu)檫\(yùn)行中即可，這時(shí)可以很方便使用 KubeSphere 觀測工作負(fù)載。

資源狀態(tài)

• databend-meta

• databend-query

監(jiān)控

• databend-meta

• databend-query

可訪問性測試

節(jié)點(diǎn)狀態(tài)檢測

如果是在 All-in-One 模式下部署，我們可以輕松使用容器組 IP 地址來測試節(jié)點(diǎn)狀態(tài)。

psiace@ks:~$ curl 10.233.107.113:8080/v1/health
{"status":"pass"}

而使用 KubeSphere Cloud 部署時(shí)，可以在 KubeSphere Cloud 控制面板，選擇網(wǎng)絡(luò)以創(chuàng)建訪問規(guī)則。

這里以 8080（Admin API）和 8000（Query HTTP Handler）端口為例：

創(chuàng)建后的結(jié)果如下圖所示：

同樣我們可以使用 curl 來檢查節(jié)點(diǎn)狀態(tài)。

psiace@ks:~$ curl https://admin-gfkyzxaz.c.kubesphere.cloud:30443/v1/health
{"status":"pass"}

執(zhí)行查詢

bendsql 是一個(gè)十分方便的命令行界面工具，可以幫助您順暢高效地使用 Databend 。bendsql 也支持連接 Databend Cloud ，管理計(jì)算集群和運(yùn)行 SQL 查詢。

安裝 bendsql

$ go install github.com/databendcloud/bendsql/cmd/bendsql@latest

連接 databend 集群（以 KubeSphere Cloud 為例）

$ bendsql connect -H query-gfkyzxaz.c.kubesphere.cloud -P 30443 -u databend -p databend --ssl
Connected to Databend on Host: query-gfkyzxaz.c.kubesphere.cloud
Version: DatabendQuery v0.9.57-nightly-df858a1(rust-1.68.0-nightly-2023-03-01T01:23:11.56066902Z)

嘗試執(zhí)行查詢

$ bendsql query
Connected with driver databend (DatabendQuery v0.9.57-nightly-df858a1(rust-1.68.0-nightly-2023-03-01T01:23:11.56066902Z))
Type "help" for help.

dd:databend@query-gfkyzxaz/default=> SELECT avg(number) FROM numbers(1000);
+-------------+
| avg(number) |
+-------------+
| 499.5       |
+-------------+
(1 row)

總結(jié)

本文介紹了如何使用 KubeSphere 創(chuàng)建和部署 Databend 高可用集群，后端存儲服務(wù)采用 QingStor ，最后使用 bendsql 演示連接集群和執(zhí)行查詢。

引用鏈接

[1]KubeSphere: https://github.com/kubesphere/kubesphere

[2]官方文檔: https://kubesphere.io/zh/docs/v3.3/quick-start/all-in-one-on-linux/

[3]https://kubesphere.cloud: https://kubesphere.cloud/

[4]KubeSphere 文檔 - 在安裝后啟用應(yīng)用商店: https://kubesphere.io/zh/docs/v3.3/pluggable-components/app-store/#%E5%9C%A8%E5%AE%89%E8%A3%85%E5%90%8E%E5%90%AF%E7%94%A8%E5%BA%94%E7%94%A8%E5%95%86%E5%BA%97

[5]PR: https://github.com/kubesphere/helm-charts/pull/288

[6]部署: https://kubesphere.io/zh/docs/v3.3/project-user-guide/application-workloads/deployments/

[7]有狀態(tài)副本集: https://kubesphere.io/zh/docs/v3.3/project-user-guide/application-workloads/statefulsets/

[8]守護(hù)進(jìn)程集: https://kubesphere.io/zh/docs/v3.3/project-user-guide/application-workloads/daemonsets/

[9]服務(wù): https://kubesphere.io/zh/docs/v3.3/project-user-guide/application-workloads/services/

[10]Helm: https://helm.sh/

[11]https://kubesphere.io/zh/docs/v3.3/workspace-administration/upload-helm-based-application/: https://kubesphere.io/zh/docs/v3.3/workspace-administration/upload-helm-based-application/

[12]Helm Charts: https://charts.databend.rs/

[13] https://databend.rs/doc/deploy/understanding-deployment-modes