Kubernetes Lease 及分布式選主
分布式選主
在分布式系統(tǒng)中，應(yīng)用服務(wù)常常會通過多個節(jié)點(diǎn)（或?qū)嵗┑姆绞絹肀ＷC高可用。然而在某些場景下，有些數(shù)據(jù)或者任務(wù)無法被并行操作，此時就需要由一個特定的節(jié)點(diǎn)來執(zhí)行這些特殊的任務(wù)（或者進(jìn)行協(xié)調(diào)及決策），這個特定的節(jié)點(diǎn)也就是領(lǐng)導(dǎo)者（Leader），而在多個節(jié)點(diǎn)中選擇領(lǐng)導(dǎo)者的機(jī)制也就是分布式選主（Leader Election）。
如今諸多知名項(xiàng)目也都使用了分布式選主，例如：
- Etcd
- Kafka
- Elasticsearch
- Zookeeper
常用算法包括：
- Paxos：一種著名的分布式共識算法，原理和實(shí)現(xiàn)較為復(fù)雜（此算法基本就是共識理論的奠基之作，曾有人說："世界上只有一種共識協(xié)議，就是 Paxos，其他所有共識算法都是 Paxos 的退化版本"）。
- Raft：目前最廣泛使用的分布式共識算法之一，Etcd 使用的就是 Raft，Elasticsearch 和 Kafka 在后來的版本中也都拋棄了早期的算法并轉(zhuǎn)向了 Raft。
- ZAB（Zookeeper Atomic Broadcast）：Zookeeper 使用的一致性協(xié)議，也包括選主機(jī)制。
Kubernetes Lease
在 Kubernetes 中，諸如 kube-scheduler 和 kube-controller-manager 等核心組件也需要使用分布式選主，因?yàn)槠湫枰_保任一時刻只有一個調(diào)度器在做出調(diào)度決策，同一時間只有一個控制管理器在處理資源對象。
然而，除了核心組件，用戶的應(yīng)用服務(wù)很可能也有類似分布式選主的需求，為了滿足這種通用需求，kubernetes 提供了 Lease（翻譯為“租約”）這樣一個特殊的資源對象。
如上圖所示，在 k8s 中選主是通過爭搶一個分布式鎖（Lease）來實(shí)現(xiàn)的，搶到鎖的實(shí)例成為 leader，為了確認(rèn)自己持續(xù)存活，leader 需要不斷的續(xù)簽這個鎖（Lease），一旦 leader 掛掉，則鎖被釋放，其他候選人便可以競爭成為新的 leader。
Lease 的結(jié)構(gòu)也很簡單：
apiVersion: coordination.k8s.io/v1
kind: Lease
metadata:
# object
spec:
acquireTime: # 當(dāng)前租約被獲取的時間
holderIdentity: # 當(dāng)前租約持有者的身份信息
leaseDurationSeconds: # 租約候選者需要等待才能強(qiáng)制獲取它的持續(xù)時間
leaseTransitions: # 租約換了多少次持有者
renewTime: # 當(dāng)前租約持有者最后一次更新租約的時間Lease 本質(zhì)上與其它資源并無區(qū)別，除了 Lease，其實(shí)也可以用 configmap 或者 endpoint 作為分布式鎖，因?yàn)樵诘讓佣际?k8s 通過資源對象的 resourceVersion 字段進(jìn)行 compare-and-swap，也就是通過這個字段實(shí)現(xiàn)的樂觀鎖。當(dāng)然在實(shí)際使用中，建議還是用 Lease。
使用示例
使用 Lease 進(jìn)行分布式選主的示例如下：
import (
"context"
"time"
"k8s.io/client-go/kubernetes"
"k8s.io/client-go/rest"
"k8s.io/client-go/tools/leaderelection"
"k8s.io/client-go/tools/leaderelection/resourcelock"
)
func main() {
config, err := rest.InClusterConfig()
if err != nil {
panic(err.Error())
}
clientset, err := kubernetes.NewForConfig(config)
if err != nil {
panic(err.Error())
}
// 配置 Lease 參數(shù)
leaseLock := &resourcelock.LeaseLock{
LeaseMeta: metav1.ObjectMeta{
Name: "my-lease",
Namespace: "default",
},
Client: clientset.CoordinationV1(),
LockConfig: resourcelock.ResourceLockConfig{
Identity: "my-identity",
},
}
// 配置 Leader Election
leaderElectionConfig := leaderelection.LeaderElectionConfig{
Lock: leaseLock,
LeaseDuration: 15 * time.Second,
RenewDeadline: 10 * time.Second,
RetryPeriod: 2 * time.Second,
Callbacks: leaderelection.LeaderCallbacks{
OnStartedLeading: func(ctx context.Context) {
// 當(dāng)前實(shí)例成為 Leader
// 在這里執(zhí)行 Leader 專屬的邏輯
},
OnStoppedLeading: func() {
// 當(dāng)前實(shí)例失去 Leader 地位
// 可以在這里執(zhí)行清理工作
},
OnNewLeader: func(identity string) {
// 有新的 Leader 產(chǎn)生
}
},
}
leaderElector, err := leaderelection.NewLeaderElector(leaderElectionConfig)
if err != nil {
panic(err.Error())
}
// 開始 Leader Election
ctx := context.Background()
leaderElector.Run(ctx)
}參考資料：
- https://kubernetes.io/docs/concepts/architecture/leases/
- https://kubernetes.io/docs/reference/kubernetes-api/cluster-resources/lease-v1/
- https://pkg.go.dev/k8s.io/client-go@v0.29.0/tools/leaderelection
