說出來你可能不信,分布式鎖竟然這么簡單...
大家好,我是小?。
作為一個后臺開發(fā),不管是工作還是面試中,分布式一直是一個讓人又愛又恨的話題。它如同一座神秘的迷宮,時而讓你迷失方向,時而又為你揭示出令人驚嘆的寶藏。
今天,讓我們來聊聊分布式領(lǐng)域中那位不太引人注意卻功不可沒的角色,它就像是分布式系統(tǒng)的守衛(wèi),保護(hù)著資源不被隨意訪問——這就是分布式鎖!
想象一下,如果沒有分布式鎖,多個分布式節(jié)點同時涌入一個共享資源的訪問時,就像一群饑腸轆轆的狼匯聚在一塊肉前,誰都想咬一口,最后弄得肉丟了個精光,大家都吃不上。
而有了分布式鎖,就像給這塊肉上了道堅固的城墻,只有一只狼能夠穿越,享受美味。
那它具體是怎么做的呢?這篇文章中,小?將帶大家一起了解分布式鎖是如何解決分布式系統(tǒng)中的并發(fā)問題的。
什么是分布式鎖?
在分布式系統(tǒng)中,分布式鎖是一種機制,用于協(xié)調(diào)多個節(jié)點上的并發(fā)訪問共享資源。
這個共享資源可以是數(shù)據(jù)庫、文件、緩存或任何需要互斥訪問的數(shù)據(jù)或資源。分布式鎖確保了在任何給定時刻只有一個節(jié)點能夠?qū)Y源進(jìn)行操作,從而保持了數(shù)據(jù)的一致性和可靠性。
為什么要使用分布式鎖?
1. 數(shù)據(jù)一致性
在分布式環(huán)境中,多個節(jié)點同時訪問共享資源可能導(dǎo)致數(shù)據(jù)不一致的問題。分布式鎖可以防止這種情況發(fā)生,確保數(shù)據(jù)的一致性。
2. 防止競爭條件
多個節(jié)點并發(fā)訪問共享資源時可能出現(xiàn)競爭條件,這會導(dǎo)致不可預(yù)測的結(jié)果。分布式鎖可以有效地防止競爭條件,確保操作按照預(yù)期順序執(zhí)行。
3. 限制資源的訪問
有些資源可能需要限制同時訪問的數(shù)量,以避免過載或資源浪費。分布式鎖可以幫助控制資源的訪問。
分布式鎖要解決的問題
分布式鎖的核心問題是如何在多個節(jié)點之間協(xié)調(diào),以確保只有一個節(jié)點可以獲得鎖,而其他節(jié)點必須等待。
這涉及到以下關(guān)鍵問題:
1. 互斥性
只有一個節(jié)點能夠獲得鎖,其他節(jié)點必須等待。這確保了資源的互斥訪問。
2. 可重入性
指的是在同一線程內(nèi),外層函數(shù)獲得鎖之后,內(nèi)層遞歸函數(shù)仍然可以獲取到該鎖。
說白了就是同一個線程再次進(jìn)入同樣代碼時,可以再次拿到該鎖。它的作用是:防止在同一線程中多次獲取鎖產(chǎn)生競性條件而導(dǎo)致死鎖發(fā)生。
3. 超時釋放
確保即使節(jié)點在業(yè)務(wù)過程中發(fā)生故障,鎖也會被超時釋放,既能防止不必要的線程等待和資源浪費,也能避免死鎖。
分布式鎖的實現(xiàn)方式
在分布式系統(tǒng)中,有多種方式可以實現(xiàn)分布式鎖,就像是鎖的品種不同,每種鎖都有自己的特點。
- 有基于數(shù)據(jù)庫的鎖,就像是廚師們用餐具把菜肴鎖在柜子里,每個人都得排隊去取。
- 還有基于 ZooKeeper 的鎖,它像是整個餐廳的門衛(wèi),只允許一個人進(jìn)去,其他人只能在門口等。
- 最后,還有基于緩存的鎖,就像是一位服務(wù)員用號碼牌幫你占座,先到先得。
1. 基于數(shù)據(jù)庫的分布式鎖
使用數(shù)據(jù)庫表中的一行記錄作為鎖,通過事務(wù)來獲取和釋放鎖。
例如,使用 MySQL 來實現(xiàn)事務(wù)鎖。首先創(chuàng)建一張簡單表,在某一個字段上創(chuàng)建唯一索引(保證多個請求新增字段時,只有一個請求可成功)。
CREATE TABLE `user` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`uname` varchar(255) DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `name` (`uname`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4
當(dāng)需要獲取分布式鎖時,執(zhí)行以下語句:
INSERT INTO `user` (uname) VALUES ('unique_key')
由于 name 字段上加了唯一索引,所以當(dāng)多個請求提交 insert 語句時,只有一個請求可成功。
使用 MySQL 實現(xiàn)分布式鎖的優(yōu)點是可靠性高,但性能較差,而且這把鎖是非重入的,同一個線程在沒有釋放鎖之前無法獲得該鎖。
2. 基于ZooKeeper的分布式鎖
Zookeeper(簡稱 zk)是一個為分布式應(yīng)用提供一致性服務(wù)的中間組件,其內(nèi)部是一個分層的文件系統(tǒng)目錄樹結(jié)構(gòu)。
zk 規(guī)定其某一個目錄下只能有唯一的一個文件名,其分布式鎖的實現(xiàn)方式如下:
- 創(chuàng)建一個鎖目錄(ZNode):首先,在 zk 中創(chuàng)建一個專門用于存儲鎖的目錄,通常稱為鎖根節(jié)點。這個目錄將包含所有獲取鎖的請求以及用于鎖協(xié)調(diào)的節(jié)點。
- 獲取鎖:當(dāng)一個節(jié)點想要獲取鎖時,它會在鎖目錄下創(chuàng)建一個臨時順序節(jié)點(Ephemeral Sequential Node)。zk 會為每個節(jié)點分配一個唯一的序列號,并根據(jù)序列號的大小來確定鎖的獲取順序。
- 查看是否獲得鎖:節(jié)點在創(chuàng)建臨時順序節(jié)點后,需要檢查自己的節(jié)點是否是鎖目錄中序列號最小的節(jié)點。如果是,表示節(jié)點獲得了鎖;如果不是,則節(jié)點需要監(jiān)聽比它序列號小的節(jié)點的刪除事件。
- 監(jiān)聽鎖釋放:如果一個節(jié)點沒有獲得鎖,它會設(shè)置一個監(jiān)聽器來監(jiān)視比它序列號小的節(jié)點的刪除事件。一旦前一個節(jié)點(序列號小的節(jié)點)釋放了鎖,zk 會通知等待的節(jié)點。
- 釋放鎖:當(dāng)一個節(jié)點完成了對共享資源的操作后,它會刪除自己創(chuàng)建的臨時節(jié)點,這將觸發(fā) zk 通知等待的節(jié)點。
zk 分布式鎖提供了良好的一致性和可用性,但部署和維護(hù)較為復(fù)雜,需要仔細(xì)處理各種邊界情況,例如節(jié)點的創(chuàng)建、刪除、網(wǎng)絡(luò)分區(qū)等。
而且 zk 實現(xiàn)分布式鎖的性能不太好,主要是獲取和釋放鎖都需要在集群的 Leader 節(jié)點上執(zhí)行,同步較慢。
3. 基于緩存的分布式鎖
使用分布式緩存,如 Redis 或 Memcached,來存儲鎖信息,緩存方式性能較高,但需要處理分布式緩存的高可用性和一致性。
接下來,我們詳細(xì)討論一下在 Redis 中如何設(shè)計一個高可用的分布式鎖以及可能會遇到的幾個問題,包括:
- 死鎖問題
- 鎖提前釋放
- 鎖被其它線程誤刪
- 高可用問題
1)死鎖問題
早期版本的 redis 沒有 setnx 命令在寫 key 時直接設(shè)置超時參數(shù),需要用 expire 命令單獨對鎖設(shè)置過期時間,這可能會導(dǎo)致死鎖問題。
比如,設(shè)置鎖的過期時間執(zhí)行失敗了,導(dǎo)致后來的搶鎖都會失敗。
Lua腳本或SETNX
為了保證原子性,我們可以使用 Lua 腳本,保證SETNX + EXPIRE兩條指令的原子性,我們還可以巧用Redis 的 SET 指令擴展參數(shù):SET key value[EX seconds][PX milliseconds][NX|XX],它也是原子性的。
SET key value [EX seconds] [PX milliseconds] [NX|XX]
- NX:表示 key 不存在的時候,才能 set 成功,即保證只有第一個客戶端請求才能獲得鎖,而其他客戶端請求只能等待鎖釋放后,才能獲取
- EX seconds :設(shè)定 key 的過期時間,默認(rèn)單位時間為秒
- PX milliseconds: 設(shè)定 key 的過期時間,默認(rèn)單位時間為毫秒
- XX: 僅當(dāng) key 存在時設(shè)置值
在 Go 語言里面,關(guān)鍵代碼如下所示:
func getLock() {
methodName := "getLock"
val, err := client.Do("set", methodName, "lock_value", "nx", "ex", 100)
if err != nil {
zaplog.Errorf("%s set redis lock failed, %s", methodName, err)
return
}
if val == nil {
zaplog.Errorf("%s get redis lock failed", methodName)
return
}
... // 執(zhí)行臨界區(qū)代碼,訪問公共資源
client.Del(lock.key()).Err() // 刪除key,釋放鎖
}
2)鎖提前釋放
上述方案解決了加鎖過期的原子性問題,不會產(chǎn)生死鎖,但還是可能存在鎖提前釋放的問題。
如圖所示,假設(shè)我們設(shè)置鎖的過期時間為 5 秒,而業(yè)務(wù)執(zhí)行需要 10 秒。
圖片
在線程 1 執(zhí)行業(yè)務(wù)的過程中,它的鎖被過期釋放了,這時線程 2 是可以拿到鎖的,也開始訪問公共資源。
很明顯,這種情況下導(dǎo)致了公共資源沒有被嚴(yán)格串行訪問,破壞了分布式鎖的互斥性。
這時,有愛動腦瓜子的小伙伴可能認(rèn)為,既然加鎖時間太短,那我們把鎖的過期時間設(shè)置得長一些不就可以了嗎?
其實不然,首先我們沒法提前準(zhǔn)確知道一個業(yè)務(wù)執(zhí)行的具體時間。其次,公共資源的訪問時間大概率是動態(tài)變化的,時間設(shè)置得過長也不好。
Redisson框架
所以,我們不妨給加鎖線程一個自動續(xù)期的功能,即每隔一段時間檢查鎖是否還存在,如果存在就延長鎖的時間,防止鎖過期提前釋放。
這個功能需要用到守護(hù)線程,當(dāng)前已經(jīng)有開源框架幫我們解決了,它就是——Redisson,它的實現(xiàn)原理如圖所示:
圖片
當(dāng)線程 1 加鎖成功后,就會啟動一個 Watch dog 看門狗,它是一個后臺線程,每隔 1 秒(可配置)檢查業(yè)務(wù)是否還持有鎖,以達(dá)到線程未主動釋放鎖,自動續(xù)期的效果。
3)鎖被其它線程誤刪
除了鎖提前釋放,我們可能還會遇到鎖被其它線程誤刪的問題。
圖片
如圖所示,加鎖線程 1 執(zhí)行完業(yè)務(wù)后,去釋放鎖。但線程 1 自己的鎖已經(jīng)釋放了,此時分布式鎖是由線程 2 持有的,就會誤刪線程 2 的鎖,但線程 2 的業(yè)務(wù)可能還沒執(zhí)行完畢,導(dǎo)致異常產(chǎn)生。
唯一 Value 值
要想解決鎖被誤刪的問題,我們需要給每個線程的鎖加一個唯一標(biāo)識。
比如,在加鎖時將 Value 設(shè)置為線程對應(yīng)服務(wù)器的 IP。對應(yīng)的 Go 語言關(guān)鍵代碼如下:
const (
// HostIP,當(dāng)前服務(wù)器的IP
HostIP = getLocalIP()
)
func getLock() {
methodName := "getLock"
val, err := client.Do("set", methodName, HostIP, "nx", "ex", 100)
if err != nil {
zaplog.Errorf("%s redis error, %s", methodName, err)
return
}
if val == nil {
zaplog.Errorf("%s get redis lock error", methodName)
return
}
... // 執(zhí)行臨界區(qū)代碼,訪問公共資源
if client.Get(methodName) == HostIP {
// 判斷為當(dāng)前服務(wù)器線程加的鎖,才可以刪除
client.Del(lock.key()).Err()
}
}
這樣,在刪除鎖的時候判斷一下 Value 是否為當(dāng)前實例的 IP,就可以避免誤刪除其它線程鎖的問題了。
為了保證嚴(yán)格的原子性,可以用 Lua 腳本代替以上代碼,如下所示:
if redis.call('get',KEYS[1]) == ARGV[1] then
return redis.call('del',KEYS[1])
else
return 0
end;
4)Redlock高可用鎖
前面幾種方案都是基于單機版考慮,而實際業(yè)務(wù)中 Redis 一般都是集群部署的,所以我們接下來討論一下 Redis 分布式鎖的高可用問題。
試想一下,如果線程 1 在 Redis 的 master 主節(jié)點上拿到了鎖,但是還沒同步到 slave 從節(jié)點。
這時,如果主節(jié)點發(fā)生故障,從節(jié)點升級為主節(jié)點,其它線程就可以重新獲取這個鎖,此時可能有多個線程拿到同一個鎖。即,分布式鎖的互斥性遭到了破壞。
為了解決這個問題,Redis 的作者提出了專門支持分布式鎖的算法:Redis Distributed Lock,簡稱 Redlock,其核心思想類似于注冊中心的選舉機制。
Redis 集群內(nèi)部署多個 master 主節(jié)點,它們相互獨立,即每個主節(jié)點之間不存在數(shù)據(jù)同步。
且節(jié)點數(shù)為單數(shù)個,每次當(dāng)客戶端搶鎖時,需要從這幾個 master 節(jié)點去申請鎖,當(dāng)從一半以上的節(jié)點上獲取成功時,鎖才算獲取成功。
優(yōu)缺點和常用實現(xiàn)方式
以上是業(yè)界常用的三種分布式鎖實現(xiàn)方式,它們各自的優(yōu)缺點如下:
- 基于數(shù)據(jù)庫的分布式鎖:可靠性高,但性能較差,不適合高并發(fā)場景。
- 基于ZooKeeper的分布式鎖:提供良好的一致性和可用性,適合復(fù)雜的分布式場景,但部署和維護(hù)復(fù)雜,且性能比不上緩存的方式。
- 基于緩存的分布式鎖:性能較高,適合大部分場景,但需要處理緩存的高可用性。
其中,業(yè)界常用的分布式鎖實現(xiàn)方式通常是基于緩存的方式,如使用 Redis 實現(xiàn)分布式鎖。這是因為 Redis 性能優(yōu)秀,而且可以滿足大多數(shù)應(yīng)用場景的需求。
小結(jié)
盡管分布式世界曲折離奇,但有了分布式鎖,我們就像是看電影的觀眾,可以有條不紊地入場,分布式系統(tǒng)里的資源就像膠片一樣,等待著我們一張一張地觀賞。
這就是分布式的魅力!它或許令人又愛又恨,但正是科技世界的多樣復(fù)雜性,才讓我們的技術(shù)之旅變得更加精彩。