深度剖析 Redis 九種數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)原理
1. Redis介紹
Redis 是一個(gè)高性能的鍵值存儲(chǔ)系統(tǒng),支持多種數(shù)據(jù)結(jié)構(gòu)。
包含五種基本類型 String(字符串)、Hash(哈希)、List(列表)、Set(集合)、Zset(有序集合),和三種特殊類型 Geo(地理位置)、HyperLogLog(基數(shù)統(tǒng)計(jì))、Bitmaps(位圖)。
每種數(shù)據(jù)結(jié)構(gòu)都是為了解決特定問題而設(shè)計(jì)的,適用不同的場(chǎng)景。想要用好Redis,必須了解底層實(shí)現(xiàn)原理和使用技巧,同時(shí)結(jié)合具體的業(yè)務(wù)場(chǎng)景和需求進(jìn)行選擇和使用。無論是工作還是面試中,這些必備的知識(shí)。
下面就詳細(xì)介紹一下每種數(shù)據(jù)類型的使用方式、實(shí)現(xiàn)原理和適用場(chǎng)景。
2. String(字符串)
String(字符串)是Redis中最基本的數(shù)據(jù)結(jié)構(gòu)之一,它可以存儲(chǔ)任意類型的數(shù)據(jù),包括數(shù)字、文本、序列化的對(duì)象等。Redis中的字符串最大可以存儲(chǔ)512MB的數(shù)據(jù)。
使用方式
字符串類型的操作是最基本的,包括設(shè)置值、獲取值、修改值、追加值等。字符串類型支持的操作包括:
應(yīng)用場(chǎng)景
- 緩存:將計(jì)算結(jié)果、數(shù)據(jù)庫查詢結(jié)果或者配置數(shù)據(jù)存儲(chǔ)在Redis中,可以提高應(yīng)用的響應(yīng)速度和吞吐量。
- 計(jì)數(shù)器:使用Redis的自增和自減操作,實(shí)現(xiàn)簡單的計(jì)數(shù)器功能,如網(wǎng)站的訪問次數(shù)統(tǒng)計(jì)
- 限流:使用Redis的incr和expire命令,實(shí)現(xiàn)固定窗口算法的流量控制,防止系統(tǒng)過載。
- 分布式鎖:使用SETNX操作實(shí)現(xiàn)分布式鎖,保證同一時(shí)刻只有一個(gè)線程訪問臨界資源。
- 會(huì)話管理:將用戶會(huì)話信息存儲(chǔ)在Redis中,可以實(shí)現(xiàn)分布式Session。
內(nèi)部編碼
Redis字符串的內(nèi)部編碼有三種:
- int編碼:當(dāng)字符串長度小于等于12字節(jié)并且字符串可以表示為整數(shù)時(shí),Redis會(huì)使用int編碼。這樣可以節(jié)省內(nèi)存,并且在執(zhí)行一些命令時(shí)可以直接進(jìn)行數(shù)值計(jì)算。
- embstr編碼:當(dāng)字符串長度小于等于39字節(jié)時(shí),Redis會(huì)使用embstr編碼。這種編碼方式會(huì)將字符串和存儲(chǔ)它的結(jié)構(gòu)體一起分配在內(nèi)存中,這樣可以減少內(nèi)存碎片和結(jié)構(gòu)體的開銷。
- raw編碼:當(dāng)字符串長度大于39字節(jié)或者字符串不能表示為整數(shù)時(shí),Redis會(huì)使用raw編碼。這種編碼方式直接將字符串存儲(chǔ)在一個(gè)結(jié)構(gòu)體中,沒有進(jìn)行任何優(yōu)化。
3. Hash(哈希)
使用方式
哈希類型是一種鍵值對(duì)的集合,其中鍵值對(duì)的值可以是字符串、列表或者其他哈希類型。哈希類型支持的操作包括:
應(yīng)用場(chǎng)景
- 存儲(chǔ)對(duì)象:將對(duì)象的屬性和屬性值存儲(chǔ)在哈希類型中,可以很方便地進(jìn)行查詢和更新操作,比如常見的用戶信息就適合使用哈希類型存儲(chǔ)。
內(nèi)部編碼
Redis哈希類型的內(nèi)部編碼有兩種:
- ziplist(壓縮列表):當(dāng)Hash類型的元素比較少,且元素的大小比較?。ㄐ∮?4字節(jié))時(shí),Redis采用ziplist作為Hash類型的內(nèi)部編碼。ziplist是一種緊湊的、壓縮的列表結(jié)構(gòu),可以節(jié)省內(nèi)存空間。但是,ziplist只能進(jìn)行線性查找,不支持快速的隨機(jī)訪問。
- hashtable(字典):當(dāng)Hash類型的元素比較多,或者元素的大小比較大(大于64字節(jié))時(shí),Redis采用hashtable作為Hash類型的內(nèi)部編碼。hashtable是一種基于鏈表的哈希表結(jié)構(gòu),可以快速地進(jìn)行隨機(jī)訪問。但是,hashtable需要占用更多的內(nèi)存空間。
4. List(列表)
使用方式
Redis List類型是一個(gè)有序的字符串列表,支持在列表的頭部或尾部添加元素,也支持在列表任意位置插入或刪除元素。支持的操作包括:
使用場(chǎng)景
Redis List類型由于支持在列表的頭部或尾部添加元素,也支持在列表任意位置插入或刪除元素,因此非常適合以下場(chǎng)景:
- 消息隊(duì)列:Redis List類型常被用作輕量級(jí)的消息隊(duì)列,生產(chǎn)者將消息插入隊(duì)列尾部,消費(fèi)者從隊(duì)列頭部彈出消息進(jìn)行處理,可以使用LPUSH、RPUSH、BLPOP、BRPOP等命令實(shí)現(xiàn)。
- 時(shí)間序列:使用Redis的LPUSH和RPUSH命令,將時(shí)間序列的數(shù)據(jù)按照時(shí)間順序添加到列表的頭部或尾部,然后使用LRANGE命令,查詢一段時(shí)間范圍內(nèi)的數(shù)據(jù),實(shí)現(xiàn)時(shí)間序列的查詢。
- 排行榜:Redis List類型可以用于實(shí)現(xiàn)排行榜功能,將每個(gè)用戶的得分作為元素值插入到列表中,使用LINSERT、LREM、LINDEX等命令進(jìn)行排名操作,使用LRANGE命令查詢排名前幾的用戶,可以使用LPUSH、LINSERT、LREM、LINDEX、LRANGE等命令實(shí)現(xiàn)。
- 計(jì)數(shù)器:Redis List類型可以將每個(gè)元素視為計(jì)數(shù)器的值,可以使用LPUSH、RPUSH、LINDEX、LREM等命令實(shí)現(xiàn)。
- 最近訪問記錄:Redis List類型可以用于記錄最近訪問的記錄,將最新的訪問記錄插入列表頭部,當(dāng)列表長度超過設(shè)定的值時(shí),使用LTRIM命令刪除最舊的記錄,可以使用LPUSH、LINDEX、LTRIM等命令實(shí)現(xiàn)。
內(nèi)部編碼
Redis List類型內(nèi)部編碼有兩種,分別是ziplist和linkedlist。
- ziplist
ziplist是一種特殊的編碼方式,它可以將小數(shù)據(jù)量的列表存儲(chǔ)在一個(gè)連續(xù)的內(nèi)存塊中,節(jié)省了內(nèi)存空間,同時(shí)還可以提高存取效率。
ziplist編碼的列表最大長度為2^16-1個(gè)元素,每個(gè)元素可以是字符串類型、整數(shù)類型或浮點(diǎn)數(shù)類型。在ziplist中,每個(gè)元素都被存儲(chǔ)為一個(gè)字節(jié)數(shù)組,并包含一個(gè)前綴和一個(gè)后綴,用于標(biāo)識(shí)該元素的類型和長度。
- linkedlist
linkedlist是一種常規(guī)的雙向鏈表結(jié)構(gòu),它可以存儲(chǔ)任意長度的列表,并且支持高效的插入和刪除操作。在linkedlist中,每個(gè)節(jié)點(diǎn)都包含了一個(gè)指向前一個(gè)節(jié)點(diǎn)和后一個(gè)節(jié)點(diǎn)的指針,以及一個(gè)存儲(chǔ)元素?cái)?shù)據(jù)的指針。
linkedlist適用于存儲(chǔ)大數(shù)量的列表,它沒有像ziplist那樣的內(nèi)存限制,但是會(huì)占用更多的內(nèi)存空間。
5. Set(集合)
使用方式
Redis Set(集合)是一個(gè)無序的字符串集合,其中每個(gè)元素都是唯一的,不允許重復(fù)。Redis Set類型支持的操作包括:
使用場(chǎng)景
Redis Set類型的使用場(chǎng)景包括:
- 標(biāo)簽系統(tǒng):使用Set類型存儲(chǔ)每個(gè)標(biāo)簽對(duì)應(yīng)的對(duì)象列表,以便快速查找包含特定標(biāo)簽的對(duì)象??梢允褂肧ADD、SREM、SISMEMBER、SMEMBERS等命令實(shí)現(xiàn)。
- 好友關(guān)系:將每個(gè)用戶的好友列表作為一個(gè)集合,可以使用SADD、SREM、SISMEMBER、SDIFF、SINTER、SUNION等命令實(shí)現(xiàn)。
- 共同好友:使用SINTER命令計(jì)算出兩個(gè)用戶的共同好友,可以使用SADD、SINTER、SUNION等命令實(shí)現(xiàn)。
- 排名系統(tǒng):將每個(gè)用戶的得分作為元素值插入到集合中,使用ZADD、ZREM、ZRANK、ZSCORE等命令進(jìn)行排名操作,使用ZREVRANGE命令查詢排名前幾的用戶,可以使用ZADD、ZREM、ZRANK、ZSCORE、ZREVRANGE等命令實(shí)現(xiàn)。
- 訂閱關(guān)系:使用Set類型存儲(chǔ)用戶訂閱的內(nèi)容,以便快速獲取用戶訂閱的內(nèi)容。
總的來說,Set類型適用于需要存儲(chǔ)一組不重復(fù)的數(shù)據(jù),并支持集合操作的場(chǎng)景。
內(nèi)部編碼
Redis Set類型的內(nèi)部編碼有兩種:
- intset(整數(shù)集合):當(dāng)Set類型只包含整數(shù)類型的數(shù)據(jù),并且元素?cái)?shù)量較少(小于512個(gè))時(shí),Redis會(huì)使用intset作為Set類型的內(nèi)部編碼。intset是一種緊湊的、壓縮的整數(shù)集合結(jié)構(gòu),可以節(jié)省內(nèi)存空間,并且支持快速的查找、插入和刪除操作。在intset中,所有元素都按照從小到大的順序排列,并且可以使用不同的編碼方式(16位、32位、64位)存儲(chǔ)不同大小范圍內(nèi)的整數(shù)。
- hashtable(字典):當(dāng)Set類型包含字符串類型或者元素?cái)?shù)量較多時(shí),Redis會(huì)使用hashtable作為Set類型的內(nèi)部編碼。hashtable是一種基于鏈表的哈希表結(jié)構(gòu),可以快速地進(jìn)行隨機(jī)訪問、插入和刪除操作。在hashtable中,每個(gè)元素都被存儲(chǔ)為一個(gè)字符串,并且使用哈希函數(shù)將字符串映射到一個(gè)桶中,然后在桶中進(jìn)行查找、插入和刪除操作。
在實(shí)際使用中,當(dāng)Set類型的元素全部為整數(shù)類型時(shí),建議使用intset編碼;而當(dāng)Set類型的元素包含非整數(shù)類型時(shí),才使用hashtable編碼。
6. Zset(有序集合)
使用方式
Redis中的Zset(有序集合)是一個(gè)鍵值對(duì)集合,其中每個(gè)元素都關(guān)聯(lián)一個(gè)分值(score),通過分值進(jìn)行排序,可以看作是一個(gè)字典(dict)和一個(gè)跳躍列表(skip list)的混合體,它可以存儲(chǔ)多個(gè)相同的元素,但每個(gè)元素必須有一個(gè)唯一的score值。
支持的操作包括:
使用場(chǎng)景
Redis Zset是一種有序集合,其使用場(chǎng)景主要包括以下幾個(gè)方面:
- 排行榜:使用Zset類型可以實(shí)現(xiàn)排行榜功能,將每個(gè)用戶的得分作為元素值插入到集合中,使用ZADD、ZINCRBY、ZREM等命令進(jìn)行排名操作,使用ZRANGE、ZREVRANGE命令查詢排名前幾的用戶。
- 最近訪問記錄:使用Zset類型可以用于記錄最近訪問的記錄,將最新的訪問記錄插入集合中,使用ZREMRANGEBYRANK命令刪除最舊的記錄,使用ZRANGE命令查詢最近訪問的記錄。
- 計(jì)數(shù)器:Redis Zset可以用于實(shí)現(xiàn)計(jì)數(shù)器功能,比如統(tǒng)計(jì)某個(gè)頁面的訪問次數(shù)、統(tǒng)計(jì)某個(gè)廣告的點(diǎn)擊量等。將頁面ID或廣告ID作為成員(member)存儲(chǔ)在Zset中,以訪問次數(shù)或點(diǎn)擊量作為分?jǐn)?shù)(score)存儲(chǔ)。
- 好友關(guān)系:Redis Zset可以用于存儲(chǔ)用戶之間的關(guān)注關(guān)系以及用戶之間的互動(dòng),比如點(diǎn)贊、評(píng)論等。可以將用戶ID作為成員(member)存儲(chǔ)在Zset中,將時(shí)間戳或者其他標(biāo)識(shí)作為分?jǐn)?shù)(score)存儲(chǔ),以此記錄用戶之間的互動(dòng)情況。
內(nèi)部編碼
Redis Zset的內(nèi)部編碼有兩種:
- ziplist編碼:當(dāng)Zset中元素個(gè)數(shù)小于128個(gè),并且所有元素的長度都小于64字節(jié)時(shí),Redis會(huì)使用ziplist編碼存儲(chǔ)Zset。這種編碼方式可以節(jié)省內(nèi)存空間,并且可以提高存取效率,但是不支持隨機(jī)訪問和范圍查詢。
- skiplist編碼:當(dāng)Zset中元素個(gè)數(shù)大于等于128個(gè),或者有一個(gè)元素的長度大于64字節(jié)時(shí),Redis會(huì)使用skiplist編碼存儲(chǔ)Zset。這種編碼方式支持高效的隨機(jī)訪問和范圍查詢,但是需要占用更多的內(nèi)存空間。
7. Geo(地理位置)
使用方式
Redis Geo(地理位置)是一個(gè)鍵值對(duì)集合,其中每個(gè)元素都包含一個(gè)經(jīng)度和緯度,可以用于存儲(chǔ)地理位置信息并支持基于位置的搜索。Redis Geo支持的操作包括:
Redis Geo類型適用于需要存儲(chǔ)地理位置信息并支持基于位置的搜索的場(chǎng)景,比如附近的人、附近的商家等。
使用場(chǎng)景
Redis Geo類型的使用場(chǎng)景如下:
- 位置服務(wù):用于存儲(chǔ)地理位置信息,如餐廳、商店、機(jī)場(chǎng)、醫(yī)院等的經(jīng)緯度信息,可以通過 Geo 庫提供的命令查詢指定范圍內(nèi)的所有商家信息。
- 車輛監(jiān)控:用于車輛位置跟蹤和監(jiān)控,可以將車輛的經(jīng)緯度信息存儲(chǔ)在 Redis 中,并通過 Geo 庫提供的命令查詢車輛的位置,以及在指定半徑內(nèi)的其他車輛信息。
- 物流配送:用于存儲(chǔ)配送員的位置信息,以及需要配送的訂單信息的經(jīng)緯度信息,可以通過 Geo 庫提供的命令查詢配送員在指定范圍內(nèi)的訂單信息,以提高配送效率。
- 電商推薦:用于存儲(chǔ)用戶的位置信息,以及商家和商品的經(jīng)緯度信息,可以通過 Geo 庫提供的命令查詢指定范圍內(nèi)的商家和商品信息,以提供更加精準(zhǔn)的推薦服務(wù)。
- 游戲地圖:用于存儲(chǔ)游戲地圖的位置信息和玩家的位置信息,可以通過 Geo 庫提供的命令查詢玩家在游戲地圖上的位置,以及在指定半徑內(nèi)的其他玩家信息,以提供更加豐富的游戲體驗(yàn)。
- 社交應(yīng)用:用于存儲(chǔ)用戶的位置信息,以及附近的其他用戶的位置信息,可以通過 Geo 庫提供的命令查詢指定范圍內(nèi)的用戶信息,以提供更加精準(zhǔn)的社交服務(wù)。
內(nèi)部編碼
Redis Geo類型內(nèi)部使用zset來存儲(chǔ)地理位置信息,其中元素的score值為經(jīng)度,member值為經(jīng)緯度組合的字符串。在使用GEORADIUS和GEORADIUSBYMEMBER命令搜索元素時(shí),Redis會(huì)構(gòu)建一個(gè)跳躍表,以實(shí)現(xiàn)高效的搜索。
8. HyperLogLog(基數(shù)統(tǒng)計(jì))
使用方式
Redis HyperLogLog(基數(shù)統(tǒng)計(jì))是一種基于概率統(tǒng)計(jì)的數(shù)據(jù)結(jié)構(gòu),用于估計(jì)大型數(shù)據(jù)集合的基數(shù)(不重復(fù)元素的數(shù)量),以及對(duì)多個(gè)集合進(jìn)行并、交運(yùn)算等。HyperLogLog的優(yōu)點(diǎn)是可以使用極少的內(nèi)存空間,同時(shí)可以保證較高的準(zhǔn)確性。
每個(gè) HyperLogLog 鍵只需要花費(fèi) 12 KB 內(nèi)存,就可以計(jì)算接近 2^64 個(gè)不同元素的基數(shù)。
使用場(chǎng)景
HyperLogLog的使用場(chǎng)景主要包括以下幾個(gè)方面:
- 用戶去重:使用HyperLogLog可以對(duì)海量的用戶數(shù)據(jù)進(jìn)行去重,快速地統(tǒng)計(jì)出不重復(fù)的用戶數(shù)量。
- 網(wǎng)站UV統(tǒng)計(jì):使用HyperLogLog可以對(duì)網(wǎng)站的訪問日志進(jìn)行分析,統(tǒng)計(jì)出每天、每周、每月的獨(dú)立訪客數(shù)量。
- 廣告點(diǎn)擊統(tǒng)計(jì):使用HyperLogLog可以對(duì)廣告的點(diǎn)擊數(shù)據(jù)進(jìn)行分析,統(tǒng)計(jì)出獨(dú)立點(diǎn)擊用戶的數(shù)量,以及對(duì)多個(gè)廣告進(jìn)行并、交運(yùn)算等。
- 數(shù)據(jù)庫查詢優(yōu)化:使用HyperLogLog可以對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行去重,減少查詢的數(shù)據(jù)量,提高查詢效率。
- 分布式計(jì)算:使用HyperLogLog可以在分布式系統(tǒng)中對(duì)數(shù)據(jù)進(jìn)行去重、并、交等操作,以支持分布式計(jì)算。
使用HyperLogLog可以大大減少內(nèi)存占用和計(jì)算時(shí)間,是處理大數(shù)據(jù)量去重計(jì)數(shù)的有效工具。
內(nèi)部編碼
Redis HyperLogLog類型的內(nèi)部編碼使用的"稀疏矩陣"和”稠密矩陣“。
當(dāng)計(jì)數(shù)較少時(shí),采用”稀疏矩陣“,其中絕大部分元素都是0。計(jì)數(shù)增多后,超過閾值后,會(huì)轉(zhuǎn)換成”稠密矩陣“。
9. Bitmaps(位圖)
使用方式
Redis Bitmaps(位圖)是一種緊湊的數(shù)據(jù)結(jié)構(gòu),可以用于表示一個(gè)只有0和1的數(shù)組。位圖可以用于高效地存儲(chǔ)大規(guī)模的布爾值,以及進(jìn)行位運(yùn)算、位圖圖形化等操作。Redis Bitmaps支持的操作包括:
使用場(chǎng)景
Redis Bitmaps適用于需要高效地存儲(chǔ)大規(guī)模的布爾值,并進(jìn)行位運(yùn)算、統(tǒng)計(jì)等操作的場(chǎng)景。比如:
- 統(tǒng)計(jì)在線用戶數(shù):使用Bitmaps類型來表示用戶的在線狀態(tài),例如一個(gè)bit位表示一個(gè)用戶,當(dāng)用戶登錄時(shí)將對(duì)應(yīng)的bit位置為1,當(dāng)用戶退出時(shí)將其位置為0。這樣可以非常方便地進(jìn)行在線用戶的統(tǒng)計(jì)。
- 黑白名單統(tǒng)計(jì):在網(wǎng)絡(luò)安全中,可以使用位圖記錄IP地址的訪問情況、黑白名單等信息。
- 統(tǒng)計(jì)用戶訪問行為:例如將每個(gè)頁面或功能點(diǎn)表示為一個(gè)bit位,用戶訪問時(shí)將對(duì)應(yīng)的bit位置為1,未訪問則為0。這樣就可以方便地統(tǒng)計(jì)用戶的訪問習(xí)慣,了解用戶對(duì)產(chǎn)品的喜好和熱點(diǎn)等信息。
- 布隆過濾器:這是最常用的場(chǎng)景,布隆過濾器是一種用于快速判斷某個(gè)元素是否在集合中的算法,在大數(shù)據(jù)量場(chǎng)景下其效率非常高。Redis的Bitmaps類型可以用來實(shí)現(xiàn)布隆過濾器,節(jié)約存儲(chǔ)空間,并提高查詢效率。
內(nèi)部編碼
Redis Bitmaps類型的內(nèi)部編碼使用了一種稱為“壓縮位圖”的數(shù)據(jù)結(jié)構(gòu)。它通過使用兩個(gè)數(shù)組來存儲(chǔ)位圖數(shù)據(jù):一個(gè)存儲(chǔ)實(shí)際位的值,另一個(gè)存儲(chǔ)每個(gè)字節(jié)中1的個(gè)數(shù)。這種編碼方式可以大大壓縮位圖數(shù)據(jù)的大小。