Redis 是目前最火爆的內(nèi)存數(shù)據(jù)庫之一，通過在內(nèi)存中讀寫數(shù)據(jù)，大大提高了讀寫速度，可以說 Redis 是實(shí)現(xiàn)網(wǎng)站高并發(fā)不可或缺的一部分。

我們使用 Redis 時(shí)，會接觸 Redis 的 5 種對象類型（字符串、哈希、列表、集合、有序集合），豐富的類型是 Redis 相對于 Memcached 等的一大優(yōu)勢。

在了解 Redis 的 5 種對象類型的用法和特點(diǎn)的基礎(chǔ)上，進(jìn)一步了解 Redis 的內(nèi)存模型，對 Redis 的使用有很大幫助，例如：

• 估算 Redis 內(nèi)存使用量。目前為止，內(nèi)存的使用成本仍然相對較高，使用內(nèi)存不能無所顧忌；根據(jù)需求合理的評估 Redis 的內(nèi)存使用量，選擇合適的機(jī)器配置，可以在滿足需求的情況下節(jié)約成本。
• 優(yōu)化內(nèi)存占用。了解 Redis 內(nèi)存模型可以選擇更合適的數(shù)據(jù)類型和編碼，更好的利用 Redis 內(nèi)存。
• 分析解決問題。當(dāng) Redis 出現(xiàn)阻塞、內(nèi)存占用等問題時(shí)，盡快發(fā)現(xiàn)導(dǎo)致問題的原因，便于分析解決問題。

這篇文章主要介紹 Redis 的內(nèi)存模型（以 3.0 為例），包括 Redis 占用內(nèi)存的情況及如何查詢、不同的對象類型在內(nèi)存中的編碼方式、內(nèi)存分配器(jemalloc)、簡單動態(tài)字符串(SDS)、RedisObject 等；然后在此基礎(chǔ)上介紹幾個(gè) Redis 內(nèi)存模型的應(yīng)用。

Redis 內(nèi)存統(tǒng)計(jì)

工欲善其事必先利其器，在說明 Redis 內(nèi)存之前首先說明如何統(tǒng)計(jì) Redis 使用內(nèi)存的情況。

在客戶端通過 redis-cli 連接服務(wù)器后（后面如無特殊說明，客戶端一律使用redis-cli），通過 info 命令可以查看內(nèi)存使用情況：info memory。

其中，info 命令可以顯示 Redis 服務(wù)器的許多信息，包括服務(wù)器基本信息、CPU、內(nèi)存、持久化、客戶端連接信息等等；Memory 是參數(shù)，表示只顯示內(nèi)存相關(guān)的信息。

返回結(jié)果中比較重要的幾個(gè)說明如下：

used_memory

Redis 分配器分配的內(nèi)存總量（單位是字節(jié)），包括使用的虛擬內(nèi)存（即 swap）；Redis 分配器后面會介紹。used_memory_human 只是顯示更友好。

used_memory_rss

Redis 進(jìn)程占據(jù)操作系統(tǒng)的內(nèi)存（單位是字節(jié)），與 top 及 ps 命令看到的值是一致的。

除了分配器分配的內(nèi)存之外，used_memory_rss 還包括進(jìn)程運(yùn)行本身需要的內(nèi)存、內(nèi)存碎片等，但是不包括虛擬內(nèi)存。

因此，used_memory 和 used_memory_rss，前者是從 Redis 角度得到的量，后者是從操作系統(tǒng)角度得到的量。

二者之所以有所不同，一方面是因?yàn)閮?nèi)存碎片和 Redis 進(jìn)程運(yùn)行需要占用內(nèi)存，使得前者可能比后者小，另一方面虛擬內(nèi)存的存在，使得前者可能比后者大。

由于在實(shí)際應(yīng)用中，Redis 的數(shù)據(jù)量會比較大，此時(shí)進(jìn)程運(yùn)行占用的內(nèi)存與 Redis 數(shù)據(jù)量和內(nèi)存碎片相比，都會小得多。

因此 used_memory_rss 和 used_memory 的比例，便成了衡量 Redis 內(nèi)存碎片率的參數(shù)；這個(gè)參數(shù)就是 mem_fragmentation_ratio。

mem_fragmentation_ratio

內(nèi)存碎片比率，該值是 used_memory_rss / used_memory 的比值。

mem_fragmentation_ratio 一般大于 1，且該值越大，內(nèi)存碎片比例越大；mem_fragmentation_ratio<1，說明 Redis 使用了虛擬內(nèi)存，由于虛擬內(nèi)存的媒介是磁盤，比內(nèi)存速度要慢很多。

當(dāng)這種情況出現(xiàn)時(shí)，應(yīng)該及時(shí)排查，如果內(nèi)存不足應(yīng)該及時(shí)處理，如增加 Redis 節(jié)點(diǎn)、增加 Redis 服務(wù)器的內(nèi)存、優(yōu)化應(yīng)用等。

一般來說，mem_fragmentation_ratio 在 1.03 左右是比較健康的狀態(tài)（對于 jemalloc 來說）。

上面截圖中的 mem_fragmentation_ratio 值很大，是因?yàn)檫€沒有向 Redis 中存入數(shù)據(jù)，Redis 進(jìn)程本身運(yùn)行的內(nèi)存使得 used_memory_rss 比 used_memory 大得多。

mem_allocator

Redis 使用的內(nèi)存分配器，在編譯時(shí)指定；可以是 libc 、jemalloc 或者 tcmalloc，默認(rèn)是 jemalloc；截圖中使用的便是默認(rèn)的 jemalloc。

Redis 內(nèi)存劃分

Redis 作為內(nèi)存數(shù)據(jù)庫，在內(nèi)存中存儲的內(nèi)容主要是數(shù)據(jù)（鍵值對）；通過前面的敘述可以知道，除了數(shù)據(jù)以外，Redis 的其他部分也會占用內(nèi)存。

Redis 的內(nèi)存占用主要可以劃分為以下幾個(gè)部分：

數(shù)據(jù)

作為數(shù)據(jù)庫，數(shù)據(jù)是最主要的部分；這部分占用的內(nèi)存會統(tǒng)計(jì)在 used_memory 中。

Redis 使用鍵值對存儲數(shù)據(jù)，其中的值（對象）包括 5 種類型，即字符串、哈希、列表、集合、有序集合。

這 5 種類型是 Redis 對外提供的，實(shí)際上，在 Redis 內(nèi)部，每種類型可能有 2 種或更多的內(nèi)部編碼實(shí)現(xiàn)。

此外，Redis 在存儲對象時(shí)，并不是直接將數(shù)據(jù)扔進(jìn)內(nèi)存，而是會對對象進(jìn)行各種包裝：如 RedisObject、SDS 等；這篇文章后面將重點(diǎn)介紹 Redis 中數(shù)據(jù)存儲的細(xì)節(jié)。

進(jìn)程本身運(yùn)行需要的內(nèi)存

Redis 主進(jìn)程本身運(yùn)行肯定需要占用內(nèi)存，如代碼、常量池等等；這部分內(nèi)存大約幾兆，在大多數(shù)生產(chǎn)環(huán)境中與 Redis 數(shù)據(jù)占用的內(nèi)存相比可以忽略。

這部分內(nèi)存不是由 jemalloc 分配，因此不會統(tǒng)計(jì)在 used_memory 中。

補(bǔ)充說明：除了主進(jìn)程外，Redis 創(chuàng)建的子進(jìn)程運(yùn)行也會占用內(nèi)存，如 Redis 執(zhí)行 AOF、RDB 重寫時(shí)創(chuàng)建的子進(jìn)程。

當(dāng)然，這部分內(nèi)存不屬于 Redis 進(jìn)程，也不會統(tǒng)計(jì)在 used_memory 和 used_memory_rss 中。

緩沖內(nèi)存

緩沖內(nèi)存包括客戶端緩沖區(qū)、復(fù)制積壓緩沖區(qū)、AOF 緩沖區(qū)等；其中，客戶端緩沖區(qū)存儲客戶端連接的輸入輸出緩沖；復(fù)制積壓緩沖區(qū)用于部分復(fù)制功能；AOF 緩沖區(qū)用于在進(jìn)行 AOF 重寫時(shí)，保存最近的寫入命令。

在了解相應(yīng)功能之前，不需要知道這些緩沖的細(xì)節(jié)；這部分內(nèi)存由 jemalloc 分配，因此會統(tǒng)計(jì)在 used_memory 中。

內(nèi)存碎片

內(nèi)存碎片是 Redis 在分配、回收物理內(nèi)存過程中產(chǎn)生的。例如，如果對數(shù)據(jù)的更改頻繁，而且數(shù)據(jù)之間的大小相差很大，可能導(dǎo)致 Redis 釋放的空間在物理內(nèi)存中并沒有釋放。

但 Redis 又無法有效利用，這就形成了內(nèi)存碎片，內(nèi)存碎片不會統(tǒng)計(jì)在 used_memory 中。

內(nèi)存碎片的產(chǎn)生與對數(shù)據(jù)進(jìn)行的操作、數(shù)據(jù)的特點(diǎn)等都有關(guān)；此外，與使用的內(nèi)存分配器也有關(guān)系：如果內(nèi)存分配器設(shè)計(jì)合理，可以盡可能的減少內(nèi)存碎片的產(chǎn)生。后面將要說到的 jemalloc 便在控制內(nèi)存碎片方面做的很好。

如果 Redis 服務(wù)器中的內(nèi)存碎片已經(jīng)很大，可以通過安全重啟的方式減小內(nèi)存碎片：因?yàn)橹貑⒅?，Redis 重新從備份文件中讀取數(shù)據(jù)，在內(nèi)存中進(jìn)行重排，為每個(gè)數(shù)據(jù)重新選擇合適的內(nèi)存單元，減小內(nèi)存碎片。

Redis 數(shù)據(jù)存儲的細(xì)節(jié)

關(guān)于 Redis 數(shù)據(jù)存儲的細(xì)節(jié)，涉及到內(nèi)存分配器（如 jemalloc）、簡單動態(tài)字符串（SDS）、5 種對象類型及內(nèi)部編碼、RedisObject。在講述具體內(nèi)容之前，先說明一下這幾個(gè)概念之間的關(guān)系。

下圖是執(zhí)行 set hello world 時(shí)，所涉及到的數(shù)據(jù)模型：

dictEntry：Redis 是 Key-Value 數(shù)據(jù)庫，因此對每個(gè)鍵值對都會有一個(gè) dictEntry，里面存儲了指向 Key 和 Value 的指針；next 指向下一個(gè) dictEntry，與本 Key-Value 無關(guān)。

Key：圖中右上角可見，Key（”hello”）并不是直接以字符串存儲，而是存儲在 SDS 結(jié)構(gòu)中。

RedisObject：Value(“world”)既不是直接以字符串存儲，也不是像 Key 一樣直接存儲在 SDS 中，而是存儲在 RedisObject 中。

實(shí)際上，不論 Value 是 5 種類型的哪一種，都是通過 RedisObject 來存儲的；而 RedisObject 中的 type 字段指明了 Value 對象的類型，ptr 字段則指向?qū)ο笏诘牡刂贰?/p>

不過可以看出，字符串對象雖然經(jīng)過了 RedisObject 的包裝，但仍然需要通過 SDS 存儲。

實(shí)際上，RedisObject 除了 type 和 ptr 字段以外，還有其他字段圖中沒有給出，如用于指定對象內(nèi)部編碼的字段。

jemalloc：無論是 DictEntry 對象，還是 RedisObject、SDS 對象，都需要內(nèi)存分配器（如 jemalloc）分配內(nèi)存進(jìn)行存儲。

以 DictEntry 對象為例，有 3 個(gè)指針組成，在 64 位機(jī)器下占 24 個(gè)字節(jié)，jemalloc 會為它分配 32 字節(jié)大小的內(nèi)存單元。

下面來分別介紹 jemalloc、RedisObject、SDS、對象類型及內(nèi)部編碼。

jemalloc

Redis 在編譯時(shí)便會指定內(nèi)存分配器；內(nèi)存分配器可以是 libc 、jemalloc 或者 tcmalloc，默認(rèn)是 jemalloc。

jemalloc 作為 Redis 的默認(rèn)內(nèi)存分配器，在減小內(nèi)存碎片方面做的相對比較好。

jemalloc 在 64 位系統(tǒng)中，將內(nèi)存空間劃分為小、大、巨大三個(gè)范圍；每個(gè)范圍內(nèi)又劃分了許多小的內(nèi)存塊單位；當(dāng) Redis 存儲數(shù)據(jù)時(shí)，會選擇大小最合適的內(nèi)存塊進(jìn)行存儲。

jemalloc 劃分的內(nèi)存單元如下圖所示：

例如，如果需要存儲大小為 130 字節(jié)的對象，jemalloc 會將其放入 160 字節(jié)的內(nèi)存單元中。

RedisObject

前面說到，Redis 對象有 5 種類型；無論是哪種類型，Redis 都不會直接存儲，而是通過 RedisObject 對象進(jìn)行存儲。

RedisObject 對象非常重要，Redis 對象的類型、內(nèi)部編碼、內(nèi)存回收、共享對象等功能，都需要 RedisObject 支持，下面將通過 RedisObject 的結(jié)構(gòu)來說明它是如何起作用的。

RedisObject 的定義如下（不同版本的 Redis 可能稍稍有所不同）：

RedisObject 的每個(gè)字段的含義和作用如下：

type

type 字段表示對象的類型，占 4 個(gè)比特；目前包括 REDIS_STRING(字符串)、REDIS_LIST (列表)、REDIS_HASH(哈希)、REDIS_SET(集合)、REDIS_ZSET(有序集合)。

當(dāng)我們執(zhí)行 type 命令時(shí)，便是通過讀取 RedisObject 的 type 字段獲得對象的類型；如下圖所示：

encoding

encoding 表示對象的內(nèi)部編碼，占 4 個(gè)比特。對于 Redis 支持的每種類型，都有至少兩種內(nèi)部編碼，例如對于字符串，有 int、embstr、raw 三種編碼。

通過 encoding 屬性，Redis 可以根據(jù)不同的使用場景來為對象設(shè)置不同的編碼，大大提高了 Redis 的靈活性和效率。

以列表對象為例，有壓縮列表和雙端鏈表兩種編碼方式；如果列表中的元素較少，Redis 傾向于使用壓縮列表進(jìn)行存儲，因?yàn)閴嚎s列表占用內(nèi)存更少，而且比雙端鏈表可以更快載入。

當(dāng)列表對象元素較多時(shí)，壓縮列表就會轉(zhuǎn)化為更適合存儲大量元素的雙端鏈表。

通過 object encoding 命令，可以查看對象采用的編碼方式，如下圖所示：

5 種對象類型對應(yīng)的編碼方式以及使用條件，將在后面介紹。

lru

lru 記錄的是對象***一次被命令程序訪問的時(shí)間，占據(jù)的比特?cái)?shù)不同的版本有所不同（如 4.0 版本占 24 比特，2.6 版本占 22 比特）。

通過對比 lru 時(shí)間與當(dāng)前時(shí)間，可以計(jì)算某個(gè)對象的空轉(zhuǎn)時(shí)間；object idletime 命令可以顯示該空轉(zhuǎn)時(shí)間（單位是秒）。object idletime 命令的一個(gè)特殊之處在于它不改變對象的 lru 值。

lru 值除了通過 object idletime 命令打印之外，還與 Redis 的內(nèi)存回收有關(guān)系。

如果 Redis 打開了 maxmemory 選項(xiàng)，且內(nèi)存回收算法選擇的是 volatile-lru 或 allkeys—lru，那么當(dāng) Redis 內(nèi)存占用超過 maxmemory 指定的值時(shí)，Redis 會優(yōu)先選擇空轉(zhuǎn)時(shí)間最長的對象進(jìn)行釋放。

refcount

refcount 與共享對象：refcount 記錄的是該對象被引用的次數(shù)，類型為整型。refcount 的作用，主要在于對象的引用計(jì)數(shù)和內(nèi)存回收。

當(dāng)創(chuàng)建新對象時(shí)，refcount 初始化為 1；當(dāng)有新程序使用該對象時(shí)，refcount 加 1；當(dāng)對象不再被一個(gè)新程序使用時(shí)，refcount 減 1；當(dāng) refcount 變?yōu)?0 時(shí)，對象占用的內(nèi)存會被釋放。

Redis 中被多次使用的對象(refcount>1)，稱為共享對象。Redis 為了節(jié)省內(nèi)存，當(dāng)有一些對象重復(fù)出現(xiàn)時(shí)，新的程序不會創(chuàng)建新的對象，而是仍然使用原來的對象。

這個(gè)被重復(fù)使用的對象，就是共享對象。目前共享對象僅支持整數(shù)值的字符串對象。

共享對象的具體實(shí)現(xiàn)：Redis 的共享對象目前只支持整數(shù)值的字符串對象。之所以如此，實(shí)際上是對內(nèi)存和 CPU（時(shí)間）的平衡：共享對象雖然會降低內(nèi)存消耗，但是判斷兩個(gè)對象是否相等卻需要消耗額外的時(shí)間。

對于整數(shù)值，判斷操作復(fù)雜度為 O(1)；對于普通字符串，判斷復(fù)雜度為 O(n)；而對于哈希、列表、集合和有序集合，判斷的復(fù)雜度為 O(n^2)。

雖然共享對象只能是整數(shù)值的字符串對象，但是5種類型都可能使用共享對象（如哈希、列表等的元素可以使用）。

就目前的實(shí)現(xiàn)來說，Redis 服務(wù)器在初始化時(shí)，會創(chuàng)建 10000 個(gè)字符串對象，值分別是 0~9999 的整數(shù)值；當(dāng) Redis 需要使用值為 0~9999 的字符串對象時(shí)，可以直接使用這些共享對象。

10000 這個(gè)數(shù)字可以通過調(diào)整參數(shù) REDIS_SHARED_INTEGERS（4.0 中是 OBJ_SHARED_INTEGERS）的值進(jìn)行改變。

共享對象的引用次數(shù)可以通過 object refcount 命令查看，如下圖所示。命令執(zhí)行的結(jié)果頁佐證了只有 0~9999 之間的整數(shù)會作為共享對象。

ptr

ptr 指針指向具體的數(shù)據(jù)，如前面的例子中，set hello world，ptr 指向包含字符串 world 的 SDS。

綜上所述，RedisObject 的結(jié)構(gòu)與對象類型、編碼、內(nèi)存回收、共享對象都有關(guān)系。

一個(gè) RedisObject 對象的大小為 16 字節(jié)：4bit+4bit+24bit+4Byte+8Byte=16Byte。

SDS

Redis 沒有直接使用 C 字符串(即以空字符’\0’結(jié)尾的字符數(shù)組)作為默認(rèn)的字符串表示，而是使用了 SDS。SDS 是簡單動態(tài)字符串(Simple Dynamic String)的縮寫。

SDS 結(jié)構(gòu)

SDS 的結(jié)構(gòu)如下：

其中，buf 表示字節(jié)數(shù)組，用來存儲字符串；len 表示 buf 已使用的長度；free 表示 buf 未使用的長度。

下面是兩個(gè)例子：

通過 SDS 的結(jié)構(gòu)可以看出，buf 數(shù)組的長度=free+len+1（其中 1 表示字符串結(jié)尾的空字符）。

所以，一個(gè) SDS 結(jié)構(gòu)占據(jù)的空間為：free 所占長度+len 所占長度+ buf 數(shù)組的長度=4+4+free+len+1=free+len+9。

SDS 與 C 字符串的比較

SDS 在 C 字符串的基礎(chǔ)上加入了 free 和 len 字段，帶來了很多好處：

獲取字符串長度：SDS 是 O(1)，C 字符串是 O(n)。

緩沖區(qū)溢出：使用 C 字符串的 API 時(shí)，如果字符串長度增加（如 strcat 操作）而忘記重新分配內(nèi)存，很容易造成緩沖區(qū)的溢出。

而 SDS 由于記錄了長度，相應(yīng)的 API 在可能造成緩沖區(qū)溢出時(shí)會自動重新分配內(nèi)存，杜絕了緩沖區(qū)溢出。

修改字符串時(shí)內(nèi)存的重分配：對于 C 字符串，如果要修改字符串，必須要重新分配內(nèi)存（先釋放再申請），因?yàn)槿绻麤]有重新分配，字符串長度增大時(shí)會造成內(nèi)存緩沖區(qū)溢出，字符串長度減小時(shí)會造成內(nèi)存泄露。

而對于 SDS，由于可以記錄 len 和 free，因此解除了字符串長度和空間數(shù)組長度之間的關(guān)聯(lián)，可以在此基礎(chǔ)上進(jìn)行優(yōu)化。

空間預(yù)分配策略（即分配內(nèi)存時(shí)比實(shí)際需要的多）使得字符串長度增大時(shí)重新分配內(nèi)存的概率大大減??；惰性空間釋放策略使得字符串長度減小時(shí)重新分配內(nèi)存的概率大大減小。

存取二進(jìn)制數(shù)據(jù)：SDS 可以，C 字符串不可以。因?yàn)?C 字符串以空字符作為字符串結(jié)束的標(biāo)識，而對于一些二進(jìn)制文件（如圖片等）。

內(nèi)容可能包括空字符串，因此 C 字符串無法正確存取；而 SDS 以字符串長度 len 來作為字符串結(jié)束標(biāo)識，因此沒有這個(gè)問題。

此外，由于 SDS 中的 buf 仍然使用了 C 字符串（即以’\0’結(jié)尾），因此 SDS 可以使用 C 字符串庫中的部分函數(shù)。

但是需要注意的是，只有當(dāng) SDS 用來存儲文本數(shù)據(jù)時(shí)才可以這樣使用，在存儲二進(jìn)制數(shù)據(jù)時(shí)則不行（’\0’不一定是結(jié)尾）。

SDS 與 C 字符串的應(yīng)用

Redis 在存儲對象時(shí)，一律使用 SDS 代替 C 字符串。例如 set hello world 命令，hello 和 world 都是以 SDS 的形式存儲的。

而 sadd myset member1 member2 member3 命令，不論是鍵（“myset”），還是集合中的元素（“member1”、 “member2”和“member3”），都是以 SDS 的形式存儲。

除了存儲對象，SDS 還用于存儲各種緩沖區(qū)。只有在字符串不會改變的情況下，如打印日志時(shí)，才會使用 C 字符串。

Redis 的對象類型與內(nèi)部編碼

前面已經(jīng)說過，Redis 支持 5 種對象類型，而每種結(jié)構(gòu)都有至少兩種編碼。

這樣做的好處在于：一方面接口與實(shí)現(xiàn)分離，當(dāng)需要增加或改變內(nèi)部編碼時(shí)，用戶使用不受影響，另一方面可以根據(jù)不同的應(yīng)用場景切換內(nèi)部編碼，提高效率。

Redis 各種對象類型支持的內(nèi)部編碼如下圖所示(圖中版本是 Redis3.0，Redis 后面版本中又增加了內(nèi)部編碼，略過不提；本章所介紹的內(nèi)部編碼都是基于 3.0 的)：

關(guān)于 Redis 內(nèi)部編碼的轉(zhuǎn)換，都符合以下規(guī)律：編碼轉(zhuǎn)換在 Redis 寫入數(shù)據(jù)時(shí)完成，且轉(zhuǎn)換過程不可逆，只能從小內(nèi)存編碼向大內(nèi)存編碼轉(zhuǎn)換。

字符串

字符串是最基礎(chǔ)的類型，因?yàn)樗械逆I都是字符串類型，且字符串之外的其他幾種復(fù)雜類型的元素也是字符串，字符串長度不能超過 512MB。

內(nèi)部編碼

字符串類型的內(nèi)部編碼有 3 種，它們的應(yīng)用場景如下：

int：8 個(gè)字節(jié)的長整型。字符串值是整型時(shí)，這個(gè)值使用 long 整型表示。

embstr：<=39 字節(jié)的字符串。embstr 與 raw 都使用 RedisObject 和 sds 保存數(shù)據(jù)。

區(qū)別在于：embstr 的使用只分配一次內(nèi)存空間（因此 RedisObject 和 sds 是連續(xù)的），而 raw 需要分配兩次內(nèi)存空間（分別為 RedisObject 和 sds 分配空間）。

因此與 raw 相比，embstr 的好處在于創(chuàng)建時(shí)少分配一次空間，刪除時(shí)少釋放一次空間，以及對象的所有數(shù)據(jù)連在一起，尋找方便。

而 embstr 的壞處也很明顯，如果字符串的長度增加需要重新分配內(nèi)存時(shí)，整個(gè) RedisObject 和 sds 都需要重新分配空間，因此 Redis 中的 embstr 實(shí)現(xiàn)為只讀。

raw：大于 39 個(gè)字節(jié)的字符串。

示例如下圖所示：

embstr 和 raw 進(jìn)行區(qū)分的長度，是 39；是因?yàn)?RedisObject 的長度是 16 字節(jié)，sds 的長度是 9+ 字符串長度。

因此當(dāng)字符串長度是 39 時(shí)，embstr 的長度正好是 16+9+39=64，jemalloc 正好可以分配 64 字節(jié)的內(nèi)存單元。

編碼轉(zhuǎn)換

當(dāng) int 數(shù)據(jù)不再是整數(shù)，或大小超過了 long 的范圍時(shí)，自動轉(zhuǎn)化為 raw。

而對于 embstr，由于其實(shí)現(xiàn)是只讀的，因此在對 embstr 對象進(jìn)行修改時(shí)，都會先轉(zhuǎn)化為 raw 再進(jìn)行修改。

因此，只要是修改 embstr 對象，修改后的對象一定是 raw 的，無論是否達(dá)到了 39 個(gè)字節(jié)。

示例如下圖所示：

列表

列表（list）用來存儲多個(gè)有序的字符串，每個(gè)字符串稱為元素；一個(gè)列表可以存儲 2^32-1 個(gè)元素。

Redis 中的列表支持兩端插入和彈出，并可以獲得指定位置（或范圍）的元素，可以充當(dāng)數(shù)組、隊(duì)列、棧等。

內(nèi)部編碼

列表的內(nèi)部編碼可以是壓縮列表（ziplist）或雙端鏈表（linkedlist）。

雙端鏈表：由一個(gè) list 結(jié)構(gòu)和多個(gè) listNode 結(jié)構(gòu)組成；典型結(jié)構(gòu)如下圖所示：

通過圖中可以看出，雙端鏈表同時(shí)保存了表頭指針和表尾指針，并且每個(gè)節(jié)點(diǎn)都有指向前和指向后的指針。

鏈表中保存了列表的長度；dup、free 和 match 為節(jié)點(diǎn)值設(shè)置類型特定函數(shù)。

所以鏈表可以用于保存各種不同類型的值，而鏈表中每個(gè)節(jié)點(diǎn)指向的是type為字符串的 RedisObject。

壓縮列表：壓縮列表是 Redis 為了節(jié)約內(nèi)存而開發(fā)的，是由一系列特殊編碼的連續(xù)內(nèi)存塊(而不是像雙端鏈表一樣每個(gè)節(jié)點(diǎn)是指針)組成的順序型數(shù)據(jù)結(jié)構(gòu)，具體結(jié)構(gòu)相對比較復(fù)雜。

與雙端鏈表相比，壓縮列表可以節(jié)省內(nèi)存空間，但是進(jìn)行修改或增刪操作時(shí)，復(fù)雜度較高。

因此當(dāng)節(jié)點(diǎn)數(shù)量較少時(shí)，可以使用壓縮列表；但是節(jié)點(diǎn)數(shù)量多時(shí)，還是使用雙端鏈表劃算。

壓縮列表不僅用于實(shí)現(xiàn)列表，也用于實(shí)現(xiàn)哈希、有序列表；使用非常廣泛。

編碼轉(zhuǎn)換

只有同時(shí)滿足下面兩個(gè)條件時(shí)，才會使用壓縮列表：列表中元素?cái)?shù)量小于 512 個(gè)；列表中所有字符串對象都不足 64 字節(jié)。

如果有一個(gè)條件不滿足，則使用雙端列表；且編碼只可能由壓縮列表轉(zhuǎn)化為雙端鏈表，反方向則不可能。

下圖展示了列表編碼轉(zhuǎn)換的特點(diǎn)：

其中，單個(gè)字符串不能超過 64 字節(jié)，是為了便于統(tǒng)一分配每個(gè)節(jié)點(diǎn)的長度。

這里的 64 字節(jié)是指字符串的長度，不包括 SDS 結(jié)構(gòu)，因?yàn)閴嚎s列表使用連續(xù)、定長內(nèi)存塊存儲字符串，不需要 SDS 結(jié)構(gòu)指明長度。

后面提到壓縮列表，也會強(qiáng)調(diào)長度不超過 64 字節(jié)，原理與這里類似。

哈希

哈希（作為一種數(shù)據(jù)結(jié)構(gòu)），不僅是 Redis 對外提供的 5 種對象類型的一種（與字符串、列表、集合、有序結(jié)合并列），也是 Redis 作為 Key-Value 數(shù)據(jù)庫所使用的數(shù)據(jù)結(jié)構(gòu)。

為了說明的方便，在本文后面當(dāng)使用“內(nèi)層的哈希”時(shí)，代表的是 Redis 對外提供的 5 種對象類型的一種；使用“外層的哈希”代指 Redis 作為 Key-Value 數(shù)據(jù)庫所使用的數(shù)據(jù)結(jié)構(gòu)。

內(nèi)部編碼

內(nèi)層的哈希使用的內(nèi)部編碼可以是壓縮列表（ziplist）和哈希表（hashtable）2 種；Redis 的外層的哈希則只使用了 hashtable。

壓縮列表前面已介紹，與哈希表相比，壓縮列表用于元素個(gè)數(shù)少、元素長度小的場景；其優(yōu)勢在于集中存儲，節(jié)省空間。

同時(shí)，雖然對于元素的操作復(fù)雜度也由 O(n)變?yōu)榱?O(1)，但由于哈希中元素?cái)?shù)量較少，因此操作的時(shí)間并沒有明顯劣勢。

hashtable：一個(gè) hashtable 由 1 個(gè) dict 結(jié)構(gòu)、2 個(gè) dictht 結(jié)構(gòu)、1 個(gè) dictEntry 指針數(shù)組（稱為 bucket）和多個(gè) dictEntry 結(jié)構(gòu)組成。

正常情況下（即 hashtable 沒有進(jìn)行 rehash 時(shí)），各部分關(guān)系如下圖所示：

下面從底層向上依次介紹各個(gè)部分：

dictEntry：dictEntry 結(jié)構(gòu)用于保存鍵值對，結(jié)構(gòu)定義如下。

其中，各個(gè)屬性的功能如下：

• key：鍵值對中的鍵。
• val：鍵值對中的值，使用 union(即共用體)實(shí)現(xiàn)，存儲的內(nèi)容既可能是一個(gè)指向值的指針，也可能是 64 位整型，或無符號 64 位整型。
• next：指向下一個(gè) dictEntry，用于解決哈希沖突問題。

在 64 位系統(tǒng)中，一個(gè) dictEntry 對象占 24 字節(jié)（key/val/next 各占 8 字節(jié)）。

bucket：bucket 是一個(gè)數(shù)組，數(shù)組的每個(gè)元素都是指向 dictEntry 結(jié)構(gòu)的指針。

Redis 中 bucket 數(shù)組的大小計(jì)算規(guī)則如下：大于 dictEntry 的、最小的 2^n。

例如，如果有 1000 個(gè) dictEntry，那么 bucket 大小為 1024；如果有 1500 個(gè) dictEntry，則 bucket 大小為 2048。

dictht：dictht 結(jié)構(gòu)如下。

其中，各個(gè)屬性的功能說明如下：

• table 屬性是一個(gè)指針，指向 bucket。
• size 屬性記錄了哈希表的大小，即 bucket 的大小。
• used 記錄了已使用的 dictEntry 的數(shù)量。
• sizemask 屬性的值總是為 size-1，這個(gè)屬性和哈希值一起決定一個(gè)鍵在 table 中存儲的位置。

dict：一般來說，通過使用 dictht 和 dictEntry 結(jié)構(gòu)，便可以實(shí)現(xiàn)普通哈希表的功能。

但是 Redis 的實(shí)現(xiàn)中，在 dictht 結(jié)構(gòu)的上層，還有一個(gè) dict 結(jié)構(gòu)。下面說明 dict 結(jié)構(gòu)的定義及作用。

dict 結(jié)構(gòu)如下：

其中，type 屬性和 privdata 屬性是為了適應(yīng)不同類型的鍵值對，用于創(chuàng)建多態(tài)字典。

ht 屬性和 trehashidx 屬性則用于 rehash，即當(dāng)哈希表需要擴(kuò)展或收縮時(shí)使用。

ht 是一個(gè)包含兩個(gè)項(xiàng)的數(shù)組，每項(xiàng)都指向一個(gè) dictht 結(jié)構(gòu)，這也是 Redis 的哈希會有 1 個(gè) dict、2 個(gè) dictht 結(jié)構(gòu)的原因。

通常情況下，所有的數(shù)據(jù)都是存在放 dict 的 ht[0] 中，ht[1] 只在 rehash 的時(shí)候使用。

dict 進(jìn)行 rehash 操作的時(shí)候，將 ht[0] 中的所有數(shù)據(jù) rehash 到 ht[1] 中。然后將 ht[1] 賦值給 ht[0]，并清空 ht[1]。

因此，Redis 中的哈希之所以在 dictht 和 dictEntry 結(jié)構(gòu)之外還有一個(gè) dict 結(jié)構(gòu)，一方面是為了適應(yīng)不同類型的鍵值對，另一方面是為了 rehash。

編碼轉(zhuǎn)換

如前所述，Redis 中內(nèi)層的哈希既可能使用哈希表，也可能使用壓縮列表。

只有同時(shí)滿足下面兩個(gè)條件時(shí)，才會使用壓縮列表：哈希中元素?cái)?shù)量小于 512 個(gè)；哈希中所有鍵值對的鍵和值字符串長度都小于 64 字節(jié)。

如果有一個(gè)條件不滿足，則使用哈希表；且編碼只可能由壓縮列表轉(zhuǎn)化為哈希表，反方向則不可能。

下圖展示了 Redis 內(nèi)層的哈希編碼轉(zhuǎn)換的特點(diǎn)：

集合

集合（set）與列表類似，都是用來保存多個(gè)字符串，但集合與列表有兩點(diǎn)不同：集合中的元素是無序的，因此不能通過索引來操作元素；集合中的元素不能有重復(fù)。

一個(gè)集合中最多可以存儲 2^32-1 個(gè)元素；除了支持常規(guī)的增刪改查，Redis 還支持多個(gè)集合取交集、并集、差集。

內(nèi)部編碼

集合的內(nèi)部編碼可以是整數(shù)集合（intset）或哈希表（hashtable）。

哈希表前面已經(jīng)講過，這里略過不提；需要注意的是，集合在使用哈希表時(shí)，值全部被置為 null。

整數(shù)集合的結(jié)構(gòu)定義如下：

其中，encoding 代表 contents 中存儲內(nèi)容的類型，雖然 contents（存儲集合中的元素）是 int8_t 類型。

但實(shí)際上其存儲的值是 int16_t、int32_t 或 int64_t，具體的類型便是由 encoding 決定的，length 表示元素個(gè)數(shù)。

整數(shù)集合適用于集合所有元素都是整數(shù)且集合元素?cái)?shù)量較小的時(shí)候，與哈希表相比，整數(shù)集合的優(yōu)勢在于集中存儲，節(jié)省空間。

同時(shí)，雖然對于元素的操作復(fù)雜度也由 O(n) 變?yōu)榱?O(1)，但由于集合數(shù)量較少，因此操作的時(shí)間并沒有明顯劣勢。

編碼轉(zhuǎn)換

只有同時(shí)滿足下面兩個(gè)條件時(shí)，集合才會使用整數(shù)集合：集合中元素?cái)?shù)量小于 512 個(gè)，集合中所有元素都是整數(shù)值。

如果有一個(gè)條件不滿足，則使用哈希表；且編碼只可能由整數(shù)集合轉(zhuǎn)化為哈希表，反方向則不可能。

下圖展示了集合編碼轉(zhuǎn)換的特點(diǎn)：

有序集合

有序集合與集合一樣，元素都不能重復(fù)；但與集合不同的是，有序集合中的元素是有順序的。

與列表使用索引下標(biāo)作為排序依據(jù)不同，有序集合為每個(gè)元素設(shè)置一個(gè)分?jǐn)?shù)（score）作為排序依據(jù)。

內(nèi)部編碼

有序集合的內(nèi)部編碼可以是壓縮列表（ziplist）或跳躍表（skiplist）。ziplist 在列表和哈希中都有使用，前面已經(jīng)講過，這里略過不提。

跳躍表是一種有序數(shù)據(jù)結(jié)構(gòu)，通過在每個(gè)節(jié)點(diǎn)中維持多個(gè)指向其他節(jié)點(diǎn)的指針，從而達(dá)到快速訪問節(jié)點(diǎn)的目的。

除了跳躍表，實(shí)現(xiàn)有序數(shù)據(jù)結(jié)構(gòu)的另一種典型實(shí)現(xiàn)是平衡樹；大多數(shù)情況下，跳躍表的效率可以和平衡樹媲美，且跳躍表實(shí)現(xiàn)比平衡樹簡單很多，因此 Redis 中選用跳躍表代替平衡樹。

跳躍表支持平均 O(logN)、最壞 O(N) 的復(fù)雜點(diǎn)進(jìn)行節(jié)點(diǎn)查找，并支持順序操作。

Redis 的跳躍表實(shí)現(xiàn)由 zskiplist 和 zskiplistNode 兩個(gè)結(jié)構(gòu)組成：前者用于保存跳躍表信息（如頭結(jié)點(diǎn)、尾節(jié)點(diǎn)、長度等），后者用于表示跳躍表節(jié)點(diǎn)，具體結(jié)構(gòu)相對比較復(fù)雜。

編碼轉(zhuǎn)換

只有同時(shí)滿足下面兩個(gè)條件時(shí)，才會使用壓縮列表：有序集合中元素?cái)?shù)量小于 128 個(gè)；有序集合中所有成員長度都不足 64 字節(jié)。

如果有一個(gè)條件不滿足，則使用跳躍表；且編碼只可能由壓縮列表轉(zhuǎn)化為跳躍表，反方向則不可能。

下圖展示了有序集合編碼轉(zhuǎn)換的特點(diǎn)：

應(yīng)用舉例

了解 Redis 的內(nèi)存模型之后，下面通過幾個(gè)例子說明它的應(yīng)用。

估算 Redis 內(nèi)存使用量

要估算 Redis 中的數(shù)據(jù)占據(jù)的內(nèi)存大小，需要對 Redis 的內(nèi)存模型有比較全面的了解，包括前面介紹的 hashtable、sds、redisobject、各種對象類型的編碼方式等。

下面以最簡單的字符串類型來進(jìn)行說明。

假設(shè)有 90000 個(gè)鍵值對，每個(gè) key 的長度是 7 個(gè)字節(jié)，每個(gè) value 的長度也是 7 個(gè)字節(jié)（且 key 和 value 都不是整數(shù)），下面來估算這 90000 個(gè)鍵值對所占用的空間。

在估算占據(jù)空間之前，首先可以判定字符串類型使用的編碼方式：embstr。

90000 個(gè)鍵值對占據(jù)的內(nèi)存空間主要可以分為兩部分：

• 90000 個(gè) dictEntry 占據(jù)的空間。
• 鍵值對所需要的 bucket 空間。

每個(gè) dictEntry 占據(jù)的空間包括：

• 一個(gè) dictEntry，24 字節(jié)，jemalloc 會分配 32 字節(jié)的內(nèi)存塊。
• 一個(gè) key，7 字節(jié)，所以 SDS(key)需要 7+9=16 個(gè)字節(jié)，jemalloc 會分配 16 字節(jié)的內(nèi)存塊。
• 一個(gè) RedisObject，16 字節(jié)，jemalloc 會分配 16 字節(jié)的內(nèi)存塊。
• 一個(gè) value，7 字節(jié)，所以 SDS(value)需要 7+9=16 個(gè)字節(jié)，jemalloc 會分配 16 字節(jié)的內(nèi)存塊。
• 綜上，一個(gè) dictEntry 需要 32+16+16+16=80 個(gè)字節(jié)。

bucket 空間：bucket 數(shù)組的大小為大于 90000 的最小的 2^n，是 131072；每個(gè) bucket 元素為 8 字節(jié)（因?yàn)?64 位系統(tǒng)中指針大小為 8 字節(jié)）。

因此，可以估算出這 90000 個(gè)鍵值對占據(jù)的內(nèi)存大小為：90000*80 + 131072*8 = 8248576。

下面寫個(gè)程序在 Redis 中驗(yàn)證一下：

運(yùn)行結(jié)果：8247552。

理論值與結(jié)果值誤差在萬分之 1.2，對于計(jì)算需要多少內(nèi)存來說，這個(gè)精度已經(jīng)足夠了。

之所以會存在誤差，是因?yàn)樵谖覀儾迦?90000 條數(shù)據(jù)之前 Redis 已分配了一定的 bucket 空間，而這些 bucket 空間尚未使用。

作為對比將 key 和 value 的長度由 7 字節(jié)增加到 8 字節(jié)，則對應(yīng)的 SDS 變?yōu)?17 個(gè)字節(jié)，jemalloc 會分配 32 個(gè)字節(jié)，因此每個(gè) dictEntry 占用的字節(jié)數(shù)也由 80 字節(jié)變?yōu)?112 字節(jié)。

此時(shí)估算這 90000 個(gè)鍵值對占據(jù)內(nèi)存大小為：90000*112 + 131072*8 = 11128576。

在Redis 中驗(yàn)證代碼如下（只修改插入數(shù)據(jù)的代碼）：

運(yùn)行結(jié)果：11128576，估算準(zhǔn)確。

對于字符串類型之外的其他類型，對內(nèi)存占用的估算方法是類似的，需要結(jié)合具體類型的編碼方式來確定。

優(yōu)化內(nèi)存占用

了解 Redis 的內(nèi)存模型，對優(yōu)化 Redis 內(nèi)存占用有很大幫助。下面介紹幾種優(yōu)化場景。

利用 jemalloc 特性進(jìn)行優(yōu)化

上一小節(jié)所講述的 90000 個(gè)鍵值便是一個(gè)例子。由于 jemalloc 分配內(nèi)存時(shí)數(shù)值是不連續(xù)的，因此 key/value 字符串變化一個(gè)字節(jié)，可能會引起占用內(nèi)存很大的變動，在設(shè)計(jì)時(shí)可以利用這一點(diǎn)。

例如，如果 key 的長度是 8 個(gè)字節(jié)，則 SDS 為 17 字節(jié)，jemalloc 分配 32 字節(jié)。

此時(shí)將 key 長度縮減為 7 個(gè)字節(jié)，則 SDS 為 16 字節(jié)，jemalloc 分配 16 字節(jié)；則每個(gè) key 所占用的空間都可以縮小一半。

使用整型/長整型

如果是整型/長整型，Redis 會使用 int 類型（8 字節(jié)）存儲來代替字符串，可以節(jié)省更多空間。

因此在可以使用長整型/整型代替字符串的場景下，盡量使用長整型/整型。

共享對象

利用共享對象，可以減少對象的創(chuàng)建（同時(shí)減少了 RedisObject 的創(chuàng)建），節(jié)省內(nèi)存空間。

目前 Redis 中的共享對象只包括 10000 個(gè)整數(shù)（0-9999）；可以通過調(diào)整 REDIS_SHARED_INTEGERS 參數(shù)提高共享對象的個(gè)數(shù)。

例如將 REDIS_SHARED_INTEGERS 調(diào)整到 20000，則 0-19999 之間的對象都可以共享。

考慮這樣一種場景：論壇網(wǎng)站在 Redis 中存儲了每個(gè)帖子的瀏覽數(shù)，而這些瀏覽數(shù)絕大多數(shù)分布在 0-20000 之間。

這時(shí)候通過適當(dāng)增大 REDIS_SHARED_INTEGERS 參數(shù)，便可以利用共享對象節(jié)省內(nèi)存空間。

避免過度設(shè)計(jì)

然而需要注意的是，不論是哪種優(yōu)化場景，都要考慮內(nèi)存空間與設(shè)計(jì)復(fù)雜度的權(quán)衡；而設(shè)計(jì)復(fù)雜度會影響到代碼的復(fù)雜度、可維護(hù)性。

如果數(shù)據(jù)量較小，那么為了節(jié)省內(nèi)存而使得代碼的開發(fā)、維護(hù)變得更加困難并不劃算；還是以前面講到的 90000 個(gè)鍵值對為例，實(shí)際上節(jié)省的內(nèi)存空間只有幾 MB。

但是如果數(shù)據(jù)量有幾千萬甚至上億，考慮內(nèi)存的優(yōu)化就比較必要了。

關(guān)注內(nèi)存碎片率

內(nèi)存碎片率是一個(gè)重要的參數(shù)，對 Redis 內(nèi)存的優(yōu)化有重要意義。

如果內(nèi)存碎片率過高（jemalloc 在 1.03 左右比較正常），說明內(nèi)存碎片多，內(nèi)存浪費(fèi)嚴(yán)重。

這時(shí)便可以考慮重啟 Redis 服務(wù)，在內(nèi)存中對數(shù)據(jù)進(jìn)行重排，減少內(nèi)存碎片。

如果內(nèi)存碎片率小于 1，說明 Redis 內(nèi)存不足，部分?jǐn)?shù)據(jù)使用了虛擬內(nèi)存（即 swap）。

由于虛擬內(nèi)存的存取速度比物理內(nèi)存差很多（2-3 個(gè)數(shù)量級），此時(shí) Redis 的訪問速度可能會變得很慢。

因此必須設(shè)法增大物理內(nèi)存（可以增加服務(wù)器節(jié)點(diǎn)數(shù)量，或提高單機(jī)內(nèi)存），或減少 Redis 中的數(shù)據(jù)。

要減少 Redis 中的數(shù)據(jù)，除了選用合適的數(shù)據(jù)類型、利用共享對象等，還有一點(diǎn)是要設(shè)置合理的數(shù)據(jù)回收策略（maxmemory-policy），當(dāng)內(nèi)存達(dá)到一定量后，根據(jù)不同的優(yōu)先級對內(nèi)存進(jìn)行回收。