運維 Redis 的苦惱

我們都知道 Redis 是互聯(lián)網(wǎng)產(chǎn)品開發(fā)中不可缺少的常備武器，速度快、數(shù)據(jù)結(jié)構(gòu)豐富、簡單易用是它的優(yōu)點，但同時也是因為太容易用了，我們的開發(fā)同學(xué)不管什么數(shù)據(jù)、不管這數(shù)據(jù)有多大、不管數(shù)據(jù)有多少通通塞進去，要查的時候通通一把梭全取出來，你說這是多么信任 Redis 啊，運維 Redis 的同學(xué)聽到這種說法一定會露出下邊這種表情：

為了更好的了解我們在如何使用 Redis 除了對 Redis 做一些使用規(guī)范，還需要對線上使用的 Redis 的有充分的了解。那么問題來了：一個 Redis 的實例用了那么大的內(nèi)存，里邊到底存了啥？都有那些 Key？每個 Key 用了多少空間？Redis 內(nèi)存使用越來越大，卻不知道里面都存了啥，想要分析一次費時費力，一個搞不好還容易影響業(yè)務(wù)。

[[221778]]

那有沒有什么辦法讓我們安全高效的看到 Redis 內(nèi)存消耗的詳細報表呢？就像這樣又直觀又漂亮：

辦法總比問題多，有需求就有解決方案。上面就是雪球 SRE 團隊做出來的 Redis 數(shù)據(jù)可視化平臺 RDR (Redis Data Reveal)。RDR 可以非常方便的對 Reids 的內(nèi)存進行分析了解一個 Reids 里都有那些 Key，那些 Key 占用的空間是多少，占比如何，非常直觀業(yè)。那么接下來聊聊我們是如何設(shè)計并實現(xiàn)它的。

設(shè)計思路

首先想有什么辦法可以拿到 Redis 的所有數(shù)據(jù)呢？

先通過 keys * 命令，拿到所有的 key，然后根據(jù) key 再獲取所有的內(nèi)容。

優(yōu)點：可以不使用 redis 機器的硬盤，直接網(wǎng)絡(luò)傳輸

缺點：如果key數(shù)量特別多，keys 命令可能會導(dǎo)致 Redis 卡住影響業(yè)務(wù)；需要對 Redis 請求非常多次，資源消耗多；遍歷數(shù)據(jù)太慢

開啟 aof，通過 aof 文件獲取到所有數(shù)據(jù)。

優(yōu)點：無需影響 Redis 服務(wù)，完全離線操作，足夠安全；

缺點：有一些 Redis 實例寫入頻繁，不適合開啟 aof，普適性不強；aof 文件有可能特別大，傳輸、解析起來太慢，效率低。

使用 bgsave，獲取 rdb 文件，解析后獲取數(shù)據(jù)。

優(yōu)點：機制成熟，可靠性好；文件相對小，傳輸、解析效率高

缺點：bgsave 雖然會 fork 子進程，但還是有可能導(dǎo)致主進程卡住一段時間，對業(yè)務(wù)有產(chǎn)生影響的風(fēng)險

以上幾種方式我們評估之后，決定采用低峰期在從節(jié)點做 bgsave 獲取 rdb 文件，相對安全可靠，也可以覆蓋所有業(yè)務(wù)的 Redis 集群。每個實例每天在低峰期自動生成一個 rdb 文件，即使報表數(shù)據(jù)有一天的延遲也是可以接受的。

拿到了 rdb 文件就相當于拿到了 Redis 實例的所有數(shù)據(jù)，接下來就是生成報表的過程了。

解析 rdb 文件，獲取到 key 和 value 的內(nèi)容。

根據(jù)相對應(yīng)的數(shù)據(jù)結(jié)構(gòu)及內(nèi)容，估算內(nèi)存消耗等

統(tǒng)計并生成報表

邏輯很簡單，所以設(shè)計思路很清晰。數(shù)據(jù)流圖如下：

然后我們看下具體該如何實現(xiàn)，雪球 SRE 自研的組件基本都是用 GO 做的后端，所以語言選型沒什么糾結(jié)，直接用 GO。

解析 RDB 

按照 Redis 的協(xié)議來做就可以了，這個在 github 上各種語言基本都有相關(guān)的庫，拿過來使用即可。需要注意的是語言本身的性能，對解析效率有比較大的影響。 

估算內(nèi)存消耗

一條記錄會有哪些內(nèi)存使用呢？

我們知道 Redis 的實現(xiàn)里面有一些基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，就是用這些結(jié)構(gòu)來實現(xiàn)了對外暴露的各種數(shù)據(jù)類型：比如 sds、dict、intset、zipmap、adlist、ziplist、quicklist、skiplist 等等。只要根據(jù)這條記錄的數(shù)據(jù)類型，找出使用了哪些數(shù)據(jù)結(jié)構(gòu)，再計算出這些基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)的內(nèi)存消耗，再加上數(shù)據(jù)的內(nèi)存使用，以及一些額外開銷比如過期時間等，就可以估算出一條記錄到底使用了多少內(nèi)存。

但是由于 Redis 做了非常多的優(yōu)化，同樣的一種數(shù)據(jù)類型，在不同場景下使用的數(shù)據(jù)結(jié)構(gòu)有可能是不同的。比如 List ，比較老版本的 Redis，會根據(jù)list元素的數(shù)量來決定來使用哪種結(jié)構(gòu)，較短的時候使用 adlist，長之后使用 ziplist，數(shù)值可以通過 list-max-ziplist-entries 來配置。3.2 版本以后全都使用了 quicklist。而不同結(jié)構(gòu)對于內(nèi)存的使用其實是有區(qū)別的，我們計算的時候也沒辦法拿到具體的配置，所以都按默認配置來計算，***得出的值是一個估算的值，不過也基本可以反應(yīng)使用情況了。如果大家對于 Redis 使用的各種數(shù)據(jù)結(jié)構(gòu)感興趣，想了解其設(shè)計及適用場景，可以多搜索一下相關(guān)的資料以及閱讀 Redis 源碼。

舉個計算內(nèi)存使用的例子：

假如我們通過解析 rdb，獲取到了一個 key 為 hello，value 為 world，類型為 string ，ttl 為 1440 的一條記錄，它的內(nèi)存使用是這樣的：

一個 dictEntry 的消耗，因為是 redis db dict 中的一個元素 

一 個 robj 的消耗，robj 是為了在同一個dict內(nèi)能夠存儲不同類型的value，而使用的一個通用的數(shù)據(jù)結(jié)構(gòu)，全名是 Redis Object

存儲 key 的 sds 消耗，sds 是 Redis 中存儲字符串使用的數(shù)據(jù)結(jié)構(gòu)

存儲過期時間消耗

存儲 value 的 sds 消耗

前四項基本是存儲任何一個 key 都需要消耗的，***一項根據(jù) value 的數(shù)據(jù)結(jié)構(gòu)不同而不同。

一個 dictEntry 有 2 個指針，一個 int64 的內(nèi)存消耗(https://github.com/antirez/redis/blob/unstable/src/dict.h)

一個 robj 有 1 指針，一個 int，以及幾個使用位域的字段共消耗 4 字節(jié)(https://github.com/antirez/redis/blob/unstable/src/server.h)

過期時間也是存儲為一個 dictEntry，時間戳為 int64(https://github.com/antirez/redis/blob/unstable/src/db.c)

存儲 sds 需要存儲 header 以及字符串長度 +1 的空間，header 長度根據(jù)字符串長度不同也會有所不同(https://github.com/antirez/redis/blob/unstable/src/sds.h)

我們根據(jù)以上信息可以算出，向操作系統(tǒng)申請這些內(nèi)存，真正需要多少內(nèi)存。由于 redis 支持多種 malloc 算法，我們就按 jemalloc 的分配方式算，這里也是可能存在誤差的點。

所以*** key 為 hello 的這條記錄在 64 位操作系統(tǒng)上一共會消耗 92 字節(jié)。

其他類型的計算也大致是同樣的思路，只不過根據(jù)不同的數(shù)據(jù)結(jié)構(gòu)需要計算不同的內(nèi)存消耗，計算的時候要記得考慮內(nèi)存對齊的情況。還有由于 zset 的算法涉及到了隨機生成層數(shù)，我們也使用同樣的算法來隨機，但是算出來的值肯定不是精確的，也是一個誤差點。 

統(tǒng)計計數(shù)

終于可以拿到任何一個 key 的內(nèi)存使用了，哪些是最有意義最有價值的數(shù)據(jù)呢？

top N，毫無疑問***的前 N 個 key 一定是要關(guān)注的

不同數(shù)據(jù)類型的 key 數(shù)量元素數(shù)量分布以及內(nèi)存使用情況

按照前綴分類，統(tǒng)一的前綴一般意味著某個特定的業(yè)務(wù)在使用，計算各個分類的 key 數(shù)量及內(nèi)存使用情況

這幾個需求實現(xiàn)起來也都很容易：

維護一個小頂堆來存儲前 N 個***的即可，***取出堆中的數(shù)據(jù)即可

計數(shù)即可

一般都會有特定的分隔符，比如 :|._ 等字符，按照這些字符切出公共前綴再統(tǒng)計，同時把所有的數(shù)字都替換為0，便于分類

寫在***

可以每天打開個網(wǎng)頁就可以看到某個 Redis 實例的內(nèi)存使用的詳細情況，是件非常幸福的事情，Redis 的內(nèi)存使用再也不是黑盒。