一文帶你了解 Redis 的慢日志相關(guān)底層原理
01、前言
相信很多小伙伴在使用 Redis 的時候都知道 Redis 有相關(guān)慢日志的查詢功能,并且多多少少都看過。那 Redis 底層到底是如果創(chuàng)建慢日志以及慢日志的結(jié)構(gòu)是什么樣子的呢?這篇文章就帶大家認識一下。我們先看一張慢日志的截圖
使用slowlog get 2命令查看最近的兩條慢日志信息,如上圖,我們可以看到每條日志中包含的信息有六個部分組成,從上到下編號為 0-5,依次代表的意思是
0:日志的唯一編號 ID
1:命令執(zhí)行的當前時間戳
2:命令執(zhí)行的耗時時長,單位微妙
3:具體的執(zhí)行命令和參數(shù)
4:客戶端的 ip 和端口(4.0 版本以上才支持)
5:客戶端名稱(4.0 版本以上支持)
如上圖所示,第一條慢日志的 ID 是 41,命令執(zhí)行的時間戳是 1575729996,并且執(zhí)行了 16129 微妙,具體執(zhí)行的命令就是slowlog get,ip 和端口是27.38.56.88:8223,客戶端的名稱沒有設(shè)置。
02、慢日志命令設(shè)置
查看命令
上面我們已經(jīng)大概的知道的一條慢日志的格式,自然的我們可以想到的問題是一個命令執(zhí)行多長時間,我們就可以認為是慢查詢,以及慢日志最多能保存多少條。
我們可以通過config get slowlog-log-slower-than 命令來查看 Redis 的時長設(shè)置,以及通過config get slowlog-max-len 來查看最大慢日志條數(shù)。如下圖。
設(shè)置命令
上面我們使用config get 命令查看了時長設(shè)置和條數(shù)設(shè)置,相反的我們可以用config set來設(shè)置相關(guān)參數(shù),如下圖,我們先查看一下配置,然后再通過config set slowlog-log-slower-than 1000 命令和 config set slowlog-max-len 64 命令來設(shè)置具體的值:
通過上面的操作我們可以看到相關(guān)的配置已經(jīng)更改生效了。
- slowlog-log-slower-than:這個參數(shù)的意思是任何命令執(zhí)行超過這個時間就會被記錄為慢日志,單位是微秒。
- slowlog-max-len:這個參數(shù)表示記錄的慢日志的最大條數(shù),設(shè)置了這個值過后,新的日志加進來,ID 最小的日志就會被刪除。
為了驗證上面的第二點,我這邊將slowlog-log-slower-than設(shè)置為 10 微秒,slowlog-max-len 設(shè)置為 5 條來進行試驗,首先第一次使用slowlog get命令查詢的時候 5 條慢日志的編號是從 83-87,
再次使用slowlog get命令查詢的編號結(jié)果是84-88,說明 ID 為 83 的那一條已經(jīng)被刪除了。
03、慢日志的存儲原理
存儲結(jié)構(gòu)
- struct redisServer {
- long long slowlog_entry_id;//下一條慢查詢?nèi)罩镜?nbsp;ID
- list *slowlog;//保存了所有慢查詢?nèi)罩镜逆湵?nbsp;
- long long slowlog_log_slower_than;//服務(wù)器配置 slowlog-log-slower-than 選項的值
- unsigned long slowlog_max_len;//服務(wù)器配置的 slowlog-max-len 的值
- }
- 在 Redis 的服務(wù)器狀態(tài)中保存了慢日志的相關(guān)屬性slowlog_entry_id 屬性的初始值是 0 每創(chuàng)建一條慢日志的時候就會增加 1。
- slowlog 鏈表里面存儲了所有的慢日志,鏈表是由slowlogEntry結(jié)構(gòu)組成的,每個slowlogEntry代表一條慢日志。
- slowlog_log_slower_than 和 slowlog_max_len 是前面服務(wù)器配置的相關(guān)參數(shù)。
slowlog 鏈表
- typedef struct slowlogEntry {
- long long id;//唯一標識符
- time_t time; //命令執(zhí)行的時間,格式為 unix 時間戳
- long long duration;//命令消耗的時間,以微秒為單位
- robj **argv;//命令與命令參數(shù)
- int argc; //命令與命令參數(shù)個數(shù)
- } slowlogEntry;
image-20191211220858341
slowlogEntry 實體的相關(guān)字段含義如下:
- id: 標識慢日志的唯一 ID
- time: 命令執(zhí)行的時間戳
- duration: 命令執(zhí)行是耗時,單位為微妙
- agrv: 命令和參數(shù)數(shù)組
- argc: 命令和參數(shù)的個數(shù)
如上圖就表示了在執(zhí)行命令set number 520 發(fā)生了慢日志,命令執(zhí)行耗時 10 微秒。
04、操作慢日志
知道了慢日志的存儲結(jié)構(gòu),我們就需要考慮在執(zhí)行命令的時候,如何根據(jù)條件去創(chuàng)建慢日志。
首先我們需要在命令的執(zhí)行前后記錄時間戳,然后相減計算出命令的執(zhí)行耗時,然后根據(jù) Redis 服務(wù)器配置slowlog-log-slower-than 進行對比,決定是否記錄慢日志,另外在記錄慢日志的時候需要根據(jù)slowlog_max_len 值判斷是否要刪除最久的日志信息。偽代碼如下:
- //1. 記錄命令執(zhí)行前的時間戳
- long before = now();
- //2. 執(zhí)行命令
- execute(argv, argc);
- //3. 記錄命令執(zhí)行后的時間戳
- long after = now();
- //4. 調(diào)用創(chuàng)建慢日志函數(shù)
- slowlogPushEntryIfNeed(argv, argc, after - before);
slowlogPushEntryIfNeed 函數(shù)主要用來判斷是否插入數(shù)據(jù),以及是否刪除舊數(shù)據(jù)。
- void slowlogPushEntryIfNeed(robj **argv, int argc, long long duration) {
- //1. 判斷是否開啟慢日志
- if (server.slowlog_log_slower_than < 0) return;
- //2. 如果超時,則插入慢日志
- if (duraton > server.slowlog_log_slower_than){
- //插入
- }
- while (listLength(server.slowlog) > server.slowlog_max_len) {
- //刪除
- }
- }
我們先判斷服務(wù)器是否配置了超時參數(shù),如果超時參數(shù)小于 0 則直接返回,否則再比較命令執(zhí)行時間是否超時,如果超時則插入慢日志;最后在比較慢日志的條數(shù)是否達到上限,如果達到則進行刪除。
05、總結(jié)
Redis 在日常工作中經(jīng)常會使用,其中還有很多細節(jié)需要我們慢慢研究和學(xué)習(xí),后續(xù)還會有其他內(nèi)容的相關(guān)文章,歡迎關(guān)注。