一文看懂Redis的內(nèi)存回收策略和Key過期策略
1、前言
Redis 作為當(dāng)下最熱門的 Key-Value 存儲(chǔ)系統(tǒng),在大大小小的系統(tǒng)中都扮演著重要的角色,不管是 session 存儲(chǔ)還是熱點(diǎn)數(shù)據(jù)的緩存,亦或是其他場景,我們都會(huì)使用到 Redis。在生產(chǎn)環(huán)境我們偶爾會(huì)遇到 Redis 服務(wù)器內(nèi)存不夠的情況,那對(duì)于這種情況 Redis 的內(nèi)存是如何回收處理的呢?另外對(duì)于帶有過期時(shí)間的 Key Redis 又是如何處理的呢?
2、Redis 內(nèi)存設(shè)置
我們都知道如果我們要設(shè)置 Redis 的最大內(nèi)存大小只需要在配置文件redis.conf 中配置一行 maxmemory xxx 即可,或者我們通過 config set 命令在運(yùn)行時(shí)動(dòng)態(tài)配置 Redis 的內(nèi)存大小。
3、Redis 內(nèi)存過期策略
3.1、過期策略的配置
那么當(dāng) Redis 內(nèi)存不夠的時(shí)候,我們要知道 Redis 是根據(jù)什么策略來淘汰數(shù)據(jù)的,在配置文件中我們使用 maxmemory-policy 來配置策略,如下圖:
我們可以看到策略的值由如下幾種:
- volatile-lru: 在所有帶有過期時(shí)間的 key 中使用 LRU 算法淘汰數(shù)據(jù);
- alkeys-lru: 在所有的 key 中使用最近最少被使用 LRU 算法淘汰數(shù)據(jù),保證新加入的數(shù)據(jù)正常;
- volatile-random: 在所有帶有過期時(shí)間的 key 中隨機(jī)淘汰數(shù)據(jù);
- allkeys-random: 在所有的 key 中隨機(jī)淘汰數(shù)據(jù);
- volatile-ttl: 在所有帶有過期時(shí)間的 key 中,淘汰最早會(huì)過期的數(shù)據(jù);
- noeviction: 不回收,當(dāng)達(dá)到最大內(nèi)存的時(shí)候,在增加新數(shù)據(jù)的時(shí)候會(huì)返回 error,不會(huì)清除舊數(shù)據(jù),這是 Redis 的默認(rèn)策略;
volatile-lru, volatile-random, volatile-ttl 這幾種情況在 Redis 中沒有帶有過期 Key 的時(shí)候跟 noeviction 策略是一樣的。淘汰策略是可以動(dòng)態(tài)調(diào)整的,調(diào)整的時(shí)候是不需要重啟的,原文是這樣說的,我們可以根據(jù)自己 Redis 的模式來動(dòng)態(tài)調(diào)整策略。”To pick the right eviction policy is important depending on the access pattern of your application, however you can reconfigure the policy at runtime while the application is running, and monitor the number of cache misses and hits using the Redis INFO output in order to tune your setup.“
3.2、策略的執(zhí)行過程
- 客戶端運(yùn)行命令,添加數(shù)據(jù)申請(qǐng)內(nèi)存;
- Redis 會(huì)檢查內(nèi)存的使用情況,如果已經(jīng)超過的最大限制,就是根據(jù)配置的內(nèi)存淘汰策略去淘汰相應(yīng)的 key,從而保證新數(shù)據(jù)正常添加;
- 繼續(xù)執(zhí)行命令。
3.3、近似的 LRU 算法
Redis 中的 LRU 算法不是精確的 LRU 算法,而是一種經(jīng)過采樣的LRU,我們可以通過在配置文件中設(shè)置 maxmemory-samples 5 來設(shè)置采樣的大小,默認(rèn)值為 5,我們可以自行調(diào)整。官方提供的采用對(duì)比如下,我們可以看到當(dāng)采用數(shù)設(shè)置為 10 的時(shí)候已經(jīng)很接近真實(shí)的 LRU 算法了。
在 Redis 3.x 以上的版本的中做過優(yōu)化,目前的近似 LRU 算法以及提升了很大的效率,Redis 之所以不采樣實(shí)際的 LRU 算法,是因?yàn)闀?huì)耗費(fèi)很多的內(nèi)存,原文是這樣說的
The reason why Redis does not use a true LRU implementation is because it costs more memory.
4、Key 的過期策略
4.1、設(shè)置帶有過期時(shí)間的 key
前面介紹了 Redis 的內(nèi)存回收策略,下面我們看看 Key 的過期策略,提到 Key 的過期策略,我們說的當(dāng)然是帶有 expire 時(shí)間的 key,如下:
通過 redis> set name ziyouu ex 100 命令我們?cè)?Redis 中設(shè)置一個(gè) key 為 name,值為 ziyouu 的數(shù)據(jù),從上面的截圖中我們可以看到右下角有個(gè) TTL,并且每次刷新都是在減少的,說明我們?cè)O(shè)置帶有過期時(shí)間的 key 成功了。
4.2、Redis 如何清除帶有過期時(shí)間的 key
對(duì)于如何清除過期的 key 通常我們很自然的可以想到就是我們可以給每個(gè) key 加一個(gè)定時(shí)器,這樣當(dāng)時(shí)間到達(dá)過期時(shí)間的時(shí)候就自動(dòng)刪除 key,這種策略我們叫定時(shí)策略。這種方式對(duì)內(nèi)存是友好的,因?yàn)榭梢约皶r(shí)清理過期的可以,但是由于每個(gè)帶有過期時(shí)間的 key 都需要一個(gè)定時(shí)器,所以這種方式對(duì) CPU 是不友好的,會(huì)占用很多的 CPU,另外這種方式是一種主動(dòng)的行為。
有主動(dòng)也有被動(dòng),我們可以不用定時(shí)器,而是在每次訪問一個(gè) key 的時(shí)候再去判斷這個(gè) key 是否到達(dá)過期時(shí)間了,過期了就刪除掉。這種方式我們叫做惰性策略,這種方式對(duì) CPU 是友好的,但是對(duì)應(yīng)的也有一個(gè)問題,就是如果這些過期的 key 我們?cè)僖膊粫?huì)訪問,那么永遠(yuǎn)就不會(huì)刪除了。
Redis 服務(wù)器在真正實(shí)現(xiàn)的時(shí)候上面的兩種方式都會(huì)用到,這樣就可以得到一種折中的方式。另外在定時(shí)策略中,從官網(wǎng)我們可以看到如下說明
Specifically this is what Redis does 10 times per second:
- Test 20 random keys from the set of keys with an associated expire.
- Delete all the keys found expired.
- If more than 25% of keys were expired, start again from step 1.
意思是說 Redis 會(huì)在有過期時(shí)間的 Key 集合中隨機(jī) 20 個(gè)出來,刪掉已經(jīng)過期的 Key,如果比例超過 25%,再重新執(zhí)行操作。每秒中會(huì)執(zhí)行 10 個(gè)這樣的操作。
5、總結(jié)
今天給大家介紹了一下 Redis 的內(nèi)存回收和 Key 過期策略的處理,Redis 作為必備的開發(fā)組件,我們必須好好掌握,希望今天的文章能幫助大家更好的掌握 Redis 的核心。另外歡迎大家到我們的知識(shí)星球中與我們一起進(jìn)步。