自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

Redis如何刪除數(shù)量過萬以上Key而不影響業(yè)務(wù)

數(shù)據(jù)庫 其他數(shù)據(jù)庫 Redis
有時候因為 Redis Key 沒有設(shè)置過期時間或者因為業(yè)務(wù)需求或者Redis內(nèi)存不足或者修改Redis Key值等需求,并且這些Key是有規(guī)律的,可以通過正則表達式來匹配。

需求

有時候因為 Redis Key 沒有設(shè)置過期時間或者因為業(yè)務(wù)需求或者Redis內(nèi)存不足或者修改Redis Key值等需求,并且這些Key是有規(guī)律的,可以通過正則表達式來匹配。

解決方法一

一般通過網(wǎng)上搜索,會告訴你使用下面方法,Redis 提供了一個簡單暴力的指令 keys用來列出所有滿足特定正則字符串規(guī)則的 key。

  1. $ redis-cli --raw keys "testkey-*" | xargs redis-cli del 

通過 Redis keys 來匹配你需要刪除的key,再使用 xargs 把結(jié)果傳給 redis-cli del ,這樣看似完美,實則有很大風(fēng)險。

上面命令使用非常簡單,提供一個簡單的正則字符串即可,但是有很明顯的兩個缺點。

  • 沒有 offset、limit 參數(shù),一次性吐出所有滿足條件的 key,萬一實例中有幾百 w 個 key 滿足條件,當(dāng)你看到滿屏的字符串刷的沒有盡頭時,你就知道難受了。
  • keys 算法是遍歷算法,復(fù)雜度是 O(n),如果實例中有千萬級以上的 key,這個指令就會導(dǎo)致 Redis 服務(wù)卡頓,所有讀寫 Redis 的其它的指令都會被延后甚至?xí)瑫r報錯,因為 Redis 6 版本以下都是單線程程序,順序執(zhí)行所有指令,其它指令必須等到當(dāng)前的 keys 指令執(zhí)行完了才可以繼續(xù),這樣就會導(dǎo)致業(yè)務(wù)不可用,甚至造成redis宕機的風(fēng)險。

注意:這種方法不推薦,建議生產(chǎn)環(huán)境屏蔽keys命令。那大家會問,有沒有更好的方法來解決這個問題?答案是當(dāng)然用,請接著看下文。

解決方法二

Redis從2.8版本開始支持 scan 命令,SCAN命令的基本用法如下:

  1. SCAN cursor [MATCH pattern] [COUNT count
  • cursor:游標(biāo),SCAN命令是一個基于游標(biāo)的迭代器,SCAN命令每次被調(diào)用之后,都會向用戶返回一個新的游標(biāo),用戶在下次迭代時需要使用這個新游標(biāo)作為SCAN命令的游標(biāo)參數(shù),以此來延續(xù)之前的迭代過程,直到服務(wù)器向用戶返回值為0的游標(biāo)時,一次完整的遍歷過程就結(jié)束了。
  • MATCH:匹配規(guī)則,例如遍歷以 testkey- 開頭的所有key可以寫成 testkey-*。
  • COUNT:COUNT選項的作用就是讓用戶告知迭代命令,在每次迭代中應(yīng)該從數(shù)據(jù)集里返回多少元素,COUNT只是對增量式迭代命令的一種提示,并不代表真正返回的數(shù)量,例如你COUNT設(shè)置為2有可能會返回3個元素,但返回的元素數(shù)據(jù)會與COUNT設(shè)置的正相關(guān),COUNT的默認(rèn)值是10。

例子:

  1. $ scan 0 MATCH testkey-* 
  2.  
  3. 1) "34" 
  4. 2)  1) "testkey-2" 
  5.     2) "testkey-49" 
  6.     3) "testkey-20" 
  7.     4) "testkey-19" 
  8.     5) "testkey-93" 
  9.     6) "testkey-8" 
  10.     7) "testkey-34" 
  11.     8) "testkey-76" 
  12.     9) "testkey-13" 
  13.    10) "testkey-18" 
  14.    11) "testkey-10" 
  15.  
  16. $ scan 34 MATCH testkey-* COUNT 1000 
  17.  
  18. 1) "0" 
  19. 2)  1) "ops-coffee-16" 
  20.     2) "ops-coffee-19" 
  21.     3) "ops-coffee-23" 
  22.     4) "ops-coffee-21" 
  23.     5) "ops-coffee-40" 
  24.     6) "ops-coffee-22" 
  25.     7) "ops-coffee-1" 
  26.     8) "ops-coffee-11" 
  27.     9) "ops-coffee-28" 
  28.    10) "ops-coffee-3" 
  29.    11) "ops-coffee-26" 
  30.    12) "ops-coffee-4" 
  31.    13) "ops-coffee-31" 
  32.    ... 

scan 命令返回的是一個包含兩個元素的數(shù)組,第一個數(shù)組元素是用于進行下一次迭代的新游標(biāo),而第二個數(shù)組元素則是一個數(shù)組,這個數(shù)組中包含了所有被迭代的元素。

上面這個例子的意思是掃描所有前綴為testkey-的key。第一次迭代使用0作為游標(biāo),表示開始一次新的迭代,同時使用了MATCH匹配前綴為testkey-的key,返回了游標(biāo)值34以及遍歷到的數(shù)據(jù)。第二次迭代使用的是第一次迭代時返回的游標(biāo),也即是命令回復(fù)第一個元素的值34,同時通過將COUNT選項的參數(shù)設(shè)置為1000,強制命令為本次迭代掃描更多元素。在第二次調(diào)用SCAN命令時,命令返回了游標(biāo)0,這表示迭代已經(jīng)結(jié)束,整個數(shù)據(jù)集已經(jīng)被完整遍歷過了。

Redis scan 命令就是基于游標(biāo)的迭代器,意味著命令每次被調(diào)用都需要使用上一次這個調(diào)用返回的游標(biāo)作為該次調(diào)用的游標(biāo)參數(shù),以此來延續(xù)之前的迭代過程。當(dāng)SCAN命令的游標(biāo)參數(shù)被設(shè)置為0時,服務(wù)器將開始一次新的迭代,而當(dāng)redis服務(wù)器向用戶返回值為0的游標(biāo)時,表示迭代已結(jié)束,這是唯一迭代結(jié)束的判定方式,而不能通過返回結(jié)果集是否為空判斷迭代結(jié)束。

上面的需求,最終可以使用下面命令來解決:

  1. $ redis-cli --scan --pattern "testkey-*" | xargs -L 1000 redis-cli del 

xargs -L 指令表示xargs一次讀取的行數(shù),也就是每次刪除key的數(shù)量,不要一次行讀取太多數(shù)量key。

scan 與 keys 比較

scan 相比 keys 具備有以下特點:

  • 復(fù)雜度雖然也是 O(n),但是它是通過游標(biāo)分步進行的,不會阻塞線程。
  • 提供 limit 參數(shù),可以控制每次返回結(jié)果的最大條數(shù),limit 只是對增量式迭代命令的一種提示(hint),返回的結(jié)果可多可少。
  • 同 keys 一樣,它也提供模式匹配功能。
  • 服務(wù)器不需要為游標(biāo)保存狀態(tài),游標(biāo)的唯一狀態(tài)就是 scan 返回給客戶端的游標(biāo)整數(shù)。
  • 返回的結(jié)果可能會有重復(fù),需要客戶端去重復(fù),這點非常重要。
  • 遍歷的過程中如果有數(shù)據(jù)修改,改動后的數(shù)據(jù)能不能遍歷到是不確定的。
  • 單次返回的結(jié)果是空的并不意味著遍歷結(jié)束,而要看返回的游標(biāo)值是否為零。

小結(jié)

Redis 類似 scan 命令還有很多,比如:

  • scan 指令是一系列指令,除了可以遍歷所有的 key 之外,還可以對指定的容器集合進行遍歷
  • zscan 遍歷 zset 集合元素
  • hscan 遍歷 hash 字典的元素
  • sscan 遍歷 set 集合的元素

注意:SSCAN 命令、 HSCAN 命令和 ZSCAN 命令的第一個參數(shù)總是一個數(shù)據(jù)庫鍵。而 SCAN 命令則不需要在第一個參數(shù)提供任何數(shù)據(jù)庫鍵,因為它迭代的是當(dāng)前數(shù)據(jù)庫中的所有數(shù)據(jù)庫鍵。

參考鏈接

http://jinguoxing.github.io/redis/2018/09/04/redis-scan/

https://juejin.cn/post/6844903869412016142

 

責(zé)任編輯:姜華 來源: YP小站
相關(guān)推薦

2012-03-02 09:03:57

VDI虛擬桌面網(wǎng)絡(luò)

2009-01-16 08:17:43

北電破產(chǎn)保護重組

2021-04-26 09:40:46

QPS數(shù)據(jù)庫Redis

2014-04-14 13:05:41

RedisDBA服務(wù)器

2022-01-02 08:38:22

Redis數(shù)據(jù)單線程

2016-01-08 13:53:19

網(wǎng)絡(luò)犯罪網(wǎng)絡(luò)詐騙

2023-11-06 11:12:08

大數(shù)據(jù)數(shù)據(jù)治理

2022-11-28 14:12:07

物聯(lián)網(wǎng)IOT

2013-04-02 14:14:23

Android廣告不影響用戶體驗

2010-09-10 08:32:45

android marApp CatalogApp Store

2018-06-06 16:17:41

視頻剪輯

2021-06-04 10:24:37

人工智能AI深度學(xué)習(xí)

2009-11-25 16:29:08

PHP刪除數(shù)組元素

2015-04-23 15:30:08

2023-09-06 12:17:19

數(shù)字化轉(zhuǎn)型能源成本

2020-08-11 10:25:38

數(shù)據(jù)成本數(shù)據(jù)大數(shù)據(jù)

2024-12-23 15:28:01

2022-11-28 11:47:47

物聯(lián)網(wǎng)IOT

2009-03-26 08:22:49

AndroidGoogle移動OS

2009-07-07 09:31:04

Twitter
點贊
收藏

51CTO技術(shù)棧公眾號