一、面試官：什么是Redis的大key，多大的鍵值才算是大key，大key是如何產(chǎn)生的呢？

Redis中的“大key”是一個(gè)相對的概念，它通常指的是占用內(nèi)存空間較大或包含大量元素的Redis鍵值對。Redis的大key表現(xiàn)為以下幾種形式：

• 數(shù)據(jù)量大：存儲(chǔ)的單個(gè)值（如字符串、列表、集合、哈希表等）本身非常大，占用了較多的內(nèi)存空間。例如，一個(gè)包含大量字段的哈希表，或者一個(gè)存儲(chǔ)了長文本或二進(jìn)制數(shù)據(jù)的字符串。
• 元素?cái)?shù)量多：對于列表、集合、有序集合等數(shù)據(jù)結(jié)構(gòu)，如果它們包含的元素?cái)?shù)量非常多，也可能被視為大key。例如，一個(gè)包含數(shù)百萬個(gè)元素的列表。
• 嵌套結(jié)構(gòu)：當(dāng)數(shù)據(jù)結(jié)構(gòu)嵌套了多層時(shí)，即使每層的數(shù)據(jù)量不大，整體也可能占用較多的內(nèi)存。例如，一個(gè)哈希表中包含了多個(gè)哈希表，而這些內(nèi)層哈希表又包含了大量的字段。

Redis中的key-value多大才算是大Key，并沒有一個(gè)固定的標(biāo)準(zhǔn)，而是根據(jù)Redis的實(shí)際運(yùn)用以及業(yè)務(wù)需求來綜合評(píng)估的。但一般來說，可以從以下幾個(gè)方面來判斷：

• 字符串類型的value值：如果字符串類型的key對應(yīng)的value值占用空間大于1MB，這通常被認(rèn)為是大key。然而，這個(gè)閾值并不是絕對的，實(shí)際應(yīng)用中可能需要根據(jù)Redis服務(wù)器的內(nèi)存配置和業(yè)務(wù)需求來調(diào)整。
• 集合類型的元素?cái)?shù)量：對于集合類型（如list、set、zset、hash等），如果它們的元素?cái)?shù)量超過一定數(shù)量（如1萬個(gè)），也可能被視為大key。

Redis中的大Key可能由多種原因產(chǎn)生，以下是一些常見的原因：

• 程序設(shè)計(jì)不當(dāng)或業(yè)務(wù)數(shù)據(jù)規(guī)?？紤]不周：開發(fā)者在設(shè)計(jì)Redis數(shù)據(jù)結(jié)構(gòu)時(shí)，可能未充分考慮數(shù)據(jù)的增長規(guī)模和訪問模式，開發(fā)者在設(shè)計(jì)Redis數(shù)據(jù)結(jié)構(gòu)時(shí)未預(yù)留足夠的空間或未采取適當(dāng)?shù)姆指畈呗?，就可能?dǎo)致大Key的產(chǎn)生。
• 未及時(shí)清理垃圾數(shù)據(jù)：在Redis中，如果未及時(shí)清理過期的或不再需要的數(shù)據(jù)，這些數(shù)據(jù)可能會(huì)持續(xù)占用內(nèi)存空間。例如，哈希中冗余了大量的無用鍵值對，就會(huì)導(dǎo)致哈希結(jié)構(gòu)變得龐大。
• 數(shù)據(jù)結(jié)構(gòu)選擇不合理：選擇不合適的數(shù)據(jù)結(jié)構(gòu)也可能導(dǎo)致大Key的產(chǎn)生。例如，當(dāng)集合中元素唯一時(shí)，應(yīng)該使用Set替換List，以避免List中元素過多導(dǎo)致的大Key問題。
• 缺乏有效的監(jiān)控和管理：如果缺乏對Redis的有效監(jiān)控和管理，就無法及時(shí)發(fā)現(xiàn)并處理大Key問題。例如，沒有設(shè)置合理的內(nèi)存使用閾值、沒有定期清理過期數(shù)據(jù)等，都可能導(dǎo)致大Key的產(chǎn)生。

下面是一些常見的產(chǎn)生大key的業(yè)務(wù)場景：

1.社交類業(yè)務(wù)場景

假設(shè)在社交應(yīng)用中，如果某個(gè)用戶擁有大量的關(guān)注者和粉絲，其關(guān)注列表和粉絲列表就可能變得非常大，從而形成一個(gè)大key。特別是在明星或網(wǎng)紅等擁有大量粉絲的用戶中，這種問題尤為突出。

2.統(tǒng)計(jì)類業(yè)務(wù)場景

在統(tǒng)計(jì)類業(yè)務(wù)中，可能需要記錄每個(gè)用戶每天的登錄情況，以便進(jìn)行后續(xù)的用戶行為分析或登錄獎(jiǎng)勵(lì)發(fā)放。如果直接將每個(gè)用戶的每日登錄情況存儲(chǔ)在一個(gè)Redis Key中，當(dāng)用戶數(shù)或統(tǒng)計(jì)天數(shù)增加時(shí)，這個(gè)Key可能會(huì)變得非常大。這種情況下可以使用hyperloglog或者bitmap結(jié)構(gòu)來替代。

3.緩存類業(yè)務(wù)場景

例如在電商應(yīng)用中，可能需要將商品信息（如商品ID、名稱、描述、價(jià)格、庫存、圖片URL等）緩存到Redis中。如果直接將整個(gè)商品信息作為一個(gè)大JSON對象或大Hash存儲(chǔ)在一個(gè)Redis Key中，當(dāng)商品信息非常復(fù)雜或包含大量字段時(shí)，這個(gè)Key就可能變得非常大。

二、面試官：大key會(huì)造成什么問題，如何排查以及如何優(yōu)化？

Redis大key會(huì)帶來的負(fù)面影響主要體現(xiàn)在以下幾個(gè)方面：內(nèi)存占用過高、產(chǎn)生內(nèi)存碎片、阻塞單線程、網(wǎng)絡(luò)擁塞、主從同步延遲和數(shù)據(jù)傾斜。以下是對這些影響的詳細(xì)闡述：

(1) 內(nèi)存占用過高

Redis大key會(huì)占用大量的內(nèi)存空間，這可能導(dǎo)致Redis實(shí)例的內(nèi)存使用率迅速增加。當(dāng)內(nèi)存占用過高時(shí)，Redis可能會(huì)觸發(fā)內(nèi)存淘汰策略，以騰出空間給新的數(shù)據(jù)。然而，內(nèi)存淘汰策略可能會(huì)導(dǎo)致一些重要的數(shù)據(jù)被意外刪除，從而影響業(yè)務(wù)的正常運(yùn)行。在極端情況下，如果內(nèi)存耗盡，Redis實(shí)例可能會(huì)崩潰，導(dǎo)致服務(wù)中斷。

(2) 內(nèi)存碎片

大key占用的內(nèi)存塊通常較大，這可能導(dǎo)致內(nèi)存碎片化。內(nèi)存碎片化會(huì)降低Redis的內(nèi)存使用效率，使得即使有足夠的空閑內(nèi)存，Redis也可能無法為新的數(shù)據(jù)分配足夠的連續(xù)空間。這進(jìn)一步加劇了內(nèi)存緊張的情況，并可能導(dǎo)致更多的內(nèi)存淘汰和數(shù)據(jù)丟失。

(3) 阻塞單線程

Redis在執(zhí)行redis命令時(shí)是單線程模型，這意味著所有的命令都是由一個(gè)主線程串行執(zhí)行的。當(dāng)對大key進(jìn)行讀寫操作時(shí)，由于需要處理大量的數(shù)據(jù)，這些操作可能會(huì)變得非常耗時(shí)。這會(huì)導(dǎo)致Redis主線程被阻塞，無法及時(shí)處理其他客戶端的請求?？蛻舳丝赡軙?huì)因此遇到超時(shí)問題，導(dǎo)致服務(wù)體驗(yàn)下降。

(4) 網(wǎng)絡(luò)擁塞

每次獲取大key時(shí)，都會(huì)產(chǎn)生較大的網(wǎng)絡(luò)流量。如果大key的訪問頻率很高，那么網(wǎng)絡(luò)帶寬可能會(huì)被迅速占滿。這會(huì)導(dǎo)致網(wǎng)絡(luò)擁塞，影響Redis實(shí)例與其他服務(wù)之間的通信。在極端情況下，網(wǎng)絡(luò)擁塞可能會(huì)波及其他服務(wù)，導(dǎo)致整個(gè)系統(tǒng)的性能下降。

(5) 主從同步延遲

在Redis集群或主從復(fù)制環(huán)境中，大key的同步可能會(huì)導(dǎo)致主從同步延遲。由于大key占用較多的內(nèi)存和數(shù)據(jù)量較大，同步過程中需要傳輸大量的數(shù)據(jù)。這會(huì)增加網(wǎng)絡(luò)傳輸?shù)臅r(shí)間，并可能導(dǎo)致主從之間的數(shù)據(jù)不一致。主從同步延遲還可能影響數(shù)據(jù)的可用性和持久性。

(6) 數(shù)據(jù)傾斜

在Redis集群模式中，如果某個(gè)數(shù)據(jù)分片上的大key過多，那么該分片的內(nèi)存使用率可能會(huì)遠(yuǎn)超其他分片。這會(huì)導(dǎo)致數(shù)據(jù)傾斜問題，使得集群的內(nèi)存資源無法均衡利用。

1.如何檢測大key

在Redis中，檢測大key通常涉及對鍵空間進(jìn)行掃描，并評(píng)估每個(gè)鍵的大小。以下是一些常用的方法來檢測Redis中的大key：

(1)  使用Redis自帶命令

• --bigkeys命令：這是Redis自帶的一個(gè)命令，用于掃描整個(gè)數(shù)據(jù)庫，并統(tǒng)計(jì)每種數(shù)據(jù)類型（string、list、set、zset、hash）中最大的key。然而，它只能找出每種數(shù)據(jù)類型中最大的那個(gè)key，并不能列出所有大于某個(gè)閾值的key。此外，由于它是基于scan命令實(shí)現(xiàn)的，所以不會(huì)阻塞Redis服務(wù)器。
• MEMORY USAGE命令（Redis 4.0及以上版本）：該命令可以返回指定key的內(nèi)存使用情況（以字節(jié)為單位）。通過遍歷所有的key并使用此命令，可以找出占用內(nèi)存較大的key。但需要注意的是，對于復(fù)雜數(shù)據(jù)結(jié)構(gòu)（如list、set等），MEMORY USAGE命令返回的是近似值，因?yàn)樗捎贸闃臃绞絹砉浪銉?nèi)存使用。
• DEBUG OBJECT命令：該命令可以返回指定key的詳細(xì)信息，包括key的類型、編碼方式、序列化后的長度（以字節(jié)為單位）等。雖然它可以提供關(guān)于key的詳細(xì)內(nèi)存使用信息，但通常不建議在生產(chǎn)環(huán)境中使用DEBUG命令，因?yàn)樗赡軙?huì)對Redis服務(wù)器的性能產(chǎn)生一定影響。

(2) 使用第三方工具

• redis-rdb-tools：這是一個(gè)Python編寫的第三方工具，用于解析Redis的快照文件（RDB文件）。它不僅可以提供關(guān)于每個(gè)key的大小信息，還可以將結(jié)果導(dǎo)出為CSV文件，方便進(jìn)一步分析。
• go-redis-bigkv：這是一個(gè)基于memory命令開發(fā)的Go語言工具，用于掃描Redis中的所有key，并根據(jù)內(nèi)存大小進(jìn)行排序。它可以將排序后的結(jié)果輸出到txt文件中，方便查看和處理大key。
• Redis Bigkeys插件：這是一個(gè)用于分析Redis數(shù)據(jù)庫中大key的插件。它可以掃描整個(gè)數(shù)據(jù)庫，找出占用內(nèi)存較大的key，并將其輸出。安裝并配置該插件后，可以使用BIGKEYS命令來查找大key。

(3) 使用SCAN命令逐步遍歷

可以使用Redis的SCAN命令逐步遍歷數(shù)據(jù)庫中的所有key。通過設(shè)置不同的MATCH選項(xiàng)和COUNT選項(xiàng)，可以控制遍歷的速度和范圍。在遍歷過程中，可以結(jié)合上述的MEMORY USAGE或TYPE等命令來獲取每個(gè)key的大小和類型信息，從而篩選出大key。

2.注意事項(xiàng)

在檢測大key時(shí)，應(yīng)盡量避免對Redis服務(wù)器的性能產(chǎn)生過大影響。因此，建議在從節(jié)點(diǎn)上執(zhí)行檢測操作，或者在業(yè)務(wù)低峰期進(jìn)行。

對于檢測到的大key，應(yīng)根據(jù)實(shí)際情況進(jìn)行進(jìn)一步的分析和處理。例如，可以考慮拆分大key、優(yōu)化數(shù)據(jù)結(jié)構(gòu)、增加內(nèi)存配置等措施來降低大key對Redis性能的影響。

3.優(yōu)化方案

• 拆分大key：將大key拆分成多個(gè)小key，分別存儲(chǔ)不同部分的數(shù)據(jù)。這樣可以減少單個(gè)key的內(nèi)存占用，提高查詢性能。拆分大key時(shí)，可以根據(jù)數(shù)據(jù)的業(yè)務(wù)邏輯或訪問模式進(jìn)行合理的切分。
• 使用壓縮算法：對于一些可以壓縮的數(shù)據(jù)類型，如字符串，可以使用壓縮算法來減少內(nèi)存占用。Redis本身支持一些壓縮算法，如LZF（Lempel-Ziv-Fast）壓縮算法。通過壓縮數(shù)據(jù)，可以在一定程度上減少大key的內(nèi)存占用，提高存儲(chǔ)效率。
• 設(shè)置過期時(shí)間：如果大key中的數(shù)據(jù)不是一直需要的，可以設(shè)置過期時(shí)間，讓Redis在一定時(shí)間后自動(dòng)刪除該key。這樣可以避免大key長期占用內(nèi)存，導(dǎo)致內(nèi)存泄漏。
• 監(jiān)控和預(yù)警：建立對Redis的監(jiān)控系統(tǒng)，實(shí)時(shí)監(jiān)測大key的出現(xiàn)和內(nèi)存使用情況。當(dāng)發(fā)現(xiàn)大key或者內(nèi)存占用過高時(shí)，及時(shí)發(fā)出預(yù)警，以便采取相應(yīng)的措施?？梢允褂肦edis的監(jiān)控工具，如Redis Insights、Prometheus等，設(shè)置對大key和內(nèi)存使用的監(jiān)控指標(biāo)。

三、面試官：Redis的大Key被發(fā)現(xiàn)后如何刪除，刪除的時(shí)候會(huì)存在什么難點(diǎn)？

1.刪除大Key的難點(diǎn)

• 阻塞Redis服務(wù)：由于Redis是單線程模型，當(dāng)對大Key進(jìn)行刪除操作時(shí)，會(huì)阻塞Redis服務(wù)，導(dǎo)致其他請求無法及時(shí)處理。特別是在大Key非常大時(shí)，刪除操作可能會(huì)持續(xù)較長時(shí)間，對Redis的性能產(chǎn)生顯著影響。
• 內(nèi)存釋放問題：直接刪除大Key會(huì)導(dǎo)致大量的內(nèi)存瞬間被釋放，這可能會(huì)對操作系統(tǒng)的內(nèi)存管理產(chǎn)生壓力。而且大Key的刪除可能導(dǎo)致內(nèi)存碎片的產(chǎn)生。當(dāng)大塊的內(nèi)存被釋放后，操作系統(tǒng)需要將這些碎片重新整合，以便后續(xù)的內(nèi)存分配請求。這個(gè)過程可能會(huì)消耗一定的CPU資源，并增加內(nèi)存管理的復(fù)雜性。
• 網(wǎng)絡(luò)流量消耗：對于存儲(chǔ)在Redis集群中的大Key，刪除操作會(huì)產(chǎn)生大量的網(wǎng)絡(luò)流量。特別是在跨節(jié)點(diǎn)刪除大Key時(shí)，網(wǎng)絡(luò)流量的消耗會(huì)更加顯著。

2.刪除大Key的策略

• 分批刪除：對于集合類型的大Key（如list、set、zset、hash等），可以采用分批刪除的策略。通過每次刪除一部分元素，逐步減小Key的大小，最終將其完全刪除。這種方法可以避免一次性刪除大Key導(dǎo)致的阻塞和內(nèi)存釋放問題。
• 使用UNLINK命令：從Redis 4.0版本開始，引入了UNLINK命令來異步刪除Key。UNLINK命令會(huì)立即將Key從數(shù)據(jù)庫中刪除，但實(shí)際的內(nèi)存釋放工作會(huì)在后臺(tái)線程中進(jìn)行。這樣可以避免刪除大Key時(shí)阻塞Redis服務(wù)。
• 在業(yè)務(wù)低峰期刪除：選擇在業(yè)務(wù)低峰期進(jìn)行大Key的刪除操作，可以減少對正常業(yè)務(wù)的影響。同時(shí)，在低峰期進(jìn)行刪除操作也更容易監(jiān)控和處理可能出現(xiàn)的問題。
• 先重命名再刪除：在刪除大Key之前，可以先將其重命名為一個(gè)不再被業(yè)務(wù)訪問的Key。然后，再逐步刪除這個(gè)重命名后的Key。這種方法可以避免在刪除過程中因業(yè)務(wù)請求訪問到該Key而導(dǎo)致的阻塞和錯(cuò)誤。

四、面試官：那么能再說說看Redis的熱key嗎，熱key會(huì)造成什么問題，如何解決？

熱key是指在Redis中被頻繁訪問的key。當(dāng)一個(gè)key被大量訪問時(shí)，會(huì)引發(fā)一系列的性能問題和潛在的風(fēng)險(xiǎn)。以下是熱key可能導(dǎo)致的問題：

• 高并發(fā)訪問：當(dāng)一個(gè)key被大量并發(fā)訪問時(shí)，會(huì)對Redis服務(wù)器的性能產(chǎn)生巨大壓力。由于Redis是單線程的，無法并行處理多個(gè)請求，所以高并發(fā)訪問會(huì)導(dǎo)致響應(yīng)變慢甚至無響應(yīng)。
• 延遲增加：熱key的存在會(huì)導(dǎo)致Redis的命令執(zhí)行時(shí)間增加，因?yàn)镽edis需要處理大量的熱key請求。這會(huì)導(dǎo)致Redis服務(wù)器的整體響應(yīng)時(shí)間增加。
• 內(nèi)存壓力：頻繁訪問的熱key占用大量的內(nèi)存空間，導(dǎo)致Redis服務(wù)器的內(nèi)存使用率升高。當(dāng)內(nèi)存使用率過高時(shí)，Redis可能會(huì)觸發(fā)內(nèi)存溢出，導(dǎo)致服務(wù)崩潰。
• Redis負(fù)載不均衡：熱key可能導(dǎo)致Redis節(jié)點(diǎn)之間的負(fù)載不均衡。當(dāng)一個(gè)節(jié)點(diǎn)上存在大量的熱key，該節(jié)點(diǎn)的負(fù)載會(huì)非常高，而其他節(jié)點(diǎn)卻相對空閑。這會(huì)導(dǎo)致Redis集群整體性能下降，并可能導(dǎo)致某些節(jié)點(diǎn)出現(xiàn)性能問題。

為了解決熱key帶來的問題，可以采取以下措施：

• 緩存分片：將熱key分散到多個(gè)Redis節(jié)點(diǎn)，以減輕單個(gè)節(jié)點(diǎn)的負(fù)載壓力?？梢圆捎胔ash算法或一致性哈希算法將熱key映射到不同的節(jié)點(diǎn)。
• 緩存過期策略：可以設(shè)置熱key的過期時(shí)間，以避免長時(shí)間占用內(nèi)存。可以根據(jù)業(yè)務(wù)需求和訪問頻率設(shè)置不同的過期時(shí)間。
• 冷熱數(shù)據(jù)分離：將熱key和冷key分離存儲(chǔ)，可以將熱key存儲(chǔ)在內(nèi)存中的Redis，而將冷key存儲(chǔ)在磁盤中的數(shù)據(jù)庫中。這樣可以有效減少內(nèi)存使用率和提高Redis的整體性能。
• 緩存預(yù)熱：在系統(tǒng)啟動(dòng)時(shí)，可以預(yù)熱一部分熱key，先將其加載到本地內(nèi)存中。這樣可以在系統(tǒng)正式運(yùn)行時(shí)，減少熱key訪問redis的壓力。