高并發(fā)下緩存穿透、擊穿、雪崩問題的解決方案,落地到代碼該如何實(shí)現(xiàn)?
記得在《【高并發(fā)】Redis如何助力高并發(fā)秒殺系統(tǒng)?看完這篇我徹底懂了??!》一文中,我們以高并發(fā)秒殺系統(tǒng)中扣減庫存的場景為例,說明了Redis是如何助力秒殺系統(tǒng)的。那么,說到Redis,往往更多的場景是被用作系統(tǒng)的緩存,說到緩存,尤其是分布式緩存系統(tǒng),在實(shí)際高并發(fā)場景下,稍有不慎,就會(huì)造成緩存穿透、緩存擊穿和緩存雪崩的問題。
那什么是緩存穿透?什么是緩存擊穿,又什么是緩存雪崩呢?它們是如何造成的?又該如何解決呢?這次,我們不僅僅是從理論上來闡述這些內(nèi)容,冰河更是開源了生產(chǎn)級高并發(fā)場景下緩存穿透、擊穿和雪崩問題解決方案的落地代碼,讓你掌握的不僅僅是理論知識,更是落地到代碼的解決方案。
緩存穿透
首先,我們來說說緩存穿透。什么是緩存穿透呢?緩存穿透問題在一定程度上與緩存命中率有關(guān)。如果我們的緩存設(shè)計(jì)的不合理,緩存的命中率非常低,那么,數(shù)據(jù)訪問的絕大部分壓力都會(huì)集中在后端數(shù)據(jù)庫層面。
什么是緩存穿透?
如果在請求數(shù)據(jù)時(shí),在緩存層和數(shù)據(jù)庫層都沒有找到符合條件的數(shù)據(jù),也就是說,在緩存層和數(shù)據(jù)庫層都沒有命中數(shù)據(jù),那么,這種情況就叫作緩存穿透。
我們可以使用下圖來表示緩存穿透的現(xiàn)象。
圖片
造成緩存穿透的主要原因就是:查詢某個(gè)Key對應(yīng)的數(shù)據(jù),Redis緩存中沒有相應(yīng)的數(shù)據(jù),則直接到數(shù)據(jù)庫中查詢。數(shù)據(jù)庫中也不存在要查詢的數(shù)據(jù),則數(shù)據(jù)庫會(huì)返回空,而Redis也不會(huì)緩存這個(gè)空結(jié)果。這就造成每次通過這樣的Key去查詢數(shù)據(jù)都會(huì)直接到數(shù)據(jù)庫中查詢,Redis不會(huì)緩存空結(jié)果。這就造成了緩存穿透的問題。
如何解決緩存穿透問題?
既然我們知道了造成緩存穿透的主要原因就是緩存中不存在相應(yīng)的數(shù)據(jù),直接到數(shù)據(jù)庫查詢,數(shù)據(jù)庫返回空結(jié)果,緩存中不存儲(chǔ)空結(jié)果。
那我們就自然而然的想到了第一種解決方案:就是把空對象緩存起來。當(dāng)?shù)谝淮螐臄?shù)據(jù)庫中查詢出來的結(jié)果為空時(shí),我們就將這個(gè)空對象加載到緩存,并設(shè)置合理的過期時(shí)間,這樣,就能夠在一定程度上保障后端數(shù)據(jù)庫的安全。
第二種解決緩存穿透問題的解決方案:就是使用布隆過濾器,布隆過濾器可以針對大數(shù)據(jù)量的、有規(guī)律的鍵值進(jìn)行處理。一條記錄是不是存在,本質(zhì)上是一個(gè)Bool值,只需要使用 1bit 就可以存儲(chǔ)。我們可以使用布隆過濾器將這種表示是、否等操作,壓縮到一個(gè)數(shù)據(jù)結(jié)構(gòu)中。比如,我們最熟悉的用戶性別這種數(shù)據(jù),就非常適合使用布隆過濾器來處理。
緩存擊穿
如果我們?yōu)榫彺嬷械拇蟛糠謹(jǐn)?shù)據(jù)設(shè)置了相同的過期時(shí)間,則到了某一時(shí)刻,緩存中的數(shù)據(jù)就會(huì)批量過期。
什么是緩存擊穿?
如果緩存中的數(shù)據(jù)在某個(gè)時(shí)刻批量過期,導(dǎo)致大部分用戶的請求都會(huì)直接落在數(shù)據(jù)庫上,這種現(xiàn)象就叫作緩存擊穿。
我么可以使用下圖來表示緩存擊穿的線程。
圖片
造成緩存擊穿的主要原因就是:我們?yōu)榫彺嬷械臄?shù)據(jù)設(shè)置了過期時(shí)間。如果在某個(gè)時(shí)刻從數(shù)據(jù)庫獲取了大量的數(shù)據(jù),并設(shè)置了相同的過期時(shí)間,這些緩存的數(shù)據(jù)就會(huì)在同一時(shí)刻失效,造成緩存擊穿問題。
如何解決緩存擊穿問題?
對于比較熱點(diǎn)的數(shù)據(jù),我們可以在緩存中設(shè)置這些數(shù)據(jù)永不過期;也可以在訪問數(shù)據(jù)的時(shí)候,在緩存中更新這些數(shù)據(jù)的過期時(shí)間;如果是批量入庫的緩存項(xiàng),我們可以為這些緩存項(xiàng)分配比較合理的過期時(shí)間,避免同一時(shí)刻失效。
還有一種解決方案就是:使用分布式鎖,保證對于每個(gè)Key同時(shí)只有一個(gè)線程去查詢后端的服務(wù),某個(gè)線程在查詢后端服務(wù)的同時(shí),其他線程沒有獲得分布式鎖的權(quán)限,需要進(jìn)行等待。不過在高并發(fā)場景下,這種解決方案對于分布式鎖的訪問壓力比較大。
緩存雪崩
如果緩存系統(tǒng)出現(xiàn)故障,所有的并發(fā)流量就會(huì)直接到達(dá)數(shù)據(jù)庫。
什么是緩存雪崩?
如果在某一時(shí)刻緩存集中失效,或者緩存系統(tǒng)出現(xiàn)故障,所有的并發(fā)流量就會(huì)直接到達(dá)數(shù)據(jù)庫。數(shù)據(jù)存儲(chǔ)層的調(diào)用量就會(huì)暴增,用不了多長時(shí)間,數(shù)據(jù)庫就會(huì)被大流量壓垮,這種級聯(lián)式的服務(wù)故障,就叫作緩存雪崩。
我們可以用下圖來表示緩存雪崩的現(xiàn)象。
圖片
造成緩存雪崩的主要原因就是緩存集中失效,或者緩存服務(wù)發(fā)生故障,瞬間的大并發(fā)流量壓垮了數(shù)據(jù)庫。
如何解決緩存雪崩問題?
解決緩存雪崩問題最常用的一種方案就是保證Redis的高可用,將Redis緩存部署成高可用集群(必要時(shí)候做成異地多活),可以有效的防止緩存雪崩問題的發(fā)生。
為了緩解大并發(fā)流量,我們也可以使用限流降級的方式防止緩存雪崩。例如,在緩存失效后,通過加鎖或者使用隊(duì)列來控制讀數(shù)據(jù)庫寫緩存的線程數(shù)量。具體點(diǎn)就是設(shè)置某些Key只允許一個(gè)線程查詢數(shù)據(jù)和寫緩存,其他線程等待。則能夠有效的緩解大并發(fā)流量對數(shù)據(jù)庫打來的巨大沖擊。
另外,我們也可以通過數(shù)據(jù)預(yù)熱的方式將可能大量訪問的數(shù)據(jù)加載到緩存,在即將發(fā)生大并發(fā)訪問的時(shí)候,提前手動(dòng)觸發(fā)加載不同的數(shù)據(jù)到緩存中,并為數(shù)據(jù)設(shè)置不同的過期時(shí)間,讓緩存失效的時(shí)間點(diǎn)盡量均勻,不至于在同一時(shí)刻全部失效。
落地代碼
冰河已經(jīng)將高并發(fā)場景下解決緩存穿透、擊穿、雪崩問題的通用方案落地到代碼,并開源,旨在讓大家從源碼級別更好的掌握解決緩存穿透、擊穿和雪崩問題的通用方案。
開源項(xiàng)目是基于Redis解決緩存擊穿、穿透和雪崩問題的通用解決方案,拿來即用。支持存儲(chǔ)對象、集合、簡單數(shù)據(jù)類型等。無需提前將數(shù)據(jù)存入Redis,直接使用提供的分布式緩存接口查詢數(shù)據(jù)即可,附帶完善的單元測試用例,方便學(xué)習(xí)使用,另外,項(xiàng)目的README.md文件中附帶詳細(xì)的核心接口定義、使用案例和單元測試場景。
開源地址如下,如果這個(gè)開源項(xiàng)目對你有點(diǎn)幫助,請給這個(gè)開源項(xiàng)目點(diǎn)個(gè)Star,萬分感謝!
- github:https://github.com/binghe001/spring-redis
- gitee:https://gitee.com/binghe001/spring-redis
- gitcode:https://gitcode.net/binghe001/spring-redis