[[329403]]

Redis的三種集群方式概述

1、主從復(fù)制

原理

1. 從服務(wù)器連接主服務(wù)器，發(fā)送SYNC(同步)命令;
2. 主服務(wù)器接收到SYNC命名后，開始執(zhí)行BGSAVE命令生成RDB文件并使用緩沖區(qū)記錄此后執(zhí)行的所有寫命令;
3. 主服務(wù)器BGSAVE執(zhí)行完后，向所有從服務(wù)器發(fā)送快照文件，并在發(fā)送期間繼續(xù)記錄被執(zhí)行的寫命令;
4. 從服務(wù)器收到快照文件后丟棄所有舊數(shù)據(jù)，載入收到的快照;
5. 主服務(wù)器快照發(fā)送完畢后開始向從服務(wù)器發(fā)送緩沖區(qū)中的寫命令;
6. 從服務(wù)器完成對快照的載入，開始接收命令請求，并執(zhí)行來自主服務(wù)器緩沖區(qū)的寫命令;(從服務(wù)器初始化完成)
7. 主服務(wù)器每執(zhí)行一個寫命令就會向從服務(wù)器發(fā)送相同的寫命令，從服務(wù)器接收并執(zhí)行收到的寫命令(從服務(wù)器初始化完成后的操作)

優(yōu)點(diǎn)

1. 支持主從復(fù)制，主機(jī)會自動將數(shù)據(jù)同步到從機(jī)，可以進(jìn)行讀寫分離
2. 為了分載Master的讀操作壓力，Slave服務(wù)器可以為客戶端提供只讀操作的服務(wù)，寫服務(wù)仍然必須由Master來完成
3. Slave同樣可以接受其它Slaves的連接和同步請求，這樣可以有效的分載Master的同步壓力。
4. Master Server是以非阻塞的方式為Slaves提供服務(wù)。所以在Master-Slave同步期間，客戶端仍然可以提交查詢或修改請求。
5. Slave Server同樣是以非阻塞的方式完成數(shù)據(jù)同步。在同步期間，如果有客戶端提交查詢請求，Redis則返回同步之前的數(shù)據(jù)

缺點(diǎn)

Redis不具備自動容錯和恢復(fù)功能，主機(jī)從機(jī)的宕機(jī)都會導(dǎo)致前端部分讀寫請求失敗，需要等待機(jī)器重啟或者手動切換前端的IP才能恢復(fù)。

主機(jī)宕機(jī)，宕機(jī)前有部分?jǐn)?shù)據(jù)未能及時同步到從機(jī)，切換IP后還會引入數(shù)據(jù)不一致的問題，降低了系統(tǒng)的可用性。

Redis較難支持在線擴(kuò)容，在集群容量達(dá)到上限時在線擴(kuò)容會變得很復(fù)雜。

2、哨兵模式

原理

當(dāng)主服務(wù)器中斷服務(wù)后，可以將一個從服務(wù)器升級為主服務(wù)器，以便繼續(xù)提供服務(wù)，但是這個過程需要人工手動來操作。 為此，Redis 2.8中提供了哨兵工具來實(shí)現(xiàn)自動化的系統(tǒng)監(jiān)控和故障恢復(fù)功能。

哨兵的作用就是監(jiān)控Redis系統(tǒng)的運(yùn)行狀況。它的功能包括以下兩個。

(1)監(jiān)控主服務(wù)器和從服務(wù)器是否正常運(yùn)行。

(2)主服務(wù)器出現(xiàn)故障時自動將從服務(wù)器轉(zhuǎn)換為主服務(wù)器。

工作方式

• 每個Sentinel(哨兵)進(jìn)程以每秒鐘一次的頻率向整個集群中的Master主服務(wù)器，Slave從服務(wù)器以及其他Sentinel(哨兵)進(jìn)程發(fā)送一個 PING 命令。
• 如果一個實(shí)例(instance)距離最后一次有效回復(fù) PING 命令的時間超過 down-after-milliseconds 選項(xiàng)所指定的值， 則這個實(shí)例會被 Sentinel(哨兵)進(jìn)程標(biāo)記為主觀下線(SDOWN)
• 如果一個Master主服務(wù)器被標(biāo)記為主觀下線(SDOWN)，則正在監(jiān)視這個Master主服務(wù)器的所有 Sentinel(哨兵)進(jìn)程要以每秒一次的頻率確認(rèn)Master主服務(wù)器的確進(jìn)入了主觀下線狀態(tài)
• 當(dāng)有足夠數(shù)量的 Sentinel(哨兵)進(jìn)程(大于等于配置文件指定的值)在指定的時間范圍內(nèi)確認(rèn)Master主服務(wù)器進(jìn)入了主觀下線狀態(tài)(SDOWN)， 則Master主服務(wù)器會被標(biāo)記為客觀下線(ODOWN)
• 在一般情況下， 每個 Sentinel(哨兵)進(jìn)程會以每 10 秒一次的頻率向集群中的所有Master主服務(wù)器、Slave從服務(wù)器發(fā)送 INFO 命令。
• 當(dāng)Master主服務(wù)器被 Sentinel(哨兵)進(jìn)程標(biāo)記為客觀下線(ODOWN)時，Sentinel(哨兵)進(jìn)程向下線的 Master主服務(wù)器的所有 Slave從服務(wù)器發(fā)送 INFO 命令的頻率會從 10 秒一次改為每秒一次。
• 若沒有足夠數(shù)量的 Sentinel(哨兵)進(jìn)程同意 Master主服務(wù)器下線， Master主服務(wù)器的客觀下線狀態(tài)就會被移除。若 Master主服務(wù)器重新向 Sentinel(哨兵)進(jìn)程發(fā)送 PING 命令返回有效回復(fù)，Master主服務(wù)器的主觀下線狀態(tài)就會被移除。

優(yōu)點(diǎn)

• 哨兵模式是基于主從模式的，所有主從的優(yōu)點(diǎn)，哨兵模式都具有。
• 主從可以自動切換，系統(tǒng)更健壯，可用性更高。

缺點(diǎn)

Redis較難支持在線擴(kuò)容，在集群容量達(dá)到上限時在線擴(kuò)容會變得很復(fù)雜。

3、Redis-Cluster集群

原理

redis的哨兵模式基本已經(jīng)可以實(shí)現(xiàn)高可用，讀寫分離 ，但是在這種模式下每臺redis服務(wù)器都存儲相同的數(shù)據(jù)，很浪費(fèi)內(nèi)存，所以在redis3.0上加入了cluster模式，實(shí)現(xiàn)的redis的分布式存儲，也就是說每臺redis節(jié)點(diǎn)上存儲不同的內(nèi)容。

Redis-Cluster采用無中心結(jié)構(gòu),它的特點(diǎn)如下

所有的redis節(jié)點(diǎn)彼此互聯(lián)(PING-PONG機(jī)制),內(nèi)部使用二進(jìn)制協(xié)議優(yōu)化傳輸速度和帶寬。

節(jié)點(diǎn)的fail是通過集群中超過半數(shù)的節(jié)點(diǎn)檢測失效時才生效。

客戶端與redis節(jié)點(diǎn)直連,不需要中間代理層.客戶端不需要連接集群所有節(jié)點(diǎn),連接集群中任何一個可用節(jié)點(diǎn)即可。

工作方式

在redis的每一個節(jié)點(diǎn)上，都有這么兩個東西，一個是插槽(slot)，它的的取值范圍是：0-16383。還有一個就是cluster，可以理解為是一個集群管理的插件。當(dāng)我們的存取的key到達(dá)的時候，redis會根據(jù)crc16的算法得出一個結(jié)果，然后把結(jié)果對 16384 求余數(shù)，這樣每個 key 都會對應(yīng)一個編號在 0-16383 之間的哈希槽，通過這個值，去找到對應(yīng)的插槽所對應(yīng)的節(jié)點(diǎn)，然后直接自動跳轉(zhuǎn)到這個對應(yīng)的節(jié)點(diǎn)上進(jìn)行存取操作。

為了保證高可用，redis-cluster集群引入了主從模式，一個主節(jié)點(diǎn)對應(yīng)一個或者多個從節(jié)點(diǎn)，當(dāng)主節(jié)點(diǎn)宕機(jī)的時候，就會啟用從節(jié)點(diǎn)。當(dāng)其它主節(jié)點(diǎn)ping一個主節(jié)點(diǎn)A時，如果半數(shù)以上的主節(jié)點(diǎn)與A通信超時，那么認(rèn)為主節(jié)點(diǎn)A宕機(jī)了。如果主節(jié)點(diǎn)A和它的從節(jié)點(diǎn)A1都宕機(jī)了，那么該集群就無法再提供服務(wù)了

redis中穿透與雪崩的預(yù)防及解決

認(rèn)識緩存穿透

緩存穿透是指查詢一個一定不存在的數(shù)據(jù)，由于緩存是不命中時需要從數(shù)據(jù)庫查詢，查不到數(shù)據(jù)則不寫入緩存，這將導(dǎo)致這個不存在的數(shù)據(jù)每次請求都要到數(shù)據(jù)庫去查詢，造成緩存穿透。

解決辦法

• 對所有可能查詢的參數(shù)以hash形式存儲，在控制層先進(jìn)行校驗(yàn)，不符合則丟棄。還有最常見的則是采用布隆過濾器，將所有可能存在的數(shù)據(jù)哈希到一個足夠大的bitmap中，一個一定不存在的數(shù)據(jù)會被這個bitmap攔截掉，從而避免了對底層存儲系統(tǒng)的查詢壓力。
• 也可以采用一個更為簡單粗暴的方法，如果一個查詢返回的數(shù)據(jù)為空(不管是數(shù) 據(jù)不存在，還是系統(tǒng)故障)，我們?nèi)匀话堰@個空結(jié)果進(jìn)行緩存，但它的過期時間會很短，最長不超過五分鐘。

認(rèn)識緩存雪崩

如果緩存集中在一段時間內(nèi)失效，發(fā)生大量的緩存穿透，所有的查詢都落在數(shù)據(jù)庫上，造成了緩存雪崩。

這個沒有完美解決辦法，但可以分析用戶行為，盡量讓失效時間點(diǎn)均勻分布。大多數(shù)系統(tǒng)設(shè)計(jì)者考慮用加鎖或者隊(duì)列的方式保證緩存的單線程(進(jìn)程)寫，從而避免失效時大量的并發(fā)請求落到底層存儲系統(tǒng)上。

解決方法

• 在緩存失效后，通過加鎖或者隊(duì)列來控制讀數(shù)據(jù)庫寫緩存的線程數(shù)量。比如對某個key只允許一個線程查詢數(shù)據(jù)和寫緩存，其他線程等待。
• 可以通過緩存reload機(jī)制，預(yù)先去更新緩存，再即將發(fā)生大并發(fā)訪問前手動觸發(fā)加載緩存
• 不同的key，設(shè)置不同的過期時間，讓緩存失效的時間點(diǎn)盡量均勻
• 做二級緩存，或者雙緩存策略。A1為原始緩存，A2為拷貝緩存，A1失效時，可以訪問A2，A1緩存失效時間設(shè)置為短期，A2設(shè)置為長期。

以上就是我所整理的關(guān)于Redis的集群方式及緩存，歡迎大家批評指正。

程序員找出路還是要盡量提前進(jìn)行職業(yè)規(guī)劃和準(zhǔn)備，千萬不要說什么：“走一步，算一步”的話。在這個一睜眼就是競爭的時代，你可以放松休息，但別人會繼續(xù)前進(jìn)，不會等你。

有一句老話說的好：“比你優(yōu)秀的對手在學(xué)習(xí)，你的仇人在磨刀，你的閨蜜在減肥，隔壁老王在練腰，我們必須不斷學(xué)習(xí)，否則我們將被學(xué)習(xí)者超越。”