自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

硬核干貨！Redis 分布式集群部署實戰(zhàn)

作者：老A
存儲 存儲軟件 分布式 Redis
Redis集群采用一致性哈希槽的方式將集群中每個主節(jié)點都分配一定的哈希槽，對寫入的數(shù)據(jù)進行哈希后分配到某個主節(jié)點進行存儲。

 

[[332217]]

本文轉(zhuǎn)載自微信公眾號「 民工哥技術(shù)之路」，作者老A。轉(zhuǎn)載本文請聯(lián)系民工哥技術(shù)之路公眾號。

原理：

  • Redis集群采用一致性哈希槽的方式將集群中每個主節(jié)點都分配一定的哈希槽，對寫入的數(shù)據(jù)進行哈希后分配到某個主節(jié)點進行存儲。
  • 集群使用公式(CRC16 key)& 16384計算鍵key數(shù)據(jù)那個槽。
  • 16384個slot均勻分布在各個節(jié)點上。
  • 集群中每個主節(jié)點將承擔(dān)一部分槽點的維護，而槽點中存儲著數(shù)據(jù)，每個主節(jié)點都有至少一個從節(jié)點用于高可用。

節(jié)點通信方式：

  • 開啟一個端口 設(shè)置的端口號+10000，用于集群之間節(jié)點通信交換信息。
  • 每個節(jié)點默認每秒10次選擇隨機5個節(jié)點發(fā)送ping消息，將自身信息和知道的集群信息傳遞，收到ping消息后返回pong消息做回復(fù)，最后通過這種隨機的消息交換，最終每個節(jié)點將獲得所有信息。
  • 當(dāng)某個主節(jié)點掛掉，所有節(jié)點將會發(fā)現(xiàn)主節(jié)點掛掉了，作為主節(jié)點的從節(jié)點，就會接替主節(jié)點的工作，然后告訴所有其它節(jié)點，他成為了主。這樣其它存活節(jié)點，就將它們維護的信息表更新從節(jié)點將接任做主，如果都掛掉集群將報錯。當(dāng)從一個節(jié)點操作，根據(jù)一致性哈希計算后將存儲在其中一個主節(jié)點中，從節(jié)點將同步主的數(shù)據(jù)。

  • redis cluster是去中心化的，集群中的每個節(jié)點都是平等的關(guān)系，每個節(jié)點都保存各自的數(shù)據(jù)和整個集群的狀態(tài)。每個節(jié)點都和其他所有節(jié)點連接，而且這些連接保持活躍。
  • 搭建集群時，會為每一個分片的主節(jié)點，對應(yīng)一個從節(jié)點。實現(xiàn)slaveof功能，同時當(dāng)主節(jié)點down，實現(xiàn)sentinel哨兵的自動failover切換功能

Redis分布式集群(部署)：

端口號：7000-7005

本次分布式分片集群在一臺LInux系統(tǒng)即可，只需要安裝多個實例作為集群配置。

安裝ruby環(huán)境支持：

  1. yum -y install ruby rubygems 

yum安裝2.0.0版本，但是gem需要2.2.2版本以上，所以選擇編譯

下載并安裝ruby環(huán)境：

  1. wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz 
  2. tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/ 
  3. ./configure --prefix=/usr/local/ruby 
  4. make && make install && echo $? 
  5. echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile 
  6. source /etc/profile 

修改gem工具國內(nèi)源：

  1. # 查看gem工具源地址 
  2. gem sources -l 
  3. # 添加一個阿里云的gem工具源 
  4. gem sources -a http://mirrors.aliyun.com/rubygems/ 
  5. # 刪除gem工具默認國外源 
  6. gem sources --remove https://rubygems.org/ 
  7. # 下載當(dāng)前最新版本集群插件 
  8. gem install redis -v 4.1.0 

集群節(jié)點準(zhǔn)備：

  1. mkdir /data/700{0..5} 

配置7000端口實例：

  1. vim /data/7000/redis.conf 
  2. port 7000 
  3. daemonize yes 
  4. pidfile /data/7000/redis.pid 
  5. loglevel notice 
  6. logfile "/data/7000/redis.log" 
  7. dbfilename dump.rdb 
  8. dir /data/7000 
  9. protected-mode no 
  10. cluster-enabled yes 
  11. cluster-config-file nodes.conf 
  12. cluster-node-timeout 5000 
  13. appendonly yes 

拷貝其他端口實例：

  1. # 拷貝配置文件 
  2. cp /data/7000/redis.conf /data/7001/ 
  3. cp /data/7000/redis.conf /data/7002/ 
  4. cp /data/7000/redis.conf /data/7003/ 
  5. cp /data/7000/redis.conf /data/7004/ 
  6. cp /data/7000/redis.conf /data/7005/ 
  7.  
  8. # 修改配置文件內(nèi)容 
  9. sed -i 's#7000#7001#g' /data/7001/redis.conf 
  10. sed -i 's#7000#7002#g' /data/7002/redis.conf 
  11. sed -i 's#7000#7003#g' /data/7003/redis.conf 
  12. sed -i 's#7000#7004#g' /data/7004/redis.conf 
  13. sed -i 's#7000#7005#g' /data/7005/redis.conf 

啟動所有實例：

  1. redis-server /data/7000/redis.conf 
  2. redis-server /data/7001/redis.conf 
  3. redis-server /data/7002/redis.conf 
  4. redis-server /data/7003/redis.conf 
  5. redis-server /data/7004/redis.conf 
  6. redis-server /data/7005/redis.conf 

創(chuàng)建命令軟鏈接：

(這個命令過期了，現(xiàn)在使用redis-cli命令)(可選執(zhí)行命令)

  1. ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/ 

查看進程：

  1. ps -ef |grep redis-server 

加入所有實例節(jié)點到集群管理：

  1. # --replicas 1",1是代表每一個主有一個從,后面的是所有節(jié)點的地址與端口信息 
  2. redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 

分布式主從規(guī)則為，前三個實例節(jié)點是主，對應(yīng)的后面三個實例節(jié)點為從節(jié)點，如果replicas 2，那就多加3個實例節(jié)點

查看主節(jié)點狀態(tài)：

  1. redis-cli -p 7000 cluster nodes|grep master 

查看從節(jié)點狀態(tài)：

  1. redis-cli -p 7000 cluster nodes|grep slave 

Redis-分布式集群(管理)

集群節(jié)點增加準(zhǔn)備：

  1. mkdir /data/700{6..7} 
  2.  
  3. 拷貝其他端口實例： 
  4.  
  5. # 拷貝配置文件 
  6. cp /data/7000/redis.conf /data/7006/ 
  7. cp /data/7000/redis.conf /data/7007/ 
  8.  
  9. # 修改配置文件內(nèi)容 
  10. sed -i 's#7000#7006#g' /data/7006/redis.conf 
  11. sed -i 's#7000#7007#g' /data/7007/redis.conf 

啟動新節(jié)點實例：

  1. redis-server /data/7006/redis.conf 
  2. redis-server /data/7007/redis.conf 

查看進程：

  1. ps -ef |grep redis-server 

添加主節(jié)點：(7000實例是管理節(jié)點)

  1. #'把7006實例添加到7000實例這個主節(jié)點所在集群內(nèi)(此時已經(jīng)有了4個主節(jié)點) 
  2. redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000 

查看主節(jié)點狀態(tài)：

  1. redis-cli -p 7000 cluster nodes|grep master

轉(zhuǎn)移slot(重新分片)：

  1. #'操作集群管理節(jié)點從新分配，并在交互界面指定分片大小、選擇接收分片的節(jié)點ID 
  2. redis-cli --cluster reshard 127.0.0.1:7000 
  3.  
  4. How many slots do you want to move (from 1 to 16384)? 4096 
  5. #通過人工手動計算數(shù)據(jù)分片總大小除以主節(jié)點后的數(shù)字 
  6.  
  7. What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953 
  8. #選擇接收數(shù)據(jù)分片的節(jié)點ID，（這是新增節(jié)點7006實例的ID號） 
  9.  
  10. Source node #1: all 
  11. #選擇從哪些源主節(jié)點重新分片給新主節(jié)點）（all是所有節(jié)點） 
  12.  
  13. Do you want to proceed with the proposed reshard plan (yes/no)? yes            
  14. #確認修改以上的操作 

重新查看主節(jié)點狀態(tài)：(可以看到集群數(shù)據(jù)的重新分片)

  1. redis-cli -p 7000 cluster nodes|grep master 

添加從節(jié)點：

  1. #'把7007實例節(jié)點添加到7006實例主節(jié)點內(nèi)，并指定對應(yīng)7006實例主節(jié)點坐在集群的管理節(jié)點 
  2. redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953 

查看從節(jié)點狀態(tài)：

  1. redis-cli -p 7000 cluster nodes|grep slave 

集群節(jié)點刪除準(zhǔn)備：

移動要刪除節(jié)點的數(shù)據(jù)分片：

  1. #'操作集群管理節(jié)點從新分配，并在交互界面指定分片大小、選擇接收分片的節(jié)點ID 
  2. redis-cli --cluster reshard 127.0.0.1:7000 
  3.  
  4. #方法是根據(jù)要刪除master節(jié)點的分片位置，然后一個組分一個節(jié)點 ， 也可以直接移動所有數(shù)據(jù)片到一個節(jié)點 
  5.  
  6. How many slots do you want to move (from 1 to 16384)? 1365                     
  7. #通過人工手動查看數(shù)據(jù)分片總大小 
  8.  
  9. What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447 
  10. #選擇接收數(shù)據(jù)分片的節(jié)點ID，（這是新增節(jié)點7006實例的ID號） 
  11.  
  12. Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953 
  13. #選擇從哪些源主節(jié)點重新分片給新主節(jié)點（這是要刪除的主節(jié)點的ID號） 
  14.  
  15. Source node #2: done 
  16. #這是結(jié)束命令 
  17.  
  18. Do you want to proceed with the proposed reshard plan (yes/no)? yes            
  19. #確認修改以上的操作 

重新查看主節(jié)點狀態(tài)：(可以看到集群數(shù)據(jù)的重新分片)

  1. redis-cli -p 7000 cluster nodes|grep master 

繼續(xù)移動數(shù)據(jù)片：

  1. #'操作集群管理節(jié)點從新分配，并在交互界面指定分片大小、選擇接收分片的節(jié)點ID 
  2. redis-cli --cluster reshard 127.0.0.1:7000 
  3.  
  4. # 方法是根據(jù)要刪除master節(jié)點的分片位置，然后一個組分一個節(jié)點 ， 也可以直接移動所有數(shù)據(jù)片到一個節(jié)點 
  5.  
  6. How many slots do you want to move (from 1 to 16384)? 1366                    #通過人工手動查看數(shù)據(jù)分片總大小 
  7.  
  8. What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c 
  9. #選擇接收數(shù)據(jù)分片的節(jié)點ID，（這是新增節(jié)點7006實例的ID號） 
  10.  
  11. Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953 
  12. #選擇從哪些源主節(jié)點重新分片給新主節(jié)點（這是要刪除的主節(jié)點的ID號） 
  13.  
  14. Source node #2: done 
  15. #這是結(jié)束命令 
  16.  
  17. Do you want to proceed with the proposed reshard plan (yes/no)? yes            
  18. #確認修改以上的操作 

重新查看主節(jié)點狀態(tài)：(可以看到集群數(shù)據(jù)的重新分片)

  1. redis-cli -p 7000 cluster nodes|grep master 

最后一次移動數(shù)據(jù)片：

  1. #'操作集群管理節(jié)點從新分配，并在交互界面指定分片大小、選擇接收分片的節(jié)點ID 
  2. redis-cli --cluster reshard 127.0.0.1:7000 
  3.  
  4. #方法是根據(jù)要刪除master節(jié)點的分片位置，然后一個組分一個節(jié)點 ， 也可以直接移動所有數(shù)據(jù)片到一個節(jié)點 
  5.  
  6. How many slots do you want to move (from 1 to 16384)? 1365                     
  7. #通過人工手動查看數(shù)據(jù)分片總大小 
  8.  
  9. What is the receiving node ID? 5a0df4ea0af5f35c1248e45e88d44c3f2e10169f 
  10. Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953 
  11. Source node #2: done 

重新查看主節(jié)點狀態(tài)：(可以看到集群數(shù)據(jù)的重新分片)

  1. redis-cli -p 7000 cluster nodes|grep master 

刪除清空數(shù)據(jù)片的主節(jié)點：

  1. #'刪除已經(jīng)清空數(shù)據(jù)的7006實例 
  2. redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953 
  3.  
  4. #刪除沒有主庫的7007實例 
  5. redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab 

其他配置管理：

  1. 內(nèi)存信息查看 
  2. redis-cli -p 6382 -a redhat info memory 
  3.  
  4. #設(shè)置最大只能使用100MB的內(nèi)存 
  5. redis-cli -p 6382 -a redhat config set maxmemory 102400000 

 

責(zé)任編輯：武曉燕 來源： 民工哥技術(shù)之路
Redis集群哈希槽
相關(guān)推薦

2020-09-08 13:25:52

HBase分布式數(shù)據(jù)庫

2021-01-28 09:50:29

分布式對象SharedObjec

2023-01-13 07:39:07

2019-06-19 15:40:06

分布式鎖RedisJava

2021-03-10 09:54:06

Redis分布式鎖

2021-07-09 05:49:53

分布式代碼算法

2017-09-11 15:17:01

分布式集群負載均衡

2017-08-10 10:17:32

Hadoop分布式搭建

2022-10-19 08:39:46

?可?分布式集群

2019-09-26 15:43:52

Hadoop集群防火墻

2025-04-01 01:04:00

Redis集群緩存

2022-03-29 23:17:52

PostgreSQL集群Citus

2014-07-15 11:15:44

hadoop分布式部署

2020-09-21 09:15:12

系統(tǒng)

2019-08-05 07:58:01

分布式架構(gòu)系統(tǒng)

2018-11-15 12:35:25

Ceph分布式存儲

2020-07-15 09:20:48

MyCatMySQL分布式

2022-03-21 19:44:30

CitusPostgreSQ執(zhí)行器

2019-07-22 09:35:23

RedisSentinel

2023-08-21 19:10:34

Redis分布式鎖
點贊
收藏

51CTO技術(shù)棧公眾號