自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

Sharding-Jdbc 實(shí)現(xiàn)讀寫分離 + 分庫分表，寫得太好了！

作者：佚名
開發(fā) 后端
ShardingSphere-Jdbc定位為輕量級(jí)Java框架，在Java的Jdbc層提供的額外服務(wù)。它使用客戶端直連數(shù)據(jù)庫，以jar包形式提供服務(wù)，可理解為增強(qiáng)版的Jdbc驅(qū)動(dòng)，完全兼容Jdbc和各種ORM框架

1、概覽

ShardingSphere-Jdbc定位為輕量級(jí)Java框架，在Java的Jdbc層提供的額外服務(wù)。它使用客戶端直連數(shù)據(jù)庫，以jar包形式提供服務(wù)，可理解為增強(qiáng)版的Jdbc驅(qū)動(dòng)，完全兼容Jdbc和各種ORM框架

2、MySQL主從復(fù)制

1）、docker配置mysql主從復(fù)制

1）創(chuàng)建主服務(wù)器所需目錄 

  1. mkdir -p /usr/local/mysqlData/master/cnf  
  2. mkdir -p /usr/local/mysqlData/master/data 

2）定義主服務(wù)器配置文件 

  1. vim /usr/local/mysqlData/master/cnf/mysql.cnf  
  2. [mysqld]  
  3. ## 設(shè)置server_id,注意要唯一  
  4. server-id=1  
  5. ## 開啟binlog  
  6. log-bin=mysql-bin  
  7. ## binlog緩存  
  8. binlog_cache_size=1M  
  9. ## binlog格式(mixed、statement、row,默認(rèn)格式是statement)  
  10. binlog_format=mixed 

3）創(chuàng)建并啟動(dòng)mysql主服務(wù)

docker run -itd -p 3306:3306 --name master -v /usr/local/mysqlData/master/cnf:/etc/mysql/conf.d -v /usr/local/mysqlData/master/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7

4）添加復(fù)制master數(shù)據(jù)的用戶reader，供從服務(wù)器使用 

  1. [root@aliyun /]# docker ps  
  2. CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                               NAMES  
  3. 6af1df686fff        mysql:5.7           "docker-entrypoint..."   5 seconds ago       Up 4 seconds        0.0.0.0:3306->3306/tcp, 33060/tcp   master  
  4. [root@aliyun /]# docker exec -it master /bin/bash  
  5. root@41d795785db1:/# mysql -u root -p123456  
  6. mysql> GRANT REPLICATION SLAVE ON *.* to 'reader'@'%' identified by 'reader';  
  7. Query OK, 0 rows affected, 1 warning (0.00 sec)  
  8. mysql> FLUSH PRIVILEGES;  
  9. Query OK, 0 rows affected (0.00 sec) 

5）創(chuàng)建從服務(wù)器所需目錄，編輯配置文件 

  1. mkdir /usr/local/mysqlData/slave/cnf -p  
  2. mkdir /usr/local/mysqlData/slave/cnf -p  
  3. vim /usr/local/mysqlData/slave/cnf/mysql.cnf  
  4. [mysqld]  
  5. ## 設(shè)置server_id,注意要唯一  
  6. server-id=2  
  7. ## 開啟binlog,以備Slave作為其它Slave的Master時(shí)使用  
  8. log-bin=mysql-slave-bin 
  9. ## relay_log配置中繼日志  
  10. relay_log=edu-mysql-relay-bin  
  11. ## 如果需要同步函數(shù)或者存儲(chǔ)過程  
  12. log_bin_trust_function_creators=true  
  13. ## binlog緩存  
  14. binlog_cache_size=1M  
  15. ## binlog格式(mixed、statement、row,默認(rèn)格式是statement)  
  16. binlog_format=mixed  
  17. ## 跳過主從復(fù)制中遇到的所有錯(cuò)誤或指定類型的錯(cuò)誤,避免slave端復(fù)制中斷  
  18. ## 如:1062錯(cuò)誤是指一些主鍵重復(fù),1032錯(cuò)誤是因?yàn)橹鲝臄?shù)據(jù)庫數(shù)據(jù)不一致  
  19. slave_skip_errors=1062 

6）創(chuàng)建并運(yùn)行mysql從服務(wù)器 

  1. docker run -itd -p 3307:3306 --name slaver -v /usr/local/mysqlData/slave/cnf:/etc/mysql/conf.d -v /usr/local/mysqlData/slave/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7 

7）在從服務(wù)器上配置連接主服務(wù)器的信息

首先主服務(wù)器上查看master_log_file、master_log_pos兩個(gè)參數(shù)，然后切換到從服務(wù)器上進(jìn)行主服務(wù)器的連接信息的設(shè)置。

另外，MySQL 系列面試題和答案全部整理好了，微信搜索Java技術(shù)棧，在后臺(tái)發(fā)送：面試，可以在線閱讀。

主服務(wù)上執(zhí)行： 

  1. root@6af1df686fff:/# mysql -u root -p123456  
  2. mysql> show master status;  
  3. +------------------+----------+--------------+------------------+-------------------+  
  4. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |  
  5. +------------------+----------+--------------+------------------+-------------------+  
  6. | mysql-bin.000003 |      591 |              |                  |                   |  
  7. +------------------+----------+--------------+------------------+-------------------+  
  8. 1 row in set (0.00 sec) 

docker查看主服務(wù)器容器的ip地 

  1. [root@aliyun /]# docker inspect --format='{{.NetworkSettings.IPAddress}}' master  
  2. 172.17.0.2 

從服務(wù)器上執(zhí)行： 

  1. [root@aliyun /]# docker exec -it slaver /bin/bash  
  2. root@fe8b6fc2f1ca:/# mysql -u root -p123456   
  3. mysql> change master to master_host='172.17.0.2',master_user='reader',master_password='reader',master_log_file='mysql-bin.000003',master_log_pos=591; 

8）從服務(wù)器啟動(dòng)I/O 線程和SQL線程 

  1. mysql> start slave;  
  2. Query OK, 0 rows affected, 1 warning (0.00 sec)  
  3. mysql> show slave status\G 
  4. *************************** 1. row ***************************  
  5.                Slave_IO_State: Waiting for master to send event  
  6.                   Master_Host: 172.17.0.2  
  7.                   Master_User: reader  
  8.                   Master_Port: 3306  
  9.                 Connect_Retry: 60  
  10.               Master_Log_File: mysql-bin.000003  
  11.           Read_Master_Log_Pos: 591  
  12.                Relay_Log_File: edu-mysql-relay-bin.000002  
  13.                 Relay_Log_Pos: 320  
  14.         Relay_Master_Log_File: mysql-bin.000003  
  15.              Slave_IO_Running: Yes  
  16.             Slave_SQL_Running: Yes 

Slave_IO_Running: Yes，Slave_SQL_Running: Yes即表示啟動(dòng)成功

2）、binlog和redo log回顧

1）redo log（重做日志）

InnoDB首先將redo log放入到redo log buffer，然后按一定頻率將其刷新到redo log file

下列三種情況下會(huì)將redo log buffer刷新到redo log file：

  •  Master Thread每一秒將redo log buffer刷新到redo log file
  •  每個(gè)事務(wù)提交時(shí)會(huì)將redo log buffer刷新到redo log file
  •  當(dāng)redo log緩沖池剩余空間小于1/2時(shí)，會(huì)將redo log buffer刷新到redo log file

MySQL里常說的WAL技術(shù)，全稱是Write Ahead Log，即當(dāng)事務(wù)提交時(shí)，先寫redo log，再修改頁。也就是說，當(dāng)有一條記錄需要更新的時(shí)候，InnoDB會(huì)先把記錄寫到redo log里面，并更新Buffer Pool的page，這個(gè)時(shí)候更新操作就算完成了

Buffer Pool是物理頁的緩存，對(duì)InnoDB的任何修改操作都會(huì)首先在Buffer Pool的page上進(jìn)行，然后這樣的頁將被標(biāo)記為臟頁并被放到專門的Flush List上，后續(xù)將由專門的刷臟線程階段性的將這些頁面寫入磁盤

InnoDB的redo log是固定大小的，比如可以配置為一組4個(gè)文件，每個(gè)文件的大小是1GB，循環(huán)使用，從頭開始寫，寫到末尾就又回到開頭循環(huán)寫（順序?qū)懀?jié)省了隨機(jī)寫磁盤的IO消耗）

Write Pos是當(dāng)前記錄的位置，一邊寫一邊后移，寫到第3號(hào)文件末尾后就回到0號(hào)文件開頭。Check Point是當(dāng)前要擦除的位置，也是往后推移并且循環(huán)的，擦除記錄前要把記錄更新到數(shù)據(jù)文件

Write Pos和Check Point之間空著的部分，可以用來記錄新的操作。如果Write Pos追上Check Point，這時(shí)候不能再執(zhí)行新的更新，需要停下來擦掉一些記錄，把Check Point推進(jìn)一下

當(dāng)數(shù)據(jù)庫發(fā)生宕機(jī)時(shí)，數(shù)據(jù)庫不需要重做所有的日志，因?yàn)镃heck Point之前的頁都已經(jīng)刷新回磁盤，只需對(duì)Check Point后的redo log進(jìn)行恢復(fù)，從而縮短了恢復(fù)的時(shí)間

當(dāng)緩沖池不夠用時(shí)，根據(jù)LRU算法會(huì)溢出最近最少使用的頁，若此頁為臟頁，那么需要強(qiáng)制執(zhí)行Check Point，將臟頁刷新回磁盤。最新面試題整理好了，點(diǎn)擊Java面試庫小程序在線刷題。

2）binlog（歸檔日志）

MySQL整體來看就有兩塊：一塊是Server層，主要做的是MySQL功能層面的事情；還有一塊是引擎層，負(fù)責(zé)存儲(chǔ)相關(guān)的具體事宜。redo log是InnoDB引擎特有的日志，而Server層也有自己的日志，稱為binlog

binlog記錄了對(duì)MySQL數(shù)據(jù)庫執(zhí)行更改的所有操作，不包括SELECT和SHOW這類操作，主要作用是用于數(shù)據(jù)庫的主從復(fù)制及數(shù)據(jù)的增量恢復(fù)

使用mysqldump備份時(shí)，只是對(duì)一段時(shí)間的數(shù)據(jù)進(jìn)行全備，但是如果備份后突然發(fā)現(xiàn)數(shù)據(jù)庫服務(wù)器故障，這個(gè)時(shí)候就要用到binlog的日志了

binlog格式有三種：STATEMENT，ROW，MIXED

  •  STATEMENT模式：binlog里面記錄的就是SQL語句的原文。優(yōu)點(diǎn)是并不需要記錄每一行的數(shù)據(jù)變化，減少了binlog日志量，節(jié)約IO，提高性能。缺點(diǎn)是在某些情況下會(huì)導(dǎo)致master-slave中的數(shù)據(jù)不一致
  •  ROW模式：不記錄每條SQL語句的上下文信息，僅需記錄哪條數(shù)據(jù)被修改了，修改成什么樣了，解決了STATEMENT模式下出現(xiàn)master-slave中的數(shù)據(jù)不一致。缺點(diǎn)是會(huì)產(chǎn)生大量的日志，尤其是alter table的時(shí)候會(huì)讓日志暴漲
  • MIXED模式：以上兩種模式的混合使用，一般的復(fù)制使用STATEMENT模式保存binlog，對(duì)于STATEMENT模式無法復(fù)制的操作使用ROW模式保存binlog，MySQL會(huì)根據(jù)執(zhí)行的SQL語句選擇日志保存方式

3）redo log和binlog日志的不同

  •  redo log是InnoDB引擎特有的；binlog是MySQL的Server層實(shí)現(xiàn)的，所有引擎都可以使用
  •  redo log是物理日志，記錄的是在某個(gè)數(shù)據(jù)也上做了什么修改；binlog是邏輯日志，記錄的是這個(gè)語句的原始邏輯，比如給ID=2這一行的c字段加1
  •  redo log是循環(huán)寫的，空間固定會(huì)用完；binlog是可以追加寫入的，binlog文件寫到一定大小后會(huì)切換到下一個(gè)，并不會(huì)覆蓋以前的日志

4）兩階段提交 

  1. create table T(ID int primary key, c int);  
  2. update T set cc=c+1 where ID=2; 

執(zhí)行器和InnoDB引擎在執(zhí)行這個(gè)update語句時(shí)的內(nèi)部流程：

  •  執(zhí)行器先找到引擎取ID=2這一行。ID是主鍵，引擎直接用樹搜索找到這一行。如果ID=2這一行所在的數(shù)據(jù)也本來就在內(nèi)存中，就直接返回給執(zhí)行器；否則，需要先從磁盤讀入內(nèi)存，然后再返回
  •  執(zhí)行器拿到引擎給的行數(shù)據(jù)，把這個(gè)值加上1，得到新的一行數(shù)據(jù)，再調(diào)用引擎接口寫入這行新數(shù)據(jù)
  •  引擎將這行新數(shù)據(jù)更新到內(nèi)存中，同時(shí)將這個(gè)更新操作記錄到redo log里面，此時(shí)redo log處于prepare狀態(tài)。然后告知執(zhí)行器執(zhí)行完成了，隨時(shí)可以提交事務(wù)
  •  執(zhí)行器生成這個(gè)操作的binlog，并把binlog寫入磁盤
  •  執(zhí)行器調(diào)用引擎的提交事務(wù)接口，引擎把剛剛寫入的redo log改成提交狀態(tài)，更新完成

update語句的執(zhí)行流程圖如下，圖中淺色框表示在InnoDB內(nèi)部執(zhí)行的，深色框表示是在執(zhí)行器中執(zhí)行的

將redo log的寫入拆成了兩個(gè)步驟：prepare和commit，這就是兩階段提交

3）、MySQL主從復(fù)制原理

從庫B和主庫A之間維持了一個(gè)長連接。主庫A內(nèi)部有一個(gè)線程，專門用于服務(wù)從庫B的這個(gè)長連接。一個(gè)事務(wù)日志同步的完整過程如下：

  •  在從庫B上通過change master命令，設(shè)置主庫A的IP、端口、用戶名、密碼，以及要從哪個(gè)位置開始請(qǐng)求binlog，這個(gè)位置包含文件名和日志偏移量
  •  在從庫B上執(zhí)行start slave命令，這時(shí)從庫會(huì)啟動(dòng)兩個(gè)線程，就是圖中的I/O線程和SQL線程。其中I/O線程負(fù)責(zé)與主庫建立連接
  • 主庫A校驗(yàn)完用戶名、密碼后，開始按照從庫B傳過來的位置，從本地讀取binlog，發(fā)給B
  •  從庫B拿到binlog后，寫到本地文件，稱為中繼日志
  •  SQL線程讀取中繼日志，解析出日志里的命令，并執(zhí)行

由于多線程復(fù)制方案的引入，SQL線程演化成了多個(gè)線程

主從復(fù)制不是完全實(shí)時(shí)地進(jìn)行同步，而是異步實(shí)時(shí)。這中間存在主從服務(wù)之間的執(zhí)行延時(shí)，如果主服務(wù)器的壓力很大，則可能導(dǎo)致主從服務(wù)器延時(shí)較大。

點(diǎn)擊關(guān)注公眾號(hào)，Java干貨及時(shí)送達(dá)圖片

3、Sharding-Jdbc實(shí)現(xiàn)讀寫分離

1）、新建Springboot工程，引入相關(guān)依賴，Spring Boot 基礎(chǔ)就不介紹了，推薦下這個(gè)實(shí)戰(zhàn)教程：https://www.javastack.cn/categories/Spring-Boot/ 

  1. <dependencies>  
  2.     <dependency>  
  3.         <groupId>org.springframework.boot</groupId>  
  4.         <artifactId>spring-boot-starter-web</artifactId>  
  5.     </dependency>  
  6.     <dependency>  
  7.         <groupId>org.mybatis.spring.boot</groupId>  
  8.         <artifactId>mybatis-spring-boot-starter</artifactId>  
  9.         <version>2.1.4</version>  
  10.     </dependency>  
  11.     <dependency>  
  12.         <groupId>mysql</groupId>  
  13.         <artifactId>mysql-connector-java</artifactId>  
  14.         <scope>runtime</scope>  
  15.     </dependency>  
  16.     <dependency>  
  17.         <groupId>com.alibaba</groupId>  
  18.         <artifactId>druid-spring-boot-starter</artifactId>  
  19.         <version>1.1.21</version>  
  20.     </dependency>  
  21.     <dependency>  
  22.         <groupId>org.apache.shardingsphere</groupId>  
  23.         <artifactId>sharding-jdbc-spring-boot-starter</artifactId>  
  24.         <version>4.0.0-RC1</version>  
  25.     </dependency>  
  26.     <dependency>  
  27.         <groupId>org.projectlombok</groupId>  
  28.         <artifactId>lombok</artifactId>  
  29.         <optional>true</optional>  
  30.     </dependency>  
  31.     <dependency>  
  32.         <groupId>org.springframework.boot</groupId>  
  33.         <artifactId>spring-boot-starter-test</artifactId>  
  34.         <scope>test</scope>  
  35.     </dependency>  
  36. </dependencies> 

2）、application.properties配置文件 

  1. spring.main.allow-bean-definition-overriding=true  
  2. #顯示sql  
  3. spring.shardingsphere.props.sql.show=true  
  4. #配置數(shù)據(jù)源  
  5. spring.shardingsphere.datasource.names=ds1,ds2,ds3  
  6. #master-ds1數(shù)據(jù)庫連接信息  
  7. spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource  
  8. spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver  
  9. spring.shardingsphere.datasource.ds1.url=jdbc:mysql://47.101.58.187:3306/sharding-jdbc-db?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai  
  10. spring.shardingsphere.datasource.ds1.username=root  
  11. spring.shardingsphere.datasource.ds1.password=123456  
  12. spring.shardingsphere.datasource.ds1.maxPoolSize=100  
  13. spring.shardingsphere.datasource.ds1.minPoolSize=5  
  14. #slave-ds2數(shù)據(jù)庫連接信息  
  15. spring.shardingsphere.datasource.ds2.type=com.alibaba.druid.pool.DruidDataSource  
  16. spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.cj.jdbc.Driver  
  17. spring.shardingsphere.datasource.ds2.url=jdbc:mysql://47.101.58.187:3307/sharding-jdbc-db?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai  
  18. spring.shardingsphere.datasource.ds2.username=root  
  19. spring.shardingsphere.datasource.ds2.password=123456  
  20. spring.shardingsphere.datasource.ds2.maxPoolSize=100  
  21. spring.shardingsphere.datasource.ds2.minPoolSize=5  
  22. #slave-ds3數(shù)據(jù)庫連接信息  
  23. spring.shardingsphere.datasource.ds3.type=com.alibaba.druid.pool.DruidDataSource  
  24. spring.shardingsphere.datasource.ds3.driver-class-name=com.mysql.cj.jdbc.Driver  
  25. spring.shardingsphere.datasource.ds3.url=jdbc:mysql://47.101.58.187:3307/sharding-jdbc-db?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai  
  26. spring.shardingsphere.datasource.ds3.username=root  
  27. spring.shardingsphere.datasource.ds3.password=123456  
  28. spring.shardingsphere.datasource.ds.maxPoolSize=100  
  29. spring.shardingsphere.datasource.ds3.minPoolSize=5  
  30. #配置默認(rèn)數(shù)據(jù)源ds1 默認(rèn)數(shù)據(jù)源,主要用于寫  
  31. spring.shardingsphere.sharding.default-data-source-name=ds1  
  32. #配置主從名稱  
  33. spring.shardingsphere.masterslave.name=ms  
  34. #置主庫master,負(fù)責(zé)數(shù)據(jù)的寫入  
  35. spring.shardingsphere.masterslave.master-data-source-name=ds1  
  36. #配置從庫slave節(jié)點(diǎn)  
  37. spring.shardingsphere.masterslave.slave-data-source-names=ds2,ds3  
  38. #配置slave節(jié)點(diǎn)的負(fù)載均衡均衡策略,采用輪詢機(jī)制  
  39. spring.shardingsphere.masterslave.load-balance-algorithm-type=round_robin  
  40. #整合mybatis的配置  
  41. mybatis.type-aliases-package=com.ppdai.shardingjdbc.entity 

3）、創(chuàng)建t_user表 

  1. CREATE TABLE `t_user` (  
  2.   `id` int(11) NOT NULL AUTO_INCREMENT,  
  3.   `nickname` varchar(100) DEFAULT NULL,  
  4.   `password` varchar(100) DEFAULT NULL,  
  5.   `sex` int(11) DEFAULT NULL,  
  6.   `birthday` varchar(50) DEFAULT NULL,  
  7.   PRIMARY KEY (`id`)  
  8. ) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4; 

4）、定義Controller、Mapper、Entity 

  1. @Data  
  2. public class User {  
  3.     private Integer id;  
  4.     private String nickname;  
  5.     private String password;  
  6.     private Integer sex;  
  7.     private String birthday;}  
  8. @RestController  
  9. @RequestMapping("/api/user")  
  10. public class UserController {  
  11.     @Autowired  
  12.     private UserMapper userMapper;  
  13.     @PostMapping("/save")  
  14.     public String addUser() {  
  15.         User user = new User();  
  16.         user.setNickname("zhangsan" + new Random().nextInt());  
  17.         user.setPassword("123456");  
  18.         user.setSex(1);  
  19.         user.setBirthday("1997-12-03"); 
  20.         userMapper.addUser(user);  
  21.         return "success";  
  22.     }  
  23.     @GetMapping("/findUsers")  
  24.     public List<User> findUsers() {  
  25.         return userMapper.findUsers(); 
  26.     }  
  27. }  
  28. public interface UserMapper {  
  29.     @Insert("insert into t_user(nickname,password,sex,birthday) values(#{nickname},#{password},#{sex},#{birthday})")  
  30.     void addUser(User user);  
  31.     @Select("select * from t_user")  
  32.     List<User> findUsers();  
  33. } 

5）、驗(yàn)證

啟動(dòng)日志中三個(gè)數(shù)據(jù)源初始化成功：

調(diào)用http://localhost:8080/api/user/save一直進(jìn)入到ds1主節(jié)點(diǎn)

調(diào)用http://localhost:8080/api/user/findUsers一直進(jìn)入到ds2、ds3節(jié)點(diǎn)，并且輪詢進(jìn)入

4、MySQL分庫分表原理

1）、分庫分表

水平拆分：同一個(gè)表的數(shù)據(jù)拆到不同的庫不同的表中。可以根據(jù)時(shí)間、地區(qū)或某個(gè)業(yè)務(wù)鍵維度，也可以通過hash進(jìn)行拆分，最后通過路由訪問到具體的數(shù)據(jù)。拆分后的每個(gè)表結(jié)構(gòu)保持一致

垂直拆分：就是把一個(gè)有很多字段的表給拆分成多個(gè)表，或者是多個(gè)庫上去。每個(gè)庫表的結(jié)構(gòu)都不一樣，每個(gè)庫表都包含部分字段。一般來說，可以根據(jù)業(yè)務(wù)維度進(jìn)行拆分，如訂單表可以拆分為訂單、訂單支持、訂單地址、訂單商品、訂單擴(kuò)展等表；也可以，根據(jù)數(shù)據(jù)冷熱程度拆分，20%的熱點(diǎn)字段拆到一個(gè)表，80%的冷字段拆到另外一個(gè)表。

最新分庫分表面試題整理好了，點(diǎn)擊Java面試庫小程序在線刷題。

2）、不停機(jī)分庫分表數(shù)據(jù)遷移

一般數(shù)據(jù)庫的拆分也是有一個(gè)過程的，一開始是單表，后面慢慢拆成多表。那么我們就看下如何平滑的從MySQL單表過度到MySQL的分庫分表架構(gòu)

  •  利用MySQL+Canal做增量數(shù)據(jù)同步，利用分庫分表中間件，將數(shù)據(jù)路由到對(duì)應(yīng)的新表中
  •  利用分庫分表中間件，全量數(shù)據(jù)導(dǎo)入到對(duì)應(yīng)的新表中
  •  通過單表數(shù)據(jù)和分庫分表數(shù)據(jù)兩兩比較，更新不匹配的數(shù)據(jù)到新表中
  •  數(shù)據(jù)穩(wěn)定后，將單表的配置切換到分庫分表配置上

5、Sharding-Jdbc實(shí)現(xiàn)分庫分表

1）、邏輯表

用戶數(shù)據(jù)根據(jù)訂單id%2拆分為2個(gè)表，分別是：t_order0和t_order1。他們的邏輯表名是：t_order

多數(shù)據(jù)源相同表： 

  1. #多數(shù)據(jù)源$->{0..N}.邏輯表名$->{0..N} 相同表 
  2. spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}  

多數(shù)據(jù)源不同表： 

  1. #多數(shù)據(jù)源$->{0..N}.邏輯表名$->{0..N} 不同表  
  2. spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds0.t_order$->{0..1},ds1.t_order$->{2..4} 

單庫分表： 

  1. #單數(shù)據(jù)源的配置方式  
  2. spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds0.t_order$->{0..4}  

全部手動(dòng)指定： 

  1. spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds0.t_order0,ds1.t_order0,ds0.t_order1,ds1.t_order1 

2）、inline分片策略 

  1. spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}  
  2. #數(shù)據(jù)源分片策略  
  3. spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=user_id  
  4. #數(shù)據(jù)源分片算法  
  5. spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ds$->{user_id%2}  
  6. #表分片策略  
  7. spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id  
  8. #表分片算法  
  9. spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id%2} 

上面的配置通過user_id%2來決定具體數(shù)據(jù)源，通過order_id%2來決定具體表

insert into t_order(user_id,order_id) values(2,3)，user_id%2 = 0使用數(shù)據(jù)源ds0，order_id%2 = 1使用t_order1，insert語句最終操作的是數(shù)據(jù)源ds0的t_order1表。

3）、分布式主鍵配置

Sharding-Jdbc可以配置分布式主鍵生成策略。默認(rèn)使用雪花算法（snowflake），生成64bit的長整型數(shù)據(jù)，也支持UUID的方式 

  1. #主鍵的列名  
  2. spring.shardingsphere.sharding.tables.t_order.key-generator.column=id  
  3. #主鍵生成策略  
  4. spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE 

4）、inline分片策略實(shí)現(xiàn)分庫分表

需求：

對(duì)1000w的用戶數(shù)據(jù)進(jìn)行分庫分表，對(duì)用戶表的數(shù)據(jù)進(jìn)行分表和分庫的操作。根據(jù)年齡奇數(shù)存儲(chǔ)在t_user1，偶數(shù)t_user0，同時(shí)性別奇數(shù)存儲(chǔ)在ds1，偶數(shù)ds0。

另外，MySQL 系列面試題和答案全部整理好了，微信搜索Java技術(shù)棧，在后臺(tái)發(fā)送：面試，可以在線閱讀。

表結(jié)構(gòu)： 

  1. CREATE TABLE `t_user0` (  
  2.   `id` bigint(20) DEFAULT NULL,  
  3.   `nickname` varchar(200) DEFAULT NULL,  
  4.   `password` varchar(200) DEFAULT NULL,  
  5.   `age` int(11) DEFAULT NULL,  
  6.   `sex` int(11) DEFAULT NULL,  
  7.   `birthday` varchar(100) DEFAULT NULL  
  8. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;  
  9. CREATE TABLE `t_user1` (  
  10.   `id` bigint(20) DEFAULT NULL,  
  11.   `nickname` varchar(200) DEFAULT NULL, 
  12.   `password` varchar(200) DEFAULT NULL,  
  13.   `age` int(11) DEFAULT NULL,  
  14.   `sex` int(11) DEFAULT NULL,  
  15.   `birthday` varchar(100) DEFAULT NULL  
  16. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 

兩個(gè)數(shù)據(jù)庫中都包含t_user0和t_user1兩張表。Spring Boot 基礎(chǔ)就不介紹了，推薦下這個(gè)實(shí)戰(zhàn)教程：https://www.javastack.cn/categories/Spring-Boot/

application.properties： 

  1. spring.main.allow-bean-definition-overriding=true  
  2. #顯示sql  
  3. spring.shardingsphere.props.sql.show=true  
  4. #配置數(shù)據(jù)源  
  5. spring.shardingsphere.datasource.names=ds0,ds1  
  6. #ds0數(shù)據(jù)庫連接信息  
  7. spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource  
  8. spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver  
  9. spring.shardingsphere.datasource.ds0.url=jdbc:mysql://47.101.58.187:3306/t_user_db0?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai  
  10. spring.shardingsphere.datasource.ds0.username=root  
  11. spring.shardingsphere.datasource.ds0.password=123456  
  12. spring.shardingsphere.datasource.ds0.maxPoolSize=100  
  13. spring.shardingsphere.datasource.ds0.minPoolSize=5  
  14. #ds1數(shù)據(jù)庫連接信息  
  15. spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource  
  16. spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver  
  17. spring.shardingsphere.datasource.ds1.url=jdbc:mysql://47.101.58.187:3306/t_user_db1?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai  
  18. spring.shardingsphere.datasource.ds1.username=root  
  19. spring.shardingsphere.datasource.ds1.password=123456  
  20. spring.shardingsphere.datasource.ds1.maxPoolSize=100  
  21. spring.shardingsphere.datasource.ds1.minPoolSize=5  
  22. #整合mybatis的配置  
  23. mybatis.type-aliases-package=com.ppdai.shardingjdbc.entity  
  24. spring.shardingsphere.sharding.tables.t_user.actual-data-nodes=ds$->{0..1}.t_user$->{0..1}  
  25. #數(shù)據(jù)源分片策略  
  26. spring.shardingsphere.sharding.tables.t_user.database-strategy.inline.sharding-column=sex  
  27. #數(shù)據(jù)源分片算法  
  28. spring.shardingsphere.sharding.tables.t_user.database-strategy.inline.algorithm-expression=ds$->{sex%2}  
  29. #表分片策略  
  30. spring.shardingsphere.sharding.tables.t_user.table-strategy.inline.sharding-column=age  
  31. #表分片算法  
  32. spring.shardingsphere.sharding.tables.t_user.table-strategy.inline.algorithm-expression=t_user$->{age%2}  
  33. #主鍵的列名  
  34. spring.shardingsphere.sharding.tables.t_user.key-generator.column=id  
  35. spring.shardingsphere.sharding.tables.t_user.key-generator.type=SNOWFLAKE 

測試類： 

  1. @SpringBootTest  
  2. class ShardingJdbcApplicationTests {  
  3.     @Autowired  
  4.     private UserMapper userMapper;  
  5.     /**  
  6.      * sex:奇數(shù)  
  7.      * age:奇數(shù)  
  8.      * ds1.t_user1  
  9.      */  
  10.     @Test  
  11.     public void test01() { 
  12.         User user = new User();  
  13.         user.setNickname("zhangsan" + new Random().nextInt());  
  14.         user.setPassword("123456");  
  15.         user.setAge(17);  
  16.         user.setSex(1);  
  17.         user.setBirthday("1997-12-03");  
  18.         userMapper.addUser(user);  
  19.     }  
  20.     /**  
  21.      * sex:奇數(shù)  
  22.      * age:偶數(shù)  
  23.      * ds1.t_user0  
  24.      */  
  25.     @Test  
  26.     public void test02() {  
  27.         User user = new User();  
  28.         user.setNickname("zhangsan" + new Random().nextInt());  
  29.         user.setPassword("123456");  
  30.         user.setAge(18);  
  31.         user.setSex(1);  
  32.         user.setBirthday("1997-12-03");  
  33.         userMapper.addUser(user);  
  34.     }  
  35.     /**  
  36.      * sex:偶數(shù)  
  37.      * age:奇數(shù)  
  38.      * ds0.t_user1  
  39.      */  
  40.     @Test  
  41.     public void test03() {  
  42.         User user = new User();  
  43.         user.setNickname("zhangsan" + new Random().nextInt());  
  44.         user.setPassword("123456");  
  45.         user.setAge(17);  
  46.         user.setSex(2);  
  47.         user.setBirthday("1997-12-03");  
  48.         userMapper.addUser(user);  
  49.     }  
  50.     /**  
  51.      * sex:偶數(shù)  
  52.      * age:偶數(shù)  
  53.      * ds0.t_user0  
  54.      */  
  55.     @Test  
  56.     public void test04() {  
  57.         User user = new User();  
  58.         user.setNickname("zhangsan" + new Random().nextInt());  
  59.         user.setPassword("123456");  
  60.         user.setAge(18);  
  61.         user.setSex(2); 
  62.         user.setBirthday("1997-12-03");  
  63.         userMapper.addUser(user);  
  64.     }  
  65. }  

 

責(zé)任編輯：龐桂玉 來源： Java技術(shù)棧
Sharding-Jdbc分庫分表Java
相關(guān)推薦

2018-09-21 15:50:58

數(shù)據(jù)庫MySQL分庫分表

2025-04-03 09:39:14

2020-07-29 10:40:21

Spring循環(huán)依賴Java

2020-05-07 10:05:58

Spring循環(huán)依賴Java

2021-06-25 09:47:59

Spring循環(huán)依賴Java

2019-10-17 09:26:05

MySQL數(shù)據(jù)庫InnoDB

2019-09-29 10:04:26

技術(shù)編程開發(fā)

2021-10-22 14:50:23

Spring BootJava

2023-07-24 09:00:00

數(shù)據(jù)庫MyCat

2021-06-21 15:57:08

微服務(wù)架構(gòu)數(shù)據(jù)

2019-09-17 11:18:09

SQLMySQLJava

2020-11-06 15:30:23

分庫分表Sharding-JD數(shù)據(jù)庫

2025-04-03 08:35:00

分頁查詢開發(fā)代碼

2022-05-16 08:50:23

數(shù)據(jù)脫加密器

2019-05-13 15:00:14

MySQLMyCat數(shù)據(jù)庫

2022-12-05 07:51:24

數(shù)據(jù)庫分庫分表讀寫分離

2020-06-18 11:58:13

蘋果MacOS保密

2022-06-22 07:32:53

Sharding分庫數(shù)據(jù)源

2020-01-03 16:30:14

數(shù)據(jù)庫讀寫分離分庫

2020-11-12 07:43:06

Redis冪等性接口
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)