十幾年前，互聯(lián)網(wǎng)產(chǎn)業(yè)蓬勃發(fā)展，相比傳統(tǒng) IT 企業(yè)，互聯(lián)網(wǎng)應用每天會產(chǎn)生海量的數(shù)據(jù)。

如何存儲和分析這些數(shù)據(jù)成為了當時技術圈的痛點，彼時，分庫分表解決方案應運而生。

當時最流行的 Java 技術論壇是 javaeye ，有位淘寶的技術人員分享了一篇分庫分表的文章 ，這篇文章，我反復看了幾十遍，想從中吸取更多的營養(yǎng)，但基于我孱弱的技術能力，總是感覺隔靴搔癢。

直到 2012年  Cobar 開源了 ，我的困惑才慢慢消解了。

一、Cobar 開源了

Cobar 是由 Alibaba 開源的 MySQL 分布式處理中間件，它可以在分布式的環(huán)境下看上去像傳統(tǒng)數(shù)據(jù)庫一樣提供海量數(shù)據(jù)服務。

Cobar 開源后，我迫不及待的的去下載部署包，配置兩個分庫同樣一張表，在兩個庫分別手工插入 1 條記錄，然后通過 Navicat 連接 Cobar 暴露的端口，竟然發(fā)現(xiàn)數(shù)據(jù)表顯示兩條數(shù)據(jù) 。

我覺得很神奇，也有點不可思議，像魔法一樣。

雖然我極度渴望探索 Cobar 的原理 ,   但互聯(lián)網(wǎng)上關于 Cobar 的文章其實并不多 ，而且我認識的同事朋友也對分庫分表同樣不熟悉，我想到了世界上最笨的方法：將 Cobar 源碼抄寫一次，邊抄邊理解，直到可以將程序跑起來。

于是，我建了一個新的 maven 項目，一點點去抄。

圖片

最開始是模仿 Cobar 的包的結構，接著是網(wǎng)絡通訊設計，最后是 SQL 解析 。

網(wǎng)絡通訊模塊跑通了，但當我抄到  SQL 解析模塊時，因為不理解原理，抄起來實在太費勁了，轟轟烈烈的抄源碼運動戛然而止，花費了接近三個月的時間。

二、抄源碼的收獲

雖然那時我并沒有完全理解 Cobar 的實現(xiàn)機制，但收獲還是很大的。

1.網(wǎng)絡編程

第一次接觸到 Reactor 模式，NIOAcceptor 用于處理前端請求，NIOConnector 則用于管理后端的連接，NIOProcessor 用于管理多線程事件處理，NIOReactor 則用于完成底層的事件驅(qū)動機制。

Reactor 模式

我接觸到 Netty  之后，才想到 Cobar 的網(wǎng)絡通訊層可以更加優(yōu)雅點 。事實上 ，MyCat 就是重點優(yōu)化了后端網(wǎng)絡通訊層。

2.緩存池

第一次知道原來可以在網(wǎng)絡通訊里，封裝統(tǒng)一管理 NIO 的 Buffer 。

圖片

3.打包技巧

Cobar 這種 maven 打包方式，目錄結構如下：

圖片

我自己寫項目都會參考這種 maven 打包方式，因為這種方式相比原來 tomcat webapp 部署包的方式更加優(yōu)雅。

4.學習 sharding-jdbc

當我對于分庫分表 Proxy 的設計有了初步認識之后，再來學習當當開源的 sharding-jdbc 時就輕松很多了。

三、開源分庫分表示例項目

其實，我對于分庫分表技術的執(zhí)念，更多在在于我強烈的渴望：當遇到需要分庫分表的場景，我有足夠的能力去解決這個問題。

今年 3月份，我開源了一個分庫分表示例項目。

圖片

https://github.com/makemyownlife/shardingsphere-jdbc-demo

這個項目的初衷是：幫助 Java 同學們快速入門分庫分表，但又不止于分庫分表 。

1. Grpc  服務端 ID 生成器示例

圖片

圖片

2.shardingsphere jdbc 4.X/5.X  分庫分表例子

項目提供了兩個模塊，分別使用 jdbc 4.X  和 jdbc 5.X 兩個版本。

圖片

同時，有的同學想使用原生 API 實現(xiàn)分庫分表，每個模塊里都準備了原生 API 使用的例子 ，方便同學們調(diào)試。

圖片

網(wǎng)上有很多 shardingsphere jdbc 5.X 的例子，但很多使用方式并不標準，勇哥結合官網(wǎng)文檔，并對比網(wǎng)上很多例子，花了很多天才梳理好。

3. antlr 學習例子

shardingsphere 基于 antlr4 設計了新一代的 SQL 解析引擎，勇哥單獨抽出一個模塊用來演示：

圖片

antlr 學習模塊會逐步完善更多的例子，比如簡單的查詢 SQL 解析、JSON 格式解析等。

shardingsphere-jdbc-demo 項目還在不斷的進化中，后面還要添加擴容相關的知識點，比如 canal、datax  ，希望能幫助大家 ！