滴滴開(kāi)源千萬(wàn)級(jí)并發(fā)的分布式ID生成器
Tinyid是一個(gè)ID生成器服務(wù),它提供了REST API和Java客戶(hù)端兩種獲取方式,如果使用Java客戶(hù)端獲取方式的話(huà),官方宣稱(chēng)能單實(shí)例能達(dá)到1kw QPS(Over 10 million QPS per single instance when using the java client.),我的媽呀!
說(shuō)明:Tinyid要求JDK是1.7+即可。
Github
Tinyid開(kāi)源的Github地址:https://github.com/didi/tinyid。
運(yùn)行Tinyid
將Tinyid源碼下載到本地,并導(dǎo)入idea后,接下來(lái)準(zhǔn)備把它運(yùn)行起來(lái)。
1. 導(dǎo)入SQL
Tinyid依賴(lài)的SQL腳本路徑:tinyid/tinyid-server/db.sql,是MySQL數(shù)據(jù)庫(kù)的腳本。登陸mysql客戶(hù)端并創(chuàng)建一個(gè)tinyid數(shù)據(jù)庫(kù)后,執(zhí)行命令 source /data/tinyid/tinyid-server/db.sql。如果show tables后能看到兩個(gè)表tiny_id_info和tiny_id_token表示創(chuàng)建成功。并且腳本已經(jīng)初始化了兩條數(shù)據(jù):
- mysql>selectid,token,biz_typefromtiny_id_token;+----+----------------------------------+----------+|id|token|biz_type|+----+----------------------------------+----------+|1|0f673adf80504e2eaa552f5d791b644c|test||2|0f673adf80504e2eaa552f5d791b644c|test_odd|+----+----------------------------------+----------+2rowsinset(0.08sec)mysql>selectid,biz_type,begin_id,max_id,step,deltafromtiny_id_info;+----+----------+----------+--------+--------+-------+|id|biz_type|begin_id|max_id|step|delta|+----+----------+----------+--------+--------+-------+|1|test|1|1|100000|1||2|test_odd|1|1|100000|2|+----+----------+----------+--------+--------+-------+2rowsinset(0.01sec)
- 2. mysql依賴(lài)
這里需要注意的是,tinyid項(xiàng)目默認(rèn)依賴(lài)5.x版本MySQL驅(qū)動(dòng)包,Maven坐標(biāo)如下:
- <dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.44</version></dependency>
如果你的MySQL服務(wù)器是8.x版本(筆者本地就是8.x的MySQL),可能會(huì)碰到在啟動(dòng)過(guò)程中報(bào)連接數(shù)據(jù)庫(kù)錯(cuò)誤:
- Causedby:java.sql.SQLException:Unabletoloadauthenticationplugin'caching_sha2_password'.atcom.mysql.jdbc.SQLError.createSQLException(SQLError.java:868)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.SQLError.createSQLException(SQLError.java:864)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1746)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226)~[mysql-connector-java-5.1.44.jar:5.1.44]......
這樣的話(huà),需要將你的MySQL驅(qū)動(dòng)升級(jí)到8.x版本(說(shuō)明:如果你是其他MySQL版本,啟動(dòng)tinyid時(shí)碰到類(lèi)似的異常,那么MySQL驅(qū)動(dòng)版本請(qǐng)視情況而定進(jìn)行升級(jí)):
- <dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.11</version></dependency>
3. 修改配置
接下來(lái)需要更新配置application.properties文件。主要更新數(shù)據(jù)庫(kù)相關(guān)配置,具體值根據(jù)你的MySQL環(huán)境而定:
- datasource.tinyid.primary.driver-class-name=com.mysql.jdbc.Driverdatasource.tinyid.primary.url=jdbc:mysql://localhost:3306/tinyid?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8datasource.tinyid.primary.username=afeidatasource.tinyid.primary.password=afei
4. 啟動(dòng)tinyid
tinyid項(xiàng)目基于Springboot開(kāi)發(fā)的,所以啟動(dòng)非常簡(jiǎn)單。只需要運(yùn)行主類(lèi)TinyIdServerApplication.java即可。運(yùn)行后如果能看到如下日志,表示啟動(dòng)成功:
- 00:20:55,761[main][INFO]o.s.b.c.e.t.TomcatEmbeddedServletContainer-Tomcatstartedonport(s):9999(http)00:20:55,767[main][INFO]c.x.u.t.s.TinyIdServerApplication-StartedTinyIdServerApplicationin5.092seconds(JVMrunningfor6.29)00:21:00,001[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-refreshtokenbegin00:21:00,002[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-tinyIdtokeninitbegin00:21:00,006[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-tinyIdtokeninitsuccess,tokensize:200:22:00,001[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-refreshtokenbegin。。。。。。
5. 獲取唯一ID
接下來(lái)可以嘗試通過(guò)REST API獲取分布式唯一ID,請(qǐng)求實(shí)例如下,bizType和token的值請(qǐng)參考tiny_id_token表:
- http://localhost:9999/tinyid/id/nextId?bizType=test&token=0f673adf80504e2eaa552f5d791b644c
Client集成
tinyid還支持Client集成模式,只需要引入如下Maven坐標(biāo):
- <dependency><groupId>com.xiaoju.uemc.tinyid</groupId><artifactId>tinyid-client</artifactId><version>${tinyid.version}</version></dependency>
然后在你的classpath路徑下創(chuàng)建配置文件tinyid_client.properties,內(nèi)容如下,這兩個(gè)參數(shù)就是IdGeneratorFactoryClient.java中tinyid服務(wù)端請(qǐng)求地址"http://{0}/tinyid/id/nextSegmentIdSimple?token={1}&bizType="的第一個(gè)和第二個(gè)參數(shù):
- tinyid.server=localhost:9999tinyid.token=0f673adf80504e2eaa552f5d791b644c
tinyid.server還支持多個(gè)地址配置,多個(gè)地址之間以英文逗號(hào)隔開(kāi),例如:tinyid.server=host1:9999,tinyid.server=host2:9999。
接下來(lái),就能簡(jiǎn)單的通過(guò)調(diào)用tinyid封裝的API獲取分布式ID,實(shí)例代碼如下,test就是bizType的值:
- //單個(gè)分布式ID獲取Longid=TinyId.nextId("test");//多個(gè)分布式ID批量獲取List<Long>ids=TinyId.nextId("test",10);
通過(guò)配置可知,tinyid-client本質(zhì)上還是依賴(lài)tinyid-server,只不過(guò)它封裝了對(duì)tinyid-server的HTTP請(qǐng)求,然后暴露最簡(jiǎn)單的API給用戶(hù)使用而已。它對(duì)tinyid-server的HTTP請(qǐng)求封裝在TinyIdHttpUtils.java中,依賴(lài)JDK原生的HttpURLConnection,居然沒(méi)有使用其他第三方優(yōu)秀的HTTP Client包例如okhttp!
tinyid原理
tinyid的原理非常簡(jiǎn)單,通過(guò)數(shù)據(jù)庫(kù)表中的數(shù)據(jù)基本是就能猜出個(gè)八九不離十,就是經(jīng)典的segment模式,和美團(tuán)的leaf原理幾乎一致。原理圖如下所示,以同一個(gè)bizType為例,每個(gè)tinyid-server會(huì)分配到不同的segment,例如第一個(gè)tinyid-server分配到(1000, 2000],第二個(gè)tinyid-server分配到(2000, 3000],第3個(gè)tinyid-server分配到(3000, 4000]:
再以第一個(gè)tinyid-server為例,當(dāng)它的segment用了20%(核心源碼:segmentId.setLoadingId(segmentId.getCurrentId().get() + idInfo.getStep() * Constants.LOADING_PERCENT / 100);,LOADING_PERCENT的值就是20),即設(shè)定loadingId為20%的閾值,例如當(dāng)前id是10000,步長(zhǎng)為10000,那么loadingId=12000。那么當(dāng)請(qǐng)求分布式ID分配到12001時(shí)(或者重啟后),即超過(guò)loadingId,就會(huì)返回一個(gè)特殊code:new Result(ResultCode.LOADING, id);tinyid-server根據(jù)ResultCode.LOADING這個(gè)響應(yīng)碼就會(huì)異步分配下一個(gè)segment(4000, 5000],以此類(lèi)推。