自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

架構師究竟要不要懂細節(jié)?分布式 ID 生成的六種方法

開發(fā) 架構
幾乎所有的業(yè)務系統(tǒng),都有生成一個唯一記錄標識的需求,例如:消息ID,訂單ID,帖子ID,那如何高效生成趨勢有序的全局唯一ID呢?

幾乎所有的業(yè)務系統(tǒng),都有生成一個唯一記錄標識的需求,例如:消息ID,訂單ID,帖子ID...

這個ID,在數(shù)據(jù)庫中往往用作主鍵,且有排序與分頁的查詢需求。這也是分布式ID生成算法的兩大核心需求:

  • 全局唯一;
  • 趨勢遞增;

如何高效生成趨勢有序的全局唯一ID,是每一個工程師都會遇到的問題。

方法一:數(shù)據(jù)庫auto-inc-id法

借助數(shù)據(jù)庫的auto_increment來生成全局唯一遞增ID。

優(yōu)點:

  • 簡單,使用數(shù)據(jù)庫已有的功能;
  • 能夠保證唯一性;
  • 能夠保證遞增性;
  • 步長固定;

不足:

  • 可用性難以保證,需要依賴數(shù)據(jù)庫的高可用;
  • 擴展性差,性能有上限,數(shù)據(jù)庫主庫的寫性能決定ID的生成性能上限;

改進方法:

  • 冗余主庫,避免寫入單點;
  • 數(shù)據(jù)水平切分,保證各主庫生成的ID不重復;

改進后,數(shù)據(jù)庫的寫壓力依然很大,每次生成ID都要訪問數(shù)據(jù)庫。為了解決這個問題,引出了第二個常見的方案。

方法二:批量ID生成服務

數(shù)據(jù)庫寫壓力大,是因為每次生成ID都訪問了數(shù)據(jù)庫,可以使用批量的方式降低數(shù)據(jù)庫寫壓力。

ID生成服務假設每次批量拉取6個ID,服務訪問數(shù)據(jù)庫,將當前ID的最大值修改為5,這樣應用訪問ID生成服務索要ID,ID生成服務不需要每次訪問數(shù)據(jù)庫,就能依次派發(fā)0,1,2,3,4,5這些ID了。

當ID發(fā)完后,再將ID的最大值修改為11,就能再次派發(fā)6,7,8,9,10,11這些ID了,于是數(shù)據(jù)庫的壓力就降低到原來的1/6。

優(yōu)點:

  • 保證了ID生成的絕對遞增有序;
  • 大大的降低了數(shù)據(jù)庫的壓力,ID生成可以做到每秒生成幾萬幾十萬個;

同時,服務也可以做集群化,只是稍微要注意數(shù)據(jù)一致性問題,具體CAS優(yōu)化方案在《巧用CAS實現(xiàn)分布式ID生成器!》中有詳細介紹,不再展開。

方法三:uuid/guid法

不管是通過數(shù)據(jù)庫,還是通過服務來生成ID,業(yè)務方都需要進行一次遠程調用,比較耗時。有沒有一種本地生成ID的方法,即高性能,又時延低呢?

uuid是一種常見的方案:

string ID =GenUUID();

優(yōu)點:

  • 本地生成ID,不需要進行遠程調用,時延低;
  • 擴展性好,基本可以認為沒有性能上限;

不足:

  • 無法保證趨勢遞增
  • uuid過長,往往用字符串表示,作為主鍵建立索引查詢效率低,常見優(yōu)化方案為“轉化為兩個uint64整數(shù)存儲”。

方法四:取當前毫秒數(shù)

uuid是一個本地算法,生成性能高,但無法保證趨勢遞增,且作為字符串ID檢索效率低,有沒有一種能保證遞增的本地算法呢?

取當前毫秒數(shù)是一種常見方案:

uint64 ID = GenTimeMS();

優(yōu)點:

  • 本地生成ID,不需要進行遠程調用,時延低;
  • 生成的ID趨勢遞增;
  • 生成的ID是整數(shù),建立索引后查詢效率高;

缺點:如果并發(fā)量超過1000,會生成重復的ID。

當然,使用微秒可以降低沖突概率,但每秒最多只能生成1000000個ID,再多的話就一定會沖突了,所以使用微秒并不從根本上解決問題。

方法五:類snowflake算法

snowflake是twitter開源的分布式ID生成算法,其核心思想為,一個long型的ID:

  • 41bit作為毫秒數(shù);
  • 10bit作為機器(服務)編號;
  • 12bit作為毫秒內序列號;

算法單機每秒內理論上最多可以生成1000*(2^12),也就是400W的ID,1024臺機器(服務)每秒能生活40Y的ID,完全能滿足業(yè)務的需求。

借鑒snowflake的思想,結合公司的業(yè)務邏輯和并發(fā)量,可以實現(xiàn)自己的分布式ID生成算法。

舉例,假設某公司ID生成的需求如下:

  • 單機高峰并發(fā)量小于1W,預計未來10年單機高峰并發(fā)量小于10W;
  • 有2個機房,預計未來10年機房數(shù)量小于4個;
  • 每個機房機器數(shù)小于100臺;
  • 目前有5個業(yè)務線有ID生成需求,預計未來業(yè)務線數(shù)量小于10個;

我們應該怎么來設計公司獨特的ID生成算法呢?

其一,毫秒位數(shù)考慮。

假設系統(tǒng)至少運行10年,那至少需要10年*365天*24小時*3600秒*1000毫秒=320*10^9,差不多預留39bit給毫秒數(shù)。

其二,1毫秒內序列號考慮。

每秒的單機高峰并發(fā)量小于10W,即平均每毫秒的單機高峰并發(fā)量小于100,差不多預留7bit給每毫秒內序列號。

其三,機房數(shù)少于4個,預留2bit給機房標識。

其四,每個機房機器小于100臺,預留7bit給每個機房內的服務器標識。

其五,業(yè)務線小于10個,預留4bit給業(yè)務線標識。

這樣設計的64bit標識,可以保證:

  • 每個業(yè)務線、每個機房、每個機器生成的ID都是不同的;
  • 同一個機器,每個毫秒內生成的ID都是不同的;
  • 同一個機器,同一個毫秒內,以序列號區(qū)區(qū)分保證生成的ID是不同的;
  • 將毫秒數(shù)放在最高位,保證生成的ID是趨勢遞增的;

以上,希望大家有收獲。

知其然,知其所以然。思路比結論更重要。

擴展閱讀:https://github.com/twitter-archive/snowflake

責任編輯:趙寧寧 來源: 架構師之路
相關推薦

2018-01-24 07:58:47

框架組件技術棧開源

2020-11-17 09:17:58

框架組件基礎服務

2024-09-30 05:38:48

2015-07-15 10:25:44

SDN物理交換機

2019-10-23 20:19:26

Python 開發(fā)編程語言

2021-11-24 22:39:03

手機系統(tǒng)功能

2025-01-03 08:48:20

列表推導式Python編程

2011-02-24 10:56:34

人才

2010-10-08 11:13:22

MySQL修改密碼

2016-11-29 09:12:21

數(shù)據(jù)庫分布式ID

2020-03-23 07:30:57

數(shù)據(jù)庫運維架構

2023-09-06 08:00:00

ChatGPT數(shù)據(jù)分析

2025-01-02 08:21:32

2017-10-30 08:52:27

vSAN架構RAID

2024-04-18 09:24:32

分布式ID分庫分表

2017-07-01 16:02:39

分布式ID生成器

2021-12-06 06:58:50

List重復數(shù)據(jù)

2022-03-14 10:12:22

架構網(wǎng)關技術

2021-06-25 10:35:58

分布式代碼Java
點贊
收藏

51CTO技術棧公眾號