典型數(shù)據(jù)庫架構(gòu)設(shè)計(jì)與實(shí)踐

作者：58沈劍 2017-06-10 11:13:39

本文，將介紹數(shù)據(jù)庫架構(gòu)設(shè)計(jì)中的一些基本概念，常見問題以及對(duì)應(yīng)解決方案。

本文為了便于讀者理解，將以“用戶中心”數(shù)據(jù)庫為例，講解數(shù)據(jù)庫架構(gòu)設(shè)計(jì)的常見玩法。

一、用戶中心

用戶中心是一個(gè)常見業(yè)務(wù)，主要提供用戶注冊、登錄、信息查詢與修改的服務(wù)，其核心元數(shù)據(jù)為：

User(uid, uname, passwd, sex, age,nickname, …)

其中：

uid為用戶ID，主鍵
uname, passwd, sex, age, nickname, …等為用戶的屬性

數(shù)據(jù)庫設(shè)計(jì)上，一般來說在業(yè)務(wù)初期，單庫單表就能夠搞定這個(gè)需求。

二、圖示說明

為了方便大家理解，后文圖片說明較多，其中：

“灰色”方框，表示service，服務(wù)
“紫色”圓框，標(biāo)識(shí)master，主庫
“粉色”圓框，表示slave，從庫

三、單庫架構(gòu)

最常見的架構(gòu)設(shè)計(jì)如上：

user-service：用戶中心服務(wù)，對(duì)調(diào)用者提供友好的RPC接口
user-db：一個(gè)庫進(jìn)行數(shù)據(jù)存儲(chǔ)

四、分組架構(gòu)

什么是分組?

答：分組架構(gòu)是最常見的一主多從，主從同步，讀寫分離數(shù)據(jù)庫架構(gòu)：

user-service：依舊是用戶中心服務(wù)
user-db-M(master)：主庫，提供數(shù)據(jù)庫寫服務(wù)
user-db-S(slave)：從庫，提供數(shù)據(jù)庫讀服務(wù)

主和從構(gòu)成的數(shù)據(jù)庫集群稱為“組”。

分組有什么特點(diǎn)?

答：同一個(gè)組里的數(shù)據(jù)庫集群：

主從之間通過binlog進(jìn)行數(shù)據(jù)同步
多個(gè)實(shí)例數(shù)據(jù)庫結(jié)構(gòu)完全相同
多個(gè)實(shí)例存儲(chǔ)的數(shù)據(jù)也完全相同，本質(zhì)上是將數(shù)據(jù)進(jìn)行復(fù)制

分組架構(gòu)究竟解決什么問題?

答：大部分互聯(lián)網(wǎng)業(yè)務(wù)讀多寫少，數(shù)據(jù)庫的讀往往***成為性能瓶頸，如果希望：

線性提升數(shù)據(jù)庫讀性能
通過消除讀寫鎖沖突提升數(shù)據(jù)庫寫性能
通過冗余從庫實(shí)現(xiàn)數(shù)據(jù)的“讀高可用”

此時(shí)可以使用分組架構(gòu)，需要注意的是，分組架構(gòu)中，數(shù)據(jù)庫的主庫依然是寫單點(diǎn)。

一句話總結(jié)，分組解決的是“數(shù)據(jù)庫讀寫高并發(fā)量高”問題，所實(shí)施的架構(gòu)設(shè)計(jì)。

五、分片架構(gòu)

什么是分片?

答：分片架構(gòu)是大伙常說的水平切分(sharding)數(shù)據(jù)庫架構(gòu)：

user-service：依舊是用戶中心服務(wù)
user-db1：水平切分成2份中的***份
user-db2：水平切分成2份中的第二份

分片后，多個(gè)數(shù)據(jù)庫實(shí)例也會(huì)構(gòu)成一個(gè)數(shù)據(jù)庫集群。

水平切分，到底是分庫還是分表?

答：強(qiáng)烈建議分庫，而不是分表，因?yàn)椋?/p>

分表依然公用一個(gè)數(shù)據(jù)庫文件，仍然有磁盤IO的競爭
分庫能夠很容易的將數(shù)據(jù)遷移到不同數(shù)據(jù)庫實(shí)例，甚至數(shù)據(jù)庫機(jī)器上，擴(kuò)展性更好

水平切分，用什么算法?

答：常見的水平切分算法有“范圍法”和“哈希法”：

范圍法如上圖：以用戶中心的業(yè)務(wù)主鍵uid為劃分依據(jù)，將數(shù)據(jù)水平切分到兩個(gè)數(shù)據(jù)庫實(shí)例上去：

user-db1：存儲(chǔ)0到1千萬的uid數(shù)據(jù)
user-db2：存儲(chǔ)0到2千萬的uid數(shù)據(jù)

哈希法如上圖：也是以用戶中心的業(yè)務(wù)主鍵uid為劃分依據(jù)，將數(shù)據(jù)水平切分到兩個(gè)數(shù)據(jù)庫實(shí)例上去：

user-db1：存儲(chǔ)uid取模得1的uid數(shù)據(jù)
user-db2：存儲(chǔ)uid取模得0的uid數(shù)據(jù)

這兩種方法在互聯(lián)網(wǎng)都有使用，其中哈希法使用較為廣泛。

分片有什么特點(diǎn)?

答：同一個(gè)分片里的數(shù)據(jù)庫集群：

多個(gè)實(shí)例之間本身不直接產(chǎn)生聯(lián)系，不像主從間有binlog同步
多個(gè)實(shí)例數(shù)據(jù)庫結(jié)構(gòu)，也完全相同
多個(gè)實(shí)例存儲(chǔ)的數(shù)據(jù)之間沒有交集，所有實(shí)例間數(shù)據(jù)并集構(gòu)成全局?jǐn)?shù)據(jù)

分片架構(gòu)究竟解決什么問題?

答：大部分互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)量很大，單庫容量容易成為瓶頸，此時(shí)通過分片可以：

線性提升數(shù)據(jù)庫寫性能，需要注意的是，分組架構(gòu)是不能線性提升數(shù)據(jù)庫寫性能的
降低單庫數(shù)據(jù)容量

一句話總結(jié)，分片解決的是“數(shù)據(jù)庫數(shù)據(jù)量大”問題，所實(shí)施的架構(gòu)設(shè)計(jì)。

六、分組+分片架構(gòu)

如果業(yè)務(wù)讀寫并發(fā)量很高，數(shù)據(jù)量也很大，通常需要實(shí)施分組+分片的數(shù)據(jù)庫架構(gòu)：

通過分片來降低單庫的數(shù)據(jù)量，線性提升數(shù)據(jù)庫的寫性能
通過分組來線性提升數(shù)據(jù)庫的讀性能，保證讀庫的高可用

七、垂直切分

除了水平切分，垂直切分也是一類常見的數(shù)據(jù)庫架構(gòu)設(shè)計(jì)，垂直切分一般和業(yè)務(wù)結(jié)合比較緊密。

還是以用戶中心為例，可以這么進(jìn)行垂直切分：

User(uid, uname, passwd, sex, age, …) 
User_EX(uid, intro, sign, …)

垂直切分開的表，主鍵都是uid
登錄名，密碼，性別，年齡等屬性放在一個(gè)垂直表(庫)里
自我介紹，個(gè)人簽名等屬性放在另一個(gè)垂直表(庫)里

如何進(jìn)行垂直切分?

答：根據(jù)業(yè)務(wù)對(duì)數(shù)據(jù)進(jìn)行垂直切分時(shí)，一般要考慮屬性的“長度”和“訪問頻度”兩個(gè)因素：

長度較短，訪問頻率較高的放在一起
長度較長，訪問頻度較低的放在一起

這是因?yàn)椋瑪?shù)據(jù)庫會(huì)以行(row)為單位，將數(shù)load到內(nèi)存(buffer)里，在內(nèi)存容量有限的情況下，長度短且訪問頻度高的屬性，內(nèi)存能夠load更多的數(shù)據(jù)，***率會(huì)更高，磁盤IO會(huì)減少，數(shù)據(jù)庫的性能會(huì)提升。

垂直切分有什么特點(diǎn)?

答：垂直切分和水平切有相似的地方，又不太相同：

多個(gè)實(shí)例之間也不直接產(chǎn)生聯(lián)系，即沒有binlog同步
多個(gè)實(shí)例數(shù)據(jù)庫結(jié)構(gòu)，都不一樣
多個(gè)實(shí)例存儲(chǔ)的數(shù)據(jù)之間至少有一列交集，一般來說是業(yè)務(wù)主鍵，所有實(shí)例間數(shù)據(jù)并集構(gòu)成全局?jǐn)?shù)據(jù)

垂直切分解決什么問題?

答：垂直切分即可以降低單庫的數(shù)據(jù)量，還可以降低磁盤IO從而提升吞吐量，但它與業(yè)務(wù)結(jié)合比較緊密，并不是所有業(yè)務(wù)都能夠進(jìn)行垂直切分的。

八、總結(jié)

文章較長，希望至少記住這么幾點(diǎn)：