摘要

如何打造高性能的數(shù)據(jù)庫(kù)連接池框架，可以從哪些角度進(jìn)行優(yōu)化，連接池的大量?jī)?yōu)化實(shí)踐如何為你的系統(tǒng)保駕護(hù)航，本專題將帶你走進(jìn)連接池的世界，為你一一揭曉。

大家可能會(huì)有這樣疑問：連接池類似于線程池或者對(duì)象池，就是一個(gè)放連接的池子，使用的時(shí)候從里面拿一個(gè)，用完了再歸還，功能非常簡(jiǎn)單，有什么可講的。

可能還會(huì)有這樣的疑問：高性能這么高大上，一個(gè)小小的連接池，如何跟高大上靠上邊的。

本主題將會(huì)全面介紹連接池原理，高性能的設(shè)計(jì)，優(yōu)化實(shí)踐，現(xiàn)有連接池的瓶頸及解決方案。同時(shí)也會(huì)介紹唯品會(huì)自研數(shù)據(jù)庫(kù)連接池產(chǎn)品(代號(hào)：Caelus)

為什么要有連接池

先看一下連接池所處的位置：

 

 

應(yīng)用框架的業(yè)務(wù)實(shí)現(xiàn)一般都會(huì)訪問數(shù)據(jù)庫(kù)，緩存或者HTTP服務(wù)。為什么要在訪問的地方加上一個(gè)連接池呢?

下面以訪問MySQL為例，執(zhí)行一個(gè)SQL命令，如果不使用連接池，需要經(jīng)過哪些流程。

 

 

1：TCP建立連接的三次握手

2：MySQL認(rèn)證的三次握手

3：真正的SQL執(zhí)行

4：MySQL的關(guān)閉

5：TCP的四次握手關(guān)閉

可以看到，為了執(zhí)行一條SQL，卻多了非常多我們不關(guān)心的網(wǎng)絡(luò)交互。

優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單。

缺點(diǎn)：

1：網(wǎng)絡(luò)IO較多

2：數(shù)據(jù)庫(kù)的負(fù)載較高

3：響應(yīng)時(shí)間較長(zhǎng)及QPS較低

4：應(yīng)用頻繁的創(chuàng)建連接和關(guān)閉連接，導(dǎo)致臨時(shí)對(duì)象較多，GC頻繁

5：在關(guān)閉連接后，會(huì)出現(xiàn)大量TIME_WAIT 的TCP狀態(tài)(在2個(gè)MSL之后關(guān)閉)

使用連接池流程

 

 

***次訪問的時(shí)候，需要建立連接。 但是之后的訪問，均會(huì)復(fù)用之前創(chuàng)建的連接。

優(yōu)點(diǎn)：

1：較少了網(wǎng)絡(luò)開銷

2：系統(tǒng)的性能會(huì)有一個(gè)實(shí)質(zhì)的提升

3：沒了麻煩的TIME_WAIT狀態(tài)

當(dāng)然，現(xiàn)實(shí)往往是殘酷的，當(dāng)我們解決了一個(gè)問題的時(shí)候，同時(shí)伴隨著另外一個(gè)問題的產(chǎn)生。

使用連接池面臨的***挑戰(zhàn)： 連接池的性能

連接數(shù)和線程數(shù)性能優(yōu)化

分庫(kù)DB部署結(jié)構(gòu)：

 

 

假設(shè)有128個(gè)分庫(kù)：32個(gè)服務(wù)器，每個(gè)服務(wù)器有4個(gè)schema。按照128個(gè)分庫(kù)的設(shè)計(jì)，便會(huì)新建128個(gè)獨(dú)立數(shù)據(jù)庫(kù)連接池。

數(shù)據(jù)庫(kù)連接池的模型

 

 

特點(diǎn)：

1：128個(gè)連接池完全獨(dú)立，不同的schema也對(duì)應(yīng)不同的連接池

2：先通過拆庫(kù)，讀寫等策略選擇對(duì)應(yīng)的連接池，再?gòu)倪B接池獲取一個(gè)連接進(jìn)行操作

3：操作完后，再將連接歸還到對(duì)應(yīng)的連接池中。

優(yōu)點(diǎn)：

結(jié)構(gòu)簡(jiǎn)單，分散競(jìng)爭(zhēng)

面臨的問題：

1：線程數(shù)過多

先看一下新建一個(gè)連接池，需要新建的線程數(shù)的個(gè)數(shù)。

連接池

線程數(shù)

描述

128個(gè)分庫(kù)需要的線程數(shù)

C3P0

4

3個(gè)helperThread (pollerThread)，1個(gè)定時(shí)任務(wù)AdminTaskTimer(DeadlockDetector)

4*128=512

DBCP

1

負(fù)責(zé)心跳，最小連接數(shù)維持，***空閑時(shí)間和防連接泄露

1*128=128

Druid

2

一個(gè)異步創(chuàng)建連接。一個(gè)異步關(guān)閉連接。

2*128=256

可以看到隨著分庫(kù)的增加，不管選用哪個(gè)連接池，線程的個(gè)數(shù)均會(huì)線性增長(zhǎng)。線程數(shù)過多將會(huì)導(dǎo)致內(nèi)存占用較大: 默認(rèn)1個(gè)線程會(huì)占用1M的空間，如果是512個(gè)線程，則會(huì)占用1M*512=512M上下文切換開銷。

Tips：由于stack和heap申請(qǐng)為虛地址空間，但是一旦使用就不會(huì)釋放。(線程也不一定會(huì)占用1M的空間)

2：連接數(shù)過多

數(shù)據(jù)庫(kù)的連接資源比較重，并且隨著連接的增加，數(shù)據(jù)庫(kù)的性能會(huì)有明顯的下降。DBA一般會(huì)限制每個(gè)DB建立連接的個(gè)數(shù)，比如限制為3K 。假設(shè)數(shù)據(jù)庫(kù)單臺(tái)限制3K，32臺(tái)則容量為3K*32=96K。如果應(yīng)用***，最小連接數(shù)均為10，則每個(gè)應(yīng)用總計(jì)需要128*10=1.28K個(gè)連接。那么數(shù)據(jù)庫(kù)理論上支持的應(yīng)用個(gè)數(shù)為96K/1.28K= 80 臺(tái)

3：不能連接復(fù)用

同一個(gè)物理機(jī)下面不同的schema完全獨(dú)立，連接不能復(fù)用

優(yōu)化后的數(shù)據(jù)庫(kù)連接池模型

 

 

特點(diǎn)：

1：只有一個(gè)連接池,所有節(jié)點(diǎn)共享線程 (解決了線程數(shù)過多的問題)

2：每個(gè)物理機(jī)對(duì)應(yīng)一個(gè)host, host里面維護(hù)多個(gè)schema，schema存放連接。

3：同一個(gè)host下面的不同schema 可以進(jìn)行連接復(fù)用(解決連接數(shù)過多的問題)

獲取連接流程：

1：獲取連接需要帶上 ip,port和schema信息：比如獲取的是host31的schema1

2：先到host31的schema1中獲取空閑連接，但是schema1無空閑連接，便會(huì)從schema2中獲取空閑連接。

3：從schema2中獲取的連接執(zhí)行useschema1，該連接便切換到schema1上面。

4：執(zhí)行對(duì)應(yīng)的SQL操作，執(zhí)行完成后，歸還連接到schema1的池子里面。

優(yōu)點(diǎn)：

1：連接復(fù)用：有效減少連接數(shù)。

2：提升性能：避免頻繁的新建連接。新建連接的開銷比較大，而使用use schema開銷非常小

3：有效減少線程數(shù)。按現(xiàn)有方案大概只需要4個(gè)線程即可。而優(yōu)化前需要512個(gè)線程

缺點(diǎn)：

1：管理較為復(fù)雜

2：不符合JDBC接口規(guī)范。DataSource只有簡(jiǎn)單的getConnection()接口，沒有針對(duì)獲取對(duì)應(yīng)schema的連接的接口。需要繼承DataSouce，實(shí)現(xiàn)特定接口。

事務(wù)語句性能優(yōu)化

優(yōu)化前執(zhí)行事務(wù)的模型

 

 

從連接池里面獲取到連接，默認(rèn)是自動(dòng)提交。為了開啟事務(wù)，需要執(zhí)行setautocommit=false 操作，然后再執(zhí)行具體的SQL，歸還連接的時(shí)候，還需要將連接設(shè)置為自動(dòng)提交(需要執(zhí)行set autocommit=true) ?？梢钥吹介_啟事務(wù)，需要額外執(zhí)行兩條事務(wù)的語句。

優(yōu)化后執(zhí)行事務(wù)的模型

 

 

每個(gè)schema里面所有的連接會(huì)按照autocommit進(jìn)行分組。 分為自動(dòng)提交(autocommit=true) 和非自動(dòng)提交(autocommit=false)。獲取連接時(shí)優(yōu)先獲取相同autocommit的分組里的連接，如果沒有可用連接則從另外一個(gè)分組中獲取連接，業(yè)務(wù)操作執(zhí)行完后，再歸還到對(duì)應(yīng)的分組里面。該種機(jī)制避免了開啟事務(wù)多執(zhí)行的兩條事務(wù)語句。

鎖性能優(yōu)化

連接池的通用功能：

 

 

連接池主要包含五部分：獲取連接，歸還連接，定時(shí)任務(wù)，維護(hù)組件及資源池

獲取連接：

1：獲取超時(shí)：如果超過規(guī)定時(shí)間未獲取到連接，則會(huì)拋出異常

2：有效性檢查：當(dāng)從資源池里面獲取到資源，需要檢查該資源的有效性，如果失效，再次獲取連接。避免執(zhí)行業(yè)務(wù)的時(shí)候報(bào)錯(cuò)。

3：創(chuàng)建連接：可以同步創(chuàng)建，也可以異步創(chuàng)建。

歸還連接：

1：歸還連接：比如需要檢查***空閑數(shù)，確定是物理關(guān)閉還是歸還到連接池

2：銷毀連接: 可同步銷毀也可異步銷毀

定時(shí)任務(wù)：

1：空閑檢查：主要是檢查空閑連接，連接空閑超過一定時(shí)間，則會(huì)關(guān)閉連接。

2：最小連接數(shù)控制：一般會(huì)設(shè)置最小連接數(shù)。保證當(dāng)前系統(tǒng)里面最小的連接數(shù)。如果不夠，則會(huì)新建連接。

組件維護(hù)：

1：連接狀態(tài)控制：空閑，使用，刪除等狀態(tài)控制

2：異常處理：對(duì)JDBC訪問的異常統(tǒng)一處理，如果異常與連接相關(guān)，則會(huì)將該連接銷毀掉。

3：緩存：避免對(duì)SQL重復(fù)解析，PrepareStatement機(jī)制下，會(huì)對(duì)SQL解析的對(duì)象進(jìn)行緩存。

4：JDBC封裝：對(duì)JDBC進(jìn)行了實(shí)現(xiàn)，真正的實(shí)現(xiàn)是底層的driver,比如MySQL-connector-java 。

資源池：

1：資源池是存放連接的地方，也是連接池最核心的地方。

2：所有的組件基本上都與資源池進(jìn)行交互，對(duì)連接資源的競(jìng)爭(zhēng)非常激烈。該處的性能將決定了整個(gè)連接池的性能。

3：一般資源池的實(shí)現(xiàn)是使用JDK提供的BlockingQueue。那么是否有方案可以進(jìn)行無鎖的設(shè)計(jì)，來避免競(jìng)爭(zhēng)。

資源池?zé)o鎖設(shè)計(jì)

 

 

獲取連接大概流程：

1：從ThreadLocal里面獲取連接，如果沒有空閑連接，則從全局連接池(CopyOnWriteArrayList)中獲取。

2：如果全局連接池中沒有空閑連接，則會(huì)異步新建連接。

3：判定超時(shí)時(shí)間是否大于閾值，如果小于閾值，則進(jìn)行自旋。否則進(jìn)行park休眠。

4：連接建立成功后，會(huì)對(duì)park的線程進(jìn)行喚醒

主要從四個(gè)方面實(shí)現(xiàn)了無鎖的設(shè)計(jì)：ThreadLocal,CopyOnWriteArrayList，異步建立連接及自旋。

ThreadLocal

1：每個(gè)線程均有一個(gè)連接隊(duì)列。該隊(duì)列是全局隊(duì)列的引用。

2：獲取連接時(shí)先從ThreadLocal里面拿連接，如果連接是空閑狀態(tài)，則使用。否則移除掉，再拿下一個(gè)，直到拿不到連接為止。

3：歸還連接時(shí)，只需要?dú)w還到Threadlocal的隊(duì)列里面，同時(shí)設(shè)置連接為空閑狀態(tài)

4：如果使用BlockQueue,獲取連接時(shí)調(diào)用poll,歸還連接時(shí)調(diào)用offer，存在兩次鎖的競(jìng)爭(zhēng)。優(yōu)化后通過CAS避免了兩次鎖的開銷(獲取連接時(shí)，使用CAS置連接為非空閑狀態(tài);歸還時(shí)，使用CAS置連接為空閑狀態(tài))

CopyOnWriteArrayList

1：該隊(duì)列使用場(chǎng)景是：大量讀，少量寫的操作，并且存儲(chǔ)的數(shù)據(jù)比較有限。而連接池的場(chǎng)景非常適合采用CopyOnWriteArrayList。

2：在獲取連接或者歸還連接時(shí)，只會(huì)通過CAS更改連接的狀態(tài)，不會(huì)對(duì)連接池進(jìn)行添加或者刪除的操作。

3：一般連接池連接的個(gè)數(shù)比較可控，CopyOnWriteArrayList在寫操作時(shí)會(huì)對(duì)所有連接進(jìn)行拷貝，對(duì)內(nèi)存影響不大。

異步建立連接

獲取到連接后，判斷一下是否有并發(fā)正在等待獲取連接，如果有，則異步建立連接。避免下一個(gè)連接的等待。如果CopyOnWriteArrayList沒有空閑連接，則異步建立連接。

自旋

該自旋比較類似于JDK對(duì)synchronized的自旋機(jī)制。如果發(fā)現(xiàn)超時(shí)時(shí)間大于設(shè)定的閾值(比如10微秒)，則會(huì)進(jìn)行線程掛起。如果小于設(shè)定的閾值，則重新獲取連接，進(jìn)行自選，避免線程的上下文切換帶來的性能開銷。。

優(yōu)化小技巧

方法內(nèi)聯(lián)優(yōu)化

1：每調(diào)用一次方法，線程便會(huì)新建一個(gè)棧幀，新建棧幀開銷相對(duì)比較大

2：JIT在運(yùn)行時(shí)會(huì)進(jìn)行內(nèi)聯(lián)優(yōu)化，多個(gè)方法使用一個(gè)棧幀，避免棧幀新建過多

3：JIT方法內(nèi)聯(lián)優(yōu)化默認(rèn)的字節(jié)碼個(gè)數(shù)閾值是35個(gè)字節(jié)，低于35個(gè)字節(jié)，才會(huì)進(jìn)行優(yōu)化。(可通過-XX:MaxInlineSize=35進(jìn)行設(shè)置)

 

 

通過修改上述代碼，編譯后字節(jié)碼修改到34個(gè)字節(jié)，則可以滿足內(nèi)聯(lián)的條件。

心跳語句選擇

 

 

PrepareStatement模式選擇

 

 

MySQL driver默認(rèn)是client模式，如果需要開啟server模式，需要設(shè)置 useServerPrepStmts=true 。PrepareStatement默認(rèn)的client模式和Statement對(duì)于DB端沒有區(qū)別。大家普遍理解PrepareStatement和Statement的區(qū)別是PrepareStatement可以避免SQL注入。但是避免SQL注入是如何做到的?

使用PrepareStatement設(shè)置參數(shù)的時(shí)候，比如調(diào)用setString(int parameterIndex, String x)，本地會(huì)對(duì)設(shè)置的參數(shù)進(jìn)行轉(zhuǎn)義來避免SQL注入。

執(zhí)行SQL的時(shí)候，會(huì)將SQL的?替換成轉(zhuǎn)義后的字符，發(fā)送到數(shù)據(jù)庫(kù)執(zhí)行。

PSCache

 

 

MySQLdriver 默認(rèn)不開啟，可通過設(shè)置 cachePrepStmts = true 進(jìn)行開啟

QueryTimeout

 

 

之前也遇到因?yàn)殚_啟了queryTimeout，導(dǎo)致連接泄露的問題。

唯品會(huì)自研連接池：Caelus

Caelus是唯品會(huì)自研的高性能的分布式的數(shù)據(jù)庫(kù)連接池。

1. 高性能：基于無鎖的連接池設(shè)計(jì)模型來提升連接池性能;
2. 在分庫(kù)較多的場(chǎng)景下，減少線程數(shù)。 假如有128個(gè)分庫(kù)，現(xiàn)有連接池模型下則需要使用128個(gè)獨(dú)立的連接池，每個(gè)連接池都需要線程(1-4個(gè)，不同的連接池不同)處理任務(wù)。則總共需要維護(hù)128到128*4個(gè)線程，開銷巨大。而Caelus連接池會(huì)大大減少線程數(shù)。
3. 連接復(fù)用。 對(duì)于 一個(gè)MySQL 的instance上面有多個(gè)schema場(chǎng)景下?，F(xiàn)有連接池不同的schema的連接不可復(fù)用。而Caelus可以復(fù)用不同schema的連接，提升性能。
4. 過多的事務(wù)指令。如果是事務(wù)語句，則從連接池拿到連接后，需要先開啟事務(wù)(setautocommit=false)，歸還時(shí)需要再設(shè)置(set autocommit=true)。每使用一次連接，均需要額外執(zhí)行兩條事務(wù)指令。Caelus能有效減少事務(wù)指令。
5. 配置規(guī)范的統(tǒng)一。結(jié)合MySQL的設(shè)置，提供規(guī)范統(tǒng)一，***的配置。