線上MySQL不可用,報(bào)錯(cuò)數(shù)據(jù)庫無法連接
ERROR 1040(HY000): Too many connections:DB連接池里已有太多連接,不能再和你建立新連接。
數(shù)據(jù)庫自己有個(gè)連接池,你的每個(gè)系統(tǒng)部署在機(jī)器時(shí),那臺(tái)機(jī)器上部署的系統(tǒng)實(shí)例/服務(wù)實(shí)例自己也有個(gè)連接池,你的系統(tǒng)每個(gè)連接Socket都對應(yīng)DB連接池里的一個(gè)Socket連接,這就是TCP連接:
當(dāng)MySQL告訴你Too many connections,就是在傳達(dá)它的連接池的連接已經(jīng)滿了,你這業(yè)務(wù)系統(tǒng)不能再和它建立新的連接。
案例
DB部署在64G內(nèi)存大機(jī)器,而連接這臺(tái)物理機(jī)的Java業(yè)務(wù)系統(tǒng)部署在2臺(tái)機(jī)器,Java系統(tǒng)的連接池最大大小為200,即每個(gè)Java業(yè)務(wù)系統(tǒng)節(jié)點(diǎn),最多和MySQL建立200個(gè)連接,共最多建立400個(gè)連接。
但這時(shí)若MySQL報(bào)異常Too many Connections,說明目前MySQL無法建立400個(gè)網(wǎng)絡(luò)連接。這也太少了吧,這可是高配置機(jī)器!
于是檢查了my.cnf,有個(gè)關(guān)鍵參數(shù)是max_connections,即MySQL能建立的最大連接數(shù),設(shè)置的800。那為啥兩臺(tái)機(jī)器就只需建立400個(gè)連接都不行?
登錄到MySQL機(jī)器,執(zhí)行如下命令:
show variables like 'max_connections'
??可觀察到,當(dāng)前MySQL僅建立了214個(gè)連接而已!難道MySQL根本不在乎我們設(shè)置的這參數(shù)?
檢查MySQL啟動(dòng)日志:
Could not increase number of max_open_files to more than mysqld (request: 65535) Changed limits: max_connections: 214 (requested 2000)
Changed limits: table_open_cache: 400 (requested 4096)
MySQL發(fā)現(xiàn)自己無法設(shè)置max_connections為我們期望的800,于是強(qiáng)制為214!因?yàn)榈讓觢inux把進(jìn)程可打開的文件句柄數(shù)限制為1024了,導(dǎo)致MySQL最大連接數(shù)是214!
Linux文件句柄數(shù)量被限制也會(huì)導(dǎo)致MySQL最大連接數(shù)被限制。
如何解決
核心就如下命令:
ulimit -HSn 65535
然后就能用如下命令,檢查最大文件句柄數(shù)是否被修改:
cat /etc/security/limits.conf cat /etc/rc.local
若都修改好之后,可在MySQL的my.cnf里確保max_connections參數(shù)也調(diào)整好了,然后重啟服務(wù)器、重啟MySQL,這樣linux的最大文件句柄就會(huì)生效,MySQL最大連接數(shù)也會(huì)生效了。
此時(shí)再嘗試業(yè)務(wù)系統(tǒng)去連接DB,就沒問題了。
為何Linux最大文件句柄限制為1024時(shí),MySQL最大連接數(shù)是214?MySQL源碼中就是有個(gè)計(jì)算公式,算下來就是這樣的結(jié)果。
linux默認(rèn)會(huì)限制你每個(gè)進(jìn)程對機(jī)器資源的使用,包括:
- 可打開的文件句柄的限制
- 可打開的子進(jìn)程數(shù)的限制
- 網(wǎng)絡(luò)緩存的限制
- 最大可鎖定的內(nèi)存大小
因?yàn)閘inux os設(shè)計(jì)的初衷,就是要盡量避免你某個(gè)進(jìn)程一下子耗盡機(jī)器上的所有資源,所以他默認(rèn)都是會(huì)做限制的。
對我們來說,常見問題就是文件句柄的限制。
因?yàn)槿鬺inux限制你一個(gè)進(jìn)程的文件句柄太少,就會(huì)導(dǎo)致我們無法創(chuàng)建大量網(wǎng)絡(luò)連接,我們的系統(tǒng)進(jìn)程就無法正常工作。比如MySQL運(yùn)行時(shí),其實(shí)就是Linux上的一個(gè)進(jìn)程,那么他其實(shí)是需要跟很多業(yè)務(wù)系統(tǒng)建立大量的連接的,結(jié)果你限制了他的最大文件句柄數(shù)量,那么他就不能建立太多連接了!
所以,你在生產(chǎn)環(huán)境部署了個(gè)系統(tǒng),比如DB系統(tǒng)、MQ系統(tǒng)、存儲(chǔ)系統(tǒng)、Cache系統(tǒng)后,都需要調(diào)整Linux的一些內(nèi)核參數(shù),這個(gè)文件句柄數(shù)量一定要調(diào)整,通常得設(shè)為65535。
比如Kafka之類的MQ,在生產(chǎn)環(huán)境部署時(shí),若不優(yōu)化linux內(nèi)核參數(shù),會(huì)導(dǎo)致Kafka可能無法創(chuàng)建足夠的線程,此時(shí)也無法運(yùn)行。
所以可用ulimit命令設(shè)置每個(gè)進(jìn)程被限制使用的資源量,用
# 進(jìn)程被限制使用的各種資源的量
ulimit -a
- core file size 進(jìn)程崩潰時(shí)的轉(zhuǎn)儲(chǔ)文件的大小限制
- max locked memory 最大鎖定內(nèi)存大小
- open files 最大可以打開的文件句柄數(shù)量
- max user processes就是最多前可進(jìn)以擁有的子進(jìn)程數(shù)量。久性的設(shè)置進(jìn)程的資源
設(shè)置之后,要確保變更落地到/etc/security/limits.conf文件,永打印限制
所以執(zhí)行ulimit -HSn 65535命令后,要用如下命令檢查一下是否落地到配置文件里去了。
cat /etc/security/limits.conf
cat /etc/rc.local