MyCAT集群在線擴(kuò)容的場(chǎng)景小結(jié)
最近線上有一套集群的存儲(chǔ)存在瓶頸,導(dǎo)致經(jīng)常會(huì)有報(bào)警,如果按照存儲(chǔ)現(xiàn)狀和稍后的假期的數(shù)據(jù)增長(zhǎng),很可能會(huì)帶來一些意料之外的問題,所以整體評(píng)估后,決定對(duì)已有的集群先做在線擴(kuò)容,待假期結(jié)束后再做縮容。
目前集群的整體結(jié)構(gòu)設(shè)計(jì)如下,其中P1,P2為中間件節(jié)點(diǎn),P2暫時(shí)未投入使用,M1->M4是物理分片節(jié)點(diǎn),每個(gè)物理分片包含4個(gè)邏輯分片,所以一張表被拆分為了16份,目前集群中的數(shù)據(jù)表為一張周期表,按日寫入,即表類似于test_20210105
如果要實(shí)現(xiàn)在線擴(kuò)容,達(dá)到的一個(gè)中間狀態(tài)如下,即把已有的從庫分片提上來作為物理分片,這樣4個(gè)分片就可以快速擴(kuò)展為8個(gè)分片。
如果要實(shí)踐,整個(gè)步驟如下:
1)配置數(shù)據(jù)分片的雙主復(fù)制,停掉數(shù)據(jù)分片節(jié)點(diǎn)的MHA服務(wù),避免服務(wù)擴(kuò)容期間出現(xiàn)意料之外的情況
2)在中間件節(jié)點(diǎn)P2的datahost從4節(jié)點(diǎn)配置改為8節(jié)點(diǎn),相應(yīng)的datanode也需要重新配置一套8分片的映射配置
3)清理T+1的周期表,在中間件節(jié)點(diǎn)P1清理,比如清理的是test_20210206
4)新建test_20210206的周期表,在中間件節(jié)點(diǎn)P2創(chuàng)建
5)備份P1節(jié)點(diǎn)的schema.xml配置,將P2的配置刷新到P1節(jié)點(diǎn)
6)重啟中間件節(jié)點(diǎn)P1,配置重新生效
7)將M1->S1,.. M4->S4的雙主配置清理
8)釋放中間件節(jié)點(diǎn)P2
9)對(duì)2021026的數(shù)據(jù)表進(jìn)行提前確認(rèn),并在零點(diǎn)進(jìn)行再次確認(rèn)
切換后的結(jié)構(gòu)如下:
而縮容的場(chǎng)景相對(duì)會(huì)復(fù)雜一些,我們稍后分享。
本文轉(zhuǎn)載自微信公眾號(hào)「楊建榮的學(xué)習(xí)筆記」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系楊建榮的學(xué)習(xí)筆記公眾號(hào)。