什么是SQL自動(dòng)化?你知道嗎?
數(shù)據(jù)庫(kù)在每個(gè)企業(yè)都占據(jù)的非常重要的位置,它存儲(chǔ)著一個(gè)公司的命脈。對(duì)于數(shù)據(jù)庫(kù)的管理也非常的復(fù)雜多變,很多公司都有專業(yè)的DBA團(tuán)隊(duì)在管理。
但是,不論有無(wú)DBA,對(duì)數(shù)據(jù)庫(kù)的操作都不會(huì)變少,而且都面臨著相同的問(wèn)題:
- 不是在提數(shù)就是在修數(shù)的路上
- 不是在審核SQL就是在審核SQL的路上
- 不是在找歷史記錄就是在找歷史記錄的路上
- 不是在備份就是在備份的路上
還有非常多類似的工作,這就讓DBA的工作變得枯燥乏味。
我不是DBA,僅僅是一個(gè)懂一點(diǎn)SELECT *的運(yùn)維工程師,希望能有一個(gè)工具能夠幫助開(kāi)發(fā)、DBA甚至運(yùn)維降低數(shù)據(jù)庫(kù)的操作門檻,希望它具有:
- 流程審批功能
- 自動(dòng)糾錯(cuò)能力
- 自動(dòng)備份能力
- 自動(dòng)發(fā)布能力
- 歷史操作記錄
- 一鍵回滾能力
- 版本記錄能力
擁有這些能力,可以讓日常的操作變的簡(jiǎn)單,高效。數(shù)據(jù)庫(kù)管理者也有時(shí)間去做更有意義的事情。
在過(guò)程的過(guò)程中,使用過(guò)不同的數(shù)據(jù)庫(kù)管理工具,比如Yearning、SQLE,它們本質(zhì)上只是一個(gè)數(shù)據(jù)庫(kù)管理平臺(tái),可以記錄日常的操作記錄,也能實(shí)現(xiàn)流程審批等能力。但是它們依舊是一個(gè)一個(gè)的孤島,無(wú)法直接打通開(kāi)發(fā)、DBA之間的部門墻。
那有什么工具可以比它們更好?
也是偶然的機(jī)會(huì),發(fā)現(xiàn)Bytebase這個(gè)項(xiàng)目,它的有點(diǎn)在于可以打通Gitlab->數(shù)據(jù)庫(kù),這樣開(kāi)發(fā)可以在Gitlab中管理SQL語(yǔ)句,其他的自動(dòng)交給Bytebase去完成。
什么是Bytebase
Bytebase團(tuán)隊(duì)把它定位成面向開(kāi)發(fā)者可靠的數(shù)據(jù)庫(kù)CICD,它不僅僅是數(shù)據(jù)庫(kù)管理工具,更是連接開(kāi)發(fā)和DBA的橋梁。
它到底具有什么樣的能力呢?
- SQL審核
- SQL糾錯(cuò)
- SQL編輯器
- GitOps
- 備份恢復(fù)
- 多租戶管理
安裝部署
說(shuō)一千,道一萬(wàn),不如手中過(guò)一遍。
這里,我選擇在Kubernetes中部署。
(1)首先,部署PG數(shù)據(jù)庫(kù)
需要給PG的數(shù)據(jù)做持久化,不然數(shù)據(jù)丟失就白忙活一場(chǎng)。
(2)部署B(yǎng)ytebase
(3)待應(yīng)用都正常表示部署完成
使用示例
第一次登錄,會(huì)要求你創(chuàng)建管理員用戶,按著步驟創(chuàng)建即可。
然后就可以進(jìn)入如下界面。
用戶管理
用戶支持手動(dòng)管理,也支持集成SSO,這里帶大家集成SSO。
點(diǎn)擊設(shè)置->SSO->創(chuàng)建SSO,這里需要非常多的信息。
然后我們?cè)贕itlab上去創(chuàng)建應(yīng)用,填入上面的回調(diào)地址,創(chuàng)建應(yīng)用。
將生成的ID和Secret填入Bytebase中,修改對(duì)應(yīng)的Gitlab地址即完成配置。
最后,在登錄的時(shí)候選擇Gitlab登錄即可。
實(shí)例管理
在實(shí)例中添加數(shù)據(jù)庫(kù)實(shí)例即可。
這里需要填寫超級(jí)管理員的用戶賬戶,在添加實(shí)例的時(shí)候,會(huì)到該實(shí)例中創(chuàng)建一個(gè)bytebase數(shù)據(jù)庫(kù),在里面創(chuàng)建一個(gè)migration_history表用于記錄所有的操作記錄。
然后,會(huì)自動(dòng)將目標(biāo)庫(kù)中的數(shù)據(jù)庫(kù)同步到bytebase中。
數(shù)據(jù)庫(kù)管理
上面已經(jīng)介紹會(huì)自動(dòng)同步目標(biāo)數(shù)據(jù)庫(kù)中已有的庫(kù),當(dāng)然,也可以自己創(chuàng)建數(shù)據(jù)庫(kù)。
然后就會(huì)自動(dòng)創(chuàng)建數(shù)據(jù)庫(kù),過(guò)程如下:
我們可以對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行操作。比如添加一張user表。
點(diǎn)擊數(shù)據(jù)庫(kù)->變更Scheme->選擇剛才創(chuàng)建的joker-test庫(kù)。
預(yù)覽工單即可進(jìn)入創(chuàng)建頁(yè)面。
點(diǎn)擊創(chuàng)建,發(fā)現(xiàn)SQL審核不通過(guò),如下:
就是說(shuō)我們不允許字段為空,但是又沒(méi)有設(shè)置默認(rèn)值。
修改字段如下:
現(xiàn)在在SQL審核處雖然還是警告,但是不影響創(chuàng)建。
當(dāng)然,還可以進(jìn)行DML操作,比如我們向剛才創(chuàng)建的user表中插入一條name為jackma的數(shù)據(jù)。
項(xiàng)目管理
上面的操作比較分散,在實(shí)際中可能會(huì)以項(xiàng)目為中心進(jìn)行管理。
我這里就以環(huán)境為中心,首先創(chuàng)建一個(gè)TEST項(xiàng)目。
進(jìn)入項(xiàng)目過(guò)后,把joker-test數(shù)據(jù)庫(kù)轉(zhuǎn)移過(guò)來(lái)。
除此之外,還需要把當(dāng)前項(xiàng)目對(duì)應(yīng)的人添加進(jìn)來(lái)。選擇設(shè)置->添加成員即可。
然后就可以進(jìn)行一些變更操作了。
我們還可以為項(xiàng)目添加一些消息通知,可以方便通知到用戶。
環(huán)境管理
環(huán)境表示不同實(shí)例所屬的環(huán)境,比如開(kāi)發(fā)環(huán)境的數(shù)據(jù)庫(kù),測(cè)試環(huán)境的數(shù)據(jù)庫(kù)。
這里創(chuàng)建環(huán)境除了標(biāo)識(shí)數(shù)據(jù)庫(kù)的歸屬,還可以設(shè)置審批策略以及備份策略。
最后
上面僅僅是簡(jiǎn)單的部署和使用,了解基本的功能。但是目前僅僅停留在數(shù)據(jù)庫(kù)管理上,如何打通Gitlab和Bytebase,本篇文章還沒(méi)有實(shí)踐,下篇文章補(bǔ)上。