近期因工作需要對國內(nèi)數(shù)家主流的數(shù)據(jù)庫運維管理平臺做了個調(diào)研,同時對這一產(chǎn)品的發(fā)展演進(jìn)趨勢做了簡單分析,供大家參考。
1、數(shù)據(jù)庫運管平臺演進(jìn)與特點
近年來,數(shù)據(jù)庫運維管理平臺市場非?;钴S,涌現(xiàn)出一批有代表性的廠商產(chǎn)品,其背后也是數(shù)據(jù)庫管理需求變化所致。在深究下來,也是近些年數(shù)據(jù)庫技術(shù)演進(jìn)與管理方式的變化所致。如上圖艾瑞整理的演進(jìn)變化,從中我們可以觀察到較之以往的差異。下面我們聊聊有哪些鮮明的特點變化。
多樣性
隨著數(shù)據(jù)規(guī)模爆炸式增長及數(shù)據(jù)使用的多樣性,導(dǎo)致企業(yè)對數(shù)據(jù)庫的要求呈現(xiàn)多樣化特點。同時伴隨著近年來國內(nèi)數(shù)據(jù)庫廠商及產(chǎn)品大量涌現(xiàn),整體數(shù)據(jù)庫市場呈現(xiàn)“百花齊放”的狀態(tài)。企業(yè)不得不面臨管理大量不同種類數(shù)據(jù)庫的需求,進(jìn)而導(dǎo)致企業(yè)對數(shù)據(jù)庫統(tǒng)一管理的需求突增。
跨平臺
隨著IT技術(shù)演進(jìn),企業(yè)基礎(chǔ)設(shè)施平臺走過了早期物理機、虛擬機,到后來的容器化、云與云原生之路??紤]到企業(yè)間發(fā)展階段差異,往往存在需對接不同平臺、甚至單一企業(yè)內(nèi)部也存在多種平臺的情況。這也倒逼數(shù)據(jù)庫管理平臺方提供對多平臺的支持能力。
多架構(gòu)
隨著數(shù)據(jù)庫技術(shù)演進(jìn),也同樣走過了從單機、集中式、到分布式、云原生的道路。且通常在一個企業(yè)內(nèi)存在多種數(shù)據(jù)庫、多種技術(shù)架構(gòu)產(chǎn)品并存。這同樣對數(shù)據(jù)庫管理類平臺提出了更高的要求。
獨立性
通常數(shù)據(jù)庫原廠都會提供自有產(chǎn)品的管理能力,但受到資源能限制,一般都會將主要力量投入到內(nèi)核研發(fā)中。同時受到技術(shù)壁壘、行業(yè)分工以及其他市場因素的限制,數(shù)據(jù)庫原廠無法提供自身產(chǎn)品以外的跨數(shù)據(jù)庫統(tǒng)一管理和配套服務(wù),留出的市場需求空白必然要由獨立的數(shù)據(jù)庫生態(tài)廠商進(jìn)行補充。
全流程
從平臺管理能力上看,也不再僅僅局限于數(shù)據(jù)庫管理,而是覆蓋從基礎(chǔ)資源管理、數(shù)據(jù)庫自身管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)安全等多方面,企業(yè)用戶也希望在單一平臺解決所有數(shù)據(jù)庫上下游相關(guān)工作。
開放性
很多企業(yè),特別是中大型企業(yè),都有自己一套IT管理方式,而不僅局限對產(chǎn)品使用。這主要是基于企業(yè)自身特點及統(tǒng)一化管理類訴求。此時就希望工具平臺提供一定的開放性,可以與企業(yè)內(nèi)已有平臺很好融合使用。
智能化
近年來人工智能技術(shù)快速發(fā)展,給數(shù)據(jù)庫管理提供一種新的思路。以此幫助企業(yè)降低數(shù)據(jù)庫管理成本,提高數(shù)據(jù)庫管理質(zhì)量和效率,加強數(shù)據(jù)庫的安全性和穩(wěn)定性。上述能力也希望內(nèi)置于數(shù)據(jù)庫管理平臺中,進(jìn)而實現(xiàn)管理智能化。
2、數(shù)據(jù)庫運管平臺核心能力
如上面所談,數(shù)據(jù)庫運管平臺需支持對多平臺、多架構(gòu)的數(shù)據(jù)庫產(chǎn)品在全生命周期內(nèi)的管理維護(hù)工作,其包含的平臺能力非常繁多。前段時間對國內(nèi)數(shù)據(jù)庫運維管理平臺做了個小調(diào)研,下文就是結(jié)合國內(nèi)部分主流廠商產(chǎn)品能力,將平臺應(yīng)具備的產(chǎn)品能力加以說明。受限于個人能力及收集到的資料完整性,下述功能對比僅代表個人意見。廠商產(chǎn)品我以代號標(biāo)志,請勿對號入座哈:)
集成遷移
集成遷移能力,是企業(yè)使用數(shù)據(jù)庫的"高速公里"。這里包含異構(gòu)數(shù)據(jù)庫之間的、云下云上之間的數(shù)據(jù)庫遷移同步能力;此外還包括如離線數(shù)據(jù)的導(dǎo)入導(dǎo)出及數(shù)據(jù)抽取架構(gòu)等能力。從管理平臺角度看,這一能力并非剛需,部分廠商通過外置工具實現(xiàn)。從市場來看,很多專業(yè)的數(shù)據(jù)庫遷移同步廠商提供此類產(chǎn)品,用戶接受度也更高。
環(huán)境部署
環(huán)境部署,是指自動安裝數(shù)據(jù)庫環(huán)境,其價值在于減少人力成本和錯誤率。這一能力重點考察的是支持多種環(huán)境、支持安裝多種類數(shù)據(jù)庫、支持安裝多種架構(gòu)的數(shù)據(jù)庫集群。從廠商功能調(diào)研結(jié)果來看,基本功能都是具備的,主要差異就在于支持范圍的大小。
彈性伸縮
彈性伸縮功能分為兩種,一種是Scale UP、一種是Scale Out。前者是垂直擴縮容資源即可,通過云、容器化能力相對容易實現(xiàn),部分廠商產(chǎn)品也做的不錯。后者則是依賴于數(shù)據(jù)庫自身能力,有些數(shù)據(jù)庫原生就是分布式架構(gòu),提供對計算、存儲的擴展;有些數(shù)據(jù)庫是單機架構(gòu),則需要在前端提供分庫分片的能力才能實現(xiàn)擴容。
實例管理
實例管理,是解放DBA雙手的能力,可將數(shù)據(jù)庫管理動作標(biāo)準(zhǔn)化、在線化、甚至自動化。這部分重點強調(diào)管理能力的范圍,盡量將手工操作都白屏化。從廠商提供能力來看,基本都可以滿足常規(guī)的運維管理訴求。
性能服務(wù)
數(shù)據(jù)庫運行狀態(tài)是否OK?當(dāng)前是否存在性能瓶頸?也是 DBA 日常管理重點關(guān)注的,這其中包括如熱點、負(fù)載、內(nèi)存、緩存、I/O分析等。上述能力,可以讓DBA快速找到系統(tǒng)可能存在的瓶頸,并及時采取有效的干預(yù)手段。這些內(nèi)容也是為后面的系統(tǒng)優(yōu)化做一鋪墊。
系統(tǒng)優(yōu)化
如何讓系統(tǒng)運行在最佳狀態(tài)下,之前很多是通過人工經(jīng)驗完成,現(xiàn)在人工智能算法提供一種新思路。從使用來看,無論是前者,將人工經(jīng)驗內(nèi)置在系統(tǒng)中;還是后者,將算法模型來優(yōu)化系統(tǒng),只要能達(dá)到好的運行效果即可。這其中目前支持比較多的如實例參數(shù)、索引優(yōu)化等,其他方面還有很大的提供空間。
監(jiān)控巡檢
監(jiān)控巡檢,就是提供數(shù)據(jù)庫運維日常的監(jiān)控、告警和巡檢能力,是屬于一種“主動”的管理行為。其難點不在于收集到更多指標(biāo)等,而是在于從繁多的監(jiān)控指標(biāo)或巡檢數(shù)據(jù)中,找到系統(tǒng)運行風(fēng)險的蛛絲馬跡。這里可結(jié)合一些人工智能的能力,盡量做到不漏不丟的前提下,減輕被監(jiān)控端的壓力。
故障處理
故障處理,是指對故障進(jìn)行智能分析、診斷和自動化處理。這對于快速解決系統(tǒng)問題,減少 RTO 很有意義。隨著數(shù)據(jù)庫系統(tǒng)越來越復(fù)雜,通過人工在紛繁復(fù)雜的故障問題中快速定位、快速解決愈發(fā)變的困難。這一能力對 DBA 尤為重要。這其中難點在于通過人工經(jīng)驗抽象積累和故障案例的學(xué)習(xí),提升系統(tǒng)處理故障的能力。
備份恢復(fù)
數(shù)據(jù)安全是DBA的生命線,通過平臺協(xié)助企業(yè)進(jìn)行全量、增量備份與恢復(fù)管理是非常有價值的。這一功能難點在于,一是大量數(shù)據(jù)庫實例備份恢復(fù)的管理,二是備份恢復(fù)中減少對線上環(huán)境的影響,三是可對備份集做檢測減少丟失風(fēng)險,四是提供比較友好的交互方式。
高可用
數(shù)據(jù)庫可用性,是保障業(yè)務(wù)連續(xù)性的前提,也是企業(yè)最為關(guān)注的能力。管理平臺一方面可提供不同高可用架構(gòu)的搭建,另一方面當(dāng)出現(xiàn)故障時可快速實現(xiàn)高可用切換,減少RTO。這其中的難點在于,不同數(shù)據(jù)庫高可用能力差異巨大,有些只能通過外部工具方式輔助完成;且如何實現(xiàn)對前端業(yè)務(wù)的無感知也是重點。此外,針對同城、異地等多種條件下的可用性要求,對平臺提出了更高的要求。從調(diào)研來看,這方面還有較長的一段距離。
容量管理
容量管理,是指對數(shù)據(jù)庫的計算及存儲資源做的管理動作,可盡早發(fā)現(xiàn)可能的容量問題,提前做好資源規(guī)劃。其中包括如計算容量、庫容量、表空間、數(shù)據(jù)對象等的管理。如企業(yè)業(yè)務(wù)發(fā)展很快,對容量管理這部分就很重要;再比如有類似雙11的大促活動等,也需要此能力。但相對而言,這部分能力現(xiàn)有工具平臺相對功能較弱。
安全管控
安全管控,是指提供數(shù)據(jù)庫之上包括運維管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)流轉(zhuǎn)等全方位的管控能力。這其中涉及的方面很多,有些依賴于數(shù)據(jù)庫自身安全能力,有些則需平臺方提供。從調(diào)研來看,這方面能力參差不齊,差異較大;而且一般來說也有很多數(shù)據(jù)庫安全產(chǎn)品提供此類能力,用戶可基于其他平臺構(gòu)建。
運營支持
運營支持,是指將平臺管理的各類數(shù)據(jù)提供類似可視化大屏能力,可方便用戶快速了解整體使用情況。
多數(shù)據(jù)庫
如前面所說,當(dāng)前企業(yè)用戶使用的數(shù)據(jù)庫眾多,需要運維管理平臺提供多種數(shù)據(jù)庫支持能力。特別是隨著近些年國產(chǎn)信創(chuàng)需求,很多用戶開始在生產(chǎn)環(huán)境使用國產(chǎn)數(shù)據(jù)庫。作為一種新引入的數(shù)據(jù)庫產(chǎn)品,是急需管理平臺來解決日常管理問題,降低使用門檻。但這方面往往困難較多,一方面確實待支持的產(chǎn)品很多、架構(gòu)差異很大,二方面國產(chǎn)數(shù)據(jù)庫的完整度還有待提升,特別是對于外部生態(tài)工具的支持還有不小的差距。
多平臺
如前面所說,當(dāng)前企業(yè)使用多種平臺管理數(shù)據(jù)庫,同樣需要運維管理平臺支持上述能力。特別是隨著容器化、云化日益被客戶所接受,對上述平臺的管理支持能力尤為重要。這其中面臨的問題主要是管理方式的統(tǒng)一抽象,提供標(biāo)準(zhǔn)化的管理能力。
租戶隔離
隨著數(shù)據(jù)庫能力的提升,很多用戶處于成本經(jīng)濟(jì)性、管理便捷性等角度出發(fā),考慮使用租戶能力。但不同數(shù)據(jù)庫提供的租戶能力差異很大,管理平臺相對比較受限于底層能力。這方面相對能做的不多。
數(shù)據(jù)開發(fā)
為提升數(shù)據(jù)開發(fā)的效率,很多平臺提供對數(shù)據(jù)開發(fā)的增強的支持,其中包括如數(shù)據(jù)庫審核、SQL質(zhì)量管理等。受眾群體包括DBA、DEV、TEST等多類人群。這部分作為相對邊緣的功能,各廠商差異很大,有些通過獨立產(chǎn)品提供相對完整的產(chǎn)品功能。
開放能力
除了平臺自身提供的能力外,如何與企業(yè)內(nèi)其他平臺協(xié)同也很重要,這就涉及到平臺是否提供開放能力,例如 API 的方式。特別是對一些傳統(tǒng)企業(yè)、中大型企業(yè)和互聯(lián)網(wǎng)公司,尤為重要。
3、數(shù)據(jù)庫運管平臺發(fā)展趨勢
為滿足前文所談的多樣性、跨平臺、異構(gòu)化等趨勢,數(shù)據(jù)庫運維管理平臺發(fā)展趨勢包括以下幾個方面:
- 云化趨勢:隨著云計算技術(shù)的迅速發(fā)展,云化趨勢將成為數(shù)據(jù)庫運維管理平臺的主流發(fā)展趨勢。數(shù)據(jù)庫運維管理平臺將逐漸向基于云的SaaS平臺發(fā)展,實現(xiàn)跨地域、跨云平臺的資源監(jiān)控和管理。
- 智能化趨勢:數(shù)據(jù)庫運維管理平臺將更加注重應(yīng)用人工智能、機器學(xué)習(xí)等技術(shù),實現(xiàn)數(shù)據(jù)庫管理自動化和智能化。例如,數(shù)據(jù)庫自我診斷、自我優(yōu)化、自我備份和恢復(fù)等功能將逐漸成為發(fā)展的方向。
- 多模式趨勢:隨著數(shù)據(jù)儲存模式的多樣化,數(shù)據(jù)庫運維管理平臺將逐漸實現(xiàn)多模式的數(shù)據(jù)存儲,管理和控制,并實現(xiàn)多模型數(shù)據(jù)的查詢和分析。
- 安全智防趨勢:隨著數(shù)據(jù)庫安全事件頻繁發(fā)生,數(shù)據(jù)庫運維管理平臺將更加注重數(shù)據(jù)庫安全的智能防護(hù)。例如對不合法的SQL操作,惡意登錄,數(shù)據(jù)泄漏等安全事件進(jìn)行實時監(jiān)控,及時發(fā)現(xiàn)并處理異常情況。
- 自動化趨勢:數(shù)據(jù)庫運維管理平臺將更加注重自動化運維的發(fā)展,推進(jìn)各項操作的自動化實現(xiàn),減少人工操作的參與,提高運維效率和管理質(zhì)量。
綜上所述,數(shù)據(jù)庫運維管理平臺將逐漸實現(xiàn)云化、智能化、多模式化、安全化和自動化的發(fā)展趨勢。作為一個專門用于進(jìn)行數(shù)據(jù)庫管理和運維的平臺,將實現(xiàn)更高效的數(shù)據(jù)庫管理,更保障企業(yè)數(shù)據(jù)的可靠性和安全性。
作者介紹
韓鋒,51CTO社區(qū)編輯,CCIA(中國計算機協(xié)會)常務(wù)理事,前Oracle ACE,騰訊TVP,阿里云MVP,dbaplus等多家社群創(chuàng)始人或?qū)<覉F(tuán)成員。有著豐富的一線數(shù)據(jù)庫架構(gòu)、軟件研發(fā)、產(chǎn)品設(shè)計、團(tuán)隊管理經(jīng)驗。曾擔(dān)任多家公司首席DBA、數(shù)據(jù)庫架構(gòu)師等職。在云、電商、金融、互聯(lián)網(wǎng)等行業(yè)均有涉獵,精通多種關(guān)系型數(shù)據(jù)庫,對NoSQL及大數(shù)據(jù)相關(guān)技術(shù)也有涉足,實踐經(jīng)驗豐富。曾著有數(shù)據(jù)庫相關(guān)著作《SQL優(yōu)化最佳實踐》、《數(shù)據(jù)庫高效優(yōu)化》。