openGauss持續(xù)構(gòu)筑企業(yè)級內(nèi)核能力,使能行業(yè)技術(shù)創(chuàng)新
企業(yè)級數(shù)據(jù)庫openGauss開源一年以來, 社區(qū)迅速壯大,生態(tài)蓬勃發(fā)展,圍繞企業(yè)級性、企業(yè)級安全、企業(yè)級可靠等方面持續(xù)加強,并在行業(yè)加速落地。目前openGauss成功支撐郵儲銀行新一代分布式金融核心系統(tǒng)上線,并成功打造同業(yè)領(lǐng)先的金融核心系統(tǒng);幫助中華人壽團險核心系統(tǒng)使用鯤鵬全棧替換,實現(xiàn)性能倍增;openGauss基于鯤鵬4路服務(wù)器的中國移動數(shù)據(jù)庫性能測試排名絕對領(lǐng)先。面向未來,openGauss將從國計民生行業(yè)數(shù)據(jù)庫應(yīng)用的最緊迫問題和長遠需求出發(fā),不斷在核心技術(shù)上進行突破,將根扎深,共同打造枝繁葉茂的數(shù)據(jù)庫主流生態(tài)。
openGauss面向企業(yè)核心業(yè)務(wù)場景持續(xù)創(chuàng)新
推出面向核心業(yè)務(wù)場景的高可靠特性
金融與運營商在社會經(jīng)濟運行中處于關(guān)鍵基礎(chǔ)位置,其核心業(yè)務(wù)場景,對數(shù)據(jù)庫的性能和穩(wěn)定性有苛刻的要求。openGauss 將于6月30日發(fā)布軟硬協(xié)同的高可靠特性-RAS故障感知功能,該特性基于鯤鵬最新4路高端服務(wù)器和openEuler操作系統(tǒng),支持在硬件內(nèi)存發(fā)生故障前,及時通知上層OS與數(shù)據(jù)庫,實現(xiàn)數(shù)據(jù)庫故障隔離與快速切換,在核心業(yè)務(wù)數(shù)據(jù)庫場景業(yè)務(wù)運行故障無感知,數(shù)據(jù)安全可控無丟失。
圖1:openGauss基于RAS的高可靠原理圖:故障隔離、快速切換
推出多款重量級企業(yè)級特性,數(shù)據(jù)庫更快、更穩(wěn)、更強
此外openGauss社區(qū)將持續(xù)為企業(yè)級用戶打造高可用、高性能內(nèi)核,openGauss將在9月30日的版本中,面向開發(fā)者和企業(yè)用戶發(fā)布In-place Update存儲引擎、基于Paxos協(xié)議的DCF高可用組件以及兼顧TP業(yè)務(wù)和AP業(yè)務(wù)的HTAP特性。
In-place Update中文意思為原地更新,是相對于openGauss行引擎當前所采用的Append Update(追加更新)模式的升級。追加更新對于業(yè)務(wù)中的增、刪以及HOT UPDATE(即同一個頁面內(nèi)更新)有很好的表現(xiàn),但對于跨數(shù)據(jù)頁面的非HOT UPDATE場景,垃圾回收不夠高效。而原地更新模式將最新版本的“有效數(shù)據(jù)”和歷史版本的“垃圾數(shù)據(jù)”分離存儲:最新版本的“有效數(shù)據(jù)”存儲在數(shù)據(jù)頁面上,單獨開辟一段UNDO空間,用于統(tǒng)一管理歷史版本的“垃圾數(shù)據(jù)”,因此數(shù)據(jù)空間不會由于頻繁更新而膨脹,垃圾回收效率更高(參見圖1)。同時可實現(xiàn)基于NUMA-Ware架構(gòu)的高可擴展UNDO子系統(tǒng)以及基于多版本的索引技術(shù)。在這種設(shè)計思路下,用戶可徹底拋棄原有垃圾數(shù)據(jù)清理機制,從而使整體系統(tǒng)運行更加平穩(wěn),適應(yīng)更多業(yè)務(wù)場景和工作負載。
圖2:In-place Update數(shù)據(jù)存儲示意圖:數(shù)據(jù)在原page頁,undo通過指針單獨管理
Paxos是一種強一致、高可用的分布式一致性協(xié)議。對于存在宕機風險的分布式系統(tǒng)來說,在不要求可靠的消息傳遞下可實現(xiàn)數(shù)據(jù)強一致,且可容忍消息丟失、延遲、亂序及重復(fù)?;诙鄶?shù)派機制的Paxos協(xié)議保證了2F+1的容錯能力,即2F+1個節(jié)點的系統(tǒng)最大允許F個節(jié)點同時出現(xiàn)故障。更進一步,Paxos協(xié)議具備自仲裁,多數(shù)派選主及日志復(fù)制能力,使得openGauss在保證數(shù)據(jù)一致性的同時,在高可用方面可進一步得到增強,包括:
(1)通過自仲裁、多數(shù)派選主能力擺脫第三方仲裁組件,極大縮短RTO時間,且可預(yù)防任何故障下的腦裂雙主;
(2)支持節(jié)點同步、同異步混合部署的多集群部署模式;
(3)提升主備間節(jié)點日志復(fù)制效率,提升系統(tǒng)的最大吞吐能力。借助openGauss的DCF高可用組件,用戶不僅可以免去系統(tǒng)腦裂的風險,還可以提升系統(tǒng)性能。
圖3:Paxos原理示意圖
HTAP代表了一類數(shù)據(jù)庫應(yīng)用場景,核心思想在基于一套內(nèi)核提供TP和AP的混合負載能力,而混合負載的兩個核心要素是性能和資源控制。從性能維度,openGauss將基于現(xiàn)有的能力進一步挖掘系統(tǒng)并行執(zhí)行能力(如SMP),提升CPU利用率(如動態(tài)編譯執(zhí)行),實現(xiàn)內(nèi)存內(nèi)計算(如內(nèi)存引擎),這些不同引擎或能力支撐openGauss從容應(yīng)對不同的負載請求。而資源控制方面通過資源管理流機制實現(xiàn)不同負載間的資源隔離,即彼此間互不影響且資源足夠,該方法讓各自負載在滿足SLA的基礎(chǔ)上,有非常好的實時性。HTAP實現(xiàn)了單個系統(tǒng)的多業(yè)務(wù)負載處理能力,一套數(shù)據(jù)底座,應(yīng)對兩套業(yè)務(wù)模型,省去數(shù)據(jù)遷移的代價。
圖4:HTAP即能進行事物處理,又能行業(yè)分析處理
openGauss除了在內(nèi)核能力上不斷推出新特性,同時在社區(qū)和生態(tài)建設(shè)上,攜手伙伴一起打造面向分布式場景的高競爭力解決方案。
openGauss通過ShardingSphere分布式中間件,實現(xiàn)線性擴展,最高可達6400數(shù)據(jù)分片,可以滿足業(yè)務(wù)不斷增長的數(shù)據(jù)規(guī)模要求;結(jié)合業(yè)務(wù)流量,可以靈活平滑進行數(shù)據(jù)節(jié)點的擴縮容,智能讀寫分離,實現(xiàn)分布式數(shù)據(jù)庫的自動負載均衡。而標準化鏡像機制確保多環(huán)境一致性交付,不僅能夠支持多云場景,還能有效降低企業(yè)對平臺的依賴性。同時這套分布式方案,還能支持強有力的集群管理、運維能力以及多地多中心靈活部署。
共建、共治、共享、共贏,打造數(shù)據(jù)庫主流生態(tài)
生態(tài)是開源庫數(shù)據(jù)庫成功的關(guān)鍵因素,openGauss一直就秉持共建、共治、共享的生態(tài)策略,攜手產(chǎn)業(yè)鏈伙伴,最終實現(xiàn)生態(tài)共贏。openGauss不僅代碼開源,還通過開源社區(qū)運營,讓業(yè)界的開發(fā)者、伙伴能公開透明的參與進來,通過技術(shù)委員會、SIG組的形式廣泛匯聚業(yè)界的技術(shù)專家,為openGauss發(fā)展提供源源不斷的智力支持和思想輸入。據(jù)悉,openGauss社區(qū)理事會正在籌備中,預(yù)計于下半年成立,是openGauss開源社區(qū)主要治理機構(gòu)。
圖5:30+企業(yè)加入openGauss社區(qū)(排名不分先后)
開源近一年,openGauss得到業(yè)界伙伴的強烈的響應(yīng)和支持,已有6家數(shù)據(jù)庫企業(yè)基于openGauss發(fā)布商業(yè)發(fā)行版,下半年會有更多新的企業(yè)發(fā)布商業(yè)發(fā)行版。目前,民生銀行、中國電信云公司、深信服等30多家企業(yè)級用戶已加入社區(qū),并在多個關(guān)鍵特性上積極貢獻。openGauss還與行業(yè)解決方案軟件伙伴緊密合作,針對行業(yè)場景的特點,聯(lián)合推出對應(yīng)解決方案:與深信服推出高性能安全數(shù)據(jù)庫一體化方案、聯(lián)合SharingSphere社區(qū)推出全棧開源的分布式中間件解決方案、聯(lián)合頭部廠商面向降本增效場景推出存算分離方案等,相關(guān)聯(lián)合解決方案均已在行業(yè)核心場景實現(xiàn)商用落地。
智能基座、產(chǎn)教融合,為產(chǎn)業(yè)界提供豐沛的人才
創(chuàng)新之道,唯在得人。得人只要,必廣其途以儲之。高校是人才培養(yǎng)的根據(jù)地,是人才發(fā)展的未來。openGauss聯(lián)合高校,通過產(chǎn)、學、研、用,打通人才體系建設(shè),通過基礎(chǔ)理論對接產(chǎn)業(yè)和市場需求構(gòu)建知識體系,從理論到實踐到應(yīng)用相結(jié)合,構(gòu)建良性人才生態(tài),激發(fā)產(chǎn)業(yè)持續(xù)活力。
目前清華、北大、復(fù)旦等50余所著名高校已開設(shè)openGauss課程,覆蓋數(shù)萬名學生,另有超過30所院校已確定將在年內(nèi)開課,未來一年,預(yù)計將有超過200所院校在教學中使用openGauss,真正實現(xiàn)產(chǎn)教融合。據(jù)悉,openGauss已進入全國計算機等級考試。
openGauss逐漸成為數(shù)據(jù)科學的學術(shù)創(chuàng)新平臺,清華大學、北京航空航天大學、西北工業(yè)大學、西安電子科技大學等數(shù)十所高校,均已基于openGauss進行創(chuàng)新型基礎(chǔ)研究工作,如AI-native的數(shù)據(jù)庫技術(shù)、面向新硬件(ARM多核、TPU/GPU、RDMA、NVM/SCM等)新型數(shù)據(jù)庫技術(shù)、云數(shù)據(jù)庫架構(gòu)研究、面向行業(yè)數(shù)字化轉(zhuǎn)型的數(shù)據(jù)及隱私保護、面向嵌入式設(shè)備場景的數(shù)據(jù)庫系統(tǒng)等方向研究。
從基礎(chǔ)研究、高校合作到產(chǎn)業(yè)創(chuàng)新,openGauss社區(qū)匯聚高校、產(chǎn)業(yè)界的智慧和力量,共同開展數(shù)據(jù)庫基礎(chǔ)軟件創(chuàng)新突破。openGauss持續(xù)聚焦數(shù)據(jù)庫根技術(shù),以開源協(xié)作創(chuàng)新,為業(yè)界帶來持續(xù)領(lǐng)先的數(shù)據(jù)庫技術(shù)與產(chǎn)品;以開放繁盛生態(tài),聯(lián)合產(chǎn)業(yè)鏈上下游伙伴,讓openGauss落地千行百業(yè),助力客戶加速數(shù)字化轉(zhuǎn)型,共促產(chǎn)業(yè)發(fā)展和生態(tài)繁榮。