數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)已經(jīng)成為企業(yè)的核心資產(chǎn)，推動(dòng)著企業(yè)的業(yè)務(wù)創(chuàng)新與高速發(fā)展。隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入，企業(yè)獲取數(shù)據(jù)的方式變得更加簡單，數(shù)據(jù)量呈現(xiàn)出爆炸式增長的態(tài)勢。與此同時(shí)，企業(yè)對于數(shù)據(jù)處理的需求也發(fā)生了變化，由原來的實(shí)時(shí)處理擴(kuò)展成對數(shù)據(jù)資產(chǎn)的深度分析，HTAP混合型關(guān)系數(shù)據(jù)庫成為企業(yè)最佳的選擇。 

基于市場的實(shí)際需求，結(jié)合用戶和開發(fā)者的真實(shí)需要，openGauss進(jìn)行了全面的技術(shù)架構(gòu)創(chuàng)新和產(chǎn)品功能演進(jìn)，并于2022年9月30日正式發(fā)布了openGauss 3.1版本。openGauss 3.1版本采用了四大架構(gòu)創(chuàng)新技術(shù)，并持續(xù)演進(jìn)了“四高”能力，能夠支持?jǐn)?shù)據(jù)實(shí)時(shí)交易和分析混合處理，以一棧式 HTAP 解決方案，賦能開發(fā)者，助推企業(yè)加速數(shù)字化轉(zhuǎn)型進(jìn)程。 

從OLTP到HTAP，用戶場景驅(qū)動(dòng)數(shù)據(jù)庫變革

提到數(shù)據(jù)庫，就不得不提OLTP和OLAP。 

作為承載企業(yè)諸如CRM、訂單系統(tǒng)、銷售系統(tǒng)等等在線事務(wù)處理的核心數(shù)據(jù)庫系統(tǒng)，OLTP對高并發(fā)、低延時(shí)、數(shù)據(jù)一致性有極高的要求。OLAP主要用于大量數(shù)據(jù)的分析、處理與匯總，因此對磁盤的容量有著很高的要求，在性能方面可以容忍少量滯后。 

在數(shù)字化轉(zhuǎn)型的初級階段，企業(yè)的核心應(yīng)用場景比較單一，且由于數(shù)據(jù)量不大，OLTP數(shù)據(jù)庫完全能夠滿足企業(yè)的需要。隨著數(shù)字化轉(zhuǎn)型的不斷深入，數(shù)據(jù)量呈現(xiàn)出爆炸式增長的態(tài)勢，加之AI、大數(shù)據(jù)等新興技術(shù)的不斷發(fā)展，企業(yè)對于數(shù)據(jù)分析、處理的需求越來越多，OLAP則承擔(dān)了大數(shù)據(jù)分析、處理的需求。 

雖然我們能夠找到一個(gè)100%的OLAP系統(tǒng)，僅處理OLAP的需求，但是OLTP系統(tǒng)絕對不是100%的OLTP。因?yàn)椋跀?shù)據(jù)驅(qū)動(dòng)的今天，任何業(yè)務(wù)系統(tǒng)都會(huì)有一個(gè)簡單的子系統(tǒng)來處理即時(shí)報(bào)表，況且有些業(yè)務(wù)還自帶大量的統(tǒng)計(jì)查詢。 

為此，站在業(yè)務(wù)發(fā)展的角度，用戶希望用最簡單的方法解決接踵而至的即時(shí)分析需求，HTAP應(yīng)運(yùn)而生。為了滿足openGauss社區(qū)用戶、開發(fā)者的真實(shí)需要，在openGauss ３.0的基礎(chǔ)之上正式發(fā)布了openGauss 3.1版本，除了持續(xù)演進(jìn)的“四高”能力之外，還采用了四大架構(gòu)創(chuàng)新技術(shù)，不但能夠同時(shí)支持?jǐn)?shù)據(jù)實(shí)時(shí)交易和分析混合處理，并且大幅提升了可擴(kuò)展性，更好的滿足了不斷變化的用戶場景需求。 

四大架構(gòu)創(chuàng)新技術(shù)，賦能企業(yè)核心場景應(yīng)用

隨著企業(yè)核心應(yīng)用場景的不斷變化，以及openGauss社區(qū)的蓬勃發(fā)展，行業(yè)的客戶和社區(qū)開發(fā)者對openGauss提出了大容量、易擴(kuò)展、易觀測、易遷移、高安全等更多場景化要求。基于不同的場景化挑戰(zhàn)，openGauss3.1版本打造了資源池化架構(gòu)、可觀測架構(gòu)、插件化架構(gòu)、數(shù)據(jù)安全架構(gòu)四大架構(gòu)創(chuàng)新技術(shù)，并在高性能、高可用、高安全、高智能領(lǐng)域持續(xù)演進(jìn)。 

1）資源池化架構(gòu): openGauss 3.1通過將計(jì)算池化、內(nèi)存池化、存儲(chǔ)池化，形成了三層資源池化模型，以應(yīng)對大容量和易擴(kuò)展帶來的挑戰(zhàn)。在存儲(chǔ)池化上，openGauss 3.1采用了多節(jié)點(diǎn)共用一份數(shù)據(jù)，去除了日志復(fù)制開銷，存儲(chǔ)成本下降50%以上；在內(nèi)存池化上，openGauss 3.1通過打通不同節(jié)點(diǎn)之間的內(nèi)存訪問通道，并疊加數(shù)據(jù)庫本身的事務(wù)同步能力，形成了多節(jié)點(diǎn)下的多版本一致性讀（MVCC）能力，應(yīng)用不管從哪個(gè)節(jié)點(diǎn)接入，都能獲取到最新的一致性數(shù)據(jù)。數(shù)據(jù)一致性敏感型應(yīng)用負(fù)載能夠容易地從單個(gè)節(jié)點(diǎn)透明擴(kuò)展到多個(gè)節(jié)點(diǎn)。在計(jì)算池化上，采用ShardingSphere的分布式OLTP組件和基于openLooKeng的分布式OLAP組件（openLooKeng是華為開源的高性能數(shù)據(jù)融合分析引擎）。OLTP組件和OLAP組件所形成的HTAP架構(gòu)，實(shí)現(xiàn)了用戶表元數(shù)據(jù)的統(tǒng)一管理，為應(yīng)用提供高并發(fā)低時(shí)延的OLTP和OLAP負(fù)載處理能力，很好地滿足了企業(yè)海量數(shù)據(jù)業(yè)務(wù)處理的訴求。

2）可觀測架構(gòu)：openGauss 3.1基于可觀測工程中的三大支柱打造了可觀測整體框架，實(shí)現(xiàn)對openGauss數(shù)據(jù)庫全棧的可觀測、可跟蹤、可診斷。在Logging方面，實(shí)現(xiàn)了對操作系統(tǒng)和數(shù)據(jù)庫性能指標(biāo)的采集和查詢能力，并使用filebeat、Elasticsearch去收集系統(tǒng)日志和數(shù)據(jù)庫日志。在Metrics方面，利用Promehtheus組件實(shí)現(xiàn)了對監(jiān)控?cái)?shù)據(jù)庫和操作系統(tǒng)的多維指標(biāo)全棧監(jiān)控，以及基于指標(biāo)數(shù)據(jù)的故障預(yù)測預(yù)防。在Tracing方面，利用eBPF技術(shù)以及實(shí)時(shí)SQL跟蹤，實(shí)現(xiàn)對性能問題和故障的分析和診斷。

3）插件化架構(gòu)：openGauss 3.1全面升級了對MySQL數(shù)據(jù)庫的內(nèi)核兼容性和遷移能力，讓企業(yè)從MySQL數(shù)據(jù)庫遷移到openGauss更加方便、快捷。在MySQL兼容性方面，通過對SQL引擎增加數(shù)據(jù)庫擴(kuò)展點(diǎn)，組織openGauss社區(qū)和DBV合作伙伴共同開發(fā)MySQL語法特性，目前已兼容 450個(gè)以上的MySQL語法特性，并以插件形式，動(dòng)態(tài)加載，支持熱插拔，實(shí)現(xiàn)了MySQL的無感切換。在MySQL遷移方面，全量遷移實(shí)現(xiàn)單節(jié)點(diǎn)一個(gè)小時(shí)在線遷移1TB數(shù)據(jù)，大幅提升遷移效率。在增量遷移上，實(shí)現(xiàn)了每秒鐘30000TPS的多線程日志回放。與此同時(shí)，在數(shù)據(jù)校驗(yàn)方面，利用默克爾樹校驗(yàn)算法實(shí)現(xiàn)遷移過程數(shù)據(jù)不一致的實(shí)時(shí)發(fā)現(xiàn)。在并線運(yùn)行方面，實(shí)現(xiàn)了遷移后新舊系統(tǒng)并行工作，支持日志反向同步，極端故障場景下實(shí)現(xiàn)了快速逃生的能力。

4）數(shù)據(jù)安全架構(gòu)：openGauss 3.1采用的數(shù)據(jù)安全架構(gòu)不但支持基于同態(tài)加密的全密態(tài)數(shù)據(jù)庫，還支持TEE軟硬協(xié)同安全加密，全面支持國密算法，全面符合數(shù)字安全法規(guī)要求，進(jìn)一步提高了數(shù)據(jù)的安全性。

 除了四大架構(gòu)創(chuàng)新技術(shù)之外，openGauss 3.1在“高性能、高可靠、高安全、高智能”四個(gè)方面持續(xù)創(chuàng)新。例如在高智能方面，openGauss 3.1采用貝葉斯網(wǎng)絡(luò)算法準(zhǔn)確評估復(fù)雜場景下的關(guān)聯(lián)列基數(shù)，大幅提升了多列基數(shù)估計(jì)準(zhǔn)確度。實(shí)驗(yàn)表明，在1000萬的數(shù)據(jù)中建立4個(gè)關(guān)聯(lián)列和4個(gè)關(guān)聯(lián)索引，如果采用獨(dú)立假性算法基數(shù)預(yù)估將產(chǎn)生76倍誤差，采用多列高頻統(tǒng)計(jì)算法將產(chǎn)生6倍的誤差，而采用貝葉斯網(wǎng)絡(luò)算法誤差僅有1.1倍。

 在實(shí)現(xiàn)上，優(yōu)化器深度融合了DB4AI的能力，引入了統(tǒng)計(jì)信息分析器，包含模型創(chuàng)建、模型訓(xùn)練、模型推理、模型應(yīng)用等核心AI組件，復(fù)雜關(guān)聯(lián)列查詢SQL端到端性能比友商所采取算法提升超過30%，成為采用AI技術(shù)解決經(jīng)典數(shù)據(jù)庫難題的創(chuàng)新之舉。

 在高可用方面，openGauss 3.1基于發(fā)布訂閱模式的邏輯復(fù)制，實(shí)現(xiàn)數(shù)據(jù)雙向同步和異地多活。由于openGauss 3.1發(fā)布端數(shù)據(jù)備份中包含了邏輯復(fù)制槽，因此實(shí)現(xiàn)了備份恢復(fù)后發(fā)布訂閱不中斷；此外，openGauss 3.1支持發(fā)布訂閱同步基礎(chǔ)數(shù)據(jù)，增量同步無縫銜接；支持以二進(jìn)制格式發(fā)送數(shù)據(jù)，降低網(wǎng)絡(luò)傳輸開銷；支持發(fā)布端主備切換時(shí)訂閱端自動(dòng)連接；支持多節(jié)點(diǎn)相互訂閱，解決循環(huán)訂閱問題。與此同時(shí)，邏輯復(fù)制功能由openGauss 3.1內(nèi)核集成，無需額外安裝第三方工具且。

 正是有了四大架構(gòu)創(chuàng)新技術(shù)的加持，以及不斷進(jìn)化的“四高”能力，使得openGauss 3.1的核心優(yōu)勢愈發(fā)凸顯，為社區(qū)用戶、開發(fā)者提供了全新的選擇，成為企業(yè)核心應(yīng)用場景的首選，為從OLTP到HTAP轉(zhuǎn)換，滿足市場需求，提供了更好的選擇。

 驅(qū)動(dòng)產(chǎn)品創(chuàng)新與市場需求螺旋式成長，攜手夯實(shí)企業(yè)數(shù)字化轉(zhuǎn)型基石

打造根技術(shù)，建設(shè)根社區(qū)，發(fā)展新生態(tài)，openGauss社區(qū)的每一次技術(shù)突破，每一個(gè)行業(yè)創(chuàng)新實(shí)踐，都離不開數(shù)據(jù)庫伙伴、客戶和開發(fā)者的努力。

 openGauss社區(qū)自上線以來，始終圍繞市場需求進(jìn)行技術(shù)創(chuàng)新，并將用戶和開發(fā)者的訴求放在首位。通過開放開源的平臺(tái)，openGauss社區(qū)將產(chǎn)業(yè)生態(tài)鏈的上下游合作伙伴、開發(fā)者匯集到一起，驅(qū)動(dòng)產(chǎn)品創(chuàng)新和市場需求螺旋式成長。

經(jīng)過2年多的發(fā)展，openGauss開源社區(qū)已經(jīng)在技術(shù)、生態(tài)、商業(yè)和社區(qū)治理等方面穩(wěn)健推進(jìn)，快速成長。截至目前，已有185家企業(yè)和機(jī)構(gòu)加入社區(qū)，4000多名開發(fā)者參與社區(qū)貢獻(xiàn)，23000套商業(yè)落地方案，適配了500多個(gè)行業(yè)應(yīng)用，已經(jīng)在金融、政府、電信、能源、制造、交通等行業(yè)核心業(yè)務(wù)中規(guī)模商用。此外，openGauss全球下載量達(dá)到100萬套，觸達(dá)了90個(gè)國家、800多個(gè)城市。

 openGauss 3.1版本推出之后，將成為openGauss社區(qū)的主力版本。社區(qū)中的用戶、開發(fā)者，也將會(huì)基于openGauss 3.1打造出更多行業(yè)的應(yīng)用，解決更多企業(yè)面臨的挑戰(zhàn)。而華為將與來自不同行業(yè)的合作伙伴，基于openGauss 3.1版本開發(fā)更多的商業(yè)落地案例，為千行百業(yè)提供更好的數(shù)據(jù)庫解決方案。

 未來，openGauss開源社區(qū)將持續(xù)圍繞用戶、開發(fā)者的實(shí)際需求，緊貼市場需求，緊密攜手生態(tài)伙伴，不斷加速創(chuàng)新步伐，全力夯實(shí)企業(yè)數(shù)字化轉(zhuǎn)型基石，將中國數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展推入全新紀(jì)元。