數(shù)字化時代，數(shù)據(jù)作為企業(yè)的重要資產(chǎn)，其管理和利用效率對企業(yè)的生存和發(fā)展具有重大影響。根據(jù)《數(shù)據(jù)庫發(fā)展研究報告（2023年）》，2022年全球數(shù)據(jù)庫市場規(guī)模為833億美元，中國數(shù)據(jù)庫市場規(guī)模為59.7億美元（約合403.6億元人民幣），占全球7.2%。預(yù)計到2027年，中國數(shù)據(jù)庫市場總規(guī)模將達(dá)到1286.8億元，市場年復(fù)合增長率（CAGR）為26.1%。

近期，51CTO舉辦了兩場技術(shù)直播活動，圍繞數(shù)據(jù)庫前沿趨勢和實踐應(yīng)用，分別以“分布式數(shù)據(jù)庫應(yīng)用與挑戰(zhàn)”和“湖倉一體的技術(shù)實踐”為主題，邀請了51CTO學(xué)堂金牌講師以及數(shù)據(jù)庫方向的企業(yè)技術(shù)專家進(jìn)行分享，幫助用戶更好地了解并掌握數(shù)據(jù)庫領(lǐng)域的前沿技術(shù)趨勢以及落地應(yīng)用方法。

一、分布式數(shù)據(jù)庫的應(yīng)用與挑戰(zhàn)

分布式數(shù)據(jù)庫系統(tǒng)是一種高效、可擴(kuò)展、可靠的數(shù)據(jù)庫系統(tǒng)，適用于處理大規(guī)模的數(shù)據(jù)和應(yīng)對復(fù)雜的業(yè)務(wù)需求。隨著云計算和大數(shù)據(jù)技術(shù)的不斷發(fā)展，分布式數(shù)據(jù)庫系統(tǒng)將會得到更廣泛的應(yīng)用和發(fā)展。

51CTO學(xué)堂認(rèn)證講師多哥和星環(huán)科技數(shù)據(jù)庫資深架構(gòu)師陳潛龍分別進(jìn)行了主題為“揭開神秘的分布式數(shù)據(jù)庫”和“星環(huán)分布式分析型數(shù)據(jù)庫實踐之路”的技術(shù)分享。

首先，多哥從大數(shù)據(jù)時代的數(shù)據(jù)特點、新時代的業(yè)務(wù)需求、以及使用分布式數(shù)據(jù)庫的原因這三方面展開分享，講述了大數(shù)據(jù)時代，企業(yè)面臨的數(shù)據(jù)治理難題以及解決難題的通用解決方案。

多哥提到，大數(shù)據(jù)時代，很多老問題變成了新問題或者大問題。其中就包括算力挑戰(zhàn)與互聯(lián)網(wǎng)應(yīng)用特性轉(zhuǎn)變。一方面，數(shù)據(jù)量的激增引發(fā)存儲成本與計算成本的不斷提高，同時，管理者也需要時刻關(guān)注數(shù)據(jù)量為整體計算帶來的任何向性變化，以及數(shù)據(jù)管理的迭代升級對底層架構(gòu)的挑戰(zhàn)。另一方面，互聯(lián)網(wǎng)應(yīng)用的特性正在逐步轉(zhuǎn)向物聯(lián)網(wǎng)，例如，業(yè)務(wù)模型從交易型業(yè)務(wù)（OLTP）轉(zhuǎn)向到分析型業(yè)務(wù)（OLAP），數(shù)據(jù)出現(xiàn)越來越強(qiáng)的異構(gòu)性變化等。

多哥認(rèn)為，面對這些挑戰(zhàn)，數(shù)據(jù)管理者可以嘗試結(jié)合分布式編程的思想，從單機(jī)編程思維轉(zhuǎn)換成集群編程思維，從縱向擴(kuò)展思想轉(zhuǎn)變?yōu)闄M向擴(kuò)展思想以及啟用全新的系統(tǒng)棧。由此，多哥總結(jié)了三個解決問題的方向，分別是：分布式數(shù)據(jù)庫的選擇和引入，靈活便捷的資源調(diào)度以及比移動數(shù)據(jù)更經(jīng)濟(jì)的移動計算方式。

陳潛龍在演講時引用了信通院對未來數(shù)據(jù)庫技術(shù)發(fā)展劃分的九個方向和四大目標(biāo)，提出融合，即架構(gòu)融合，利用統(tǒng)一架構(gòu)代替混合架構(gòu)和平臺融合，統(tǒng)一數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市才是數(shù)據(jù)平臺架構(gòu)的發(fā)展趨勢。陳潛龍表示，分布式分析型數(shù)據(jù)庫可以替代Hadoop+MPP混合架構(gòu)。它支持標(biāo)準(zhǔn)SQL語法，提供了多模分析、實時數(shù)據(jù)處理、存算解耦、混合負(fù)載、數(shù)據(jù)聯(lián)邦和異構(gòu)服務(wù)器混合部署等先進(jìn)技術(shù)能力。

提到分布式分析型數(shù)據(jù)庫的關(guān)鍵技術(shù)，陳潛龍重點闡述了以下幾點：

第一，統(tǒng)一SQL入口，以均衡負(fù)載提升業(yè)務(wù)并發(fā)。同時，基于特定規(guī)則將不同的業(yè)務(wù)，如查詢、跑批，分發(fā)到不同的計算資源上，以此實現(xiàn)業(yè)務(wù)的分流，減少業(yè)務(wù)間的相互影響。

第二，統(tǒng)一SQL編譯引擎，簡化SQL開發(fā)適配，降低開發(fā)門檻，提升遷移效率。

第三，統(tǒng)一SQL計算引擎，通過向量化計算引擎，提升性能。

第四，統(tǒng)一存儲管理，支持多種模態(tài)數(shù)據(jù)，多源數(shù)據(jù)高效融合，促進(jìn)多模型能力進(jìn)一步增強(qiáng)。

第五，混合負(fù)載均衡管理，將作業(yè)與資源池的相互關(guān)聯(lián)，控制并實現(xiàn)資源的合理利用，從而實現(xiàn)系統(tǒng)資源利用的最大化收益。

第六，在線擴(kuò)容，集群在線擴(kuò)容，對正在運行的業(yè)務(wù)無感知，擴(kuò)容后性能呈線性增長。

第七，數(shù)據(jù)塊級別災(zāi)備，突破地域限制，構(gòu)建數(shù)據(jù)安全保障。

第八，智能運維，集成集群管理，SQL開發(fā)，SQL監(jiān)控等能力，實現(xiàn)數(shù)據(jù)庫一站式運維能力。

陳潛龍表示，企業(yè)對數(shù)據(jù)庫的選型、應(yīng)用與優(yōu)化應(yīng)該因地制宜，從具體需求出發(fā)。同時，面對技術(shù)發(fā)展多變、應(yīng)用特點多變、外部需求緊迫的現(xiàn)狀，他建議數(shù)據(jù)庫運維人員不斷學(xué)習(xí)、廣泛學(xué)習(xí)，時刻關(guān)注分布式數(shù)據(jù)庫發(fā)展，保持足夠的技術(shù)敏感度，才能夠緊跟技術(shù)發(fā)展趨勢。

二、湖倉一體的技術(shù)實踐

湖倉一體是一種創(chuàng)新的數(shù)據(jù)存儲和處理架構(gòu)，具有強(qiáng)大的數(shù)據(jù)處理和分析能力，同時確保了數(shù)據(jù)的安全性和質(zhì)量，逐漸成為企業(yè)主流數(shù)據(jù)存儲方式。憑借低運維、低成本、多格式、多功能、高價值、高敏捷、更安全、更靈活的特性，湖倉一體解決方案已在金融、互聯(lián)網(wǎng)行業(yè)進(jìn)行規(guī)?；瘧?yīng)用。51CTO學(xué)堂金牌認(rèn)證講師趙渝強(qiáng)和北京科杰科技CTO高經(jīng)郡分別帶來了主題為“湖倉一體的技術(shù)實踐”和“湖倉一體構(gòu)筑數(shù)據(jù)智能的新基石”的技術(shù)分享。

首先，趙渝強(qiáng)從數(shù)據(jù)倉庫與大數(shù)據(jù)技術(shù)出發(fā)，介紹了基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉庫架構(gòu)：Lambda架構(gòu)與Kappa架構(gòu)，以及大數(shù)據(jù)計算引擎：Flink與Spark，從而進(jìn)一步引出了數(shù)據(jù)湖技術(shù)和基于數(shù)據(jù)湖的數(shù)據(jù)倉庫實現(xiàn)話題。

趙渝強(qiáng)認(rèn)為，數(shù)據(jù)倉庫在本質(zhì)上就是一個數(shù)據(jù)庫，在具體實現(xiàn)數(shù)據(jù)倉庫時候可以使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫來實現(xiàn)，例如：Oracle和MySQL等，也可以使用大數(shù)據(jù)生態(tài)圈體系來實現(xiàn)。而基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉庫架構(gòu)主要有Lambda與Kappa兩種。其中，Lambda架構(gòu)是目前構(gòu)建數(shù)據(jù)倉庫選用的主要架構(gòu)，分為離線數(shù)據(jù)倉庫與實時數(shù)據(jù)倉庫兩部分，利用HDFS或HBase存儲離線數(shù)據(jù)，利用消息系統(tǒng)Kafka來存儲實時數(shù)據(jù)。對文件數(shù)據(jù)進(jìn)行封裝后，提取數(shù)據(jù)的抽象便于與數(shù)據(jù)湖進(jìn)行集成，實現(xiàn)離線數(shù)據(jù)或?qū)崟r數(shù)據(jù)的讀取功能。相較于Lambda架構(gòu)，Kappa架構(gòu)只能讀取實時數(shù)據(jù)，雖然能夠?qū)㈦x線數(shù)據(jù)作為實時數(shù)據(jù)的特殊情況進(jìn)行讀取，但是性能不佳。

在介紹了大數(shù)據(jù)計算引擎Flink與Spark之后，趙渝強(qiáng)又為大家介紹了數(shù)據(jù)湖的概念和常見的技術(shù)框架。簡單來說，數(shù)據(jù)湖可存儲結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，是一種面向大規(guī)模、多來源、高度多樣化數(shù)據(jù)的組織方法。但數(shù)據(jù)湖本身不提供數(shù)據(jù)存儲的能力，常見的數(shù)據(jù)湖技術(shù)框架有Hudi、Iceberg、Delta Lake。分享最后，趙渝強(qiáng)還為大家提供了一個基于數(shù)據(jù)湖的數(shù)據(jù)倉庫流批一體架構(gòu)供大家參考。

接著，北京科杰科技CTO高經(jīng)郡老師為大家?guī)砹酥黝}為“湖倉一體構(gòu)筑數(shù)據(jù)智能的新基石”的技術(shù)分享。高經(jīng)郡從湖倉一體架構(gòu)探索與構(gòu)建、湖倉一體技術(shù)實踐和湖倉一體化平臺未來發(fā)展趨勢三個方面進(jìn)行了分享。

高經(jīng)郡表示，Lakehouse湖倉一體是一種新型開放式架構(gòu)，充分結(jié)合數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)勢，并構(gòu)建在數(shù)據(jù)湖低成本的數(shù)據(jù)存儲架構(gòu)之上，它繼承了數(shù)據(jù)倉庫的數(shù)據(jù)處理和管理功能，能全面滿足BI、DI、AI應(yīng)用需求。

而構(gòu)建湖倉一體的核心要素，高經(jīng)郡認(rèn)為有以下三點：

第一，可靠的湖上數(shù)據(jù)管理：一種開放的、高性能的數(shù)據(jù)組織格式。

第二，支持機(jī)器學(xué)習(xí)與數(shù)據(jù)科學(xué)：一套開放的、標(biāo)準(zhǔn)的API。

第三，先進(jìn)的SQL性能：一個極致優(yōu)化的執(zhí)行引擎。

但是，隨著湖倉一體實踐的逐漸深入，尤其是當(dāng)單鏈路的數(shù)據(jù)量達(dá)到分鐘級，每日數(shù)據(jù)達(dá)到萬億規(guī)模時，企業(yè)就需要格外重視湖倉一體的性能問題。例如：如何平衡流式訪問和批訪問？既能做到高性能和高效，又能做到低成本？在實現(xiàn)分鐘級接近極限時如果繼續(xù)加速該如何優(yōu)化？高經(jīng)郡認(rèn)為，想要解決這些問題，需要不斷優(yōu)化技術(shù)架構(gòu)、提高數(shù)據(jù)湖計算引擎的能力，通過存算分離、統(tǒng)一元數(shù)據(jù)服務(wù)和查詢引擎等方式不斷優(yōu)化湖倉一體的性能。

高經(jīng)郡表示，企業(yè)數(shù)據(jù)架構(gòu)具有從單一架構(gòu)走向多架構(gòu)融合，數(shù)據(jù)資產(chǎn)由物理性統(tǒng)一走向邏輯性統(tǒng)一的發(fā)展趨勢。構(gòu)建湖倉一體基礎(chǔ)數(shù)據(jù)底座，保障企業(yè)多架構(gòu)融合平臺基礎(chǔ)，從而助力企業(yè)構(gòu)筑智能數(shù)據(jù)的新基石。

結(jié)語

隨著信息技術(shù)的不斷進(jìn)步，數(shù)據(jù)庫技術(shù)已經(jīng)成為企業(yè)智能化建設(shè)的核心，它不僅存儲著企業(yè)的核心數(shù)據(jù)，還支撐著企業(yè)的業(yè)務(wù)運營和決策分析。

數(shù)據(jù)庫技術(shù)的未來發(fā)展將更加注重數(shù)據(jù)的處理效率和安全性。一方面，隨著大數(shù)據(jù)時代的到來，企業(yè)需要處理的數(shù)據(jù)量越來越大，數(shù)據(jù)庫技術(shù)需要不斷提高數(shù)據(jù)處理效率，以滿足企業(yè)的需求。另一方面，隨著網(wǎng)絡(luò)安全問題的日益嚴(yán)重，數(shù)據(jù)庫技術(shù)的安全性也變得越來越重要。未來，數(shù)據(jù)庫技術(shù)將更加注重數(shù)據(jù)的安全性和隱私保護(hù)，采用更加先進(jìn)的數(shù)據(jù)加密和訪問控制技術(shù)，以確保數(shù)據(jù)的安全性和完整性。

了解更多直播詳情，您可以點擊【數(shù)據(jù)庫直播專區(qū)】，觀看直播回放，下載嘉賓PPT。