一、Data Fabric 介紹

首先，讓我們來看一下 Data Fabric 的定義。

Data Fabric 是一種新興的數(shù)據(jù)管理設(shè)計(jì)理念，起源于美國。根據(jù) Gartner 的定義，Data Fabric 可以實(shí)現(xiàn)跨異構(gòu)數(shù)據(jù)源的增強(qiáng)、數(shù)據(jù)集成和共享。這意味著以前在構(gòu)建數(shù)據(jù)倉庫時(shí)需要進(jìn)行大量的ETL工作，將不同業(yè)務(wù)關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)加載到數(shù)據(jù)倉庫中，并通過各種鏈路進(jìn)行數(shù)據(jù)同步。然后，在數(shù)據(jù)倉庫中進(jìn)行分層加工，最終生成各種指標(biāo)，供用戶進(jìn)行分析和生成報(bào)表。

Data Fabric 的理念與傳統(tǒng)的數(shù)據(jù)倉庫有所不同。在某些情況下，分析師可能并不需要將整個(gè)數(shù)據(jù)完全搬移到自己的工作環(huán)境中，而只需要進(jìn)行簡單的數(shù)據(jù)探查。因此，Data Fabric 的概念就應(yīng)運(yùn)而生。簡單來說，Data Fabric 就是一種對企業(yè)內(nèi)部數(shù)據(jù)進(jìn)行輕量級探查的編織概念。

基于Data Fabric 的理念，我們可以進(jìn)行更加靈活和高效的數(shù)據(jù)分析。自2019年起，Gartner 已經(jīng)連續(xù)三年將 Data Fabric 技術(shù)列入十大數(shù)據(jù)分析技術(shù)趨勢之一。這表明 Data Fabric 技術(shù)正在逐漸成為數(shù)據(jù)管理和分析領(lǐng)域的重要趨勢。在2022年，Gartner 將 Data Fabric 技術(shù)列為數(shù)據(jù)管理和分析領(lǐng)域的排名第一的技術(shù)趨勢，它的出現(xiàn)為企業(yè)提供了更加靈活和高效的數(shù)據(jù)管理和分析解決方案，因此備受關(guān)注和追捧。

Data Fabric 的價(jià)值主要體現(xiàn)在降低成本和提高效率方面。它可以幫助用戶減少在數(shù)據(jù)開發(fā)、分析和管理過程中的工作量，避免頻繁的數(shù)據(jù)遷移和復(fù)制。那么，Data Fabric 實(shí)際上解決了什么問題呢？最主要的問題是打破數(shù)據(jù)孤島。通過將數(shù)據(jù)接入到統(tǒng)一的平臺中，企業(yè)可以獲得對整個(gè)企業(yè)內(nèi)所有數(shù)據(jù)的高級視圖，了解企業(yè)內(nèi)部的數(shù)據(jù)在哪里、做什么用途。此外，用戶還可以進(jìn)行簡單的數(shù)據(jù)探查，而無需將數(shù)據(jù)全部遷移到數(shù)據(jù)倉庫或數(shù)據(jù)湖中。這樣一來，Data Fabric 為企業(yè)提供了更加綜合和靈活的數(shù)據(jù)管理和探索方式，從而提高了數(shù)據(jù)分析的效率和準(zhǔn)確性。

現(xiàn)在硅谷流行一個(gè)概念——Lakehouse 數(shù)據(jù)湖。數(shù)據(jù)湖和 Data Fabric 的理念密切相關(guān)。數(shù)據(jù)湖強(qiáng)調(diào)存儲的易用性，與傳統(tǒng)的數(shù)據(jù)倉庫不同，它對數(shù)據(jù)的存儲和拉取要求不那么嚴(yán)格，數(shù)據(jù)的結(jié)構(gòu)和格式也不需要遵循傳統(tǒng)的范式結(jié)構(gòu)化數(shù)據(jù)的要求。這與數(shù)據(jù)倉庫的要求有所不同，數(shù)據(jù)倉庫要求數(shù)據(jù)必須遵循嚴(yán)格的范式結(jié)構(gòu)，并需要進(jìn)行各種加工處理。因此，數(shù)據(jù)湖和Data Fabric的理念是密不可分的。

目前，硅谷的一些頭部互聯(lián)網(wǎng)公司都推出了基于 Data Fabric 概念的產(chǎn)品。例如微軟在今年五月份推出了 Microsoft Fabric 和 OneLake 兩款產(chǎn)品，它們共同組成了整個(gè)數(shù)據(jù)平臺。IBM 也在5月9日發(fā)布了基于 Data Fabric 理念的產(chǎn)品 Watsonx.data lakehouse，與其另一款產(chǎn)品 Cloud Pak for Data 相互關(guān)聯(lián)，構(gòu)建了一個(gè)從底層到開發(fā)應(yīng)用的全數(shù)據(jù)加工平臺。微軟的 Fabric 理念是"All your data, all your teams, all in one place"，意味著所有數(shù)據(jù)都可以在一個(gè)平臺上進(jìn)行查看，但并不一定要將所有數(shù)據(jù)都搬到一個(gè)地方。

二、FastData 實(shí)時(shí)智能湖倉平臺介紹

滴普科技基于 Data Fabric 理念打造了一款產(chǎn)品，名為FastData。該產(chǎn)品定位為一站式的實(shí)時(shí)智能數(shù)據(jù)湖平臺，主要包含三個(gè)層次。

首先是我們的 DLink 引擎，解決了在各種云基礎(chǔ)設(shè)施上的存儲和計(jì)算問題。它有效地組織和存儲數(shù)據(jù)，并提供了針對不同工作負(fù)載的計(jì)算能力。在這一層之上，有開發(fā)套件和分析套件。開發(fā)套件類似于數(shù)據(jù)開發(fā)中的工具箱，提供了調(diào)度、編輯器和工作流編排等功能。而分析套件主要解決指標(biāo)管理問題，更加面向業(yè)務(wù)，幫助管理各種非 SQL 方式的指標(biāo)。

湖倉部分是數(shù)據(jù)倉庫架構(gòu)中的一個(gè)重要組成部分，主要解決數(shù)據(jù)存儲和計(jì)算的問題。在數(shù)據(jù)倉庫中，數(shù)據(jù)通常以表格形式存儲，湖倉管理需要考慮如何存儲和管理不同格式的數(shù)據(jù)表格，以及如何提供加速和管理源數(shù)據(jù)。在存算分離的情況下，湖倉管理需要提供高效的數(shù)據(jù)訪問和查詢功能，以便用戶能夠快速獲取所需的數(shù)據(jù)。

基于 Data Fabric 架構(gòu)，數(shù)據(jù)可以分布在不同的位置和系統(tǒng)中，因此湖倉管理需要持有各種數(shù)據(jù)的源數(shù)據(jù)，以便能夠更好地管理和查看數(shù)據(jù)。這樣可以提供更高階的 view 視圖，使用戶能夠更好地了解數(shù)據(jù)的整體情況。

湖倉管理還提供了一些計(jì)算能力和開發(fā)套件，用于建模、數(shù)據(jù)質(zhì)量、數(shù)據(jù)治理、調(diào)度和數(shù)據(jù)集成等方面。例如，用戶可以使用開發(fā)套件來建立模型、評估數(shù)據(jù)質(zhì)量、制定數(shù)據(jù)治理策略、調(diào)度數(shù)據(jù)處理任務(wù)以及實(shí)現(xiàn)數(shù)據(jù)集成。這些工具可以幫助用戶更好地管理和利用數(shù)據(jù)資源。

最高層的分析層主要解決如何建立各種指標(biāo)，并通過自己的模型語言來管理這些指標(biāo)，從而形成企業(yè)的數(shù)據(jù)資產(chǎn)。用戶可以使用分析層來定義和計(jì)算各種指標(biāo)，例如銷售額、用戶增長率、市場份額等。這些指標(biāo)可以幫助企業(yè)更好地了解自己的業(yè)務(wù)狀況，并制定相應(yīng)的決策和戰(zhàn)略。

現(xiàn)代數(shù)據(jù)棧（MDS）是一個(gè)全流程架構(gòu)的概念，它是可組裝的而不是整體式的。每個(gè)客戶在使用平臺時(shí)，并不需要使用所有的套件，因此 MDS 采用了可插拔的插件形式，根據(jù)客戶的需求進(jìn)行組裝，實(shí)現(xiàn)了一種非大而全的平臺。這種可組裝的方式可以降低企業(yè)的成本，并簡化平臺架構(gòu)。

MDS 的整個(gè)平臺架構(gòu)從數(shù)據(jù)源的數(shù)據(jù)拉取開始，包括實(shí)時(shí)和離線的數(shù)據(jù)采集和集成部分，然后將數(shù)據(jù)集成到數(shù)據(jù)湖和數(shù)據(jù)倉庫中，形成湖倉一體的架構(gòu)。這個(gè)架構(gòu)實(shí)現(xiàn)了數(shù)據(jù)的整合和統(tǒng)一管理，使得企業(yè)能夠更好地利用數(shù)據(jù)資源。

總的來說，MDS 是一個(gè)靈活可組裝的數(shù)據(jù)架構(gòu)，通過插件形式提供所需的功能，覆蓋從數(shù)據(jù)源到數(shù)據(jù)湖和數(shù)據(jù)倉庫的整個(gè)數(shù)據(jù)流程，幫助企業(yè)降低成本并簡化平臺架構(gòu)。

在存儲底座中使用 DLink 套件時(shí)，數(shù)據(jù)開始進(jìn)行開發(fā)，并在開發(fā)界面中進(jìn)行相應(yīng)的開發(fā)工作。在數(shù)據(jù)開發(fā)過程中，數(shù)據(jù)治理是一個(gè)重要的環(huán)節(jié)，確保數(shù)據(jù)質(zhì)量的高標(biāo)準(zhǔn)。然后，數(shù)據(jù)進(jìn)入到數(shù)據(jù)的分析與應(yīng)用層，這是分析套件所要解決的問題。分析套件提供了一系列工具和功能，幫助用戶進(jìn)行數(shù)據(jù)分析和應(yīng)用開發(fā)。

最底層是控制臺，這是另一款產(chǎn)品，其主要解決的問題是對基礎(chǔ)設(shè)施的計(jì)算資源和存儲資源進(jìn)行管理。它還提供了監(jiān)控和告警功能，以及對數(shù)據(jù)源的統(tǒng)一管理。這個(gè)產(chǎn)品被稱為 DCE（Data Control Engine），它的主要目標(biāo)是管理和優(yōu)化基礎(chǔ)設(shè)施資源，確保系統(tǒng)的高效運(yùn)行。

產(chǎn)品的核心優(yōu)勢可以簡單概括為四個(gè)方面。首先是低成本，因?yàn)樗梢酝耆蛛x地部署在各種公共云的對象存儲上，同時(shí)也支持私有云的部署，比如在 IDC 里面可以對接傳統(tǒng)的 HDFS 等。其次是易用性，它提供了敏捷的數(shù)據(jù)開發(fā)能力，包括低代碼指示和低代碼開發(fā)等工具。第三是可組裝性，即根據(jù)需求選擇自己的鏈路，這是基于現(xiàn)代數(shù)據(jù)棧（MDS）的思想，可以根據(jù)客戶需求進(jìn)行定制化部署。最后是簡單擴(kuò)展性，它是從 Hadoop 生態(tài)的大數(shù)據(jù)平臺向互聯(lián)網(wǎng)一體的新一代大數(shù)據(jù)平臺演進(jìn)，同時(shí)也支持國產(chǎn)化新創(chuàng)，為用戶提供更多的選擇。

概括而言，F(xiàn)astData 具有低成本、易用性、可組裝和易擴(kuò)展等核心優(yōu)勢，可以幫助企業(yè)更好地管理和利用數(shù)據(jù)資源，提高數(shù)據(jù)分析和應(yīng)用的效率。

FastData 分析套件主要用來處理指標(biāo)，它采用了統(tǒng)一 ML（Model Language）模型語言來定義、管理和加工指標(biāo)。一旦指標(biāo)加工好了，我們就可以將其存儲在各種不同的存儲介質(zhì)中，包括開源存儲和我們自己的湖倉引擎等。這個(gè)分析套件主要關(guān)注指標(biāo)層的存儲和管理，而不關(guān)心指標(biāo)具體存儲在哪里。

為了更好地服務(wù)于客戶，我們還提供了各種各樣的服務(wù)，包括對接各種 BI 工具、提供數(shù)據(jù)企業(yè)產(chǎn)品 API link 等?？蛻艨梢酝ㄟ^這些服務(wù)來查詢指標(biāo)數(shù)據(jù)，進(jìn)行各種數(shù)據(jù)分析和應(yīng)用。此外，我們還提供了 AI link 服務(wù)，客戶可以通過數(shù)據(jù)科學(xué)和 Jupyter 等工具來訪問指標(biāo)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)應(yīng)用的開發(fā)和部署。

FastData 分析套件統(tǒng)一的指標(biāo)管理和加工方案，以及豐富的服務(wù)和工具，可以幫助客戶更好地利用和應(yīng)用數(shù)據(jù)資源，提高數(shù)據(jù)分析和應(yīng)用的效率。

分析套件的功能架構(gòu)主要包括指標(biāo)語言的建設(shè)和指標(biāo)加速兩個(gè)方面。首先，指標(biāo)語言的建設(shè)是指如何定義和管理功能指標(biāo)。用戶可以使用統(tǒng)一 ML 模型語言來定義復(fù)雜的指標(biāo)邏輯，包括指標(biāo)的計(jì)算、聚合和過濾等操作。這樣可以幫助用戶更好地理解和描述業(yè)務(wù)需求。

其次，指標(biāo)加速是非常重要的一點(diǎn)。由于用戶建立的指標(biāo)邏輯可能非常復(fù)雜，我們需要在用戶查詢時(shí)能夠快速地找到指標(biāo)數(shù)據(jù)。為了實(shí)現(xiàn)指標(biāo)的快速查詢，我們采用了一系列優(yōu)化技術(shù)，包括數(shù)據(jù)索引、緩存和并行計(jì)算等。通過這些加速技術(shù)，可以大大提高指標(biāo)查詢的效率，使用戶能夠快速獲取所需的數(shù)據(jù)。

分析套件的價(jià)值在于提供了無門檻的數(shù)據(jù)洞察能力，即使不懂 SQL 的人也能夠建立指標(biāo)。用戶只需要進(jìn)行簡單的配置，比如配置一些原子指標(biāo)和修飾詞，然后指定一些加工公式，就能夠計(jì)算出所需的指標(biāo)。通過儀表盤等工具，用戶可以洞察到隱藏在數(shù)據(jù)背后的業(yè)務(wù)見解。

另外，統(tǒng)一指標(biāo)服務(wù)是通過模型語言提供各種對外的 API，如 JDBC 和 SDK 等。這樣可以方便用戶通過外部工具訪問和查詢指標(biāo)數(shù)據(jù)。此外，CubeLess 是用于構(gòu)建數(shù)據(jù)立方體的一種技術(shù)。它通過底層的預(yù)計(jì)算能力和緩存技術(shù)，事先計(jì)算好指標(biāo)并加速查詢。同時(shí)，分析套件還可以輕松對接各種流行的BI工具，提供加速查詢的能力。

下面重點(diǎn)介紹開發(fā)治理套件。開發(fā)治理套件是一個(gè)相對傳統(tǒng)的數(shù)據(jù)開發(fā)和管理工具，按照常規(guī)的數(shù)據(jù)鏈路進(jìn)行數(shù)據(jù)開發(fā)。首先，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化和建立模型，然后進(jìn)行數(shù)據(jù)開發(fā)，其中涉及到數(shù)據(jù)的血緣關(guān)系和調(diào)度。這個(gè)過程涉及到元數(shù)據(jù)，然后發(fā)布到生產(chǎn)環(huán)境中進(jìn)行運(yùn)行。在這個(gè)過程中，還需要進(jìn)行質(zhì)量校驗(yàn)、數(shù)據(jù)集成和數(shù)據(jù)安全（如加密和脫敏）等處理，最終對外提供服務(wù)。整個(gè)流程比較標(biāo)準(zhǔn)化。

最底層的存和算引擎是湖倉引擎，主要解決高效存儲和計(jì)算的問題。在存儲方面，我們采用了表格式，主要使用了 Apache 的 Iceberg，并進(jìn)行了大量的二次開發(fā)。在計(jì)算方面，我們?yōu)椴煌墓ぷ髫?fù)載提供了三種內(nèi)置的算力引擎。對于離線工作負(fù)載，提供了 Spark；對于實(shí)時(shí)工作負(fù)載，提供了Flink；而對于機(jī)器查詢和分析工作負(fù)載，則提供了內(nèi)置的 Trino 組件。這樣，能夠滿足不同場景下的高效存儲和計(jì)算需求。

湖倉引擎的價(jià)值主要在于：

首先，能夠提供多工作負(fù)載，并能夠以云化方式提供數(shù)據(jù)服務(wù)，也就是它的工作負(fù)載。不同的工作負(fù)載有不同的內(nèi)置組件來支撐。

另外，它的架構(gòu)是存算分離的，它的存儲底座可以對接各種對象存儲，可以提供 PB 乃至 EB 級的海量數(shù)據(jù)存儲。

分布式數(shù)據(jù)湖架構(gòu)，企業(yè)可以建立多個(gè)數(shù)據(jù)湖，包括總公司和各個(gè)分公司的數(shù)據(jù)湖。然而，如何實(shí)現(xiàn)不同數(shù)據(jù)湖之間的有效數(shù)據(jù)共享是一個(gè)需要解決的問題。

邏輯入湖與物理入湖是數(shù)據(jù)管理和分析領(lǐng)域的兩種不同方法。物理入湖是將傳統(tǒng)的數(shù)據(jù)完全搬遷到數(shù)據(jù)湖中，并在數(shù)據(jù)湖上構(gòu)建數(shù)據(jù)倉庫或進(jìn)行數(shù)據(jù)分析。在物理入湖的過程中，通常會采用批流一體的方式，將離線和實(shí)時(shí)數(shù)據(jù)處理合并為一條數(shù)據(jù)流，以提高數(shù)據(jù)處理效率。此外，還需要對整個(gè)數(shù)據(jù)集成過程進(jìn)行管理，包括處理數(shù)據(jù)結(jié)構(gòu)變更的問題，以確保數(shù)據(jù)湖中的數(shù)據(jù)與源數(shù)據(jù)保持同步。

邏輯入湖是一種基于 Fabric 架構(gòu)的實(shí)踐方法。它的主要技術(shù)要求是統(tǒng)一元數(shù)據(jù)，包括已經(jīng)入湖的數(shù)據(jù)和未入湖的數(shù)據(jù)。邏輯入湖并不涉及將數(shù)據(jù)搬遷到數(shù)據(jù)湖中，而是通過管理元數(shù)據(jù)的方式，將元數(shù)據(jù)撈取過來并進(jìn)行管理。數(shù)據(jù)仍然保留在原始位置。在數(shù)據(jù)倉庫層進(jìn)行數(shù)據(jù)加工和分析時(shí)，可以直接使用SQL進(jìn)行操作，無需關(guān)心數(shù)據(jù)的具體存儲位置。

分布式數(shù)據(jù)湖是一個(gè)多湖的概念，它可以解決大型企業(yè)中總公司和分公司之間數(shù)據(jù)交換的問題。以中國移動為例，總公司和各個(gè)省分公司都有自己的數(shù)據(jù)倉庫和數(shù)據(jù)湖。為了實(shí)現(xiàn)數(shù)據(jù)交換，可以采用分布式多湖聯(lián)邦查詢的能力來解決。具體做法是，分公司可以將自己的數(shù)據(jù)湖注冊到總公司，并提供一個(gè)注冊賬號來管理權(quán)限。這個(gè)注冊賬號可以控制總公司對分公司數(shù)據(jù)的訪問權(quán)限，可以隨時(shí)擴(kuò)大或縮小權(quán)限，甚至收回權(quán)限。這樣就實(shí)現(xiàn)了有限制的數(shù)據(jù)分享，不需要將所有權(quán)限開放給總公司。例如，可以只開放讀權(quán)限而不開放寫權(quán)限。分布式數(shù)據(jù)湖的架構(gòu)主要解決這種情況下的數(shù)據(jù)交換問題。

分布式數(shù)據(jù)湖中的核心理念是 Fabric，它能夠?qū)崿F(xiàn)統(tǒng)一的數(shù)據(jù)視圖，而這是通過統(tǒng)一的元數(shù)據(jù)服務(wù)來實(shí)現(xiàn)的。這個(gè)元數(shù)據(jù)服務(wù)不僅可以管理數(shù)據(jù)湖內(nèi)的數(shù)據(jù)，還可以管理企業(yè)內(nèi)其他各種數(shù)據(jù)存儲的元數(shù)據(jù)。此外，權(quán)限管控也非常重要，因?yàn)槿绻磾?shù)據(jù)管理沒有權(quán)限控制，數(shù)據(jù)的安全性就無法得到保障。

在 FastData 團(tuán)隊(duì)中負(fù)責(zé)構(gòu)建近實(shí)時(shí)的數(shù)倉，是我們的一個(gè)重要工作。我們采用了 Apache 的 Iceberg 來做底層的表格式存儲。從數(shù)據(jù)源到 ODS 層，我們使用 Flink CDC 技術(shù)將數(shù)據(jù)源拉進(jìn)來，之后從 ODS 層到下面的 DWD 層或 DWS 層，需要讓數(shù)據(jù)快速地流動起來。為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們需要Iceberg這一層支持 CDC 技術(shù)，也就是說通過使用Flink這種流式讀取 Iceberg 的 Connector，可以快速地感知上游 Iceberg 表的數(shù)據(jù)變化和schema變化，并將這些變化及時(shí)地同步給下一層。這樣，數(shù)據(jù)和 DML 就可以不需要人工操作便自動地流動起來。除了 append 數(shù)據(jù)之外，還有 delete 數(shù)據(jù)和 update 數(shù)據(jù)，這些數(shù)據(jù)都需要通過整個(gè)鏈路不停地往下游流動，以便產(chǎn)生的指標(biāo)能夠跟著業(yè)務(wù)數(shù)據(jù)的變化而變化。我們已經(jīng)做到了這一點(diǎn)，但是 Iceberg 的 changlog 產(chǎn)生是依賴于上游表的 commit 操作。commit 的頻率越高，時(shí)效性越好，但是會產(chǎn)生更多的雜亂無章的文件，對后臺的自動化運(yùn)維提出了較高的要求。commit 的時(shí)間越長，拉的時(shí)間越長，對文件是更好，但是時(shí)效性就差了一些。因此，我們需要根據(jù)業(yè)務(wù)的實(shí)際時(shí)效要求做出合理的配置。

自動化表運(yùn)維方面，因?yàn)閿?shù)據(jù)湖與傳統(tǒng)的 Hive 表格有所不同，數(shù)據(jù)湖支持行級別和列級別的更新，因此會產(chǎn)生各種各樣的刪除文件和小文件。同時(shí)，數(shù)據(jù)湖也支持實(shí)時(shí)寫入，這會導(dǎo)致更多的小文件和刪除文件。如果不及時(shí)整理這些文件，直接查詢的效果將非常差。為了解決這個(gè)問題，我們使用了異步合并和讀時(shí)合并 MOR 等技術(shù)來提高性能。在后臺，我們必須確保這些工作得到良好的處理。

在 FastData 內(nèi)部，我們致力于讓用戶完全無需關(guān)心這些工作。就像使用傳統(tǒng)的 Hive 表格一樣，用戶只需要專注于他們的數(shù)據(jù)業(yè)務(wù)，寫入和讀取數(shù)據(jù)即可。后續(xù)的維護(hù)工作由系統(tǒng)自動完成，用戶無需進(jìn)行操作。

物化視圖是一種常見的空間換時(shí)間的策略，通常在 MPP 中也會使用，例如 StarRocks 也使用了這種策略。物化視圖的一個(gè)特點(diǎn)是對于那些查詢相對固定的query，查詢加速的效果比較好，因?yàn)樗拿新瘦^高。

在 Fastdata 內(nèi)部，我們基于 Trino 實(shí)現(xiàn)了物化視圖。然而，社區(qū)版的物化視圖基本上無法使用。首先，它的刷新需要手動刷新數(shù)據(jù)，全量刷新是不可行的。例如，如果我的基表有上億條數(shù)據(jù)，如果我做了一個(gè)聚合查詢生成一個(gè)物化視圖，如果要全量刷新，代價(jià)太大了。因此，我們在這個(gè)基礎(chǔ)上做了一些優(yōu)化工作。例如，我們現(xiàn)在可以自動刷新，第二刷新可以做增量刷新。增量刷新意味著，當(dāng)基表發(fā)生任何變更時(shí)，例如添加了一行或刪除了某一行數(shù)據(jù)，這種變更很快就能體現(xiàn)在物化視圖中。在后臺，我們通過使用 Iceberg 的CDC 技術(shù)來實(shí)現(xiàn)實(shí)時(shí)監(jiān)控基表的變化。一旦感知到變化，就會觸發(fā)增量計(jì)算。我們使用Flink 來進(jìn)行增量計(jì)算，然后將結(jié)果同步到物化視圖中。

三、FastData 實(shí)時(shí)智能湖倉平臺實(shí)踐案例

FastData 已經(jīng)在多個(gè)行業(yè)中積累了一些客戶案例。尤其在能源和商品流通領(lǐng)域，特別是新零售方面，得到了廣泛應(yīng)用，并取得了一定的成果。

在能源領(lǐng)域，我們的平臺主要解決兩個(gè)核心問題。首先，利用 Hadoop 技術(shù)來處理各個(gè)油田的數(shù)據(jù)。由于油田分布廣泛，每個(gè)油田都有自己的數(shù)據(jù)管理系統(tǒng)，因此我們的平臺能夠?qū)⑦@些數(shù)據(jù)整合起來，并提供更快速的數(shù)據(jù)采集速度，從T+1天級別提升到分鐘級別。

其次，我們通過建立分布式數(shù)據(jù)湖（Lakehouse）來解決數(shù)據(jù)管理的問題。以前，各個(gè)油田的數(shù)據(jù)是相互獨(dú)立的，沒有統(tǒng)一的管理方式?，F(xiàn)在我們的平臺允許各個(gè)油田建立自己的數(shù)據(jù)湖，并將數(shù)據(jù)注冊到總部。這樣，總部就可以隨時(shí)進(jìn)行數(shù)據(jù)分析，了解各個(gè)油田當(dāng)天的生產(chǎn)經(jīng)營情況。同時(shí)，數(shù)據(jù)仍然保留在各個(gè)油田的本地存儲中，實(shí)現(xiàn)了數(shù)據(jù)的集中管理和分散存儲，解決了這兩個(gè)核心痛點(diǎn)問題。

FastData 平臺不僅提供結(jié)構(gòu)化數(shù)據(jù)倉庫和數(shù)據(jù)湖倉庫的能力，還能處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。對于零售客戶來說，這是一個(gè)重要的功能。在過去的 Hadoop 時(shí)代，處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)通常需要使用完全獨(dú)立的技術(shù)棧和平臺。但通過 FastData 平臺，可以實(shí)現(xiàn)半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲和管理，解決了企業(yè)內(nèi)部存在的各種非結(jié)構(gòu)化數(shù)據(jù)的問題。這樣，客戶可以在一個(gè)統(tǒng)一的平臺上處理和管理不同類型的數(shù)據(jù)，提高數(shù)據(jù)處理的效率和一致性。

這個(gè)案例是一家新能源汽車企業(yè)的數(shù)字化轉(zhuǎn)型。他們主要面臨以下問題：營銷不精準(zhǔn)、被動式服務(wù)、缺乏用戶價(jià)值的運(yùn)營，以及數(shù)據(jù)管理混亂，難以發(fā)現(xiàn)數(shù)據(jù)背后的價(jià)值。

我們的產(chǎn)品在這個(gè)案例中的重點(diǎn)是分析套件，通過它來幫助企業(yè)構(gòu)建數(shù)據(jù)資產(chǎn)并發(fā)現(xiàn)業(yè)務(wù)價(jià)值。FastData 分析套件能夠幫助企業(yè)進(jìn)行數(shù)據(jù)分析，提升營銷精準(zhǔn)度，改善服務(wù)質(zhì)量，并發(fā)現(xiàn)潛在的業(yè)務(wù)價(jià)值。通過這個(gè)案例，我們能夠看到企業(yè)在數(shù)字化轉(zhuǎn)型中取得了顯著的進(jìn)展。

四、FastData 實(shí)時(shí)智能湖倉平臺未來規(guī)劃

FastData 平臺的未來規(guī)劃包括以下幾個(gè)方向：

首先，我們將繼續(xù)致力于構(gòu)建高性能、低成本、易使用的大數(shù)據(jù)平臺。

其次，我們將提升數(shù)據(jù)湖內(nèi)部的數(shù)據(jù)服務(wù)性能。目前我們的數(shù)據(jù)服務(wù)在高并發(fā)情況下仍有待提高。

第三，我們計(jì)劃統(tǒng)一 Gateway 服務(wù)，以提供一致的用戶體驗(yàn)。不同的工作負(fù)載和引擎可能有不同的使用方式，我們希望能夠統(tǒng)一這些工作方式，使用戶能夠像使用 MySQL 一樣方便地使用我們的平臺。

第四，我們計(jì)劃支持更多的云環(huán)境。目前我們已經(jīng)適配了一些主流的云平臺，但對于一些較冷門的云平臺，仍需要增加適配能力。

最后，我們將通過大模型技術(shù)來解決數(shù)據(jù)資產(chǎn)變現(xiàn)的問題。傳統(tǒng)的數(shù)據(jù)處理鏈路需要人工參與，從數(shù)據(jù)集成、開發(fā)、指標(biāo)加工到?jīng)Q策，都需要人工操作。通過大模型技術(shù)，我們希望能夠降低重復(fù)勞動，并實(shí)現(xiàn)自然語言翻譯和直接生成 SQL 等功能，以提升效率。