火山引擎基于 DataLeap 的電商指標管理實踐
一、電商指標體系建設(shè)背景
首先,在第一個章節(jié)中,會介紹電商業(yè)務(wù)的整體情況,在此基礎(chǔ)上探討為什么電商業(yè)務(wù)需要一個指標平臺,其對電商業(yè)務(wù)的重要性,并將深入分析電商業(yè)務(wù)需要一個什么樣的指標平臺。
電商業(yè)務(wù)的發(fā)展經(jīng)歷了三個階段:探索期、成長期和穩(wěn)定期。
在探索期,我們迅速迭代,以業(yè)務(wù)為導(dǎo)向,主要目標是快速適配業(yè)務(wù)調(diào)整,尋找穩(wěn)定的業(yè)務(wù)增長模式。進入成長期,我們開始注重數(shù)據(jù)生產(chǎn)的效率和質(zhì)量,努力將數(shù)據(jù)沉淀成體系,規(guī)范化地、高效、高質(zhì)量地為業(yè)務(wù)提供支持。這一時期,數(shù)據(jù)產(chǎn)品豐富多樣,針對不同數(shù)據(jù)域和場景誕生了多種數(shù)據(jù)產(chǎn)品。目前,我們處于穩(wěn)定期,核心追求是數(shù)據(jù)的多元化能力,期望每份數(shù)據(jù)能服務(wù)更多場景,并提供更規(guī)范、合理有效的數(shù)據(jù)方案。
在這三個時期中,如何在數(shù)據(jù)開發(fā)過程中追求更高的質(zhì)量和效率,始終是我們最關(guān)注的課題。
在我們的電商業(yè)務(wù)中,數(shù)據(jù)倉庫扮演著關(guān)鍵角色,服務(wù)于多種內(nèi)部和外部業(yè)務(wù)系統(tǒng)。對內(nèi),數(shù)倉支持運營、分析、產(chǎn)品管理和 DA 等多個角色的需求,這些角色分布在不同的業(yè)務(wù)線,如供應(yīng)鏈、商品、交易等十余個至二十個數(shù)據(jù)域。每個數(shù)據(jù)域不僅為下游的指標提供數(shù)據(jù),還服務(wù)于各種內(nèi)部數(shù)據(jù)產(chǎn)品、BI 分析工具、AB 實驗和其他數(shù)據(jù)平臺。
對外,數(shù)倉的應(yīng)用更加廣泛,服務(wù)于買家、賣家、主播審核等多種角色,并支持供應(yīng)鏈廣告等多個業(yè)務(wù)系統(tǒng)。這些系統(tǒng)又進一步對接更多數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析方式,例如上圖中的電商羅盤。
我們的電商業(yè)務(wù)數(shù)據(jù)具有三大特點:一是內(nèi)外用戶的多角色性,內(nèi)部有多個團隊,外部服務(wù)數(shù)千萬商家;二是產(chǎn)品形態(tài)的多樣性,無論是內(nèi)部還是外部,都有多種類型的數(shù)據(jù)產(chǎn)品;三是這些數(shù)據(jù)產(chǎn)品應(yīng)用的場景極為豐富。
隨著電商業(yè)務(wù)的不斷發(fā)展,我們認識到提高數(shù)據(jù)質(zhì)量和效率是關(guān)鍵挑戰(zhàn)。在這個過程中,我們遇到了三個主要難點:
- 首先,指標管理的不統(tǒng)一是一個突出問題。不同數(shù)據(jù)域或模塊中,相同的指標可能有不同的命名,或者不同的指標卻有著相同的名稱,即所謂的“同名不同義”或“同義不同名”的現(xiàn)象。這種情況下,僅依靠文檔或基礎(chǔ)管理平臺無法有效解決指標管理的問題。
- 其次,指標口徑的不統(tǒng)一也是一個重要問題。業(yè)務(wù)人員在查看或使用指標時,常會發(fā)現(xiàn)指標的定義不清晰,技術(shù)口徑不明確,這增加了理解和使用指標的成本。
- 最后,指標消費的不統(tǒng)一同樣棘手。在早期,指標的定義維護在文檔中,而數(shù)據(jù)取數(shù)口徑卻在數(shù)據(jù)庫中,導(dǎo)致在新的業(yè)務(wù)場景或 BI 分析需求出現(xiàn)時,數(shù)倉不得不加工出更多冗余的表,建設(shè)重復(fù)的指標,造成了資源浪費。
綜上所述,指標管理的不統(tǒng)一、口徑的不統(tǒng)一以及指標消費的不統(tǒng)一,構(gòu)成了我們在電商業(yè)務(wù)中提高數(shù)據(jù)質(zhì)量和效率的三大障礙。因此,我們的指標平臺要想真正解決業(yè)務(wù)問題,就必須針對性地解決這三個問題。
為了解決上述三大問題,指標平臺需要滿足以下六大要求:
- 確保指標或數(shù)據(jù)的一致性,這是解決所有問題的根本。
- 要有一套規(guī)范化的生產(chǎn)和管理流程,將所有參與指標管理的角色納入系統(tǒng),實現(xiàn)多角色的協(xié)同工作和指標管理的系統(tǒng)化、自動化。
- 利用管理平臺清晰地掌握數(shù)據(jù)資產(chǎn)和使用情況,以進一步釋放數(shù)據(jù)的價值。
- 第四,在指標消費方面,我們不僅關(guān)注數(shù)據(jù)的取數(shù)消費,還包括指標的元信息消費,確保用戶在查看指標時,能夠了解其技術(shù)口徑、業(yè)務(wù)口徑和取數(shù)邏輯,并確保這些信息都統(tǒng)一收斂在指標平臺中。
- 第五,確保所有下游的消費端,如數(shù)據(jù)門戶、BI 平臺和其他數(shù)據(jù)產(chǎn)品,都通過我們提供的統(tǒng)一服務(wù)進行數(shù)據(jù)獲取,以進一步保證數(shù)據(jù)的一致性。
- 第六,用戶對數(shù)據(jù)取數(shù)的需求多樣,因此需要提供開放和可擴展的消費能力,支持業(yè)務(wù)的快速共建和定制化需求。
我們的目標是利用指標平臺在電商業(yè)務(wù)中實現(xiàn)生產(chǎn)促進消費,消費再反饋促進生產(chǎn)的閉環(huán)能力。這樣的良性循環(huán)將確保指標平臺在電商業(yè)務(wù)中的價值,使其能夠持續(xù)、有效地運轉(zhuǎn)。
為了解決上述問題,我們設(shè)計了一個功能齊全的指標平臺,其架構(gòu)從基礎(chǔ)元素層到指標定義、模型綁定,再到對下游的消費支持。在基礎(chǔ)元素層,采用了業(yè)界通用的元素,如數(shù)據(jù)域、時間周期、修飾詞等,這些是數(shù)據(jù)或指標管理方法論中的基礎(chǔ)構(gòu)件。
基于這些元素,構(gòu)建了指標定義層,使用原子構(gòu)建和衍生四則運算等標準方法。定義完成后,指標需要與模型綁定,這樣就可以獲取指標的取數(shù)信息。模型綁定后,便能夠?qū)油獠康?BI 平臺或業(yè)務(wù)數(shù)據(jù)平臺,進行指標的統(tǒng)一消費。
為了便于業(yè)務(wù)靈活便捷地消費數(shù)據(jù),我們還提供了一種稱為 MetricDSL 的統(tǒng)一數(shù)據(jù)服務(wù)接口。這個接口是指標平臺與外部系統(tǒng)交互的重要工具,使得數(shù)據(jù)的獲取和使用更加高效和精準。后文中將詳細介紹這一功能。
二、指標管理方法論
在介紹了我們的業(yè)務(wù)背景、思考過程和解決方案之后,接下來將詳細闡述我們在指標生產(chǎn)和管理方面的方法論。我們認為,指標管理的關(guān)鍵在于三個要素:指標的有效拆解、統(tǒng)一基礎(chǔ)數(shù)據(jù)的建設(shè),以及指標管理角色的明確劃分。
指標拆解是指標管理的核心環(huán)節(jié),我們基于七個基礎(chǔ)元素:數(shù)據(jù)域、時間周期、修飾詞、指標單位、業(yè)務(wù)過程、度量和數(shù)據(jù)類型來進行。例如,對于“支付訂單金額”這個指標,我們會拆解出它所屬的數(shù)據(jù)域(如交易域)、業(yè)務(wù)過程(支付動作)、度量(訂單數(shù))等信息,從而生成原子指標。進一步結(jié)合修飾詞和時間周期,可以構(gòu)建出衍生指標,如“最近一天直播載體支付訂單金額”。
我們還有一個特殊的規(guī)則,即生成業(yè)務(wù)指標。這是通過去除衍生指標和復(fù)合指標中的時間周期,創(chuàng)建一個更易于業(yè)務(wù)理解的指標。這樣做是為了降低業(yè)務(wù)對復(fù)雜指標的理解成本,并實現(xiàn)業(yè)務(wù)與數(shù)倉、技術(shù)側(cè)在指標上的隔離,但實際上它們共享相同的底層指標。
通過這種拆解方法論,解決了兩個主要問題:一是減少了指標與維度的重復(fù)建設(shè),解決了指標命名不統(tǒng)一的問題;二是確保了所有指標的口徑,包括衍生和復(fù)合指標,都直觀且官方,從而降低了數(shù)倉和業(yè)務(wù)人員對指標的理解成本。
在確立了方法論之后,第二步同樣至關(guān)重要,即構(gòu)建統(tǒng)一的數(shù)據(jù)基礎(chǔ)。我們的數(shù)倉建設(shè)過程經(jīng)歷了從基礎(chǔ)期到成長期,再到成熟期的演變,面臨著煙囪式開發(fā)的問題。特別是在電商這樣數(shù)據(jù)量大且場景復(fù)雜的領(lǐng)域,統(tǒng)一的數(shù)據(jù)基礎(chǔ)顯得尤為重要。
我們的數(shù)倉分為三層:接入層、公共層和應(yīng)用層。接入層,即 ODS 層,主要負責高效、準確地接入數(shù)據(jù)。公共層承載著 DIM、DWD 或 DWM 層的表或模型,其目的是抽象和沉淀通用邏輯,確保數(shù)倉的規(guī)范統(tǒng)一和穩(wěn)定易用。應(yīng)用層則直接服務(wù)于 BI 看板和具體的數(shù)據(jù)應(yīng)用場景,對應(yīng)于 DM 層或 APP 層,以及數(shù)據(jù)集。
基于這三層劃分,我們實現(xiàn)了電商數(shù)據(jù)基礎(chǔ)的構(gòu)建。在此基礎(chǔ)上,我們將指標平臺的指標與不同層級的表或模型進行了綁定。接入層和公共層的表主要用于綁定原子指標,而應(yīng)用層和公共層中用于實際取數(shù)和消費的表,則綁定指標平臺維護的衍生指標。這些衍生指標可以通過復(fù)合構(gòu)建生成對應(yīng)的復(fù)合指標。
統(tǒng)一的數(shù)據(jù)基礎(chǔ)建設(shè)解決了兩個主要問題:一是減少了針對每個消費場景的煙囪式開發(fā),提高了研發(fā)和數(shù)倉的整體生產(chǎn)效率;二是確保了數(shù)倉基建的清晰性和體系化運行。
在我們電商業(yè)務(wù)的實踐中,指標拆解和數(shù)據(jù)基礎(chǔ)建設(shè)的落地效果顯著。目前,電商指標庫涵蓋了大約 15 個數(shù)據(jù)域,每個數(shù)據(jù)域包含不同的模塊。指標庫中現(xiàn)有原子指標 700 個,衍生和復(fù)合指標的數(shù)量則達到了數(shù)萬個。這些衍生和復(fù)合指標進一步被抽象為業(yè)務(wù)指標,以便于不同角色的理解和使用。
從業(yè)務(wù)角度來看,業(yè)務(wù)人員主要關(guān)注的是業(yè)務(wù)指標,因為這些指標直接反映了業(yè)務(wù)的狀態(tài)和趨勢。而對于數(shù)倉或開發(fā)人員來說,他們則需要關(guān)注衍生和復(fù)合指標,因為這些指標是直接用于數(shù)據(jù)取數(shù)和處理的工具。通過這種方式,我們能夠滿足不同角色對數(shù)據(jù)的不同需求,同時也確保了數(shù)據(jù)的一致性和準確性。
在指標的生產(chǎn)和管理中,角色劃分與職責明確至關(guān)重要。最初接觸指標平臺項目時,一個常見的問題是:這個指標平臺到底屬于誰?它僅僅是數(shù)倉的指標平臺嗎?隨著電商指標管理體系項目的落地和深入思考,我們逐漸認識到指標平臺不應(yīng)僅限于數(shù)倉使用,而應(yīng)定位為服務(wù)于數(shù)倉、業(yè)務(wù)、分析師、數(shù)據(jù)產(chǎn)品以及各業(yè)務(wù)線數(shù)倉和基礎(chǔ)建設(shè)數(shù)倉的所有人員。
因此,指標平臺的管理和服務(wù)對象應(yīng)涵蓋從生產(chǎn)到消費整個生命周期的所有角色。我們的平臺功能設(shè)計旨在服務(wù)于從基建側(cè)的數(shù)倉到實際業(yè)務(wù)團隊、數(shù)據(jù)產(chǎn)品分析師等全鏈路的角色。我們的目標是通過全角色能力的管理,實現(xiàn)從生產(chǎn)到消費的完整循環(huán),從而促進生產(chǎn)和消費的良性互動。
為了使概念更加具體,這里提供一個實際案例。在指標平臺內(nèi)部,有一個功能稱為“指標需求登記”,它記錄了從數(shù)據(jù)分析師或數(shù)據(jù)產(chǎn)品提出指標需求到數(shù)倉完成指標交付的全鏈路生命周期。
例如,分析師提出一個新指標需求以支持內(nèi)部數(shù)據(jù)產(chǎn)品。他們需要在指標平臺上進行登記,通過平臺提供的工具完成需求登記。數(shù)倉的開發(fā)人員收到登記后,首先要檢查該指標是否已存在。如果不存在,開發(fā)人員需要進行指標拆解,構(gòu)建出新的指標,包括原子指標、修飾詞等。接著,從基建側(cè)開始,創(chuàng)建模型、表,并進行模型綁定,最終交付給數(shù)據(jù)產(chǎn)品或分析師。
在整個生命周期中,模型的綁定、指標分類歸屬、原子指標對應(yīng)等每個階段都與指標消費打通。這使得每個指標的消費過程都有跡可循,為未來實現(xiàn)全鏈路的數(shù)據(jù)追溯和優(yōu)化提供了基礎(chǔ)。
上面這張截圖展示了我們產(chǎn)品功能的一個內(nèi)部示例,詳細記錄了從需求登記、指標生產(chǎn)、審核,到消費和業(yè)務(wù)確認的完整過程。通過這個示例,我們可以清晰地看到數(shù)據(jù)從提出需求到最終應(yīng)用的每一步流程。
三、指標消費實踐
接下來,將簡要介紹我們內(nèi)部如何實現(xiàn)指標消費與生產(chǎn)之間的無縫對接,即所謂的消費打通能力。
為了實現(xiàn)指標消費與生產(chǎn)之間的統(tǒng)一和一致性,需要建立一個統(tǒng)一的指標服務(wù)。在沒有統(tǒng)一指標服務(wù)之前,我們面臨了諸多挑戰(zhàn)。數(shù)倉團隊需要根據(jù)業(yè)務(wù)需求創(chuàng)建不同的 APP 層數(shù)據(jù)應(yīng)用表,并維護對應(yīng)的數(shù)據(jù)服務(wù) API。每個應(yīng)用表可能對應(yīng)多個 API,口徑和計算邏輯維護在 API 中,服務(wù)于 BI 看板、數(shù)據(jù)產(chǎn)品儀表盤等下游用數(shù)場景。
然而,這種模式存在多個問題:數(shù)據(jù)準確性難以保證,因為口徑維護在不同的 API 中;口徑變化時,API 難以迅速適應(yīng);復(fù)用性指標的開發(fā)和維護成本極高;新同學(xué)接手和理解成本高,因為復(fù)雜的指標口徑維護在 API 中。
為了解決這些問題,我們轉(zhuǎn)而構(gòu)建一個指標服務(wù),通過指標平臺提供統(tǒng)一的數(shù)據(jù)服務(wù)出口。這樣做不僅提高了效率,降低了開發(fā)成本,還降低了理解和學(xué)習(xí)成本。
通過圖片展示,我們可以更直觀地看到在統(tǒng)一指標服務(wù)建設(shè)之前和之后的情況。在建設(shè)之前,當有需求時,我們需要開發(fā)許多中間層的 ClickHouse 表,并在其上構(gòu)建數(shù)據(jù)集和 API。這些 API 通常比較復(fù)雜且分散。在建設(shè)之后,所有的指標取數(shù)和服務(wù)資產(chǎn)都維護在指標平臺上。指標平臺提供 MetricDSL 這樣的指標化服務(wù)能力,作為一個統(tǒng)一的數(shù)據(jù)服務(wù)接入層,服務(wù)于所有下游的數(shù)據(jù)產(chǎn)品和消費渠道。這種方式實現(xiàn)了整體統(tǒng)一的數(shù)據(jù)服務(wù)建設(shè)和接口。這種統(tǒng)一數(shù)據(jù)服務(wù)帶來的價值包括:
- 對于業(yè)務(wù)來說,以前交付的是 API,現(xiàn)在交付的是指標,更清晰且信任度提升。
- 對于數(shù)據(jù)研發(fā)來說,以前交付的是表,現(xiàn)在交付的是指標,提高了數(shù)據(jù)建設(shè)的效率和質(zhì)量。
- 確保了各個看板的技術(shù)口徑和業(yè)務(wù)口徑一致。
- 對于技術(shù)側(cè)的研發(fā),通過統(tǒng)一的 DSL,大大提升了單一看板或單一頁面的開發(fā)效率,并降低了數(shù)據(jù)問題的排查成本。
為了實現(xiàn)統(tǒng)一的指標查詢,我們梳理出了三個核心技術(shù)。首先是 MetricDSL,一種統(tǒng)一的指標查詢語言。MetricDSL 支持多種查詢類型,包括 OLAP 查詢、明細查詢、基于指標函數(shù)的查詢,以及用戶自定義的指標函數(shù)查詢。其分析要素包括指標維度模型、過濾條件、時間范圍,并能支持多指標查詢、跨模型查詢、跨數(shù)據(jù)源查詢以及基于公共維度的查詢。
通過 MetricDSL,我們能夠提供給用戶和下游消費場景更加靈活和多元化的查詢能力。例如,以前我們通過編寫 SQL 來查詢指標,現(xiàn)在通過 MetricDSL 提供了一個通用化的接口,從而實現(xiàn)了統(tǒng)一查詢語言的語義表述。
在實現(xiàn)統(tǒng)一指標查詢語言后,我們需要對執(zhí)行流程進行規(guī)范化。用戶通過 MetricDSL 構(gòu)建查詢語義后,首先進入元信息處理層,包括校驗層、元信息獲取層和拆解層。元信息獲取層涉及指標信息、模型信息和指標函數(shù)信息的獲取。拆解層負責將用戶傳入的復(fù)合指標拆分為基礎(chǔ)組件元素,并拆分指標引擎,如將指標底表對應(yīng)于 ClickHouse 或 StarRocks,以及拆分相應(yīng)的指標函數(shù)。
元信息處理完成后,進入物理執(zhí)行模塊,該模塊進行 SQL 優(yōu)化,將 MetricDSL 通過 AST 語法樹分析轉(zhuǎn)換為能被引擎執(zhí)行的物理查詢計劃。接下來是數(shù)據(jù)處理階段,為了兼容跨模型、跨數(shù)據(jù)源、跨集群的查詢能力,我們會對不同模型或數(shù)據(jù)源的指標進行數(shù)據(jù)合并和內(nèi)存計算。
最后,對用戶查詢的指標函數(shù),如同環(huán)比等,在內(nèi)存中進行計算,完成統(tǒng)一指標查詢語言的完整執(zhí)行流程。
在電商內(nèi)部場景中,一個指標往往會綁定到多個不同的模型。例如,支付訂單數(shù)指標可能涉及域外和域內(nèi)場景,域內(nèi)場景又可能綁定到不同層級的表,如 DWD、DWS、DM 和 APP 層,每個表支持不同的粒度和主鍵,以及維度。
為了滿足用戶的查詢需求,我們支持將同一個指標綁定到多個模型上。從整體視角出發(fā),當用戶查詢支付訂單數(shù)支持哪些維度時,我們提供的是該指標在所有關(guān)聯(lián)模型中支持的維度,而不是單個模型。這樣,用戶可以從整個指標和所有模型的視角進行分析,無需關(guān)心指標綁定在哪個模型上。
由于一個指標可以綁定到多個模型,智能路由成為必要。智能路由分為篩選和淘汰階段,以及擇優(yōu)階段。篩選階段根據(jù)用戶選擇的指標維度、維度值和可累加性,刪除不符合要求的表。擇優(yōu)階段則根據(jù)主題優(yōu)先、效率優(yōu)先、同模型優(yōu)先等規(guī)則,選擇最適合用戶場景的表。
在電商業(yè)務(wù)中,指標消費的過程涉及多個實際出口。首先,我們內(nèi)部有一個指標字典或指標專題功能,旨在讓業(yè)務(wù)同學(xué)能夠基于指標平臺快速構(gòu)建屬于自己的指標主題,無需逐個去數(shù)倉獲取數(shù)據(jù)。他們可以直接通過構(gòu)建的這些主題獲取到相應(yīng)的指標數(shù)據(jù)。
第二個重要的消費出口是基于指標的路由。以往,數(shù)倉交付的是表,下游用戶只能從這些表中選擇構(gòu)建指標?,F(xiàn)在,下游數(shù)據(jù)的消費從選表轉(zhuǎn)變?yōu)檫x指標,用戶無需關(guān)心指標屬于哪個表。他們看到的是整個電商業(yè)務(wù)或特定分析主題下的所有指標,可以根據(jù)這些指標進行跨模型、跨數(shù)據(jù)源、跨數(shù)據(jù)域的整體分析。
這種基于指標的消費方式在 BI 分析看板中體現(xiàn)得尤為明顯。下游的 BI 平臺可選擇的內(nèi)容增多,用戶不再局限于維護基于固定數(shù)據(jù)集的指標和維度配置?,F(xiàn)在,他們可以基于一個分析主題,利用大量指標和維度的集合,快速構(gòu)建儀表盤和看板。
此外,基于指標的消費方式還帶來了一個優(yōu)勢,在以前的基于表或數(shù)據(jù)集的洞察分析中,我們只能分析某一維度或字段,例如,當我們分析國家占比時,只能看到指標整體上升時,哪些國家增長最為顯著?,F(xiàn)在,由于我們擁有了指標的血緣信息,比如一個復(fù)合指標,我們可以進行更深入的分析。例如,如果指標上升,我們可以分析是分子增加了還是分母減少了,甚至可以查看更詳細的情況。基于指標構(gòu)建的血緣,我們可以進行更深刻的洞察分析。
四、電商實踐案例
在完成電商指標體系建設(shè)后,我們通過具體數(shù)據(jù)來驗證其成效,是否實現(xiàn)了預(yù)期的生產(chǎn)促進消費、消費促進生產(chǎn)的良性循環(huán)。我們從四個方面進行評估:指標的覆蓋度、電商規(guī)范化指標的程度、用戶的消費情況以及一致性問題是否得到解決。
為了衡量電商指標體系建設(shè)成效,我們設(shè)定了幾個關(guān)鍵指標。首先,模型的綁定率達到了 83%,意味著電商維護的 1 萬多個指標中有 83% 都進行了綁定。其次,我們關(guān)注所有電商視角指標的查詢是否通過指標元數(shù)據(jù)或指標去除服務(wù)得到覆蓋。目前的覆蓋度為 70%,這是一個相對較高的數(shù)值。
第三個關(guān)鍵指標是公共層的沉淀率,即有多少指標沉淀到了公共層。通過這三個指標值,我們發(fā)現(xiàn)指標平臺在電商領(lǐng)域解決了煙囪式開發(fā)和業(yè)務(wù)口徑對齊的痛點,進一步實現(xiàn)了生產(chǎn)促進消費,一處生產(chǎn)多處消費的最終目標。
此外,我們還將關(guān)注點擴展到了外部場景,包括內(nèi)部 BI 的數(shù)據(jù)打通、源數(shù)據(jù)取數(shù),以及消費看板等核心業(yè)務(wù)場景。
五、未來規(guī)劃
展望未來,我們主要從三個智能化和大模型角度進行規(guī)劃。首先,我們計劃通過分析用戶查詢?nèi)罩镜臒狳c,自動化生成對應(yīng)的物化視圖,以提升查詢性能。其次,我們將實現(xiàn)智能化的建模,通過已維護模型的血緣推斷新模型的指標和維度綁定關(guān)系,實現(xiàn)語義化的自動建模。我們還將致力于智能化的指標拆解,通過大模型的理解和生產(chǎn)血緣,實現(xiàn)自動化拆解,減輕數(shù)倉在指標生產(chǎn)上的負擔。此外,我們計劃利用大模型將高度規(guī)范化和高價值的指標信息進行整合,為未來的大模型理解指標語義提供支持。例如,當用戶查詢特定指標時,我們希望通過大模型將文本轉(zhuǎn)換為 SQL,以提高查詢的準確率。未來,大模型的找數(shù)場景將成為我們關(guān)注的重點。這些規(guī)劃將有助于進一步提升電商業(yè)務(wù)的數(shù)據(jù)質(zhì)量和效率。