本文簡單介紹了“抖音集團(tuán)數(shù)據(jù)資產(chǎn)管理平臺”全貌，數(shù)據(jù)資產(chǎn)管理平臺是抖音集團(tuán)在復(fù)雜業(yè)務(wù)場景中思考的新方向，啟發(fā)大家對于元數(shù)據(jù)以及數(shù)據(jù)資的全新思考。文章重點(diǎn)展開介紹了“抖音集團(tuán)大數(shù)據(jù)血緣的演進(jìn)和應(yīng)用”部分，讓大家以更宏觀視角認(rèn)識血緣，并在如何建設(shè)好數(shù)據(jù)血緣給出建設(shè)性的思路。

首先整體介紹下抖音集團(tuán)的一站式數(shù)據(jù)資產(chǎn)門戶平臺。在大數(shù)據(jù)領(lǐng)域，各大公司通常會開展元數(shù)據(jù)采集以及數(shù)據(jù)地圖的建設(shè)工作，行業(yè)內(nèi)的普遍認(rèn)知聚焦于“元數(shù)據(jù)”。而在抖音集團(tuán)，我們的認(rèn)知核心在于“數(shù)據(jù)資產(chǎn)”。其核心點(diǎn)在于，我們發(fā)現(xiàn)若要真正服務(wù)好用戶，單純依靠原始元數(shù)據(jù)，難以滿足更精準(zhǔn)化的找數(shù)需求。因此，我們經(jīng)過全方位的思考，構(gòu)建了更具系統(tǒng)化的“管、找、用”數(shù)據(jù)資產(chǎn)平臺。以下為抖音集團(tuán)數(shù)據(jù)資產(chǎn)管理平臺。

我們的資產(chǎn)平臺支持豐富的數(shù)據(jù)源類型，借助于強(qiáng)大的元數(shù)據(jù)采集能力，將所有數(shù)據(jù)源元數(shù)據(jù)采集至元數(shù)據(jù)中心，形成統(tǒng)一元數(shù)據(jù)湖，其中就包括全鏈路血緣?；诓杉蟮脑荚獢?shù)據(jù)，數(shù)據(jù) BP 會通過資產(chǎn)管理進(jìn)行二次上下架、分級分類等管理操作，平臺會借助主動元數(shù)據(jù)手段（Gartner 提出）等，持豐富資產(chǎn)元數(shù)據(jù)。我們會建立資產(chǎn)評估體系評估資產(chǎn)的完善度，牽引資產(chǎn)不斷做好。在消費(fèi)場景上，我們基于數(shù)據(jù)資產(chǎn)元數(shù)據(jù)構(gòu)建搜索、門戶以及推薦等產(chǎn)品化能力，同時(shí)結(jié)合大模型構(gòu)建AI搜索，通過多樣化產(chǎn)品矩陣滿足數(shù)據(jù)資產(chǎn)元數(shù)據(jù)消費(fèi)需求。以上是數(shù)據(jù)資產(chǎn)平臺整體簡單介紹。

一、抖音集團(tuán)血緣整體介紹

1. 整體概覽

在抖音集團(tuán)內(nèi)，對于數(shù)據(jù)血緣建設(shè)的目標(biāo)是：構(gòu)建全覆蓋、實(shí)時(shí)、準(zhǔn)確的大數(shù)據(jù)血緣，基于血緣數(shù)據(jù)打造全場景血緣應(yīng)用賦能提效。這里我們的認(rèn)知是：數(shù)據(jù)血緣是元數(shù)據(jù)的核心基礎(chǔ)能力，如果想致力于打造更高效的數(shù)據(jù)平臺，可提高對于數(shù)據(jù)血緣的建設(shè)重視程度。

2. 建設(shè)背景

血緣，即元數(shù)據(jù)實(shí)體之間的關(guān)系，也可以簡單理解為大數(shù)據(jù)任務(wù) ETL 的結(jié)構(gòu)化信息。抖音集團(tuán)內(nèi)部數(shù)據(jù)血緣建設(shè)背景，可以分為四個(gè)方面：

• 看鏈路：整個(gè)大數(shù)據(jù)是一個(gè)超大的數(shù)據(jù)鏈路，集團(tuán)內(nèi)有百萬級別的任務(wù)，需要結(jié)合血緣看清楚這些業(yè)務(wù)之間的關(guān)系。
• 保質(zhì)量：生產(chǎn)任務(wù)每天都在線上迭代，每天有萬級別的線上任務(wù)變更，該如何評估好這些迭代對線上是否會產(chǎn)生影響，需要結(jié)合血緣鏈路去評估，以保障整個(gè)生產(chǎn)的質(zhì)量。
• 保安全：安全是企業(yè)數(shù)據(jù)數(shù)據(jù)的生命線，如何高效發(fā)現(xiàn)企業(yè)中的敏感數(shù)據(jù)，需要依賴血緣數(shù)據(jù)傳播能力。
• 降成本：超大規(guī)模集群規(guī)模背后是大量的計(jì)算、存儲資源，如何合理利用資源，并精準(zhǔn)發(fā)現(xiàn)低價(jià)值資源，并驅(qū)動治理，也需要依賴血緣實(shí)現(xiàn)。

因此，建設(shè)好大數(shù)據(jù)血緣對我們來說迫在眉睫。

3. 血緣整體鏈路

那么如何建設(shè)好一套大數(shù)據(jù)血緣呢？

簡化來看大數(shù)據(jù)鏈路：從埋點(diǎn)到消息隊(duì)列（或者上游的業(yè)務(wù) DB），構(gòu)建離線數(shù)倉、實(shí)時(shí)數(shù)倉，數(shù)倉加工完后寫入到高速存儲，提供線上服務(wù)或者產(chǎn)品化能力。基于大數(shù)據(jù)鏈路，我們需覆蓋血緣包括以下三類。粒度上覆蓋表級血緣和字段級血緣，其中字段級我們更多提細(xì)粒度字段級血緣，包括行級血緣和算子血緣。

• 數(shù)據(jù)源或數(shù)據(jù)采集的血緣：埋點(diǎn)血緣
• 數(shù)據(jù)生產(chǎn)鏈路的血緣：實(shí)時(shí)數(shù)倉血緣、離線數(shù)倉血緣
• 應(yīng)用端的血緣：服務(wù)/產(chǎn)品應(yīng)用的血緣

4. 血緣模型抽象

在建設(shè)血緣時(shí)，該如何抽象模型呢？

前面介紹到，血緣可以簡單理解為關(guān)系，那是否把血緣抽象為點(diǎn)和邊就能解決血緣的問題呢？如上圖示例，表 tb 包含兩列，列都來自于表 ta，ta 和 tb 通過任務(wù)產(chǎn)生的關(guān)系，同時(shí)兩個(gè)表的列也都產(chǎn)生了關(guān)系，這是最直接的模型。另外，會發(fā)現(xiàn)是這個(gè)任務(wù)讓兩個(gè)實(shí)體產(chǎn)生了關(guān)系，所以另外一種模型方式是把任務(wù)節(jié)點(diǎn)也抽象出來。我們可以通過這兩種模型來表達(dá)血緣關(guān)系，但實(shí)際兩個(gè)模型其實(shí)存在差異。

第一個(gè)模型：表現(xiàn)更新時(shí)會非常慢，一旦任務(wù)變更，需要去更新所有任務(wù)相關(guān)實(shí)體節(jié)點(diǎn)，但讀取會非常高效，因?yàn)殛P(guān)系被直接被固化存儲；第二個(gè)模型：更新非?？欤氯蝿?wù)時(shí)只需更新任務(wù)相關(guān)的關(guān)系，但讀會非常慢，需推導(dǎo)最終血緣關(guān)系。

基于該案例推演，我們設(shè)計(jì)了更泛化的血緣模型，在模型中抽象三類實(shí)體。第一個(gè) DataStore 實(shí)體，與通常的 Hive Table 對應(yīng)；第二個(gè)抽象是 Column，由于實(shí)體和實(shí)體之間存在從屬的關(guān)系，所以再往下抽象一層即 column，column 可以從屬于 DataStore；第三個(gè)抽象是 Process，實(shí)體與實(shí)體通過 task 產(chǎn)生關(guān)系，所以抽象出 Process 來表達(dá) task。

通過三類實(shí)體產(chǎn)生六類關(guān)系：實(shí)體和實(shí)體的關(guān)系（如表和表的血緣關(guān)系），列與列的關(guān)系（即字段血緣），任務(wù)和任務(wù)之間的關(guān)系等。通過實(shí)踐驗(yàn)證，該模型能夠覆蓋到所有血緣關(guān)系，在實(shí)際存儲過程中又考慮到以上兩個(gè)特點(diǎn)，我們存儲了兩類模型，寫入時(shí)使用第二個(gè)模型，查詢時(shí)使用第一個(gè)模型，從而滿足大數(shù)據(jù)場景下高效的存儲和讀取。

5. 血緣衡量指標(biāo)

我們定義了“血緣質(zhì)量分”指標(biāo)來衡量血緣質(zhì)量，包括三個(gè)一級指標(biāo)，加權(quán)后為血緣質(zhì)量分。抖音集團(tuán)內(nèi)部當(dāng)前血緣質(zhì)量分處于較好水平，但仍然也需要持續(xù)提升。

• 血緣覆蓋率：考慮任務(wù)成功解析的數(shù)量，覆蓋多少任務(wù)；
• 血緣準(zhǔn)確率：成功解析并不代表完全正確，會在覆蓋基礎(chǔ)上近一步排除異常解析的情況。
• 血緣完整率：成功解析也不一定完整，最終通過完整率來看清楚血緣是否完全覆蓋。

6. 血緣整體生態(tài)體系

血緣數(shù)據(jù)重點(diǎn)依賴依賴上游生產(chǎn)任務(wù)邏輯或者日志，通過多種接入模式采集，然后通過血緣處理（其中重點(diǎn)是解析）形成統(tǒng)一血緣數(shù)據(jù)。對外提供血緣分析服務(wù)以及血緣應(yīng)用，包括血緣圖譜、口徑探查、血緣分析以及基于血緣的各種工具箱，幫助用戶方便快捷地使用血緣。借助于血緣開放生態(tài)，希望人人能夠貢獻(xiàn)血緣，人人能夠用好血緣。

整套血緣體系有幾個(gè)特點(diǎn)：覆蓋全鏈路、精細(xì)化血緣、準(zhǔn)確度非常高、應(yīng)用場景廣泛。

二、抖音集團(tuán)血緣系統(tǒng)架構(gòu)

1. 血緣系統(tǒng)建設(shè)挑戰(zhàn)

血緣系統(tǒng)建設(shè)主要面臨如下一些挑戰(zhàn)：

• 首先，如何精準(zhǔn)化解析細(xì)粒度血緣；
• 其次，如何覆蓋非結(jié)構(gòu)化數(shù)據(jù)源，比如實(shí)時(shí)鏈路中會有 Redis、Kafka 等；
• 然后，如何覆蓋跨 region 的機(jī)房血緣；
• 最后，如何覆蓋調(diào)用較大的應(yīng)用端調(diào)用血緣。

2. 血緣系統(tǒng)解決方案架構(gòu)

基于以上四個(gè)挑戰(zhàn)，我們設(shè)計(jì)了整套血緣架構(gòu)。

• 數(shù)據(jù)源：覆蓋各種上游數(shù)據(jù)源的有價(jià)值信息，包括任務(wù)代碼、配置信息、離線表以及人工補(bǔ)錄的數(shù)據(jù)。
• 采集：元數(shù)據(jù)鏈路和血緣鏈路，元數(shù)據(jù)鏈路重點(diǎn)關(guān)注元信息采集到元數(shù)據(jù)的體系里面；血緣鏈路，重點(diǎn)結(jié)合解析服務(wù)和 Catalog，提取血緣數(shù)據(jù)；
• 存儲：通過圖庫存儲血緣數(shù)據(jù)，開源圖庫有JanusGraph、Neo4j、NebulaGraph 等。離線鏈路通過圖庫 Dump 任務(wù)到 hdfs，并構(gòu)建數(shù)倉；
• 分析：通過實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)，以通用的血緣分析服務(wù)，支持實(shí)時(shí)以及離線的分析場景。

3. 統(tǒng)一解析服務(wù)

Java 體系中有兩個(gè)比較出名的解析器：Antlr 和 Calcite。Antlr 是一個(gè)詞法和語法解析器，能夠方便地幫我們解析各種各樣語言，變成抽象語法樹。Calcite 對 SQL 領(lǐng)域適配較好，SQL 方面定義了 RelNode，和對 SQL 相關(guān)的優(yōu)化規(guī)則。

解析是血緣領(lǐng)域非常核心的組件，需要關(guān)注支持多種方言，因?yàn)樯a(chǎn)任務(wù)是多樣化的，有實(shí)時(shí)、離線、OLAP、非結(jié)構(gòu)化數(shù)據(jù)以及更復(fù)雜的任務(wù)腳本。

這里我們提出的比較理想解析方案是：基于 Antlr+Calcite 的統(tǒng)一解析器，既能覆蓋多方言，又能處理復(fù)雜腳本，充分利用兩個(gè)解析器的優(yōu)勢。我們只要定義詞法文件和語法文件，通過 Antlr 生成語法樹，然后把語法樹通過 SQLNode 轉(zhuǎn)換器轉(zhuǎn)換為 Calcite 的 SQLNode，在 SQLNode 和 RelNode 中提取出血緣信息。

4. 血緣接入服務(wù) -生產(chǎn)血緣

上圖中是數(shù)據(jù)生產(chǎn)血緣示例，一張商品表寫到下游的一張表。解析器將任務(wù)邏輯解析，獲取到表與表的依賴關(guān)系，比如商品的 detail 表依賴商品表，商品 detail 表里商品的 number 依賴下面表的商品 number。我們會存儲幾個(gè)關(guān)鍵的信息，字段與字段的裁剪掉代碼片段，還會將計(jì)算算子存儲下來，比如先做 aggregate -> select -> where,存到字段的血緣里面，這就是算子級別血緣。

對于 no schema 的任務(wù)，需要去查詢 catalog 構(gòu)建血緣信息，catalog 中已提前管理 MQ/Redis 的 meta 信息。對于算子血緣，希望能夠盡量全的存儲計(jì)算信息，會在一些場景使用。

5. 血緣接入服務(wù) -跨 Region 血緣

在集團(tuán)內(nèi)部有很多 region，region 之間的數(shù)據(jù)可能會涉及到一些關(guān)聯(lián)計(jì)算，因此需要跨 region 血緣去處理。例如 A、B、C 三個(gè)區(qū)域的血緣，我們會先在本區(qū)域獲取 local 血緣，然后發(fā)到總線上去構(gòu)建跨 region 血緣。如果某個(gè)區(qū)域是一個(gè) global 表，我們會借助某個(gè)區(qū)域訪問 catalog，將 global 表展開到具體 region。

6. 血緣接入服務(wù) -應(yīng)用血緣

應(yīng)用端血緣在業(yè)界并不常見，是抖音集團(tuán)血緣的一大特色。我們有非常多的應(yīng)用端服務(wù)和產(chǎn)品，因此希望能夠覆蓋端到端的血緣關(guān)系，實(shí)現(xiàn)真正的全鏈路血緣。所以，我們構(gòu)建了應(yīng)用端的血緣。

應(yīng)用產(chǎn)品大體可以分成兩類，第一類就是搭建類，可以通過低代碼平臺去搭建應(yīng)用產(chǎn)品，第二類就是定制開發(fā)的一些應(yīng)用產(chǎn)品。這兩類都會通過 HTTP 或者 RPC，去調(diào)用后端服務(wù)。后端服務(wù)會調(diào)用大數(shù)據(jù) oservice（統(tǒng)一數(shù)據(jù)服務(wù)），one service 服務(wù)會調(diào)用到物理表。另外一種可能是服務(wù)會直接調(diào)用物理表。

應(yīng)用產(chǎn)品頁面跟后端服務(wù)的血緣關(guān)系打通幾個(gè)方案：對于搭建類的產(chǎn)品，借助于低代碼的 meta 信息去構(gòu)建血緣；通過 spider 爬取頁面信息，通過頁面信息提取出頁面和接口的信息；通過 trace 日志，基于一套日志規(guī)范，讓業(yè)務(wù)去按照規(guī)范打日志，血緣系統(tǒng)中提取日志獲取血緣數(shù)據(jù)。

服務(wù)和服務(wù)之間的血緣，主要依賴 trace 日志去構(gòu)建血緣關(guān)系。服務(wù)和 one service，基于 one service 元信息構(gòu)建血緣關(guān)系。

應(yīng)用血緣采集過程中面臨的關(guān)鍵問題：埋點(diǎn)日志量可能會非常大，我們采取日志聚合或采樣來縮小量級；埋點(diǎn)日志不準(zhǔn)確，業(yè)務(wù)方把關(guān)系打在日志中，我們稱之為染色。

三、抖音集團(tuán)血緣應(yīng)用場景

以上介紹了數(shù)據(jù)血緣系統(tǒng)的建設(shè)思路，接下來介紹血緣在內(nèi)部具體的應(yīng)用場景。

1. 血緣應(yīng)用整體介紹

我們希望能夠發(fā)揮數(shù)據(jù)血緣在數(shù)據(jù)全鏈路的價(jià)值，助力公司降本提效。這里列舉了四大應(yīng)用場景，分別為數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)和數(shù)據(jù)安全，其中一些已經(jīng)覆蓋，還有一些正在建設(shè)中。接下來將詳細(xì)介紹各個(gè)場景的應(yīng)用。

2. 數(shù)據(jù)開發(fā)場景的應(yīng)用

數(shù)據(jù)開發(fā)場景中的應(yīng)用主要包括：

• 數(shù)據(jù)變更影響面評估：提供全鏈路任務(wù)、表、列的血緣關(guān)系查詢、篩選和展示，支持切換 select 血緣及 non-select 血緣，幫助用戶看清數(shù)據(jù)之間的關(guān)系。
• 快速查看字段或者指標(biāo)加工口徑：通過血緣能力計(jì)算數(shù)據(jù)開發(fā)鏈路，并根據(jù)指定字段進(jìn)行代碼裁剪， 只展示該字段相關(guān)邏輯，大幅減少無關(guān)代碼，提高閱讀效率。
• 實(shí)時(shí)開發(fā)任務(wù)提效：基于指定任務(wù)，使用血緣能力為下游任務(wù)鏈路創(chuàng)建影子鏈路，提供測試鏈路數(shù)據(jù)預(yù)覽功能及線上數(shù)據(jù)比對功能，預(yù)覽最終產(chǎn)品的變動。
• 精準(zhǔn)選擇待回溯鏈路：基于列級別的回溯范圍計(jì)算，同時(shí)支持用戶指定首尾節(jié)點(diǎn)、根據(jù)特征進(jìn)行二次篩選等，提升回溯的整體效率和準(zhǔn)確性。
• 上游數(shù)據(jù)變化及時(shí)感知：監(jiān)聽元數(shù)據(jù)埋點(diǎn)變更，根據(jù)血緣關(guān)系判斷影響范圍，并實(shí)時(shí)發(fā)送通知，幫助開發(fā)人員及時(shí)感知上游變更。
• 數(shù)據(jù)模型重構(gòu)高校切換：基于用戶配置好待切換模型后，根據(jù)血緣計(jì)算出待切換任務(wù)列表，自動生成切換代碼，自動完成數(shù)據(jù)比對。

3. 數(shù)據(jù)治理場景的應(yīng)用

下面重點(diǎn)看數(shù)據(jù)治理鏈路應(yīng)用，數(shù)據(jù)治理的核心目標(biāo)是質(zhì)量、成本、安全。

• 低價(jià)值/風(fēng)險(xiǎn)資產(chǎn)識別：通過血緣發(fā)現(xiàn)耗費(fèi)大量資源、下游使用很少的，低 ROI 的資產(chǎn)，以及一些高風(fēng)險(xiǎn)資產(chǎn)。
• 成本計(jì)算：基于鏈路級別血緣計(jì)算全鏈路成本。
• 及時(shí)性保障：構(gòu)建鏈路級別的時(shí)效性保障能力。
• 準(zhǔn)確性保障：檢測高風(fēng)險(xiǎn)、高優(yōu)先級價(jià)值的資產(chǎn)質(zhì)量是否符合預(yù)期，是否存在風(fēng)險(xiǎn)。
• 安全保障：高效發(fā)現(xiàn)高密數(shù)據(jù)，檢測安全風(fēng)險(xiǎn)。

對于及時(shí)性保障場景。通常大家做及時(shí)性保障，可能會做單點(diǎn)保障，比如監(jiān)控某個(gè)任務(wù)的完成時(shí)間。我們可以充分利用血緣傳播能力，當(dāng)我們發(fā)現(xiàn) 6 這個(gè)任務(wù)是一個(gè)非常核心任務(wù)時(shí)，我們可以優(yōu)先級傳播到整個(gè)鏈路，進(jìn)而可以提升鏈路優(yōu)先級。當(dāng)要求任務(wù) 6 需要 6 點(diǎn)完成，在任務(wù) 1 執(zhí)行時(shí)可以預(yù)判，任務(wù) 6 在 6 點(diǎn)完成是否有風(fēng)險(xiǎn)，進(jìn)而實(shí)現(xiàn)鏈路預(yù)測告警。另外，還可以做跨部門 SLA 簽署，比如要保某個(gè)任務(wù)，需要上游一起保障，就可以通過血緣發(fā)現(xiàn)相關(guān)資產(chǎn)，然后聯(lián)合相關(guān)部門簽署 SA，從而保障整個(gè)資產(chǎn)及時(shí)性。

對于成本計(jì)算場景。在大數(shù)據(jù)鏈路里面，我們希望看到每個(gè)節(jié)點(diǎn)實(shí)際的資源成本消耗。例如任務(wù) 6 本身消耗資源并不大，但是為了計(jì)算 6，需要 12345 這五個(gè)任務(wù)來輔助計(jì)算，那這 5 個(gè)任務(wù)的成本也要算在 6 的成本上，這時(shí)就可以基于血緣關(guān)系將成本分?jǐn)傁氯?。?jì)算成本是為了能夠看清楚資產(chǎn)的計(jì)算成本，同時(shí)也可以用于評估資產(chǎn)的 ROI，結(jié)合治理規(guī)則，找到低 ROI 的資產(chǎn)做治理。

四、未來展望

最后簡單介紹一下對未來的設(shè)想。

1. 數(shù)據(jù)血緣未來規(guī)劃

對于血緣的未來規(guī)劃：全覆蓋 和 血緣價(jià)值。

首先，會將血緣能力做得更加標(biāo)準(zhǔn)化，簡化血緣的理解和接入；其次，基于標(biāo)準(zhǔn)化，做更高維度的能力開放，讓人人都可以貢獻(xiàn)血緣；最后，進(jìn)一步構(gòu)建更細(xì)顆粒的精細(xì)化的血緣，比如行級血緣。

近一步挖掘數(shù)據(jù)血緣在質(zhì)量、效率、安全方面的價(jià)值。

2. 數(shù)據(jù)資產(chǎn)平臺未來展望

火山引擎數(shù)智平臺 VeDI 旗下 DataLeap 一直致力于打造一套領(lǐng)先的數(shù)據(jù)資產(chǎn)全鏈路能力，解決數(shù)據(jù)資產(chǎn)“管、找、用”的問題，未來期望在集團(tuán)內(nèi)部產(chǎn)生更大價(jià)值。

我們會構(gòu)建更完善的元數(shù)據(jù)，行業(yè)里面有主動元數(shù)據(jù)、大模型等新的理念，結(jié)合算法能力挖掘更多元數(shù)據(jù)，形成統(tǒng)一的元數(shù)據(jù)知識圖譜。持續(xù)借助平臺能力把數(shù)據(jù)用好，例如數(shù)據(jù)資產(chǎn)門戶。我們還會基于元數(shù)據(jù)構(gòu)建豐富的應(yīng)用，幫助用戶用好這些元數(shù)據(jù)。

同時(shí)也通過火山引擎在 ToB 市場持續(xù)輸出到行業(yè)，能夠幫助到有需要的公司，為行業(yè)大數(shù)據(jù)賦能。