字節(jié)的挑戰(zhàn)與實踐

首先來看一個問題：“一家公司，數(shù)據(jù)體系要怎么搭建？”

• 方案一：整體規(guī)劃，系統(tǒng)架構(gòu)驅(qū)動
• 方案二：問題出發(fā)，業(yè)務(wù)價值驅(qū)動

在字節(jié)跳動，我們選擇的是方案二，即從業(yè)務(wù)遇到的問題出發(fā)，重視落地結(jié)果與業(yè)務(wù)過程，去解決實際的治理問題。

基于這個理念，在數(shù)據(jù)治理過程中，字節(jié)跳動也面臨以下三個挑戰(zhàn)與機遇：

業(yè)務(wù)特點：業(yè)務(wù)發(fā)展快、場景豐富、數(shù)據(jù)量大且形態(tài)各異。 業(yè)務(wù)的線上服務(wù)及創(chuàng)新，都對數(shù)據(jù)有較強的依賴，核心業(yè)務(wù)數(shù)據(jù)延遲，質(zhì)量問題將直接影響業(yè)務(wù)表現(xiàn)及發(fā)展。

組織特點：扁平化的組織模式，分布式的組織管理。 無行政手段或強組織約束，也無全局治理委員會，且數(shù)據(jù)從采集到應(yīng)用全部的生產(chǎn)流程，沒有全局規(guī)范，業(yè)務(wù)團隊需要自主制定策略并落地。

文化特點： OKR 拆解與對齊文化，業(yè)務(wù)團隊有充足的目標定義與拆解權(quán)限，且任何人都可能有動機、有角色、甚至有權(quán)限去進行數(shù)據(jù)治理，導致數(shù)據(jù)治理的業(yè)務(wù)流程復(fù)雜

字節(jié)數(shù)據(jù)治理演進階段

字節(jié)數(shù)據(jù)治理演進階段分為 6 個階段：

業(yè)務(wù)第一原則： 堅持業(yè)務(wù)第一原則，解決業(yè)務(wù)實際遇到的治理痛點

優(yōu)先穩(wěn)定建設(shè)： 優(yōu)先解決交付穩(wěn)定，保障數(shù)據(jù)鏈路與產(chǎn)出穩(wěn)定，減少交付延遲

保障數(shù)據(jù)質(zhì)量： 核心鏈路質(zhì)量管控，配置強質(zhì)量規(guī)則，自動熔斷，避免全鏈路數(shù)據(jù)污染；加強事前檢查，從源頭加強質(zhì)量控制；完善事后評估，為每一張表建立健康檔案，持續(xù)改進。

關(guān)注數(shù)據(jù)安全： 冗余權(quán)限識別，消除授權(quán)風險；數(shù)據(jù)分類分級，風險定義與多策略控制，減少安全風險

重視成本優(yōu)化： 基于多種規(guī)則的與完備的治理元數(shù)倉，提供低門檻的治理產(chǎn)品能力，快速優(yōu)化存儲

提高員工幸福感： 在幫助業(yè)務(wù)完成數(shù)據(jù)治理的后，還需要考慮團隊的負載壓力，報警治理，降低員工起夜率；歸因分析，快速排查修復(fù)故障。

在這里，再介紹字節(jié)特色的“0987”量化數(shù)據(jù)服務(wù)標準。這四個數(shù)字分別指的是：穩(wěn)定性 SLA 核心指標要達到 0 個事故，需求滿足率要達到 90%，數(shù)倉構(gòu)建覆蓋 80% 的分析需求，同時用戶滿意度達到 70%。按照這個高標準來要求自己，同時這也是一種自監(jiān)管的機制，能夠有效的防止自嗨，脫離業(yè)務(wù)需求和價值。

字節(jié)的部分場景實踐

下面通過兩個例子為大家介紹數(shù)據(jù)治理在字節(jié)的場景實踐。

案例一：

• 問題：字節(jié)跳動內(nèi)部 2019 年到 2020 年間，雙月內(nèi)事故數(shù)量較多，對業(yè)務(wù)造成一定影響，且收斂困難，每天都有告警、起夜、對正常開發(fā)進度造成影響。
• 解決方案：采用了分布式用戶自治的 SLA 治理，通過數(shù)據(jù)分級保障目標管理，在各業(yè)務(wù)內(nèi)部進行【拉齊鏈路-數(shù)據(jù)分級-廣泛共識-系統(tǒng)管理】的行動閉環(huán)，系統(tǒng)化保障目標傳遞和落地。
• 效果：截止 2020 年中，事故以每雙月 30% 環(huán)比下降，在 1 年內(nèi)達到穩(wěn)定性問題徹底收斂。

案例二：

• 問題：抖音的實時數(shù)倉治理人員的精力分散，以被動的運動式、“救火”式的工作模式為主。協(xié)同效率低，人力投入巨大，缺少可持續(xù)性。
• 解決方案：覆蓋質(zhì)量、成本、SLA、安全等治理方向，以業(yè)務(wù)評估體系，構(gòu)建治理方案進行例行診斷，對存量問題進行識別和派發(fā)，形成一套【評估->識別->規(guī)劃->執(zhí)行->復(fù)盤】業(yè)務(wù)內(nèi)部分布式自治的治理機制。
• 效果：從 21 年至今，治理人員的精力徹底從”運動式“治理的模式中解放出來，更多精力會集中在監(jiān)督執(zhí)行與規(guī)則優(yōu)化中，團隊起夜率降低 30%。質(zhì)量保障覆蓋率達到 100%。雙月存儲優(yōu)化均在 20+PB。

數(shù)據(jù)治理的發(fā)展與分布式

眾所周知，有很多機構(gòu)都分享了對數(shù)據(jù)治理的定義，這里簡單分享一下

國際數(shù)據(jù)管理協(xié)會（DAMA）：數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合

IBM：數(shù)據(jù)治理是對企業(yè)中的數(shù)據(jù)可用性、相關(guān)性、 完整性和安全性的全面管理。它幫助組織管理 他們的信息知識和作為決策依據(jù)

維基百科對數(shù)據(jù)治理的定義：數(shù)據(jù)治理是一個涉及全體組織的數(shù)據(jù)管理概念，通過數(shù)據(jù)治理，確保在數(shù)據(jù)的整個生命周期中擁有高數(shù)據(jù)質(zhì)量的能力，也是對業(yè)務(wù)目標的支持。數(shù)據(jù)治理的關(guān)鍵的重點領(lǐng)域包括可用性、一致性、數(shù)據(jù)完整性和數(shù)據(jù)安全性，也包括建立流程來確保整個企業(yè)實施有效數(shù)據(jù)管理。

在傳統(tǒng)的數(shù)據(jù)治理方法論與定義中，注意到他有以下共性特點，同時也是現(xiàn)在大多數(shù)公司的實踐路徑，即：

但是在實際的執(zhí)行過程中，他需要以下幾個前提和隨之帶來的落地難點

1. 需要明確組織制度

梳理業(yè)務(wù)數(shù)據(jù)部門，設(shè)立公司級別數(shù)據(jù)治理委員會/部門，各業(yè)務(wù)分設(shè)執(zhí)行部門，公司內(nèi)各業(yè)務(wù)宣導討論，統(tǒng)一制定公司數(shù)據(jù)治理規(guī)章制度

難點一：組織依賴重、建設(shè)周期長。需要招聘大量專業(yè)的治理專家或引入外部咨詢機構(gòu)，計劃制定周期長；專設(shè)部門牽頭，若無自頂向下的項目背景，業(yè)務(wù)協(xié)調(diào)對齊困難。

2. 需要明確權(quán)責管理

梳理公司數(shù)據(jù)資產(chǎn)，遷移、拆分、業(yè)務(wù)改造。確保資產(chǎn)歸屬與治理權(quán)責明確，定期梳理資產(chǎn)類目，維護資產(chǎn)元數(shù)據(jù)的有效性，確保治理邊界清晰

難點二：業(yè)務(wù)影響大，目標對齊難。需完成存量的資產(chǎn)歸屬劃分、改造生產(chǎn)開發(fā)體系，對增量定期人力打標，確保資產(chǎn)歸屬與權(quán)責邊界清晰，因可能業(yè)務(wù)系統(tǒng)改造，會對業(yè)務(wù)發(fā)展造成影響。

3. 需要進行復(fù)盤抽查

管理組織定期檢查各業(yè)務(wù)治理過程是否符合公司治理制度，定期檢查各項治理結(jié)果是否落地，線下復(fù)盤與推動不符合預(yù)期的治理過程

難點三：溝通成本高，執(zhí)行推動難。如何制定適用于不同業(yè)務(wù)特點與發(fā)展階段的團隊的治理評估體系，各團隊是否認可評估標準。

為了解決以上三個問題，我們有些新的思考，即引入「分布式」的理念。

Governance 一詞在根源上同 Government，1990 年代被經(jīng)濟學家和政治科學家重新創(chuàng)造，由聯(lián)合國、世界貨幣組織和世界銀行等機構(gòu)進行傳播。其核心有以下兩種論述：

第一個論述：標準與規(guī)范。指的是一定范圍內(nèi)的一致的管理，統(tǒng)一的政策，某一責任區(qū)指導以及合適的監(jiān)管和可問責機制。這種行政力的集中化管理存在一些問題，比如決策成本高，人力投入高、落地阻力大，精力消耗大。

第二個論述：過程與結(jié)果。指的是只要關(guān)注結(jié)果和產(chǎn)出以及業(yè)務(wù)內(nèi)部實踐，通過分布式協(xié)作讓業(yè)務(wù)的治理結(jié)果、業(yè)務(wù)痛點和治理方式及手段在內(nèi)部閉環(huán)，而不是由中臺層面統(tǒng)一推動。

我們嘗試從第二種論述，即重視過程落地和治理結(jié)果產(chǎn)出的出發(fā)，更快的落地產(chǎn)品，落地數(shù)據(jù)治理的產(chǎn)品解決方案

從集中式到分布式

基于分布式的數(shù)據(jù)自治的理念，我們來解決在落地執(zhí)行上的兩個最困難的點

一、組織制度分布式： 嘗試將組織的強管理屬性轉(zhuǎn)換到監(jiān)督屬性，治理單元與制度設(shè)計回歸到業(yè)務(wù)單元。好處是，不強依賴橫向中心化組織，業(yè)務(wù)治理痛點閉環(huán)在業(yè)務(wù)單元，且業(yè)務(wù)基于自身發(fā)展階段制定治理目標，ROI 論證回歸業(yè)務(wù)。

二、權(quán)責驗收分布式： 基于產(chǎn)品體系與落地解決方案，支持業(yè)務(wù)按需自驅(qū)，市場化執(zhí)行，平臺輔助與按需驗收。好處是，無須長周期的資產(chǎn)類目梳理，業(yè)務(wù)系統(tǒng)改造，權(quán)責均由業(yè)務(wù)區(qū)分，基于業(yè)務(wù)單元與多維視角，按需驗收治理結(jié)果，業(yè)務(wù)單元內(nèi)對齊。

如上圖展示的餅圖，對于一個公司的數(shù)據(jù)資產(chǎn)，傳統(tǒng)來說，可以很清晰地按照業(yè)務(wù)邊界來劃分清楚。對于分布式數(shù)據(jù)治理，我們通常是由業(yè)務(wù)單元自行認領(lǐng)，業(yè)務(wù)單元 A 自行認領(lǐng)屬于自己部分，業(yè)務(wù)單 B 也自行認領(lǐng)屬于自己部分。認領(lǐng)就意味著，所有治理的動作包括結(jié)果，安全性、成本、質(zhì)量、穩(wěn)定都由認領(lǐng)業(yè)務(wù)單元負責。

當然，這樣這樣也可能存在兩個問題，不過在分布式的理念中能夠得到較好解決。

第一是認領(lǐng)范圍重合：這種情況往往讓業(yè)務(wù)在線下對齊是否需要去做改造和劃分，各自拿到自身需要的治理結(jié)果，短期無須重人力投入，不追求絕對的邊界劃分。長期因不同治理驗收需求或團隊管理需求，自行進行資產(chǎn)歸集和整理。達到動態(tài)的平衡狀態(tài)。

第二是無人認領(lǐng)：針對長期無人認領(lǐng)的資產(chǎn)，我們可以基于每個業(yè)務(wù)的歷史的規(guī)則和能力，形成一個治理的平均線，再從平臺層面推動無人認領(lǐng)的資產(chǎn)治理，由于無人認領(lǐng)，這樣的資產(chǎn)推動起來相對較快。

我們理解的分布式治理

定義：以業(yè)務(wù)單元為數(shù)據(jù)治理閉環(huán)單元，通過完善的產(chǎn)品工具，將管理視角轉(zhuǎn)化為監(jiān)督視角，解決數(shù)據(jù)治理落地痛點；各業(yè)務(wù)團隊分布式自運行，整體上達到全局最優(yōu)，從形態(tài)上，適配更多業(yè)務(wù)特性和發(fā)展階段，從效果上，強推進重落實與結(jié)果。

字節(jié)跳動通常以業(yè)務(wù)單元作為一個數(shù)據(jù)治理閉環(huán)，即在業(yè)務(wù)單元內(nèi)部完成數(shù)據(jù)穩(wěn)定性、質(zhì)量、存儲、計算等治理。同時每個業(yè)務(wù)單元不是孤立的，也有相互協(xié)作，比如 A 業(yè)務(wù)單元的數(shù)據(jù)治理經(jīng)驗可以沉淀為治理模板，供后續(xù)其他業(yè)務(wù)使用。

這樣的分布式治理方式，有以下一些優(yōu)勢：

• 影響小，依賴小。治理下放到各個業(yè)務(wù)中，各級業(yè)務(wù)乃至個人都能自驅(qū)治理，業(yè)務(wù)根據(jù)自身發(fā)展階段靈活組合治理工具，無須對組織強依賴。
• 周期短，見效快。業(yè)務(wù)自驅(qū)梳理核心數(shù)據(jù)及鏈路，跨團隊對齊線上化、協(xié)議簽署、過程追蹤。治理周期顯著縮短，很快就出成效，增強團隊信心。
• 效率高，省人力。SLA 治理提高跨團隊協(xié)作效率，聚焦核心數(shù)據(jù)任務(wù)集中資源保障，集中精力，報警歸因減少起夜，幫助企業(yè)節(jié)省年度人力消耗。
• 算清帳，降成本。各業(yè)務(wù)口徑的存儲計算資源消耗、核算成本，制定降本目標并追蹤落地；業(yè)務(wù)經(jīng)驗規(guī)則化、策略化、自動化、自驅(qū)化持續(xù)降本增效。

分布式自治架構(gòu)

為達成業(yè)務(wù)分布式自治，產(chǎn)品需要對用戶行為路徑完全覆蓋，對業(yè)務(wù)經(jīng)驗完全接受。平臺提供完善的開放能力，協(xié)助業(yè)務(wù)進一步提效。

產(chǎn)品體系

以上關(guān)于分布式的理解，下面將介紹字節(jié)分布式自治的產(chǎn)品體系。

從治理門戶來看，包括治理全景、工作臺、規(guī)劃、診斷、復(fù)盤等全流程治理環(huán)節(jié)。在治理場景中，提供數(shù)據(jù)質(zhì)量安全、資源優(yōu)化、報警、企業(yè)復(fù)盤管理等一系列垂直場景。在底層，包含數(shù)據(jù)全生命周期流程，從數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)共享到數(shù)據(jù)銷毀。

治理雙路徑

為了把用戶所有治理經(jīng)驗沉淀為平臺能力，我們抽象了 2 種治理路徑。

• 第一種是規(guī)劃式路徑。這是一個比較常見的規(guī)劃式路徑，即從看板和報表出發(fā)，自上而下做規(guī)劃。比如看板已經(jīng)反映出成本增加、延時變長或者數(shù)據(jù)質(zhì)量變差，團隊管理者發(fā)起報告或事故，推動業(yè)務(wù)單元同事進行數(shù)據(jù)治理，最后進行復(fù)盤。
• 第二種是響應(yīng)式。比如生產(chǎn)者收到一個數(shù)據(jù)質(zhì)量或延時的報警，隨后快速定位原因并做改進計劃。

為了更好把業(yè)務(wù)經(jīng)驗全部線上化，我們通常雙路徑并行使用。

規(guī)劃式治理路徑案例

首先看通用模塊資產(chǎn)視圖，包括資產(chǎn)增量情況評估等，以及業(yè)務(wù)對于資產(chǎn)的評價，如健康分體系。我們通常根據(jù)資產(chǎn)情況去制定目標。如果發(fā)現(xiàn)問題之后，業(yè)務(wù)驅(qū)動制定目標，可能是降低存儲。同時需要去應(yīng)用一些業(yè)務(wù)規(guī)則，比如團隊內(nèi)部認為 TTL (數(shù)據(jù)生命周期)很重要，需要幫助識別出來的同時也需要設(shè)定一個診斷周期。在團隊方案確認完之后，產(chǎn)品會做監(jiān)督，包括定義提醒，同時也推動資產(chǎn) owner 完成總結(jié)。

響應(yīng)式治理路徑案例

例如，我們發(fā)現(xiàn)一些任務(wù)在深夜執(zhí)行失敗了，需要先做問題排查，發(fā)現(xiàn)問題是 HDFS 丟塊導致。在傳統(tǒng)情況下，解決方案是去檢查 API 問題，再去拉相關(guān)人員，可能 2- 3 小時才能完成，最后配合監(jiān)控并收歸到 wiki 中。而在 DataLeap 數(shù)據(jù)治理產(chǎn)品里，可以直接實現(xiàn)歸因打標等能力，最后快速復(fù)盤。

治理全規(guī)則

如果要覆蓋業(yè)務(wù)的全部屬性，治理平臺需要形成有效且全面的規(guī)則模板。目前，我們的規(guī)則模板包含兩個部分：

第一是 規(guī)則引擎 ，具體包括業(yè)務(wù)輸入、平臺輸入、推薦輸入。

• 業(yè)務(wù)輸入：主要依據(jù)業(yè)務(wù)團隊的治理經(jīng)驗以及行業(yè)經(jīng)驗。
• 平臺輸入：平臺會提供一些基礎(chǔ)能力，如存儲、計算、質(zhì)量、報警等幾個維度。截至目前已經(jīng)提供了 80 多個規(guī)則。
• 推薦輸入：基于業(yè)務(wù)輸入和平臺輸入，去做分析和挖掘，發(fā)現(xiàn)哪些規(guī)則用得多、哪些規(guī)則閾值更合理。

第二是治理數(shù)倉 ，具體包括行為數(shù)據(jù)、治理操作、效果數(shù)據(jù)。

• 行為數(shù)據(jù)：包括用戶規(guī)則配置等內(nèi)容是否有重復(fù)以及帶元素標簽的資產(chǎn)數(shù)據(jù)等。
• 治理操作：包括生命周期、任務(wù)關(guān)閉、數(shù)據(jù)刪除、SLA 簽署等。
• 效果數(shù)據(jù)：包括操作收益、資產(chǎn)收益、指標收益等。

不同業(yè)務(wù)快速靈活接入治理規(guī)則

分布式自治基礎(chǔ)是要構(gòu)建治理生態(tài)、建設(shè)開放平臺，讓不同業(yè)務(wù)能夠快速、靈活接入。

為了讓業(yè)務(wù)能快速介入，我們把數(shù)據(jù)分成了四種類型：表達式、三方元數(shù)據(jù)、標準元數(shù)據(jù)、算法包。針對不同的業(yè)務(wù)，根據(jù)當前的經(jīng)驗和能力，我們會提供不同的接入方式，讓業(yè)務(wù)去更好把規(guī)則和能力去接入到我們的平臺。

基于業(yè)務(wù)單元進行智能化提效

在獲取不同業(yè)務(wù)的規(guī)則和能力之后，我們需要再做平臺能力沉淀，把好的規(guī)則和能力復(fù)用給更多業(yè)務(wù)。

Case 1：任務(wù) SLA 簽署推薦。基于運營時間做權(quán)重分配，保證下游任務(wù)運行完成，同時也會進行關(guān)鍵鏈路分析。這個規(guī)則目前在字節(jié)內(nèi)部廣泛使用。

Case 2：動態(tài)閾值監(jiān)控。這是基于業(yè)務(wù)在報警閾值上的實踐提取的規(guī)則。

Case 3：相似任務(wù)識別。通過序列化和向量化操作，去和底層 spark 引擎做配合。在業(yè)務(wù)內(nèi)部應(yīng)用覆蓋 99%，且優(yōu)化任務(wù)都千級以上，由此接入平臺并推薦給其他業(yè)務(wù)。

分布式自治核心能力

治理全景 - 分布式驗收

在分布式驗收中，會區(qū)分為全員視角、團隊視角和個人視角。全員視角可以看到公司級資產(chǎn)，包括整體的健康分體系以及核心指標。團隊視角中，主要由業(yè)務(wù)自己梳理，包括內(nèi)部的評價體系。

治理工作臺 - 集中治理待辦

上圖為個人工作臺功能，主要為了把 SLA 保障、計算任務(wù)、數(shù)據(jù)存儲等治理場景展示在一個頁面，方便 owner 業(yè)務(wù)全局查看治理待辦事項。

治理規(guī)劃與診斷 - 權(quán)責與規(guī)劃分布式

第一，支持自定義治理域，靈活自治，提供多種維度，自定義組合和圈選資產(chǎn)范圍。

第二，支持創(chuàng)建治理方案，例行診斷：發(fā)起人基于業(yè)務(wù)需求，選擇治理域，設(shè)計治理規(guī)則，發(fā)起存儲/計算/質(zhì)量等類型治理方案。例行診斷與推進實施。

第三，支持規(guī)則管理，提供 80+ 治理基礎(chǔ)規(guī)則，支持自定義組合和配置規(guī)則與分享。

復(fù)盤管理

復(fù)盤管理是一個通用模塊。業(yè)務(wù)根據(jù)自身需要去識別任務(wù)是否需要復(fù)盤，或者僅僅做問題登記。除此之外，業(yè)務(wù)還可以用復(fù)盤管理能力做內(nèi)部管理，比如查看、檢索所有的事故復(fù)盤，查看每個事故發(fā)生的原因和改進計劃。同時，也可了解歸因分布情況，并幫助下一個值班同學快速反饋和定位問題。

SLA 治理

在字節(jié)跳動內(nèi)部，SLA 不是平臺級保障，而是源于業(yè)務(wù)團隊內(nèi)部。首先是業(yè)務(wù)按需申報，可能是 PM、運營或數(shù)據(jù)研發(fā)等任何角色，認為自身任務(wù)重要，填寫背景、原因、等級、時間等信息之后，即可發(fā)起一個 SLA。發(fā)起之后，在團隊內(nèi)部進行審核，可能存在同一個團隊多個高優(yōu)任務(wù)的情況，這由團隊內(nèi)部自行調(diào)整優(yōu)先級。同時，這個也是跨團隊判斷該任務(wù)重要性的標準。

之后是完成簽署，簽署也會在產(chǎn)品里面體現(xiàn)出來。每個節(jié)點時間都有實時監(jiān)控，如果產(chǎn)生了延遲，會推動業(yè)務(wù)做復(fù)盤和登記。我們也提供基礎(chǔ)的 DAG，包括申報業(yè)務(wù)單的查看，同時也可以讓大家去查看每個等級的破線情況，以及團隊對業(yè)務(wù)的服務(wù)情況。

數(shù)據(jù)安全

在數(shù)據(jù)安全層面，主要專注于清理冗余權(quán)限，完善分類分級。不同團隊對冗余權(quán)限定義不同，有的 90 天無訪問算冗余權(quán)限，有的 70 天，有的 7 天。因此我們提供自定義能力，由業(yè)務(wù)內(nèi)部發(fā)起 review，完成冗余權(quán)限的識別和定義規(guī)則，識別之后復(fù)用診斷能力。

資源優(yōu)化

基于每個團隊實際執(zhí)行情況，提煉出一些通用的規(guī)則。例如，某些規(guī)則可能有幾十個業(yè)務(wù)在使用，近 90% 認為近 30 天無查詢需要被識別出來，我們就會在平臺中提供這類能力，方便新業(yè)務(wù)或者小白業(yè)務(wù)去使用。

報警歸因

在報警歸因方面，我們能提供所有報警明細，方便查看是否有重復(fù)規(guī)則，是否有高頻報警規(guī)則，幫助用戶發(fā)現(xiàn)無效報警和重復(fù)規(guī)則，降低告警量和跟起夜率。除此之外，我們也提供業(yè)務(wù)內(nèi)部的歸因登記和分析能力。