一、B 站的用數(shù)場景及數(shù)據(jù)開發(fā)治理平臺的概況介紹

B 站大數(shù)據(jù)開發(fā)治理平臺歷經(jīng) 5 年建設(shè)，目前包含數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)安全、數(shù)據(jù)分析等多個模塊，服務(wù)于公司各個業(yè)務(wù)部門。

B 站數(shù)據(jù)平臺的使用者覆蓋了 60% 的員工，其面向的用戶群體主要是技術(shù)開發(fā)、產(chǎn)品、運營、算法工程師、分析師、數(shù)據(jù)開發(fā)等。通過對用戶的數(shù)據(jù)能力進行分層，我們可將數(shù)據(jù)平臺的用戶大致區(qū)分為高階開發(fā)、中階用戶、數(shù)據(jù)小白等 3 個用戶群體。

基于用戶分群，我們提出了數(shù)據(jù)平臺的產(chǎn)品定位：專業(yè)，門檻，標準化，閉環(huán)。

• 專業(yè)：數(shù)據(jù)平臺需要滿足專業(yè)的數(shù)據(jù)開發(fā)及分析訴求，提升數(shù)據(jù)供給效率。
• 門檻：數(shù)據(jù)平臺需要滿足產(chǎn)運等用戶低門檻的建數(shù)、用數(shù)、取數(shù)要求。
• 標準化：數(shù)據(jù)平臺需要快速滿足多業(yè)務(wù)、各部門不同的數(shù)據(jù)訴求，功能既要通用，也要足夠靈活。
• 閉環(huán)：數(shù)據(jù)平臺在 B 站也是數(shù)據(jù)中臺，我們同時承擔了數(shù)據(jù)運營、成本治理、規(guī)范約束、質(zhì)量監(jiān)控等管理角色，因此平臺需要替業(yè)務(wù)完成數(shù)據(jù)從入倉、生產(chǎn)、運維、治理等流程的全閉環(huán)。

根據(jù)不用的業(yè)務(wù)場景和用數(shù)訴求，平臺主要包括數(shù)據(jù)生成、數(shù)據(jù)消費、數(shù)據(jù)管理三大場景，分別提供相應(yīng)的數(shù)據(jù)服務(wù)。

本文將重點介紹數(shù)據(jù)地圖和數(shù)據(jù)治理產(chǎn)品的設(shè)計。

二、基于價值體系的數(shù)據(jù)地圖產(chǎn)品建設(shè)

1、數(shù)據(jù)運營的痛點

面向多業(yè)務(wù)的數(shù)據(jù)中臺團隊或數(shù)倉團隊，當模型基數(shù)較大時，往往會面臨數(shù)據(jù)運營難的痛點。如何通過數(shù)據(jù)平臺，結(jié)合數(shù)據(jù)內(nèi)容的建設(shè)，解決用戶找數(shù)用數(shù)痛點，是數(shù)據(jù)運營產(chǎn)品的核心目標。隨著模型規(guī)模的快速增長，我們從 20 年開始，也逐漸面臨數(shù)據(jù)運營難的痛點。數(shù)據(jù)運營的痛點是分階段暴露的：

2、數(shù)據(jù)運營的解決方案

針對上述痛點，我們提出了一套解決方案：完善產(chǎn)品功能體系，推動數(shù)據(jù)運營體系的建設(shè)，建設(shè)數(shù)據(jù)模型的評估能力。

3、數(shù)據(jù)地圖產(chǎn)品建設(shè)

數(shù)據(jù)地圖是一個基于元數(shù)據(jù)的數(shù)據(jù)門戶，它能夠幫助用戶更好地理解和管理數(shù)據(jù)資源。作為一個企業(yè)的數(shù)據(jù)中心，數(shù)據(jù)地圖具備多種功能，包括數(shù)據(jù)檢索、元數(shù)據(jù)詳情、數(shù)據(jù)預(yù)覽、數(shù)據(jù)血緣和數(shù)據(jù)管理等。這些功能的存在，有效地提升了用戶的找數(shù)效率，降低了數(shù)據(jù)理解難度，也降低了使用門檻。

通過完善洞察推薦、全文檢索、類目體系、數(shù)據(jù)畫像、UGC 及 API、數(shù)據(jù)專輯、數(shù)據(jù)血緣、影響分析等八大產(chǎn)品矩陣，能夠滿足用戶在找數(shù)、用數(shù)、數(shù)據(jù)理解、數(shù)據(jù)治理、數(shù)據(jù)推廣等不同場景下的使用訴求。

4、數(shù)據(jù)運營方法

基于數(shù)據(jù)地圖產(chǎn)品體系的迭代，沉淀了一些數(shù)據(jù)運營方法。

• 點(用戶)：1V1 標準化

采用線上和線下的 1v1 方案針對問題進行答疑和解惑，使用工具咨詢或者解決數(shù)倉相關(guān)問題。

• 線(業(yè)務(wù))：周期節(jié)點化

定期線下結(jié)合數(shù)據(jù)內(nèi)容對運營同學(xué)進行培訓(xùn)、訪談以及工具的普及。

• 面(平臺)：1VN 體系化

將點和面的問題及解決方案進行記錄，通過平臺進行沉淀，并體系化地反饋給業(yè)務(wù)方。

通過點線面結(jié)合的運營方法，結(jié)合線上和線下的運營策略，形成了 B 站的數(shù)據(jù)運營方案，同時從數(shù)據(jù)價值、用戶指標、用戶訪談、定期調(diào)研四個評估體系，能夠更有效的完成策略和效率提升。

5、評估數(shù)據(jù)價值

經(jīng)過產(chǎn)品功能迭代和運營體系化建設(shè)，已經(jīng)可以很好地引導(dǎo)用戶找數(shù)、用數(shù)，但是我們發(fā)現(xiàn)眾多的數(shù)據(jù)模型，仍無法讓業(yè)務(wù)有“模型建設(shè)得好”的感知，為了更好地衡量數(shù)據(jù)價值，對模型進行 ROI 評估，驅(qū)動良性的模型運營和數(shù)據(jù)建設(shè)，構(gòu)建了模型價值評估體系。通過衡量數(shù)據(jù)價值，能有效提升業(yè)務(wù)的數(shù)據(jù)認可度，基于此可建設(shè)數(shù)據(jù)推薦策略、數(shù)據(jù)開發(fā)價值評估、模型的管理策略和治理策略。

6、數(shù)據(jù)價值計算

根據(jù)數(shù)據(jù)價值，設(shè)計了模型價值分。數(shù)據(jù)應(yīng)用場景主要包括數(shù)據(jù)查詢熱度、ETL 引用情況、API 引用情況、BI報表熱度、數(shù)據(jù)應(yīng)用使用情況、出倉業(yè)務(wù)場景熱度。價值元素主要包括內(nèi)部人效、外部基線等級、外部數(shù)據(jù)質(zhì)量、安全等級、數(shù)據(jù)新鮮度等方面，根據(jù)不同場景和不同因素進行份子權(quán)重設(shè)定，并通過產(chǎn)品化方案，更有效地支持多業(yè)務(wù)自定義數(shù)據(jù)價值。

7、數(shù)據(jù)地圖效果展示

以下是具體場景下的產(chǎn)品功能展示：

• 找數(shù)場景

包括元數(shù)據(jù)展示、標簽展示、用戶洞察、數(shù)據(jù)專輯功能等功能。

• 用數(shù)場景

主要集中在表詳情頁的功能，提供了豐富的應(yīng)用功能，包括基本信息、業(yè)務(wù)信息、存儲信息、標簽等。

• 血緣&影響分析

基于血緣數(shù)據(jù)，沉淀了血緣地圖和歸因/影響分析兩個產(chǎn)品。血緣地圖提供手動探查、可視化分析、鏈路分析的功能；歸因/影響分析功能提供基于血緣的向上和向下的數(shù)據(jù)聚合分析的功能，主要針對下游數(shù)據(jù)異動快速定位問題、口徑變更對基線的影響的問題，提供批量血緣查詢、信息聚合、拉群和通知的功能。

產(chǎn)品功能、數(shù)據(jù)運營體系、以及數(shù)據(jù)價值評價三方面的建設(shè)，為數(shù)據(jù)運營帶來了顯著提升。經(jīng)過迭代，數(shù)據(jù)地圖滲透率從 30% 提升到 60% ;推薦表熱度提升 40%，用戶評價提升 33%。同時數(shù)據(jù)價值被業(yè)務(wù)認可，價值分 Top 熱度提升 20%，用戶能找好數(shù)，用對數(shù)，數(shù)據(jù)建設(shè)價值可被衡量和評估。

三、基于抽象配置的數(shù)據(jù)治理產(chǎn)品建設(shè)

在 B 站，表和任務(wù)以每半年翻倍的速度進行增長。從 22 年開始，我們關(guān)注到數(shù)據(jù)治理需要以更高效的方式進行推進和落地，因此提出了用 B 端產(chǎn)品化的思路針對數(shù)據(jù)治理方案提供的通用治理工具，以高效解決數(shù)據(jù)治理問題。

1、建設(shè)背景及產(chǎn)品架構(gòu)

在業(yè)務(wù)快速發(fā)展期間，數(shù)據(jù)資產(chǎn)增長較快、資產(chǎn)管理混亂，數(shù)據(jù)治理工作往往迫在眉睫。通常數(shù)據(jù)治理工作有如下痛點：

• 數(shù)據(jù)治理入手及落地難，操作和流程無法指導(dǎo)
• 運動式,治理工作不可持續(xù)
• 治理成效的可視化不足
• 治理不到人，權(quán)責不分明
• 運營成本高，消耗人力

從數(shù)據(jù)成本、數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全四大方向入手進行治理。治理中心的產(chǎn)品框架主要由管理運營、治理配置& 應(yīng)用、基礎(chǔ)數(shù)據(jù)模塊組成。以元數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)，基于靈活配置，提升治理效果。

2、數(shù)據(jù)治理運營機制及工作流程

結(jié)合數(shù)據(jù)委員會、治理工具、運營機制三個方面，逐漸形成了一套持續(xù)可執(zhí)行的治理運營流程。治理工作推進流程采用策略線上 POC->數(shù)據(jù)委員會發(fā)布->策略上線的新流程，對比之前流程有很大的改善。

3、B 站治理運營的推進痛點和訴求

在 B 站，數(shù)據(jù)治理運營的痛點主要有三個方向：治理的資產(chǎn)對象多、資產(chǎn)的操作路徑特殊、存量問題資產(chǎn)多，增量快。

4、治理工具的解決方案

通過豐富的元素和配置，可以實現(xiàn)用戶個性化訴求，解決不同業(yè)務(wù)、不同視角、不同用戶制定的形態(tài)各異的治理策略，比如：配置流程固定化、配置參數(shù)規(guī)范化、配置操作簡單化。讓業(yè)務(wù)自主完成治理方案的制定、規(guī)則定義和工作推進。

5、抽象：通過通用化配置實現(xiàn)個性化

以下是針對上述三個數(shù)據(jù)治理問題，提供的通用化配置的產(chǎn)品功能。

• 抽象治理對象

將資產(chǎn)抽象為統(tǒng)一的元數(shù)據(jù)對象，每個治理對象有通用的屬性和自定義屬性，圍繞元數(shù)據(jù)進行治理數(shù)據(jù)建模。每個對象的屬性，均可以通過動態(tài)參數(shù)如{jobid} 的形式被獲取，形成全局變量。

• 抽象操作和處理方案

充分利用現(xiàn)有功能和接口，通過配置 url、接口入?yún)⒌?，快速達到治理動作復(fù)用和上線，極大提升功能落地效率。

• 統(tǒng)一治理問題的生成和處理流程

通過開發(fā)數(shù)據(jù)策略、配置治理對象、配置操作流程、動態(tài)參數(shù)及使用文案，可快速生成一個待辦問題生成器；通過調(diào)度，每天自動掃描文檔，生成待辦明細，推送用戶治理。

6、效果及收益

目前通過治理工具，B 站已上線了 62 個策略，每個策略平均開發(fā)和上線時間 2-3 小時。累計生成治理問題 8w+，累計處理治理問題 2w+，累計治理金額超 500w，累計節(jié)約人效 100+ 人日。

四、核心工作及未來規(guī)劃

通過流程化管理，將線下 SOP 操作線上化，針對目前原子操作的產(chǎn)品弊端，解決數(shù)據(jù)治理流程長、執(zhí)行進度不可觀測的用戶問題。同時能夠支持平臺諸多自動化治理、推送流程的落地，提升開發(fā)效率。