1 導讀

本次分享偏向于面向數(shù)倉建設、業(yè)務交付等過程中遇到的效率、質量、成本、研發(fā)等相關問題的系統(tǒng)性評估和治理，著重于設計思路和實踐成果的展示，不涉及太多的技術細節(jié)。讀者朋友可以根據(jù)自身業(yè)務場景和實際面臨的問題，選擇性參考并應用到實際工作中。

2 背景介紹

2.1 為什么搭建數(shù)倉評估體系

數(shù)倉評估體系起源于23年底，作為轉轉數(shù)據(jù)治理的評價層，是非常重要的一環(huán)。過去很長一段時間里，轉轉數(shù)倉團隊服務于快速發(fā)展和變化的業(yè)務，為了能夠高效響應業(yè)務的數(shù)據(jù)需求，一方面存在煙囪式建設的情況，指標管理也較為粗放；另一方面對于線上的表和任務往往是只做加法不做減法，帶來額外的計算和存儲成本。??基于上述現(xiàn)狀，衍生出如下問題：

管理者視角：

• 看不清數(shù)倉整體建設情況
• 看不清成本增長和分布
• 內外部用數(shù)效率和數(shù)據(jù)質量提升難
• 看不清研發(fā)規(guī)范落地效果

數(shù)倉RD視角：

• 名下哪些資產(chǎn)有問題，有什么問題
• 模型完備度如何，哪些業(yè)務過程建設較薄弱
• 模型復用率如何，哪些模型沒人用
• 哪些規(guī)范沒有執(zhí)行好

外部用戶視角：

• 找數(shù)、用數(shù)難，用戶效率低
• 準確性、及時性、一致性等問題頻出
• 報表、郵件、播報權限難管控

為了能夠系統(tǒng)性解決上述問題，我們在24年將數(shù)據(jù)治理規(guī)劃成年度重點項目。我們通過制定標準、夯實基建、搭建指標庫和數(shù)倉地圖等手段來進行事前預防和事中監(jiān)控以及輔助提效，數(shù)倉評估體系作為事后的評價和復盤工具，則是貫穿整體治理過程。

圖片

以上是數(shù)據(jù)治理的整體規(guī)劃及數(shù)倉評估體系所處的位置，我們對數(shù)倉評估體系的定位是：基于客觀事實進行數(shù)倉現(xiàn)狀及問題的量化分析及橫縱向對比，實現(xiàn)基于結果指標和治理項驅動的數(shù)據(jù)治理及效果回收。

2.2 需要解決的技術問題

?數(shù)倉評估指標的設計與落地?“客觀事實”數(shù)據(jù)的獲取與處理?存量的問題怎么治理?增量的問題怎么管控?如何不斷完善和健壯評估體系

3 設計思路

整個評估體系分為結果評估和過程評估兩大模塊。我們通過結果評估中關于效率、質量、成本、模型相關的結果指標，觀測數(shù)倉治理目標達成情況；通過過程評估的治理項驅動數(shù)倉RD進行具體問題的治理。

3.1 整體架構設計

整個數(shù)倉評估體系大致上可以分為三層：

圖片

• 指標層： 以數(shù)據(jù)處理層產(chǎn)出的數(shù)據(jù)模型為基礎、結果指標和過程指標體系為目標進行指標加工，產(chǎn)出相應的指標結果表，支持趨勢分析和橫向的對比分析
• 數(shù)據(jù)處理層： 對數(shù)據(jù)源層獲取到的數(shù)據(jù)為基礎，進行數(shù)據(jù)清洗和建模
• 數(shù)據(jù)源層： 整合數(shù)據(jù)源，包括Hive元數(shù)據(jù)、平臺查詢日志、告警日志、賬單數(shù)據(jù)、治理項規(guī)則、組織架構等

3.2 產(chǎn)品形態(tài)設計

整個評估體系規(guī)劃為結果評估、過程評估兩大模塊，分別對應結果指標和治理項兩套指標體系。結果評估用于觀測當前現(xiàn)狀及趨勢，看的是整體表現(xiàn)；過程評估驅動日常的數(shù)據(jù)治理，直擊各RD的問題資產(chǎn)及具體的問題明細。

圖片

結果評估

用于呈現(xiàn)當前在效率、質量、成本、模型相關的指標現(xiàn)狀，并進行橫縱向的量化分析，支持組織、組件、人等粒度的下鉆分析。數(shù)據(jù)主要來自于分析師和產(chǎn)品運營等數(shù)據(jù)使用方的數(shù)據(jù)查詢日志進行統(tǒng)計分析、對數(shù)據(jù)質量監(jiān)控服務日志的統(tǒng)計分析、以及人工打標線上問題或事故的統(tǒng)計分析。

圖片

過程評估

通過對日常問題、規(guī)范的抽象總結，形成各類治理項。目前包含效率、質量、研發(fā)、成本四大類治理項，匯集成治理工作臺。通過治理項驅動數(shù)倉RD進行數(shù)據(jù)治理。

圖片

3.2 指標體系搭建

數(shù)倉評估體系的指標體系大致上可以兩層。第一層是過程評估關注的每個具體問題對應的治理項；第二層是結果評估關注的結果指標。??

治理項，來自于對日常規(guī)范的抽象，是每一個具體的問題的檢查項，是數(shù)據(jù)治理的最細粒度。我們一期圍繞效率、質量、研發(fā)、成本四方面一共設置了24個治理項。

圖片

結果指標，是各類問題的聚合結果，是某一類問題或者單個核心問題的當前現(xiàn)狀表現(xiàn)。我們對管理者視角、RD視角、用戶視角所存在的問題進行了抽象和歸類成具體的治理項，設置如下指標體系：

• 效率上： 我們會關注效率分，這是一個基于平均運行時長、ODS穿透率、復雜SQL占比加權統(tǒng)計出來的復合指標，用來觀測評估業(yè)務側通過即席查詢使用數(shù)據(jù)時的效率情況。
• 質量上： 我們關注線上問題次數(shù)
• 成本上： 我們關注成本整體的增長率、分組件的成本分布和增長情況，并且關注具體到業(yè)務和個人的成本分布。
• 模型上： 我們關注整體的完備度、復用率、穩(wěn)定性、規(guī)范性等。

4 結果呈現(xiàn)

4.1 結果評估模塊展示

效率評估

實現(xiàn)效率分的橫向和縱向對比，支持分業(yè)務下鉆至具體的個人以及具體的某次查詢。通過內部模型完備、宣導加提效工具的賦能，輔助業(yè)務側的運營、產(chǎn)品、分析師等同事，提升日常查詢數(shù)據(jù)的效率。

圖片

質量評估

實現(xiàn)線上質量問題的趨勢分析。這塊目前以手動填報為主，后續(xù)會引入質量監(jiān)控、任務告警等數(shù)據(jù)，作為質量問題的評估依據(jù)。當前還是側重于業(yè)務感知問題記錄和復盤。

圖片

成本評估

成本這塊，我們重點關注月度增長趨勢是否在可控的范圍內，后續(xù)會通過任務及存儲的系統(tǒng)性治理，驅動成本的下降，今年的重心還是在內部模型相關治理上。

圖片

成本拆解至組件、組織和個人：

圖片

模型評估

??這塊是今年投入時間最多的部分。我們通過完備度、復用率、穩(wěn)定性、規(guī)范性指標，觀測治理的成果。通過目標驅動RD使用治理工作臺進行各類問題下具體治理項的治理。

圖片

4.2 過程評估模塊展示

本模塊呈現(xiàn)各RD當前存在問題的資產(chǎn)明細，通過點擊資產(chǎn)名稱，可跳轉查看具體問題項。也可通過控件篩選查詢當前關注的治理項。

圖片

資產(chǎn)問題治理項明細：

圖片

通過治理報告可觀測當前目標的達成情況，及本周或本月的治理進展。并且通過新增資產(chǎn)監(jiān)控實現(xiàn)增量問題的管控。

圖片

4.3 階段性治理收益

過去一年，我們通過數(shù)倉評估體系驅動的數(shù)據(jù)治理，重點還是在于數(shù)倉內部的治理。偏向于完備度、復用率、穩(wěn)定性和規(guī)范性。磨刀不誤砍柴工，勤修煉內功，為后續(xù)的效率和質量治理奠定基礎。

治理收益如下：

圖片

• 驅動完備度從年初的50.2%提升至93.97%，凈提升43.77%
• 驅動復用率從年初的51.65%提升至88.61%，凈提升36.96%
• 驅動穩(wěn)定性從年初的76.27%提升至94.45%，凈提升18.18%
• 驅動規(guī)范性從年初的76.56%提升至94.61%，凈提升18.05%

給數(shù)倉帶來的核心變化是：

完備度治理驅動24年新上線模型達到上一年2.6倍，增長161%，對應的符合復用標準的模型數(shù)不降反升，說明模型更貼合當前的業(yè)務場景及業(yè)務過程且復用程度更高，另外治理過程整合下線無用模型，一定程度上減少了存儲空間占用。??最終完備度達到95%，則說明內部承接的需求，95%都可以通過模型層滿足，過往只能滿足50%左右。??在規(guī)范性上，之前一直存在的跨層穿透問題、回流引用問題、引用外部門表問題、注釋缺失問題、缺依賴問題等存量問題基本治理完畢并得到了控制，后續(xù)持續(xù)觀測即可。

5 未來規(guī)劃

• 通過定期復盤，持續(xù)迭代和完善治理項，使評估更準確、更全面
• 慢慢由內部的治理，轉向外部效率&質量治理提升
• 挖掘成本存在浪費的業(yè)務或個人，通過治理驅動降本增效
• 逐步推廣至倉外評估和治理

關于作者

邱狄凡，轉轉大數(shù)據(jù)開發(fā)工程師，C2&新媒體數(shù)倉負責人，數(shù)據(jù)治理數(shù)倉主R。