一、國際化出行的業(yè)務場景

首先分享一下滴滴國際化出行業(yè)務的背景。

1. 國際化出行的業(yè)務背景

國際化出行業(yè)務具有一些鮮明的特點，首先，其范圍覆蓋全球五大洲，包括亞洲、歐洲、美洲，大洋洲和非洲，橫跨全球 15 個時區(qū)。同時，受到各國國情的差異化、網(wǎng)約車競爭對手以及不同國家發(fā)展階段的影響，網(wǎng)約車業(yè)務變化非常迅速。業(yè)務側也適配了一些新的產(chǎn)品品類，來支持國際化市場的差異。

技術側采用中臺模式，建立了全球一套系統(tǒng)和一套數(shù)據(jù)源，同時公司運營遍布全球，各地均需要按當?shù)貢r間看到數(shù)據(jù)，這是全球業(yè)務跟國內(nèi)業(yè)務最大的差異點。因此，指標數(shù)據(jù)生產(chǎn)需根據(jù)不同的時區(qū)產(chǎn)出以便消費。

2. 國際化指標使用場景

數(shù)據(jù)側主要是通過指標來刻畫業(yè)務場景進行反向賦能。我們產(chǎn)出的指標大致可以分為三大類：

• 決策指標：

主要是公司層面和業(yè)務層面的戰(zhàn)略核心目標。主要用于指導戰(zhàn)略層對業(yè)務做出決策。

• 過程指標：

主要是對戰(zhàn)略指標的一系列拆解，幫助運營對業(yè)務監(jiān)控，實現(xiàn)策略的快速調(diào)整，最終達成戰(zhàn)略指標的目標實現(xiàn)。

• 觀測指標：

主要是幫助分析師和業(yè)務人員進行業(yè)務洞見和發(fā)掘。精準判斷整個業(yè)務走勢拐點，從而支撐整體業(yè)務的后續(xù)發(fā)展方向。

還有特征標簽，為業(yè)務提供人群圈選能力，并為算法提供基礎數(shù)據(jù)支持。幫助運營制定快速投放策略，最終達成精細化運營目標。

二、國際化業(yè)務場景指標建設痛點

• 定義難

作為數(shù)據(jù)主要消費方的運營在海外，他們各自所處國家間的市場差異巨大，所需求的數(shù)據(jù)分析指標也千差萬別。各自對數(shù)據(jù)指標的理解也不一致，計算口徑非常多。因此，為數(shù)倉的指標生成帶來了較高的成本。

• 技術難

國家化場景需要數(shù)據(jù)指標按照各國當?shù)貢r間產(chǎn)出，這凸顯了數(shù)據(jù)時區(qū)性要求，無形中也加大了數(shù)據(jù)產(chǎn)出的成本。

• 管理難

很多公司都有相對成熟的指標管理方法，但實際落地卻很難，究其原因是由于指標管理與模型建設相對割裂。大部分指標管理模型建設時期，容易出現(xiàn)時間周期或人員輪換影響指標的變化，又與模型迭代缺少聯(lián)動，最終難以保證指標口徑的一致性。另外，指標生產(chǎn)需求往往單點對接，單方驗收，極容易出現(xiàn)不同數(shù)據(jù)指標重復建設，也容易造成指標口徑的不一致。

• 評估難

主要體現(xiàn)在指標變更時，很難評估對下游數(shù)據(jù)使用的影響程度，導致指標口徑一旦發(fā)生變更，下游很難完全感知。

• 保障難

在跨國家多時區(qū)的業(yè)務背景下，對數(shù)據(jù)產(chǎn)出質(zhì)量和產(chǎn)出積極性的保障成本異常高。

三、國際化業(yè)務場景的指標建設方案

指標建設解決方案重點從建立組織、建立流程、模型設計、指標工具和指標治理等 5 個維度闡述，基于當下的國際化業(yè)務場景實際，需要體系化地建立數(shù)據(jù)指標體系，從而有效解決以上痛點問題。

第一點建立組織，是要保障整個指標生產(chǎn)全鏈路的權責一致性，每個環(huán)節(jié)各司其職。第二點建立流程，目的是保證該組織上人員能快速出現(xiàn)，提升整體生產(chǎn)效率。第三點模型設計，重點解決模型建模方法論和多時區(qū)痛點，提升建模速度，支撐指標建設效率。第四點指標管理工具，是通過整體性串聯(lián)，搭建整個現(xiàn)代化指標體系，建立指標生產(chǎn)的標準化平臺。第五點指標治理，目的在于保證生產(chǎn)穩(wěn)定性和產(chǎn)出成本。

1. 指標建設方案——建設組織

指標生產(chǎn)組織的主要成員包括數(shù)據(jù)分析師、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)開發(fā)和數(shù)據(jù)平臺工程師。

數(shù)據(jù)分析師，主要通過業(yè)務理解定義全球的業(yè)務指標體系，確保同一個指標在全球的唯一性，同時通過指標去洞察業(yè)務表現(xiàn)，幫助業(yè)務進行相關的數(shù)據(jù)分析。

數(shù)據(jù)產(chǎn)品，著重對現(xiàn)有指標進行統(tǒng)一管理，并通過指標分析體系，最終根據(jù)業(yè)務場景形成符合需求的數(shù)據(jù)產(chǎn)品。

數(shù)據(jù)開發(fā)工程師，側重做數(shù)據(jù)模型設計和指標開發(fā)，并對指標生產(chǎn)成本、數(shù)據(jù)安全，進行統(tǒng)一治理和集中管控，如此保證數(shù)據(jù)質(zhì)量的標準化落地。

數(shù)據(jù)平臺工程師，旨在建立標準化的一站式數(shù)據(jù)開發(fā)和指標管理平臺，提供實時、離線多業(yè)務場景的數(shù)據(jù)產(chǎn)出能力。

2. 指標建設方案——建設流程

如何將以上各生產(chǎn)環(huán)節(jié)有效串聯(lián)，需要一整套規(guī)范化的建設流程，主要包含指標轉化階段、指標開發(fā)階段和指標交付驗收階段。

（1）指標轉化階段

數(shù)據(jù)需求方主要來自于業(yè)務產(chǎn)品、運營、分析師和算法，他們都會有大量的指標訴求，通過指標來監(jiān)控實際的業(yè)務行為表現(xiàn)。

需求轉入后，首先是數(shù)據(jù)分析師對訴求的指標口徑進行定義，判斷這個指標口徑是否符合已經(jīng)建立的業(yè)務數(shù)據(jù)刻畫標準。隨之數(shù)據(jù)產(chǎn)品會借助指標管理平臺進行統(tǒng)一管理，判斷是否為已有指標還是新增指標，如是新增則需迭代指標管理版本。同時，指標管理工具會自動生成一個 PRD 方案交付開發(fā)，經(jīng)評估后會產(chǎn)出整個指標交付排期。

（2）指標開發(fā)階段

指標開發(fā)階段著重指標數(shù)據(jù)產(chǎn)出，并進行整體監(jiān)控配置，包括及時性、準確性。

（3）指標交付驗收階段

驗收分為分時驗收和指標產(chǎn)品驗收兩部分。前者是確認這個指標是否符合當前的業(yè)務場景特點，是否與業(yè)務階段吻合。后者，是保障產(chǎn)出的指標是否滿足看板訴求，由此形成整體的生產(chǎn)交付流程。

3. 指標建設方案——數(shù)據(jù)架構頂層設計

接下來介紹最核心的部分，數(shù)據(jù)指標模型的設計思路。它涉及模型頂層的架構設計，結合指標管理的方法論確保全局指標唯一性，同時兼顧指標管理拆解路徑，提升整體指標生產(chǎn)效率。

首先，需要區(qū)分業(yè)務板塊，劃清單個指標歸屬哪個業(yè)務線，這是整體概念的分割。具體板塊就是所屬數(shù)據(jù)域，例如出行項目，會按照出行的業(yè)務過程拆分多個域，有交易、財務、司機、乘客等，目的是為了確保單個指標在業(yè)務過程中的唯一歸屬。

其次，運用逐層拆解法，拆解出原子指標，派生指標。原子指標是根據(jù)具體業(yè)務過程，加上度量，生成原子指標，并在此基礎上加上修飾詞和時間周期形成基礎指標。

再者，是計算指標。通過對基礎指標進行計算生成計算指標。其中的核心概念點是指標歸屬劃分，它決定了指標是否重復建設問題。例如，某一指標同時在司機域和交易域生產(chǎn)，可能會導致指標名稱一樣而口徑不同。為避免這種情況，可利用一套生產(chǎn)原則，即業(yè)務原子指標，進行業(yè)務過程的數(shù)據(jù)域劃分歸屬。對于基礎指標，根據(jù)所分析的對象進行歸屬，對于計算指標，根據(jù)所在的數(shù)據(jù)運行劃分歸屬。實行這一套原則有利于指標在數(shù)倉建設中保持唯一性產(chǎn)出，不會出現(xiàn)重復性問題。

4. 指標建設方案——模型架構

指標模型的構建框架共分為 5 層。

第一層貼源層，主要是一些業(yè)務數(shù)據(jù)、后端日志和埋點數(shù)據(jù)。

第二層事實明細層，細分為數(shù)據(jù)清洗、業(yè)務過程還原、原子指標封裝、修飾詞封裝和度量標準化，重在保證生產(chǎn)的穩(wěn)定性。

第三層核心指標加工層。針對最細顆粒度的分析實體，做指標的快速拼裝，靈活擴展成大量的基礎指標。

第四層主題分析層，旨在針對整體中間層的聚合，可以跨多個數(shù)據(jù)域形成系統(tǒng)性指標集。實現(xiàn)指標的多維度聚合，快速服務整體業(yè)務，建立多種業(yè)務場景的數(shù)據(jù)指標支撐。

第五層應用層，包含數(shù)據(jù)產(chǎn)品、數(shù)據(jù)看板和 API 接口、特征平臺等等。

下面通過一個實例來說明指標生產(chǎn)的底層組件化能力。

例如基于事實明細層，現(xiàn)有訂單事實表和司機審核事實表 2 個模型，主要以訂單為主鍵記錄了業(yè)務過程?；A原子指標會封裝成當日是否完單、是否改派標識、計費距離和維度指標業(yè)務線。在司機審核事實表模型中記錄分析對象司機 ID 以及原子指標是否當日審核通過。在中間層會進行指標的快速拼接，增添修飾詞，封裝成基礎指標，如當日改派的完成訂單數(shù)（交易域），當日完成訂單審核通過的司機數(shù)（司機域）。由此加強了底層模型的復用性，達到指標層的多維聚合能力。

5. 指標建設方案——時區(qū)解決方案

下面著重介紹國際化多時區(qū)場景下，基于一套數(shù)據(jù)源支持所有國家的運營，并按照當?shù)貢r間生產(chǎn)數(shù)據(jù)的解決方案，共分為三部分：模型分層，生產(chǎn)鏈路和模型設計。

（1）模型分層

模型分為應用層、主題分析層、指標加工層、事實明細層、貼原層和小時轉天層。其中小時轉天可以理解為由于數(shù)據(jù)源來自北京時間生產(chǎn)，計劃安排每個小時采集一次數(shù)據(jù)，通過國家組和時轉天工具將每個小時采集的數(shù)據(jù)轉化成適配 local 當?shù)貢r區(qū)的數(shù)據(jù)，這是最核心的部分。

（2）數(shù)據(jù)生產(chǎn)鏈路

核心是基于一個 SDK 時區(qū)服務，記錄對應國家所在時區(qū)的北京時間拼表。同時 SDK時區(qū)服務，會生成對應國家時間的轉換函數(shù)，主要記錄當?shù)貢r間和北京時間的轉換?；谶@個時間函數(shù)實現(xiàn)了國家組和小時轉天的工具化，國家組是針對全球每隔經(jīng)度15° 劃分成的 24 個時區(qū)，將臨近的 2 個時區(qū)編至同一國家組。例如有 4 個國家組，一個調(diào)度任務會按照國家組同時生成多個批次，全球使用一份腳本適配全球所有的批次，并根據(jù)時間函數(shù)判斷當?shù)貢r區(qū)，決策當?shù)貒覍獣r區(qū)幾點開始調(diào)度和執(zhí)行。

小時轉天的處理原理是基于 ODS 數(shù)據(jù)源層每小時采集的數(shù)據(jù)，根據(jù)當?shù)貢r間轉換為天，由此判斷出從幾點到幾點代表當?shù)貒彝暾囊惶?4 小時。

通過以上工具轉化合成當?shù)氐男聲r間分區(qū)，最終形成一套針對于不同國家不同時區(qū)的生產(chǎn)鏈路能力。

（3）模型設計

ODS 數(shù)據(jù)源層按北京時間每小時采集，中間層部分所有表，全部按照local 當?shù)靥觳杉?，進入雙分區(qū)體現(xiàn)為 country code 顯示對應分區(qū)是哪些國家，同時還會標記 2 個字段來標注各個國家的時間轉換。最終達成利用一套數(shù)據(jù)任務，可靈活支持全球多個時區(qū)的國家垂直數(shù)據(jù)產(chǎn)出。

6. 指標建設方案——指標管理工具

我們擁有整套指標管理工具，代表了指標體系建設的標準化能力。

左邊是指標需求的具體流程，包含指標需求、指標梳理、指標錄入、指標開發(fā)和指標上線。中間是指標加工生產(chǎn)的工序工具，主要解決兩點，一是實現(xiàn)指標管理現(xiàn)代化和標準化，二是打通指標生產(chǎn)全年度的血緣關系。

（1）指標管理具體落實點

首先需確定指標所對應的業(yè)務板塊，歸屬于哪個業(yè)務過程，哪個數(shù)據(jù)域。對應到模型中即為事實層，再加入一些修飾詞和維度屬性，即對應模型中的維度表，從而實現(xiàn)具體指標對應捆綁關系。通過錄入指標系統(tǒng)生成唯一指標 ID，再通過原子指標和修飾詞，進而組成一個基礎指標唯一 ID。這樣就能保證指標生產(chǎn)的整個力度完全打通。

（2）指標方法論跟模型設計的血緣串聯(lián)

保證指標用戶能快速找到指標源數(shù)據(jù)和口徑管理，以及指標對應的表和具體字段。

最后，整個指標管理工具再結合其他產(chǎn)品工具，例如數(shù)據(jù)開發(fā)工具、看板工具和數(shù)據(jù)建模工具等等，將指標生產(chǎn)全流程搬至線上，形成標準化指標生產(chǎn)體系。

7. 指標建設方案——指標治理

數(shù)據(jù)治理主要包含三大塊，準確性、及時性和歷史的完整性。

鑒于指標體系龐大的量級，如果所有的標準適配所有等級的指標，其保障成本高、人效也低，因此需要實施分等級的保障工作。

（1）對于 T1 級核心決策指標，主要支持公司戰(zhàn)略層，對于準確性進行強管控，包含指標掉 0 監(jiān)控、指標波動監(jiān)控和雙鏈路一致性監(jiān)控。

• 第一，準確性。主要有指標掉 0 監(jiān)控，通過強熔斷，電話報警方式進行監(jiān)控。指標的波動監(jiān)控，例如平時的完單量突然超過了 100%，會員翻倍了，那么此時采取人工記錄，判斷是否是指標加工問題還是業(yè)務發(fā)生變化所致。雙鏈路一致性監(jiān)控，為了確保指標生產(chǎn)中間層準確，我們會按照模型分層加工核心指標，同時會在數(shù)據(jù)源 ODS 層另一條鏈路加工相同指標，由此確保兩個指標雙鏈路生產(chǎn)是完全一致對應的。
• 第二，及時性。提供了基線保障（SLA）、資源傾斜、運行時長監(jiān)控。主要通過鏈路監(jiān)控，電話報警的方式進行。
• 第三，歷史完整性。側重于指標生命周期永久性角度監(jiān)測。

（2）對于 T2 級過程指標，最核心的是基線 SLA 保障，側重于過程監(jiān)控。

• 第一，準確性。主要實行指標掉 0 監(jiān)控、指標波動監(jiān)控，通過弱監(jiān)控，電話報警方式進行。
• 第二，及時性。實行基線保障（SLA），運行時長監(jiān)控，主要通過鏈路監(jiān)控，電話報警方式進行。
• 第三，歷史完整性。側重業(yè)務需要監(jiān)測業(yè)務同去年同比狀態(tài)，保留了 1800 天。

（3）對于 T3 級觀測指標，主要幫助分析師做業(yè)務上的數(shù)據(jù)挖掘，對指標及時性要求較低，屬于長周期的挖掘事項。

• 第一，準確性。主要是指標掉 0 監(jiān)控，主要通過弱監(jiān)控，短信報警方式進行。
• 第二，及時性。主要是運行時長監(jiān)控，主要通過定時監(jiān)控，短信報警方式進行。
• 第三，歷史完整性。主要在指標使用熱度方面進行監(jiān)控。

（4）對于標簽部分，側重于運營層面運用標簽實現(xiàn)快速投放提升整體運營投放質(zhì)量。

• 第一，準確性。主要是指標掉 0 監(jiān)控，降級方案監(jiān)控。主要通過弱監(jiān)控，電話報警方式進行。
• 第二，及時性。主要是進行運行時長監(jiān)控，定時監(jiān)控方式。主要通過定時監(jiān)控，電話報警方式進行。
• 第三，歷史完整性。主要側重于對標簽使用熱度進行監(jiān)控。