企業(yè)級數(shù)據(jù)中臺的終局剖析
一、數(shù)字化時(shí)代企業(yè)級數(shù)據(jù)中臺的終局
從2019年第一篇數(shù)據(jù)中臺10萬+文章()以來，數(shù)據(jù)中臺從默默無聞到陡然崛起，現(xiàn)在進(jìn)入到平穩(wěn)落地的階段，不少企業(yè)都把數(shù)據(jù)中臺當(dāng)做了企業(yè)的數(shù)字化標(biāo)準(zhǔn)配備。
但是，現(xiàn)在市場上還是有很多的企業(yè)同學(xué)在問，數(shù)據(jù)中臺和數(shù)據(jù)倉庫，大數(shù)據(jù)平臺等概念的區(qū)別。經(jīng)過過去一年的沉淀和實(shí)踐，我個(gè)人把對于企業(yè)級數(shù)據(jù)中臺的本質(zhì)進(jìn)行了深度剖析，整合了多個(gè)行業(yè)，企業(yè)，廠商的數(shù)據(jù)中臺產(chǎn)品的多種理解和解讀，形成此文，供大家參考。
企業(yè)數(shù)字化轉(zhuǎn)型的終局
首先，數(shù)據(jù)中臺是服務(wù)于企業(yè)數(shù)字化轉(zhuǎn)型的，所以，我們要從企業(yè)數(shù)字化的終局來看數(shù)據(jù)中臺的終局。
企業(yè)數(shù)字化轉(zhuǎn)型的終局是傳統(tǒng)業(yè)務(wù)變成數(shù)字化業(yè)務(wù)，數(shù)字化業(yè)務(wù)的本質(zhì)就是以數(shù)據(jù)作為新生產(chǎn)要素進(jìn)行加工處理，構(gòu)建以數(shù)據(jù)作為主要存在形式的產(chǎn)品，產(chǎn)生商業(yè)價(jià)值的業(yè)務(wù)模式。
數(shù)字化業(yè)務(wù)的典型代表是：天貓、淘寶、抖音、滴滴這樣的互聯(lián)網(wǎng)企業(yè)。
- 天貓，淘寶本身是一個(gè)數(shù)字化平臺，天貓，淘寶本身不生產(chǎn)一件商品，它構(gòu)建了一個(gè)數(shù)字化平臺，把商家上傳的數(shù)字化商品以數(shù)據(jù)的形式(天貓店鋪，SKU)提供給消費(fèi)者，讓消費(fèi)者在線上用數(shù)字化的形式下單，然后拉通線下，獲得物理世界的實(shí)體商品，從而從中獲取平臺收益。
- 抖音，連實(shí)體產(chǎn)品都沒有，用戶上傳的是原生數(shù)據(jù)產(chǎn)品(視頻)，然后通過信息流，通過推薦算法，推薦給平臺用戶，形成商業(yè)收益。
- 滴滴，某種意義上和天貓，淘寶是類似的，將物理世界的運(yùn)力，運(yùn)單，地圖以數(shù)據(jù)形式變成平臺產(chǎn)品，提供給消費(fèi)者和司機(jī)，進(jìn)行撮合交易，精準(zhǔn)匹配，從而賺取價(jià)差和增值服務(wù)，形成商業(yè)收益。
數(shù)字化業(yè)務(wù)和傳統(tǒng)的實(shí)體業(yè)務(wù)比較起來，是具有升維的絕對優(yōu)勢的。體現(xiàn)在以下幾個(gè)方面：
- 分發(fā)復(fù)制速度快，數(shù)字化業(yè)務(wù)的分發(fā)復(fù)制速度快，一個(gè)抖音的短視頻可以在一秒鐘內(nèi)觸達(dá)幾十億用戶;
- 柔性敏捷高響應(yīng)，當(dāng)業(yè)務(wù)數(shù)字化后，面對市場的變化有高速的響應(yīng)能力，業(yè)務(wù)本身會變得非常柔性和敏捷，從而能夠做類似于A/B Testing這樣的數(shù)字化測試。
- 實(shí)時(shí)數(shù)據(jù)洞察準(zhǔn)，業(yè)務(wù)數(shù)字化的特點(diǎn)是所有的業(yè)務(wù)流程，業(yè)務(wù)動作，交易，都數(shù)據(jù)化了，業(yè)務(wù)都實(shí)時(shí)變成了數(shù)據(jù)，而通過數(shù)字化技術(shù)，這些數(shù)據(jù)可以被實(shí)時(shí)處理，形成業(yè)務(wù)的數(shù)字化呈現(xiàn)形式，全鏈路，全口徑的呈現(xiàn)出來，所有的業(yè)務(wù)都能夠被可視化，從而能夠更好地被準(zhǔn)確洞察。
- 海量數(shù)據(jù)精預(yù)測，有了全量的數(shù)據(jù)，包括交易，用戶，行為數(shù)據(jù)等，就能夠形成對未來的趨勢的預(yù)測，從而能夠根據(jù)歷史數(shù)據(jù)，用戶畫像做精準(zhǔn)匹配和推薦，這樣能夠產(chǎn)生更多的業(yè)務(wù)創(chuàng)新和主動性。
數(shù)字化企業(yè)的終局對企業(yè)數(shù)據(jù)處理能力提出了新的要求，未來的數(shù)字化企業(yè)就是一個(gè)把數(shù)據(jù)當(dāng)做生產(chǎn)要素的制造企業(yè)，所以，數(shù)字化企業(yè)的就是一個(gè)數(shù)據(jù)產(chǎn)品和服務(wù)的加工工廠，如下圖所示：
每個(gè)企業(yè)都是獲取數(shù)據(jù)，采集數(shù)據(jù)，然后將數(shù)據(jù)放入數(shù)據(jù)加工的廠房，生產(chǎn)出不同的數(shù)據(jù)產(chǎn)品，每個(gè)企業(yè)都會有基于數(shù)據(jù)去做創(chuàng)新的實(shí)驗(yàn)室，去研發(fā)新的數(shù)據(jù)產(chǎn)品，比如字節(jié)跳動的今日頭條，孵化出抖音，然后沉淀更多的數(shù)據(jù)生產(chǎn)要素，并且通過對用戶數(shù)據(jù)的洞察，在創(chuàng)新實(shí)驗(yàn)室發(fā)現(xiàn)更多的數(shù)據(jù)產(chǎn)品需求，生產(chǎn)出更多的數(shù)據(jù)產(chǎn)品，這樣就形成了源源不斷的閉環(huán)數(shù)據(jù)價(jià)值生態(tài)。
制造業(yè)最重要的是生產(chǎn)力也就是生產(chǎn)設(shè)備，產(chǎn)線，管理方法，這些對應(yīng)到就是數(shù)字化企業(yè)的數(shù)據(jù)加工廠。未來數(shù)字化企業(yè)的所有員工，不論線上線下業(yè)務(wù)的人，都是在圍繞數(shù)據(jù)做工作，線下的業(yè)務(wù)人員，在進(jìn)行作業(yè)的同時(shí)，是為了把物理業(yè)務(wù)數(shù)據(jù)化，產(chǎn)生數(shù)據(jù)。線上的分析人員，是將數(shù)據(jù)做加工，變成有業(yè)務(wù)價(jià)值的數(shù)據(jù)產(chǎn)品;運(yùn)營人員，是將數(shù)據(jù)產(chǎn)品通過數(shù)字化渠道匹配給對應(yīng)的用戶，并且提升用戶的使用滿意度。整個(gè)企業(yè)從數(shù)據(jù)的維度來看就是一個(gè)數(shù)據(jù)加工廠。
所以，這個(gè)加工廠的效率，性能，柔性，運(yùn)維，監(jiān)控，管理的高效性，協(xié)同的效率就非常重要，而這就是數(shù)字化企業(yè)的數(shù)據(jù)中臺的愿景目標(biāo)。
當(dāng)我們把企業(yè)看作是一個(gè)數(shù)據(jù)加工廠的時(shí)候，我們就可以重新定位企業(yè)級數(shù)據(jù)中臺是什么了。
企業(yè)級數(shù)據(jù)中臺是數(shù)字化企業(yè)用來加工數(shù)據(jù)的全鏈路平臺，它的輸入是數(shù)據(jù)，輸出是各種數(shù)據(jù)產(chǎn)品和數(shù)據(jù)服務(wù)。如果將企業(yè)級數(shù)據(jù)中臺進(jìn)行拆解的話，我們可以看到它的六大核心能力。
二、企業(yè)級數(shù)據(jù)中臺的六大核心能力
數(shù)據(jù)中臺六大能力模型
利用領(lǐng)域建模的思想，企業(yè)級數(shù)據(jù)中臺的核心能力可以分成兩類，一類是核心的業(yè)務(wù)域，
就是直接存儲，加工，生產(chǎn)數(shù)據(jù)和數(shù)據(jù)產(chǎn)品的能力，就像工廠生產(chǎn)線里的主要加工設(shè)備。第二類是輔助于生產(chǎn)的管理域，是為了讓生產(chǎn)的過程更加高效，安全，穩(wěn)定的能力，就像工廠里的傳送帶，實(shí)驗(yàn)室，檢測中心和監(jiān)控運(yùn)維中心。
這樣一來我們就清晰的看到了數(shù)據(jù)中臺所需要的六大核心能力：
業(yè)務(wù)能力(Business)：
(1) B1數(shù)據(jù)的獲取存儲和處理
從源系統(tǒng)中獲取到數(shù)據(jù)，并且將數(shù)據(jù)存儲起來，對它進(jìn)行適當(dāng)形式的處理，這是數(shù)據(jù)加工的第一步。例如，大數(shù)據(jù)平臺，通過爬蟲、ETL、接口等方式，從多樣化的業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)，將數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換，建模存儲到各種不同類型的數(shù)據(jù)庫中，如結(jié)構(gòu)性，非結(jié)構(gòu)性，圖數(shù)據(jù)庫等，這也是我們常講的“業(yè)務(wù)數(shù)據(jù)化”的最后一公里。
(2) B2 數(shù)據(jù)價(jià)值的探索和挖掘
當(dāng)數(shù)據(jù)已經(jīng)獲取并存儲起來后，人們需要對它進(jìn)行分析探索和挖掘，從而識別出有價(jià)值的業(yè)務(wù)場景數(shù)據(jù)，從而將數(shù)據(jù)業(yè)務(wù)化，反作用于業(yè)務(wù)本身。目前這個(gè)能力主要是靠人的經(jīng)驗(yàn)在線下完成，線上只是補(bǔ)充。比如，現(xiàn)在的報(bào)表，就是數(shù)據(jù)價(jià)值的一種呈現(xiàn)形式，領(lǐng)導(dǎo)層希望看到業(yè)務(wù)的情況，于是通過數(shù)據(jù)可視化報(bào)表的形式來
(3) B3數(shù)據(jù)產(chǎn)品和服務(wù)的構(gòu)建和發(fā)布
發(fā)現(xiàn)數(shù)據(jù)能夠產(chǎn)生價(jià)值的場景后，就需要把這個(gè)場景開發(fā)成數(shù)據(jù)產(chǎn)品和服務(wù)，提供給用戶使用。這是數(shù)據(jù)加工廠的最后一公里的環(huán)節(jié)，也是面向用戶價(jià)值呈現(xiàn)的環(huán)節(jié)。這個(gè)環(huán)節(jié)主要的工作是在發(fā)現(xiàn)的數(shù)據(jù)價(jià)值場景基礎(chǔ)上用合適的形式(API，報(bào)表，APP，數(shù)據(jù)包)為客戶提供數(shù)據(jù)產(chǎn)品和服務(wù)。
管理能力(Management)：
除了核心域的數(shù)據(jù)生產(chǎn)，價(jià)值探索和產(chǎn)品開發(fā)能力外，為了更好地協(xié)作，提升數(shù)據(jù)產(chǎn)品的生產(chǎn)效率，還需要有很多管理性的配套工作，這就是數(shù)據(jù)中臺的管理能力部分，主要分為三類
(1) M1 共享和協(xié)作
企業(yè)級數(shù)據(jù)中臺，要具備一站式，全鏈路的數(shù)據(jù)開發(fā)能力，讓所有的數(shù)據(jù)相關(guān)的工作者都能夠在這個(gè)平臺上工作，這里就需要兩個(gè)主要的子能力。
數(shù)據(jù)共享：就像Netflix的數(shù)據(jù)中臺有一個(gè)數(shù)據(jù)門戶一樣，企業(yè)的數(shù)據(jù)要通過一個(gè)統(tǒng)一的入口根據(jù)不同的權(quán)限進(jìn)行共享，開放給對應(yīng)的用戶，讓他們能夠方便的訪問數(shù)據(jù)。
數(shù)據(jù)協(xié)作：數(shù)據(jù)的生產(chǎn)鏈路是需要多人協(xié)作的，比如，源系統(tǒng)提供數(shù)據(jù)，數(shù)據(jù)工程師進(jìn)行數(shù)據(jù)的抽取和采集，數(shù)據(jù)分析師對數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)可視化工程師完成數(shù)據(jù)的可視化設(shè)計(jì)等。傳統(tǒng)這些工作都是通過文件傳來傳去，而企業(yè)級數(shù)據(jù)中臺則需要一個(gè)全鏈路協(xié)同的工作環(huán)境，讓所有的角色都在這個(gè)平臺上對同樣的數(shù)據(jù)集進(jìn)行操作。
(2) M2 管理和治理
要把數(shù)據(jù)當(dāng)做資產(chǎn)來管理和治理，這里的管理主要指的是以數(shù)據(jù)資產(chǎn)目錄為核心的相關(guān)能力，比如數(shù)據(jù)資產(chǎn)的規(guī)劃，數(shù)據(jù)資產(chǎn)的分類，數(shù)據(jù)資產(chǎn)的獲取，數(shù)據(jù)資產(chǎn)目錄的維護(hù)，還包括數(shù)據(jù)權(quán)限分級的能力，從而保證數(shù)據(jù)在一套標(biāo)準(zhǔn)化的管理體系下進(jìn)行應(yīng)用，而避免出現(xiàn)管理缺位，數(shù)據(jù)安全，數(shù)據(jù)分散的問題，數(shù)據(jù)的管理要從源頭就開始，也就是數(shù)據(jù)中臺要對企業(yè)級的數(shù)據(jù)進(jìn)行統(tǒng)一的管理，而不僅是數(shù)據(jù)相關(guān)的系統(tǒng)，還要包括源數(shù)據(jù)。
數(shù)據(jù)治理就是一個(gè)老生常談的話題了，是以數(shù)據(jù)標(biāo)準(zhǔn)為核心，對企業(yè)的數(shù)據(jù)質(zhì)量進(jìn)行管理，數(shù)據(jù)中臺要有元數(shù)據(jù)、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量、數(shù)據(jù)版本等全方位的功能，并且企業(yè)級數(shù)據(jù)中臺的數(shù)據(jù)治理模塊不能是一個(gè)獨(dú)立運(yùn)行的模塊，它應(yīng)該嵌入到整個(gè)數(shù)據(jù)生產(chǎn)鏈路的每一個(gè)環(huán)節(jié)，從而在數(shù)據(jù)的全鏈路中發(fā)揮作用。
(3) M3 運(yùn)營和運(yùn)維
要把數(shù)據(jù)當(dāng)做一個(gè)核心生產(chǎn)要素來進(jìn)行運(yùn)營，所以，數(shù)據(jù)中臺也是需要運(yùn)營的，這里的運(yùn)營就包括對數(shù)據(jù)中臺的用戶行為數(shù)據(jù)進(jìn)行分析，從而發(fā)現(xiàn)哪些數(shù)據(jù)集是高價(jià)值的，哪些是被調(diào)用比較少的，要把數(shù)據(jù)產(chǎn)品和服務(wù)當(dāng)做一個(gè)互聯(lián)網(wǎng)產(chǎn)品一樣來進(jìn)行用戶運(yùn)營，只有這樣，才能夠讓數(shù)據(jù)中臺被更多的用戶所接受，不斷地迭代新的功能，才能夠有更強(qiáng)的生命力。
未來數(shù)字化企業(yè)中，數(shù)據(jù)中臺是一個(gè)企業(yè)級生產(chǎn)系統(tǒng)，就像淘寶，天貓一樣，是不可能接受宕機(jī)的，所以數(shù)據(jù)中臺的運(yùn)維就顯得至關(guān)重要，SLA要得到必須的保證，這樣的話，就需要一套自動化的運(yùn)維體系。
當(dāng)我們把這兩大類，六個(gè)數(shù)據(jù)中臺的核心能力進(jìn)行組合后，我們就會得到下圖的十二個(gè)能力子域：
每一個(gè)企業(yè)根據(jù)自己的情況，這十二個(gè)能力子域的建設(shè)優(yōu)先級，功能都會有差異。一般來說，從業(yè)務(wù)價(jià)值的產(chǎn)生速度來講，一定是先完成數(shù)據(jù)產(chǎn)品的構(gòu)建和應(yīng)用是最高優(yōu)先級的，畢竟這是最快能帶來價(jià)值的，而管理域的功能則是大型數(shù)字化企業(yè)必須具備的能力。
數(shù)據(jù)倉庫、數(shù)據(jù)湖和大數(shù)據(jù)平臺與數(shù)據(jù)倉庫的區(qū)別
當(dāng)我們把這六個(gè)能力分析清楚后，就能夠更加清晰的看出數(shù)據(jù)倉庫，大數(shù)據(jù)平臺，數(shù)據(jù)湖和數(shù)據(jù)中臺的區(qū)別：
如下圖所示：
大數(shù)據(jù)平臺，是偏數(shù)據(jù)存儲和加工的系統(tǒng)，帶有部分?jǐn)?shù)據(jù)探索的能力，生產(chǎn)的數(shù)據(jù)產(chǎn)品以數(shù)據(jù)集為主，不全面。
數(shù)據(jù)倉庫則比較均衡，包括結(jié)構(gòu)化數(shù)據(jù)的存儲加工，可以用自分析報(bào)表(Query)的方式實(shí)現(xiàn)數(shù)據(jù)的探索和挖掘，最終數(shù)據(jù)產(chǎn)品以報(bào)表和數(shù)據(jù)可視化為主。
數(shù)據(jù)湖則偏重于數(shù)據(jù)存儲和提供，有一部分的數(shù)據(jù)管理，共享和運(yùn)維的能力。
數(shù)據(jù)中臺是需要這六大能力都全面具備的。
數(shù)據(jù)中臺一定不僅是一個(gè)單體的軟件能夠形成的，它是一個(gè)體系化的企業(yè)級數(shù)據(jù)加工廠，所以數(shù)據(jù)中臺的建設(shè)也是需要頂層規(guī)劃，分步建設(shè)的。
【本文為51CTO專欄作者“凱哥”的原創(chuàng)稿件，轉(zhuǎn)載請通過作者微信公眾號shikai590獲取授權(quán)】
