京東EB級(jí)全域大數(shù)據(jù)平臺(tái)的演進(jìn)與治理歷程
大家好,我是來(lái)自京東的包勇軍,今天主要跟大家分享一下京東全域大數(shù)據(jù)平臺(tái)的建設(shè)歷程。在分享前,我想先重申一下數(shù)據(jù)的價(jià)值。
一、數(shù)據(jù)的價(jià)值
眾所周知,數(shù)據(jù)正如石油一樣深刻改變著我們的信息化社會(huì),為整個(gè)行業(yè),更為我們的社會(huì)創(chuàng)造了越來(lái)越大的價(jià)值。

左圖為公開(kāi)資料:Forrester發(fā)布《數(shù)據(jù)中臺(tái)2019年行業(yè)分析報(bào)告發(fā)布》;右圖為公開(kāi)資料整理
上圖有兩個(gè)直觀的展示:
- 左邊是引自Forrester報(bào)告里的一句很直觀的陳述,“通過(guò)數(shù)據(jù)洞察驅(qū)動(dòng)業(yè)務(wù)發(fā)展,我們的領(lǐng)先者,比落后者在競(jìng)爭(zhēng)優(yōu)勢(shì)上能夠維持2.4倍加速度”;
- 右邊很直觀的展示了全球市值前十大公司近30年來(lái)的一個(gè)變化??梢钥吹阶罱陙?lái),在全球市值前十公司中,科技公司已經(jīng)占了絕大多數(shù)。
從數(shù)據(jù)角度來(lái)看,大部分的這類科技公司都是通過(guò)生產(chǎn)、加工、消費(fèi)和重構(gòu)數(shù)據(jù)的循環(huán)來(lái)提升商業(yè)價(jià)值,這是他們的一個(gè)共同本質(zhì)。
國(guó)內(nèi)大數(shù)據(jù)行業(yè)趨勢(shì)

來(lái)源于:公開(kāi)資料整理
從宏觀政策角度來(lái)看,近些年來(lái)我國(guó)的大數(shù)據(jù)相關(guān)政策也相繼出臺(tái)。政府連續(xù)六年把大數(shù)據(jù)寫入政府工作報(bào)告,市場(chǎng)預(yù)測(cè)在2023年大數(shù)據(jù)直接相關(guān)產(chǎn)業(yè)將達(dá)到1.57萬(wàn)億的規(guī)模,而間接關(guān)聯(lián)行業(yè)也已經(jīng)深入到各行各業(yè)的日常生活消費(fèi)當(dāng)中??梢钥闯觯覀兊乃衅髽I(yè),包括傳統(tǒng)企業(yè)都在做深刻數(shù)字化轉(zhuǎn)型。
二、行業(yè)大數(shù)據(jù)平臺(tái)現(xiàn)狀
1、行業(yè)大數(shù)據(jù)平臺(tái)發(fā)展階段

來(lái)源于:公開(kāi)資料整理
從一個(gè)技術(shù)人的角度看,我們認(rèn)為大數(shù)據(jù)平臺(tái)在應(yīng)對(duì)整個(gè)行業(yè)訴求方面當(dāng)前還處在一個(gè)探索期,還在起步的階段。
數(shù)據(jù)中臺(tái)的概念逐步受到市場(chǎng)關(guān)注,但是數(shù)據(jù)平臺(tái)在企業(yè)的成功應(yīng)用案例仍然局限在頭部互聯(lián)網(wǎng)企業(yè),以及相關(guān)的創(chuàng)新型企業(yè),但我們希望達(dá)到的目標(biāo)是將數(shù)據(jù)中臺(tái)打造成行業(yè)內(nèi)所有企業(yè)的一個(gè)標(biāo)配的基礎(chǔ)能力。
2、行業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)
距離數(shù)據(jù)平臺(tái)建立一個(gè)統(tǒng)一的行業(yè)標(biāo)準(zhǔn)、統(tǒng)一的監(jiān)管規(guī)范仍然有相當(dāng)長(zhǎng)的路需要去走。這是一個(gè)大數(shù)據(jù)平臺(tái)架構(gòu)簡(jiǎn)圖:

來(lái)源于:公開(kāi)資料整理
從這個(gè)架構(gòu)圖可以看到:
- 整個(gè)大數(shù)據(jù)生態(tài)是非常復(fù)雜的,里面涉及非常多元、多樣的產(chǎn)品技術(shù);
- 數(shù)據(jù)平臺(tái)技術(shù)處于高速發(fā)展階段,以及整個(gè)行業(yè)在每年都會(huì)涌現(xiàn)大量的新鮮產(chǎn)品和技術(shù)。
這兩個(gè)特點(diǎn)為諸多企業(yè)建立標(biāo)準(zhǔn)統(tǒng)一的大數(shù)據(jù)平臺(tái)和進(jìn)行數(shù)字化轉(zhuǎn)型帶來(lái)了很高的技術(shù)門檻,同時(shí)技術(shù)路線的不清晰也隱藏各種決策的風(fēng)險(xiǎn)。
3、行業(yè)大數(shù)據(jù)平臺(tái)建設(shè)的挑戰(zhàn)
我們認(rèn)為建設(shè)行業(yè)大數(shù)據(jù)平臺(tái)面臨著諸多的問(wèn)題:

我們也從京東的大數(shù)據(jù)實(shí)踐中提煉了一些核心點(diǎn),希望對(duì)大家有所幫助:
- 隨著數(shù)據(jù)規(guī)模快速增加,想要通過(guò)簡(jiǎn)單堆砌物理資源的方式,會(huì)讓投資的邊際效益越來(lái)越低;
- 同時(shí)隨著市場(chǎng)競(jìng)爭(zhēng)格局加劇,傳統(tǒng)規(guī)則化的數(shù)據(jù)分析方式已經(jīng)無(wú)法滿足更精準(zhǔn)的業(yè)務(wù)數(shù)據(jù)挖掘訴求;
- 在后疫情時(shí)代,新基建激發(fā)了大量對(duì)數(shù)據(jù)的訴求,然而互聯(lián)網(wǎng)企業(yè)所積累的數(shù)字化轉(zhuǎn)型經(jīng)驗(yàn)想要在其他相關(guān)行業(yè)落地推廣,還需要繼續(xù)探索。
三、京東全域大數(shù)據(jù)平臺(tái)的建設(shè)歷程
結(jié)合前面提出的一些核心問(wèn)題,下面我來(lái)分享一下京東在大數(shù)據(jù)平臺(tái)建設(shè)中的一些歷程和心得。
1、京東大數(shù)據(jù)平臺(tái)的整體情況

從總體規(guī)模上來(lái)看,平臺(tái)的集群服務(wù)器已經(jīng)在數(shù)萬(wàn)規(guī)模,日計(jì)算任務(wù)數(shù)在數(shù)百萬(wàn)級(jí)別,總存儲(chǔ)達(dá)到EB級(jí)別。

從業(yè)務(wù)賦能角度上看,平臺(tái)面向京東全部業(yè)務(wù)場(chǎng)景,支撐了包括京東主站電商業(yè)務(wù)、金融業(yè)務(wù)、京東物流、京東健康等諸多復(fù)雜業(yè)務(wù)場(chǎng)景。
2、京東大數(shù)據(jù)平臺(tái)建設(shè)歷程
為達(dá)到以上這兩個(gè)效果,實(shí)際上我們整個(gè)平臺(tái)經(jīng)歷了很長(zhǎng)的建設(shè)和發(fā)展歷程。這個(gè)歷程包括了五個(gè)階段:

1)規(guī)?;A段

規(guī)模化解決了京東業(yè)務(wù)急劇增長(zhǎng)帶來(lái)的挑戰(zhàn)。隨著業(yè)務(wù)增長(zhǎng),數(shù)據(jù)急劇膨脹,無(wú)論是堆機(jī)器還是人力,都無(wú)法滿足高速增長(zhǎng)的業(yè)務(wù)需求,也無(wú)法有效保障如此大規(guī)模平臺(tái)的穩(wěn)定性。
想要解決這個(gè)問(wèn)題還需要回到問(wèn)題本身。京東的實(shí)踐表明,隨著平臺(tái)體量增加,業(yè)界開(kāi)源社區(qū)流行的一些開(kāi)箱既用技術(shù),需要進(jìn)行深度定制和創(chuàng)新性改造,才能有效支撐海量數(shù)據(jù)規(guī)模的需求。
所以我們?cè)谶@方面做了一些系統(tǒng)性的工作。
① 高效的計(jì)算存儲(chǔ)引擎

- 首先我們完成了技術(shù)棧的計(jì)算存儲(chǔ)分離升級(jí),依托數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)的提升,減弱對(duì)計(jì)算本地性的依賴,打散存儲(chǔ)熱點(diǎn),提高計(jì)算穩(wěn)定性;
- 同時(shí)定制存儲(chǔ)與計(jì)算優(yōu)化機(jī)型,獨(dú)立進(jìn)行容量規(guī)劃,大幅降低IT資源成本。在存儲(chǔ)上實(shí)現(xiàn)了穩(wěn)定的萬(wàn)臺(tái)規(guī)模HDFS集群,并在其上全面落地了糾刪碼技術(shù),實(shí)現(xiàn)高效高壓縮比的大數(shù)據(jù)存儲(chǔ);
- 再在計(jì)算上進(jìn)行了跨層的優(yōu)化,從調(diào)度層、引擎層和應(yīng)用層分別進(jìn)行了深度的改進(jìn);
- 最后通過(guò)全生命周期管理保障平臺(tái)的存儲(chǔ)計(jì)算能力持續(xù)處于健康狀態(tài)。
② 自動(dòng)化運(yùn)營(yíng)管理系統(tǒng)
除了底層引擎核心能力以外,我們還需要建設(shè)上層的自動(dòng)化運(yùn)維和管理系統(tǒng)。這不僅涵蓋了對(duì)服務(wù)器資產(chǎn)的運(yùn)維運(yùn)營(yíng)、資源治理和規(guī)劃,還包括了對(duì)整個(gè)數(shù)據(jù)資產(chǎn)的盤點(diǎn)和收益分析。

我們也希望通過(guò)自動(dòng)化運(yùn)維,通過(guò)系統(tǒng)化管理解決平臺(tái)規(guī)模化、平臺(tái)可靠性和平臺(tái)可用性問(wèn)題,高效支持業(yè)務(wù)快速布局和起量。
2)體系化階段
① 業(yè)務(wù)快速并行發(fā)展帶來(lái)的挑戰(zhàn)
隨著主營(yíng)業(yè)務(wù)的逐漸成熟,新興業(yè)務(wù)也快速發(fā)展并對(duì)數(shù)據(jù)平臺(tái)帶來(lái)新的挑戰(zhàn):
- 新業(yè)態(tài)野蠻生長(zhǎng),讓管理成本急劇增加,如何破局是一個(gè)無(wú)法繞開(kāi)的難題;
- 數(shù)據(jù)煙囪:重復(fù)建設(shè),缺乏鏈接,無(wú)法形成合力;
- 數(shù)據(jù)腐化:隨著時(shí)間流逝,數(shù)據(jù)價(jià)值流失;
- 缺乏治理:高價(jià)值數(shù)據(jù)甄別難;
- 來(lái)源繁雜:結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)、多種異構(gòu)數(shù)據(jù)源;
- 業(yè)務(wù)復(fù)雜:需求擴(kuò)張速度與應(yīng)接能力矛盾。
② 數(shù)據(jù)中臺(tái)的核心目標(biāo)

我們從金融業(yè)務(wù),物流業(yè)務(wù),電商業(yè)務(wù),保險(xiǎn)業(yè)務(wù)、健康業(yè)務(wù)等不同業(yè)務(wù)的特點(diǎn)和需求出發(fā),逐步構(gòu)建成標(biāo)準(zhǔn)化、可管理、可維護(hù)、可理解、可復(fù)制、一站式、體系化的數(shù)據(jù)中臺(tái),解決了前面提到的業(yè)務(wù)復(fù)雜、數(shù)據(jù)異構(gòu)、煙囪化開(kāi)發(fā)、建設(shè)成本高等問(wèn)題。
通過(guò)數(shù)據(jù)層面全鏈路的規(guī)范、盤點(diǎn)、治理,以及平臺(tái)工具層面業(yè)務(wù)標(biāo)準(zhǔn)化支撐,打造出京東全集團(tuán)體系化數(shù)據(jù)中臺(tái)。
總而言之,體系化是數(shù)據(jù)中臺(tái)的核心目標(biāo)之一,覆蓋了數(shù)據(jù)從生產(chǎn)、計(jì)算、存儲(chǔ)、消費(fèi)的全生命周期,為數(shù)據(jù)價(jià)值的高效發(fā)揮提供了堅(jiān)實(shí)基礎(chǔ)。
基于體系化建設(shè)的經(jīng)驗(yàn),我們也沉淀和打磨各項(xiàng)數(shù)據(jù)能力,提煉出一系列的產(chǎn)品化解決方案。這種體系化建設(shè)的方法論和實(shí)踐經(jīng)驗(yàn),讓我們?cè)跇I(yè)務(wù)快速布局、快速發(fā)展的階段中,能夠使數(shù)據(jù)非常高效的輸入到?jīng)Q策引擎,形成快速的商業(yè)決策。
3)實(shí)時(shí)化階段
隨著數(shù)據(jù)規(guī)模擴(kuò)張,業(yè)務(wù)數(shù)據(jù)決策體系化標(biāo)準(zhǔn)和理念越來(lái)越為大家所接受,整個(gè)業(yè)務(wù)發(fā)展也越來(lái)越快,對(duì)應(yīng)的數(shù)據(jù)應(yīng)用訴求也越來(lái)越多。這也對(duì)整個(gè)數(shù)據(jù)平臺(tái)的實(shí)時(shí)化能力提出了更高的要求。
① 速度是永恒的訴求,快速響應(yīng)市場(chǎng)變化

實(shí)時(shí)數(shù)據(jù)處理中,高吞吐低延遲指標(biāo)是一個(gè)永恒的訴求。
如何基于海量數(shù)據(jù)支撐業(yè)務(wù)的秒級(jí)決策,在競(jìng)爭(zhēng)日益激烈的市場(chǎng)環(huán)境下,快速響應(yīng)市場(chǎng)的變化,贏得競(jìng)爭(zhēng)優(yōu)勢(shì)。這對(duì)實(shí)時(shí)化能力提出很高的挑戰(zhàn),促使我們對(duì)系統(tǒng)進(jìn)行實(shí)時(shí)化改造。
由于電商行業(yè)的特點(diǎn),我們還面臨著618,雙11大促洪峰的壓力。那么如何在大促場(chǎng)景下保障系統(tǒng)的高可用和高性能,同時(shí)保證日常情況下實(shí)現(xiàn)資源的高效利用,是我們面臨的一項(xiàng)獨(dú)特挑戰(zhàn)。
加之整個(gè)公司業(yè)態(tài)眾多,各業(yè)務(wù)線人員技術(shù)背景參差不齊,而我們希望新興技術(shù)能夠在各個(gè)業(yè)務(wù)團(tuán)隊(duì)快速推廣,從而使其可以將更多精力投入業(yè)務(wù)探索、創(chuàng)新上面。這對(duì)實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)的易用性也提出了挑戰(zhàn)。
② Easy Realtime實(shí)時(shí)計(jì)算平臺(tái)
針對(duì)實(shí)時(shí)化的這些挑戰(zhàn),我們制定了一個(gè)端到端的一站式解決方案:打造Easy Realtime實(shí)時(shí)計(jì)算平臺(tái)。

首先,這是一個(gè)高可用系統(tǒng)。一方面,我們?cè)谌蝿?wù)調(diào)度、數(shù)據(jù)分發(fā)、狀態(tài)恢復(fù)等方面進(jìn)行了深度定制優(yōu)化,大幅提升了系統(tǒng)魯棒性,也經(jīng)歷了多次大促洪峰的考驗(yàn);另一方面我們落地了基于容器的云原生彈性資源調(diào)度,打造了全自研的自愈框架,實(shí)現(xiàn)自動(dòng)化自適應(yīng)的故障恢復(fù)能力,能有效的保障系統(tǒng)和平臺(tái)的穩(wěn)定性。
其次,Easy Realtime平臺(tái)是企業(yè)級(jí)應(yīng)用平臺(tái),集成了一站式云代碼開(kāi)發(fā),并直接對(duì)接云原生實(shí)時(shí)計(jì)算平臺(tái)。
平臺(tái)的建設(shè)目標(biāo)是讓沒(méi)有任何代碼開(kāi)發(fā)能力的一線業(yè)務(wù)同事,例如京東的采銷同事,甚至是ISV代理,經(jīng)過(guò)短時(shí)間培訓(xùn),能夠具備SQL能力、快速上手,自主實(shí)現(xiàn)業(yè)務(wù)決策開(kāi)發(fā)。
4)智能化階段
該階段是對(duì)數(shù)據(jù)的深度理解,這是業(yè)務(wù)再增長(zhǎng)的一個(gè)動(dòng)力源。

我們希望通過(guò)智能化改造,打造以高效精準(zhǔn)業(yè)務(wù)決策為目標(biāo)的數(shù)據(jù)化智能服務(wù)。同時(shí)希望通過(guò)智能化改造,把我們以統(tǒng)計(jì)分析為主的大數(shù)據(jù)平臺(tái),升級(jí)到以數(shù)據(jù)智能化、數(shù)據(jù)精準(zhǔn)化、數(shù)據(jù)深度化理解的一個(gè)數(shù)據(jù)算法綜合型平臺(tái)。
通過(guò)這樣一個(gè)平臺(tái),希望能夠?qū)?shù)據(jù)進(jìn)行一個(gè)全新的理解,深層次的加工,從而挖掘更多、更全面、更精準(zhǔn)的信息,幫助我們業(yè)務(wù)方能夠在市場(chǎng)競(jìng)爭(zhēng)環(huán)境下獲得更大的技術(shù)優(yōu)勢(shì)。
① 智能化轉(zhuǎn)型面臨的挑戰(zhàn)
京東大數(shù)據(jù)平臺(tái)智能化轉(zhuǎn)型面臨以下三個(gè)特殊挑戰(zhàn):
- 大數(shù)據(jù)下的大規(guī)模機(jī)器學(xué)習(xí)算力挑戰(zhàn):如何讓整個(gè)大數(shù)據(jù)的算力與算法能高效結(jié)合?具體來(lái)說(shuō),在大數(shù)據(jù)背景下實(shí)現(xiàn)工業(yè)級(jí)的超大規(guī)模機(jī)器學(xué)習(xí)平臺(tái)算力本身就是一個(gè)大的挑戰(zhàn);
- 數(shù)據(jù)安全背景下的跨業(yè)務(wù)實(shí)體數(shù)據(jù)融合分析:隨著數(shù)據(jù)安全的政策、法規(guī)和理念越來(lái)越被重視,而且在數(shù)據(jù)安全背景下,如何對(duì)跨業(yè)務(wù)實(shí)體的數(shù)據(jù)做融合算法分析,以此幫助我們的業(yè)務(wù)團(tuán)隊(duì)獲得更多的數(shù)據(jù)和競(jìng)爭(zhēng)優(yōu)勢(shì),也是一個(gè)新興的挑戰(zhàn)。為此我們研發(fā)了聯(lián)邦學(xué)習(xí)數(shù)據(jù)交換平臺(tái),為京東生態(tài)合作提供數(shù)據(jù)交換安全屋(避難所);
- 數(shù)據(jù)多模態(tài)的大量涌現(xiàn),組織越來(lái)越復(fù)雜,應(yīng)用越來(lái)越靈活:基于此我們打造出伽利略圖計(jì)算框架,能夠支持復(fù)雜關(guān)系的數(shù)據(jù)分析,輕松支持?jǐn)?shù)十億級(jí)別圖數(shù)據(jù)的復(fù)雜關(guān)聯(lián)計(jì)算,為整個(gè)多模態(tài)數(shù)據(jù)提供一個(gè)高效存儲(chǔ)和計(jì)算平臺(tái)。
② 九數(shù)(9N)商業(yè)分析和業(yè)務(wù)智能化平臺(tái)

九數(shù)商業(yè)分析和業(yè)務(wù)智能化分析平臺(tái)的架構(gòu)圖
平臺(tái)里有幾個(gè)核心的算法引擎,包括9N-FL聯(lián)邦學(xué)習(xí)引擎。支撐這些引擎的基礎(chǔ)是面向整個(gè)算法領(lǐng)域的云化資源管理系統(tǒng),它與面向數(shù)據(jù)的管理系統(tǒng)無(wú)縫集成,形成一站式的數(shù)據(jù)算法解決方案,最終賦能京東的零售業(yè)務(wù)、健康業(yè)務(wù)、金融業(yè)務(wù)等, 推動(dòng)業(yè)務(wù)的高速發(fā)展。
以京東廣告業(yè)務(wù)為典型案例,
- 九數(shù)平臺(tái)研發(fā)推動(dòng)了整個(gè)廣告從規(guī)則化到數(shù)字智能化轉(zhuǎn)型,推進(jìn)了整個(gè)京東無(wú)人投放廣告的研發(fā)工作;
- 目前無(wú)人投放廣告已經(jīng)成為京東廣告的最核心收入來(lái)源,而智能化平臺(tái)轉(zhuǎn)型是其中最大的一個(gè)系統(tǒng)助力因素;
- 我們也在積極的推動(dòng)開(kāi)源, 以回饋社區(qū)?,F(xiàn)在九數(shù)聯(lián)邦學(xué)習(xí)平臺(tái)已經(jīng)開(kāi)源,伽利略圖計(jì)算引擎計(jì)劃在年底開(kāi)源,平臺(tái)整體開(kāi)源也在籌備當(dāng)中。
5)商業(yè)化階段

京東全域大數(shù)據(jù)平臺(tái)架構(gòu)Easy JData
基于以上四個(gè)階段的發(fā)展,我們最終打造出依托于實(shí)際業(yè)務(wù)支撐經(jīng)驗(yàn)的,可同時(shí)支持多領(lǐng)域應(yīng)用(零售、物流、金融、健康等)的全域大數(shù)據(jù)平臺(tái)。它包含的系統(tǒng)、工具、產(chǎn)品和方法論,與業(yè)內(nèi)主流數(shù)據(jù)中臺(tái)也有一定的共通之處。
在建設(shè)過(guò)程中遇到的挑戰(zhàn),也在前面給大家一一介紹過(guò)。在當(dāng)下政企數(shù)字化轉(zhuǎn)型如火如荼的關(guān)口,京東的這些經(jīng)驗(yàn)最終將沉淀出相應(yīng)的技術(shù)產(chǎn)品或工具,并能夠走出去,助力行業(yè)發(fā)展。
四、未來(lái)發(fā)展方向

讓我們來(lái)一起暢想下全域數(shù)據(jù)平臺(tái)的發(fā)展方向,希望伴隨業(yè)務(wù)的發(fā)展,我們能夠持續(xù)修煉技術(shù)內(nèi)功,加強(qiáng)技術(shù)升級(jí),實(shí)現(xiàn)云原生的智能數(shù)據(jù)平臺(tái)。同時(shí)能深化和落實(shí)Deep AI的概念,加速業(yè)務(wù)深度賦能。最后希望能將京東經(jīng)驗(yàn)回饋整個(gè)行業(yè),以PaaS化、SaaS化為抓手,與合作伙伴協(xié)作共贏,建設(shè)健康可持續(xù)的大數(shù)據(jù)商業(yè)生態(tài)。
講師介紹
包勇軍,目前在京東任職數(shù)據(jù)基礎(chǔ)平臺(tái)部、廣告質(zhì)量部、推薦研發(fā)部負(fù)責(zé)人,同時(shí)擔(dān)任京東集團(tuán)技術(shù)委員會(huì)委員、京東零售數(shù)據(jù)算法委員會(huì)會(huì)長(zhǎng)。負(fù)責(zé)大數(shù)據(jù)平臺(tái)基礎(chǔ)架構(gòu)的建設(shè)和產(chǎn)品開(kāi)發(fā)、AI算法平臺(tái)建設(shè)、AI算法在廣告系統(tǒng)中的研發(fā)和應(yīng)用,推薦策略、數(shù)據(jù)和推薦系統(tǒng)的研發(fā)工作。數(shù)據(jù)系統(tǒng)和算法等領(lǐng)域?qū)<?,精通?shù)據(jù)算法和平臺(tái)技術(shù)在電商業(yè)務(wù)數(shù)字化中的落地應(yīng)用,對(duì)大數(shù)據(jù)底層架構(gòu)設(shè)計(jì)及平臺(tái)建設(shè)有豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。