?背景

作為首次整體亮相并參與到集團(tuán)大促備戰(zhàn)的京東國際，在業(yè)務(wù)上，有東南亞地區(qū)的本地電商“泰國、印尼”，也有新添在歐洲和國內(nèi)開辟的業(yè)務(wù)“MCA、B2B”，還有銷售場(chǎng)在第三方平臺(tái)和主站平臺(tái)的“三方業(yè)務(wù)、主站售”。在大促期間如何統(tǒng)攬各條線的“流量、用戶、銷售”等數(shù)據(jù)信息，為業(yè)務(wù)提供實(shí)時(shí)的運(yùn)營(yíng)策略指導(dǎo)，就需要將各業(yè)務(wù)線的系統(tǒng)和運(yùn)營(yíng)數(shù)據(jù)情況匯總到一塊進(jìn)行管理和規(guī)劃設(shè)計(jì)。那我們會(huì)遇到哪些問題和挑戰(zhàn)呢？接下來將從“國際業(yè)務(wù)特性、數(shù)據(jù)分布及人員情況、數(shù)據(jù)建設(shè)現(xiàn)狀、技術(shù)架構(gòu)”這幾個(gè)維度給大家剖析。

國際業(yè)務(wù)特點(diǎn)

通過先前大促啟動(dòng)會(huì)時(shí)的介紹，相信大家對(duì)國際業(yè)務(wù)特性有了一定的了解，國際業(yè)務(wù)的特點(diǎn)主要在于“多業(yè)態(tài)、多國家、多地區(qū)、多語言、多時(shí)區(qū)、多幣種”，除了這些特點(diǎn)外，還有針對(duì)不同地方的法律法規(guī)也各不相同，就決定了國際業(yè)務(wù)數(shù)據(jù)建設(shè)將面臨重重的挑戰(zhàn)。

數(shù)據(jù)分布和人員情況

本次參與大促備戰(zhàn)的6個(gè)業(yè)務(wù)線，分別部署在不同的機(jī)房，數(shù)據(jù)分布和數(shù)據(jù)計(jì)算資源也是分開的，例如：“印尼站數(shù)據(jù)和服務(wù)部署在雅加達(dá)、泰國站部署在香港（馬上要遷移到新加坡）、MCA部署在荷蘭阿姆斯特丹、B2B&主站售&三方業(yè)務(wù)部署在國內(nèi)機(jī)房”。在數(shù)據(jù)加工、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)方面，由于歷史原因（原各站點(diǎn)閉環(huán)研發(fā)）相關(guān)人員支持的情況也各不相同，有的是業(yè)務(wù)側(cè)的數(shù)據(jù)分析師、有的是研發(fā)團(tuán)隊(duì)的數(shù)據(jù)研發(fā)、有的是臨時(shí)學(xué)習(xí)大數(shù)據(jù)相關(guān)知識(shí)后參與支持工作。

從數(shù)據(jù)計(jì)算資源、存儲(chǔ)、服務(wù)提供，再到人員支持現(xiàn)狀可以看出來國際數(shù)據(jù)平臺(tái)的建設(shè)，需要有一支專業(yè)的數(shù)據(jù)團(tuán)隊(duì)去支持，同時(shí)需要建設(shè)國際業(yè)務(wù)數(shù)據(jù)中心，標(biāo)準(zhǔn)化數(shù)據(jù)指標(biāo)的口徑和計(jì)算頻率、提供服務(wù)的方式。

數(shù)據(jù)現(xiàn)狀梳理及團(tuán)隊(duì)建設(shè)

為了建設(shè)國際業(yè)務(wù)數(shù)據(jù)大促大屏，滿足各業(yè)務(wù)的看數(shù)需求，我們臨時(shí)成立了“618大促大屏項(xiàng)目組”對(duì)現(xiàn)有6個(gè)業(yè)務(wù)線的指標(biāo)情況進(jìn)行了全面的梳理，最終確定了3種大屏指標(biāo)場(chǎng)景“流量、用戶、交易”，共計(jì)8個(gè)通用指標(biāo)。

團(tuán)隊(duì)方面，為了快速完善指標(biāo)建設(shè)，組織成立了“虛擬數(shù)據(jù)研發(fā)”小組，由各團(tuán)隊(duì)最懂業(yè)務(wù)、最懂?dāng)?shù)據(jù)的產(chǎn)品、數(shù)據(jù)、研發(fā)人員組成。

數(shù)據(jù)大屏系統(tǒng)架構(gòu)和思路

目標(biāo)：整合國際業(yè)務(wù)所有條線的數(shù)據(jù)，提供實(shí)時(shí)的數(shù)據(jù)，統(tǒng)一數(shù)據(jù)單位和顆粒度的數(shù)據(jù)，從6月1號(hào)開門紅至6月18號(hào)期間的“累計(jì)數(shù)據(jù)、天數(shù)據(jù)”展示8個(gè)通用指標(biāo)的趨勢(shì)情況，落地國際618大促大屏看板。

數(shù)據(jù)源：各條線的指標(biāo)建設(shè)梳理后，我們發(fā)現(xiàn)數(shù)據(jù)的加工、存儲(chǔ)和展示都有較大的差別，其中涉及“Clickhouse、Hadoop、Mysql、Elasticsearch”等，對(duì)于數(shù)據(jù)的實(shí)效性有的是T+1，有的是秒級(jí)，有的是分鐘級(jí)，有的是10分鐘級(jí)。對(duì)于貨幣單位，有泰銖、印尼盾、美元、人民幣等。

跨區(qū)整合：當(dāng)前數(shù)據(jù)的分布和業(yè)務(wù)至少橫跨了4個(gè)時(shí)區(qū)，相較國內(nèi)晚1-7個(gè)小時(shí)，對(duì)于這種情況下數(shù)據(jù)的聚合有兩種方案：

• 各條線根據(jù)接口規(guī)范通過Http的方式提供數(shù)據(jù)服務(wù)，由國內(nèi)提供數(shù)據(jù)應(yīng)用服務(wù)進(jìn)行數(shù)據(jù)聚合，這樣的好處是對(duì)原業(yè)務(wù)線的數(shù)據(jù)加工影響較少，整體工作量低；
• 設(shè)計(jì)通用的數(shù)據(jù)表，按照領(lǐng)域區(qū)劃分，例如“商品、商家、訂單、營(yíng)銷”等建設(shè)標(biāo)準(zhǔn)化數(shù)據(jù)表，由各條線的數(shù)據(jù)分析師進(jìn)行數(shù)據(jù)加工后，通過調(diào)用通用的接口進(jìn)行數(shù)據(jù)上報(bào)。

能力復(fù)用：大屏需要有考慮各個(gè)終端的適配，也要考慮大屏數(shù)據(jù)展示的樣式和布局，同時(shí)也要考慮數(shù)據(jù)加載的效率和穩(wěn)定，因此本次對(duì)于大屏看板的前端，我們和零售中臺(tái)技術(shù)與數(shù)據(jù)中心-數(shù)據(jù)與智能部的產(chǎn)品同事，也就是負(fù)責(zé)京東集團(tuán)作戰(zhàn)指揮室大屏的設(shè)計(jì)和研發(fā)團(tuán)隊(duì)進(jìn)行了溝通交流，基于JDV平臺(tái)豐富大屏看板資源和數(shù)據(jù)接入、編排的能力，可以快速為京東國際的大屏建設(shè)進(jìn)行賦能。

虛擬數(shù)據(jù)演示

架構(gòu)方案：

1、短期方案：

• 各站點(diǎn)集依托大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)計(jì)算、存儲(chǔ)、分析和推數(shù)，使用到的技術(shù)棧為“Flink、Spark、JMQ、Mysql、Clickhouse”等。
• 構(gòu)建國際業(yè)務(wù)數(shù)據(jù)聚合層，通過Http的方式走內(nèi)網(wǎng)專線進(jìn)行數(shù)據(jù)交互，通過聚合層對(duì)數(shù)據(jù)進(jìn)行累計(jì)、貨幣單位、樣式進(jìn)行加工轉(zhuǎn)化，同時(shí)為了提升性能將對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行緩存處理。
• 通過聚合層服務(wù)面向JDV大屏看板提供接口服務(wù)，JDV通過瀏覽器技術(shù)可以對(duì)數(shù)據(jù)進(jìn)行本地緩存和加速。

2、長(zhǎng)期方案：

• 建設(shè)國際統(tǒng)一的集市中心，將國際業(yè)務(wù)線涉及到的“用戶、交易、營(yíng)銷、瀏覽、商品、庫存”等數(shù)據(jù)路由到全球各數(shù)據(jù)中心。
• 建立國際標(biāo)準(zhǔn)化數(shù)據(jù)建設(shè)規(guī)范，對(duì)數(shù)據(jù)字段的命名規(guī)范、數(shù)據(jù)存儲(chǔ)大小、存儲(chǔ)時(shí)間、分析時(shí)間、使用頻率都進(jìn)行標(biāo)準(zhǔn)化，同時(shí)對(duì)于新業(yè)務(wù)要有完善的數(shù)據(jù)埋點(diǎn)表。
• 構(gòu)建國際數(shù)據(jù)平臺(tái)，整合各場(chǎng)景下的數(shù)據(jù)，同時(shí)與外部數(shù)據(jù)進(jìn)行協(xié)同，落地國際數(shù)據(jù)洞察為業(yè)務(wù)提供反向運(yùn)營(yíng)指導(dǎo)以及體驗(yàn)提升。

總結(jié)

通過國際業(yè)務(wù)多源數(shù)據(jù)應(yīng)用的實(shí)踐過程，我們可以看到，通過這套架構(gòu)和思路，不僅支持拖拽可視化搭建大屏看板系統(tǒng)，同時(shí)還具備靈活且深度的組件共建、邏輯擴(kuò)展能力，可以滿足不同業(yè)務(wù)的數(shù)據(jù)訴求。內(nèi)置的權(quán)限、組件、數(shù)據(jù)交互方式減少了重復(fù)開發(fā)，對(duì)效能有明顯的提升幫助。對(duì)于國際業(yè)務(wù)數(shù)據(jù)建設(shè)而言，我們還有很多能力需要不斷的擴(kuò)充，最終將會(huì)通過建成國際通用的數(shù)據(jù)平臺(tái)，以業(yè)務(wù)和客戶的需求為導(dǎo)向，持續(xù)深耕平臺(tái)的易用性、擴(kuò)展性。