[[399596]]

本文轉(zhuǎn)載自微信公眾號(hào)「大數(shù)據(jù)DT」，作者彭鋒 宋文欣等。轉(zhuǎn)載本文請(qǐng)聯(lián)系 大數(shù)據(jù)DT公眾號(hào)。

我們可以這樣理解，傳統(tǒng)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)中臺(tái)的數(shù)據(jù)來(lái)源，建設(shè)數(shù)據(jù)中臺(tái)是為了更好地服務(wù)于業(yè)務(wù)部門(mén)。

圖1-1顯示了信息化系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、傳統(tǒng)大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)之間的關(guān)系，其中的箭頭表示數(shù)據(jù)的主要流向。

▲圖1-1 數(shù)據(jù)中臺(tái)與傳統(tǒng)大數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系

數(shù)據(jù)中臺(tái)與傳統(tǒng)大數(shù)據(jù)平臺(tái)到底有什么區(qū)別?為了敘述方便，我們先給出傳統(tǒng)大數(shù)據(jù)平臺(tái)的架構(gòu)(見(jiàn)圖1-2)。

▲圖1-2 傳統(tǒng)大數(shù)據(jù)平臺(tái)

• 大數(shù)據(jù)基礎(chǔ)能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、 Elasticsearch等。
• 在大數(shù)據(jù)組件上搭建的 ETL流水線(xiàn)，包括數(shù)據(jù)分析、機(jī)器學(xué)習(xí)程序。
• 數(shù)據(jù)治理系統(tǒng)。
• 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。
• 數(shù)據(jù)可視化系統(tǒng)。

可以看到，這些是傳統(tǒng)大數(shù)據(jù)平臺(tái)的核心功能。在很多大數(shù)據(jù)項(xiàng)目里，只要把這些系統(tǒng)搭起來(lái)，每天可以生成業(yè)務(wù)報(bào)表(包括實(shí)時(shí)大屏)，就算大數(shù)據(jù)平臺(tái)搭建成功了。

但數(shù)據(jù)中臺(tái)應(yīng)該是大數(shù)據(jù)平臺(tái)的一個(gè)超集。我們認(rèn)為，在大數(shù)據(jù)平臺(tái)的基礎(chǔ)之上，數(shù)據(jù)中臺(tái)還應(yīng)該提供下面的系統(tǒng)功能。

1. 全局的數(shù)據(jù)應(yīng)用資產(chǎn)管理

這里所說(shuō)的數(shù)據(jù)應(yīng)用資產(chǎn)管理包括整個(gè)生態(tài)系統(tǒng)中的數(shù)據(jù)和應(yīng)用。傳統(tǒng)的數(shù)據(jù)資產(chǎn)管理絕大部分只包括關(guān)系型數(shù)據(jù)庫(kù)中的資產(chǎn)(包括Hive)，而一個(gè)數(shù)據(jù)中臺(tái)應(yīng)該管理所有結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)資產(chǎn)，以及使用這些數(shù)據(jù)資產(chǎn)的應(yīng)用。

如果傳統(tǒng)的數(shù)據(jù)資產(chǎn)管理提供的是數(shù)據(jù)目錄，那么數(shù)據(jù)中臺(tái)提供的應(yīng)該是擴(kuò)展的數(shù)據(jù)及應(yīng)用目錄。要避免重復(fù)造輪子，首先要知道系統(tǒng)中有哪些輪子，因此維護(hù)一個(gè)系統(tǒng)中數(shù)據(jù)及數(shù)據(jù)應(yīng)用的列表是很關(guān)鍵的。

2. 全局的數(shù)據(jù)治理機(jī)制

與傳統(tǒng)的數(shù)據(jù)治理不一樣，數(shù)據(jù)中臺(tái)必須提供針對(duì)全局的數(shù)據(jù)治理工具和機(jī)制。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)建模和數(shù)據(jù)治理大多針對(duì)一個(gè)特定部門(mén)的業(yè)務(wù)，部分原因是全局?jǐn)?shù)據(jù)建模和治理周期太長(zhǎng)，由于存在部門(mén)之間的協(xié)調(diào)問(wèn)題，往往難度很大。

數(shù)據(jù)中臺(tái)提供的數(shù)據(jù)治理機(jī)制必須允許各個(gè)業(yè)務(wù)部門(mén)自主迭代，但前提是要有全局一致的標(biāo)準(zhǔn)。阿里提出的OneID強(qiáng)調(diào)全局統(tǒng)一的對(duì)象ID(例如用戶(hù)ID)，就屬于這個(gè)機(jī)制。

3. 自助的、多租戶(hù)的數(shù)據(jù)應(yīng)用開(kāi)發(fā)及發(fā)布

現(xiàn)有的絕大部分大數(shù)據(jù)平臺(tái)要求使用者具備一定的編程能力。數(shù)據(jù)中臺(tái)強(qiáng)調(diào)的是為業(yè)務(wù)部門(mén)賦能，而業(yè)務(wù)人員需要有一個(gè)自助的、可適應(yīng)不同水平和能力要求的開(kāi)發(fā)平臺(tái)。這個(gè)開(kāi)發(fā)平臺(tái)要能夠保證數(shù)據(jù)隔離和資源隔離，這樣任何一個(gè)使用系統(tǒng)的人都不用擔(dān)心自己會(huì)對(duì)系統(tǒng)造成損害。

4. 數(shù)據(jù)應(yīng)用運(yùn)維

用戶(hù)應(yīng)該可以很方便地將自己開(kāi)發(fā)的數(shù)據(jù)應(yīng)用自助發(fā)布到生產(chǎn)系統(tǒng)中，而無(wú)須經(jīng)過(guò)專(zhuān)門(mén)的數(shù)據(jù)團(tuán)隊(duì)。因?yàn)槲覀冃枰蚕磉@些應(yīng)用及其產(chǎn)生的數(shù)據(jù)，所以需要有類(lèi)似于CI/CD的專(zhuān)門(mén)系統(tǒng)來(lái)管理應(yīng)用的代碼質(zhì)量和進(jìn)行版本控制。

在數(shù)據(jù)應(yīng)用運(yùn)行過(guò)程中產(chǎn)生的數(shù)據(jù)也需要全程監(jiān)控，以保證數(shù)據(jù)的完整性、正確性和實(shí)時(shí)性。

5. 數(shù)據(jù)應(yīng)用集成

應(yīng)該可以隨時(shí)集成新的數(shù)據(jù)應(yīng)用。新的大數(shù)據(jù)應(yīng)用、人工智能工具不斷涌現(xiàn)，我們的系統(tǒng)應(yīng)該能夠隨時(shí)支持這些新應(yīng)用。如果數(shù)據(jù)中臺(tái)不能支持這些應(yīng)用，各個(gè)業(yè)務(wù)部門(mén)可能又會(huì)打造自己的小集群，造成新的數(shù)據(jù)孤島及應(yīng)用孤島。

6. 數(shù)據(jù)即服務(wù)，模型即服務(wù)

數(shù)據(jù)分析的結(jié)果，不管是統(tǒng)計(jì)分析的結(jié)果，還是機(jī)器學(xué)習(xí)生成的模型，應(yīng)該能夠很快地使用無(wú)代碼的方式發(fā)布，并供全機(jī)構(gòu)使用。

7. 數(shù)據(jù)能力共享管理

大部分?jǐn)?shù)據(jù)能力應(yīng)當(dāng)具有完善的共享管理機(jī)制、方便安全的共享機(jī)制以及靈活的反饋機(jī)制。最后決定數(shù)據(jù)如何使用的是獨(dú)立的個(gè)人，他們需要一套獲取信息的機(jī)制，因此在機(jī)構(gòu)內(nèi)部必須要有這樣的共享機(jī)制，才能真正讓數(shù)據(jù)用起來(lái)。

8. 完善的運(yùn)營(yíng)指標(biāo)

數(shù)據(jù)中臺(tái)強(qiáng)調(diào)的是可衡量的數(shù)據(jù)價(jià)值，因此，對(duì)于數(shù)據(jù)在系統(tǒng)中的使用方式、被使用的頻率、最后產(chǎn)生的效果，必須要有一定的運(yùn)營(yíng)指標(biāo)，才能驗(yàn)證數(shù)據(jù)的價(jià)值和數(shù)據(jù)中臺(tái)項(xiàng)目的效率。

綜合上面的討論，除了阿里巴巴提出的OneID、OneModel、OneService之外，我們認(rèn)為數(shù)據(jù)中臺(tái)還應(yīng)該滿(mǎn)足以下兩個(gè)要求。

1. TotalPlatform

所有中臺(tái)數(shù)據(jù)及相關(guān)的應(yīng)用應(yīng)該在統(tǒng)一平臺(tái)中統(tǒng)一管理。如果有數(shù)據(jù)存儲(chǔ)在中臺(tái)管理不到的地方，或者有人在中臺(tái)未知的情況下使用數(shù)據(jù)，我們就無(wú)法真正實(shí)現(xiàn)對(duì)數(shù)據(jù)的全局管理。這要求數(shù)據(jù)中臺(tái)能快速支持新的數(shù)據(jù)格式和數(shù)據(jù)應(yīng)用，便于數(shù)據(jù)工具的共享，而無(wú)須建立一個(gè)分離的系統(tǒng)。

2. TotalInsight

數(shù)據(jù)中臺(tái)應(yīng)該能夠理解并管理系統(tǒng)中數(shù)據(jù)的流動(dòng)，提供數(shù)據(jù)價(jià)值的定量衡量，明確各個(gè)部門(mén)的花費(fèi)和產(chǎn)出。整個(gè)中臺(tái)的運(yùn)營(yíng)是有序可控的，而不是一個(gè)黑盒子，用戶(hù)可以輕松理解全局的數(shù)據(jù)資產(chǎn)和能力，從系統(tǒng)中快速實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)。

如圖1-3所示，數(shù)據(jù)中臺(tái)可以說(shuō)是按照一定的規(guī)范要求建設(shè)的數(shù)據(jù)能力平臺(tái)，在數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用的建設(shè)中實(shí)現(xiàn)了符合OneID、OneModel、OneService的數(shù)據(jù)層。

這個(gè)數(shù)據(jù)層，加上在其上建立的業(yè)務(wù)能力層以及運(yùn)營(yíng)這個(gè)數(shù)據(jù)中臺(tái)需要的TotalPlatform、TotalInsight，形成我們看到的數(shù)據(jù)中臺(tái)。

▲圖1-3 數(shù)據(jù)中臺(tái)的五大要求

關(guān)于作者：彭鋒，智領(lǐng)云科技聯(lián)合創(chuàng)始人兼CEO。武漢大學(xué)計(jì)算機(jī)系本科及碩士，美國(guó)馬里蘭大學(xué)計(jì)算機(jī)專(zhuān)業(yè)博士，主要研究方向是流式半結(jié)構(gòu)化數(shù)據(jù)的高性能查詢(xún)引擎，在數(shù)據(jù)庫(kù)頂級(jí)會(huì)議和期刊SIGMOD、ICDE、TODS上發(fā)表多篇開(kāi)創(chuàng)性論文。2011年加入Twitter，任大數(shù)據(jù)平臺(tái)主任工程師、公司架構(gòu)師委員會(huì)大數(shù)據(jù)負(fù)責(zé)人，負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)及流水線(xiàn)的建設(shè)和管理。

宋文欣，智領(lǐng)云科技聯(lián)合創(chuàng)始人兼CTO。武漢大學(xué)計(jì)算機(jī)系本科及碩士，美國(guó)紐約州立大學(xué)石溪分校計(jì)算機(jī)專(zhuān)業(yè)博士。曾先后就職于Ask.com和EA(電子藝界)。2016年回國(guó)聯(lián)合創(chuàng)立智領(lǐng)云科技有限公司，組建智領(lǐng)云技術(shù)團(tuán)隊(duì)，開(kāi)發(fā)了BDOS大數(shù)據(jù)平臺(tái)操作系統(tǒng)。

孫浩峰，智領(lǐng)云科技市場(chǎng)總監(jiān)。前CSDN內(nèi)容運(yùn)營(yíng)副總編，關(guān)注云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等技術(shù)領(lǐng)域，對(duì)云計(jì)算、網(wǎng)絡(luò)技術(shù)、網(wǎng)絡(luò)存儲(chǔ)有深刻認(rèn)識(shí)。擁有豐富的媒體從業(yè)經(jīng)驗(yàn)和專(zhuān)業(yè)的網(wǎng)絡(luò)安全技術(shù)功底，具有超過(guò)15年的企業(yè)級(jí)IT市場(chǎng)傳播、推廣、宣傳和寫(xiě)作經(jīng)驗(yàn)，撰寫(xiě)過(guò)多篇在業(yè)界具有一定影響力的文章。

本文摘編自《云原生數(shù)據(jù)中臺(tái)：架構(gòu)、方法論與實(shí)踐》，經(jīng)出版方授權(quán)發(fā)布。