企業(yè)大數(shù)據(jù)技術(shù)發(fā)展至今，歷經(jīng)了兩次蛻變。第一次蛻變從最初的“小作坊”解決大數(shù)據(jù)問題，到后來企業(yè)用各類大數(shù)據(jù)技術(shù)搭建起屬于自己的“大平臺”，通過平臺化的能力完成數(shù)據(jù)生產(chǎn)力的升級。

第二次蛻變讓大數(shù)據(jù)從“大平臺”向“敏捷制造”的開發(fā)范式演進。在2021阿里云峰會上，阿里巴巴集團副總裁、阿里云智能計算平臺事業(yè)部高級研究員賈揚清發(fā)布基于DataWorks的一站式大數(shù)據(jù)開發(fā)治理的平臺，就是這個蛻變最好的佐證。

值得一提的是， 誕生于2009年阿里巴巴集團內(nèi)部的DataWorks，不僅見證了阿里巴巴十多年大數(shù)據(jù)幾次蛻變發(fā)展，更是阿里巴巴數(shù)據(jù)中臺建設(shè)的最佳實踐之一。如今 DataWorks平臺可以支撐阿里巴巴內(nèi)部上百個業(yè)務(wù)團隊的數(shù)據(jù)業(yè)務(wù)建設(shè)，每天穩(wěn)定調(diào)度上千萬數(shù)據(jù)處理任務(wù)。阿里巴巴每天有超過5萬名員工在DataWorks上完成數(shù)據(jù)分析、數(shù)據(jù)開發(fā)和數(shù)據(jù)治理工作。

那么，DataWorks如何讓大數(shù)據(jù)向 “敏捷制造” 演進，背后具備什么樣的核心能力？在全鏈路數(shù)據(jù)服務(wù)—大數(shù)據(jù)與AI分論壇，DataWorks產(chǎn)品負責人黃博遠透露了DataWorks核心的三個“ONE”能力。

簡單來講，DataWorks以一站式的理念，通過一條數(shù)據(jù)開發(fā)鏈路，一套數(shù)據(jù)標準架構(gòu)，一套數(shù)據(jù)治理體系，與大數(shù)據(jù)計算引擎結(jié)合，讓企業(yè)擁有一站式的數(shù)據(jù)開發(fā)與治理能力。

1、一條數(shù)據(jù)開發(fā)鏈路

很多的企業(yè)發(fā)展到一定階段以后都會面臨這種情況：
1）數(shù)據(jù)來自于不同地域的數(shù)據(jù)中心，比如阿里云上有公共云、專有云，對于企業(yè)來講也有自己的私域，同時又要服務(wù)企業(yè)外部的客戶與合作伙伴，數(shù)據(jù)非常分散。

2）大數(shù)據(jù)的引擎百花齊放，選擇多樣。不管是阿里自研的SaaS模式云數(shù)據(jù)倉庫MaxCompute、交互式分析Hologres和分析型數(shù)據(jù)庫AnalyticDB，還是開源的EMR、CDH、Flink、Elasticsearch等等，種類極為豐富，我們很難說哪一款產(chǎn)品是最好的，對于企業(yè)來說這種技術(shù)選型是多樣的，按需的。

3）數(shù)據(jù)與AI及應(yīng)用如何更好地結(jié)合？大數(shù)據(jù)加工處理完的數(shù)據(jù)還需要結(jié)合AI算法，以服務(wù)化的方式給到數(shù)據(jù)應(yīng)用，如何實現(xiàn)BI與AI一體化，釋放數(shù)據(jù)價值。

針對以上痛點，DataWorks可以幫助企業(yè)實現(xiàn)數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理和數(shù)據(jù)服務(wù)，將大數(shù)據(jù)全生命周期管理整合到一條完整鏈路中。

首先滿足企業(yè)在復(fù)雜網(wǎng)絡(luò)條件下，DataWorks實現(xiàn)近50種異構(gòu)數(shù)據(jù)源的離線/實時的同步，讓企業(yè)更好地邁出大數(shù)據(jù)建設(shè)的“第一步”。其次，它的底層對接了MaxCompute、EMR、CDH、Hologres、AnalyticDB、實時計算Flink版等大數(shù)據(jù)引擎，讓多種計算引擎的數(shù)據(jù)開發(fā)治理工作都可以在同一個平臺一站式的完成。最后，大數(shù)據(jù)平臺加工好的數(shù)據(jù)集可以無縫對接到機器學(xué)習(xí)平臺中進行AI訓(xùn)練與在線預(yù)測服務(wù)，也可以通過數(shù)據(jù)服務(wù)以API方式給到BI、大屏等各類數(shù)據(jù)應(yīng)用。

2、一套數(shù)據(jù)標準架構(gòu)

對于企業(yè)而言，數(shù)據(jù)絕不是簡單地堆積在一起，阿里巴巴通過數(shù)據(jù)中臺建設(shè)，規(guī)范了集團統(tǒng)一的數(shù)據(jù)標準架構(gòu)，將數(shù)據(jù)進行清晰的結(jié)構(gòu)分層，每一層又有明確的范圍與邊界。在貼源層，企業(yè)將完成全域數(shù)據(jù)的匯聚，保留所有的原始數(shù)據(jù)。在整合層，企業(yè)通過數(shù)據(jù)標準、數(shù)據(jù)建模等方式確立數(shù)據(jù)的規(guī)范體系。在匯總層，企業(yè)將基于業(yè)務(wù)需求對數(shù)據(jù)進行匯總加工，提煉公共的數(shù)據(jù)指標。在應(yīng)用層，面向前臺業(yè)務(wù)應(yīng)用構(gòu)建數(shù)據(jù)集市，為應(yīng)用提供源源不斷的高質(zhì)量數(shù)據(jù)服務(wù)。這一套架構(gòu)本身不具備產(chǎn)品化能力，但企業(yè)可以基于DataWorks，快速復(fù)制這套數(shù)據(jù)標準架構(gòu)。

3、一套數(shù)據(jù)治理體系

企業(yè)如何管理數(shù)據(jù)資產(chǎn)？如何保障數(shù)據(jù)質(zhì)量？如何保障數(shù)據(jù)安全？如何有效地控制成本以及減少不必要浪費？這些問題都對數(shù)據(jù)治理提出了更高的要求。正常來講，各類數(shù)據(jù)治理工作通過人工的方式其實也能夠完成，但是阿里巴巴現(xiàn)在每天處理的數(shù)據(jù)超過1.7EB，每天調(diào)度的任務(wù)數(shù)在千萬級，很難想象靠人工來完成所有的治理工作。DataWorks將阿里巴巴十多年數(shù)據(jù)治理的實踐沉淀成產(chǎn)品化能力，完整覆蓋模型設(shè)計、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、安全管理等貫穿數(shù)據(jù)加工處理和使用的全鏈路所需的治理能力。一個平臺，就具備一套完整的體系化的能力。

在分論壇現(xiàn)場，DataWorks全新發(fā)布數(shù)據(jù)建模產(chǎn)品，讓企業(yè)從業(yè)務(wù)視角進行數(shù)倉規(guī)劃、數(shù)據(jù)標準定義、維度建模和數(shù)據(jù)指標設(shè)計，用規(guī)范化的“圖紙”指導(dǎo)大數(shù)據(jù)“建設(shè)”工作，提升企業(yè)數(shù)據(jù)中臺建設(shè)的規(guī)范性和標準性，大大降低企業(yè)數(shù)據(jù)中臺建設(shè)門檻和成本。同時DataWorks將持續(xù)加大與生態(tài)伙伴合作，推出具備不同行業(yè)屬性和不同建模方法的數(shù)據(jù)建模類產(chǎn)品，以支撐不同行業(yè)不同場景的數(shù)倉模型設(shè)計。DataWorks數(shù)據(jù)建模產(chǎn)品將于2021年7月開啟公測，屆時歡迎大家在阿里云官網(wǎng)搜索“DataWorks”開通體驗。

除了數(shù)據(jù)建模外，DataWorks覆蓋了數(shù)據(jù)同步、元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)地圖、任務(wù)運維、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等數(shù)據(jù)全生命周期的治理能力。

事實上，DataWorks已經(jīng)應(yīng)用到各行各業(yè)的數(shù)字化轉(zhuǎn)型中。在工業(yè)行業(yè)，DataWorks幫助三一重工打通86個核心業(yè)務(wù)系統(tǒng)，處理每月50PB的各類圖像、視頻、物聯(lián)網(wǎng)數(shù)據(jù)，建設(shè)業(yè)內(nèi)場景最全的數(shù)據(jù)中臺。在能源行業(yè)，DataWorks幫助企業(yè)建立10余種數(shù)據(jù)中臺運營規(guī)范，完成四大場景50+指標產(chǎn)出，規(guī)范數(shù)據(jù)治理流程，提升數(shù)據(jù)可用率。在鋼鐵行業(yè)，DataWorks讓數(shù)據(jù)在數(shù)據(jù)中臺進行自由流動，保證數(shù)據(jù)準確、準時、一致，讓企業(yè)綜合成本削減1億元。在互聯(lián)網(wǎng)行業(yè)，得物APP通過DataWorks OpenAPI構(gòu)建全鏈路數(shù)據(jù)血緣，自主研發(fā)全鏈路解析能力，下線2萬張表與近千個計算任務(wù)，讓企業(yè)成本降低20%。

未來企業(yè)的數(shù)字化轉(zhuǎn)型將對數(shù)據(jù)的治理與分析提出更高的要求，DataWorks將幫助企業(yè)快速構(gòu)建數(shù)據(jù)中臺，通過全鏈路的數(shù)據(jù)治理提供高質(zhì)量的數(shù)據(jù)底座，讓數(shù)據(jù)的“敏捷制造”成為企業(yè)數(shù)字化的“敏捷轉(zhuǎn)型”。