數(shù)據(jù)驅(qū)動(dòng)是企業(yè)數(shù)字化轉(zhuǎn)型的一個(gè)重要特點(diǎn)。隨著企業(yè)對(duì)數(shù)據(jù)分析和使用的不斷增長(zhǎng)，數(shù)據(jù)來(lái)源多，數(shù)據(jù)工具復(fù)雜，參與數(shù)據(jù)工作的人多，數(shù)據(jù)開(kāi)發(fā)的工作量越來(lái)越大，同時(shí)還要求周期短、質(zhì)量高。對(duì)此，數(shù)據(jù)團(tuán)隊(duì)持續(xù)優(yōu)化數(shù)據(jù)開(kāi)發(fā)流程、應(yīng)用，借鑒了DevOps、精益管理等方法，形成了DataOps方法和實(shí)踐，旨在讓數(shù)據(jù)在企業(yè)內(nèi)快速流動(dòng)，服務(wù)于數(shù)據(jù)分析甚至業(yè)務(wù)運(yùn)營(yíng)。

DataOps的概念最早出現(xiàn)于2014年，由Lenny Liebmann提出，到2018年被Gartner納入到技術(shù)成熟度曲線，標(biāo)志著DataOps正式被業(yè)界接受。

如果不好理解DataOps，不妨先看看Twitter的例子。Twitter是一家數(shù)據(jù)驅(qū)動(dòng)型的公司，從2011年的300人，發(fā)展到2014年的4000人，大數(shù)據(jù)平臺(tái)從80臺(tái)服務(wù)器的Hadoop集群，擴(kuò)展到8000臺(tái)服務(wù)器的核心數(shù)據(jù)處理平臺(tái)，它的底層支撐就是一個(gè)全局共享的大數(shù)據(jù)平臺(tái)。當(dāng)業(yè)務(wù)和組織快速擴(kuò)張時(shí)，能做到統(tǒng)一數(shù)據(jù)規(guī)范、消除數(shù)據(jù)和應(yīng)用孤島。

與DevOps類似，DataOps要實(shí)現(xiàn)的是數(shù)據(jù)的持續(xù)集成、持續(xù)開(kāi)發(fā)和持續(xù)部署。智領(lǐng)云聯(lián)合創(chuàng)始人&CEO彭鋒表示，要構(gòu)建 DataOps 所需的通用平臺(tái)，一般需要以下技術(shù)：云原生架構(gòu)，容器，實(shí)時(shí)和流處理，多分析引擎，集成的應(yīng)用程序和數(shù)據(jù)管理，多租戶和安全性，DevOps 工具。

當(dāng)然，DataOps的使用和發(fā)展也需要有正確的工具和正確的思維加持，借助平臺(tái)及工具的力量來(lái)實(shí)現(xiàn)“數(shù)據(jù)、數(shù)據(jù)平臺(tái)、DataOps”的成功。智領(lǐng)云自主研發(fā)的即開(kāi)即用，快速搭建數(shù)據(jù)工程的輕量級(jí)云原生大數(shù)據(jù)開(kāi)發(fā)平臺(tái)--BDOS Online就是這樣一個(gè)平臺(tái)。

云原生解決傳統(tǒng)大數(shù)據(jù)平臺(tái)的痛點(diǎn)

BDOS Online是智領(lǐng)云自主研發(fā)的一款云原生Data Platform as a Service (DPaaS)產(chǎn)品，旨在為需要高效快速實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)應(yīng)用開(kāi)發(fā)、發(fā)布，運(yùn)維的企業(yè)級(jí)用戶提供一個(gè)在線協(xié)同數(shù)據(jù)應(yīng)用開(kāi)發(fā)及運(yùn)營(yíng)平臺(tái)。

BDOS Online 的底層是純K8s云原生的，這是因?yàn)楝F(xiàn)有大數(shù)據(jù)平臺(tái)及數(shù)據(jù)中臺(tái)建設(shè)方式效率低，開(kāi)發(fā)發(fā)布流程復(fù)雜，無(wú)法形成客戶的自主數(shù)據(jù)能力，系統(tǒng)性能低下，容易造成數(shù)據(jù)孤島，應(yīng)用孤島，云原生體系則可以解決這些痛點(diǎn)。

首先，純K8s的數(shù)據(jù)平臺(tái)，去除了對(duì)Hadoop的依賴，可以直接在K8s運(yùn)行現(xiàn)有工作負(fù)載，統(tǒng)一資源管理，提升資源使用率，便于多租戶計(jì)費(fèi)管理，大幅降低運(yùn)維成本。

第二，類似于K8s對(duì)于集群管理的改造，將數(shù)據(jù)流水線的運(yùn)行改造成代碼式管理，集成開(kāi)發(fā)，一次編寫(xiě)，隨處運(yùn)行。

第三，在云原生架構(gòu)下提供模塊化的數(shù)據(jù)工程，以產(chǎn)品形式提供面向場(chǎng)景的解決方案，用戶可以自助使用、分別購(gòu)買，按使用量付費(fèi)。

100%云原生改造之后的優(yōu)勢(shì)

據(jù)彭鋒介紹，作為國(guó)內(nèi)第一個(gè)K8s在線?數(shù)據(jù)平臺(tái)，BDOS Online的核心優(yōu)勢(shì)有：

首先，BDOS Online是純K8s的大數(shù)據(jù)平臺(tái)，端到端的，以在線方式提供Serverless方式的大數(shù)據(jù)開(kāi)發(fā)功能，用戶面對(duì)的直接是大數(shù)據(jù)應(yīng)用和開(kāi)發(fā)工具，而不是底層大數(shù)據(jù)系統(tǒng)。比如，用戶要運(yùn)行一個(gè)Spark程序，他們看到的是Spark程序本身運(yùn)行的情況，花費(fèi)的資源是這個(gè)Spark程序所花費(fèi)的資源，而無(wú)需安裝一個(gè)完整的大數(shù)據(jù)平臺(tái)，更無(wú)需考慮底層組件的運(yùn)維管理。

第二，允許用戶以數(shù)據(jù)工程方式管理數(shù)據(jù)應(yīng)用開(kāi)發(fā)，真正實(shí)現(xiàn)數(shù)據(jù)即產(chǎn)品（Data as a product）。無(wú)論是實(shí)時(shí)大屏，數(shù)據(jù)看板，數(shù)倉(cāng)ETL，數(shù)據(jù)服務(wù)，機(jī)器學(xué)習(xí)模型，還是通用的Docker應(yīng)用，BDOS Online允許用戶在一個(gè)數(shù)據(jù)項(xiàng)目里集成開(kāi)發(fā)和運(yùn)行這些步驟，而不是散布在各個(gè)子系統(tǒng)中，最終數(shù)據(jù)能力可以方便的共享和復(fù)用。

第三，在K8s體系下實(shí)現(xiàn)了多租戶，資源隔離，混合調(diào)度，精準(zhǔn)計(jì)費(fèi)這些在傳統(tǒng)大數(shù)據(jù)體系下很難完成，但是對(duì)企業(yè)級(jí)數(shù)據(jù)平臺(tái)至關(guān)重要的功能，其主要基礎(chǔ)就是因?yàn)锽DOS Online將所有的大數(shù)據(jù)組件做了K8s改造和系統(tǒng)繼承，一個(gè)機(jī)構(gòu)的所有應(yīng)用，不管是Hive ETL程序，還是Spark 機(jī)器學(xué)習(xí)程序，都在同一個(gè)機(jī)構(gòu)的命名空間中管理，便于設(shè)置用戶資源限額以及使用情況。

不少?gòu)S商，包括云計(jì)算廠商，也在K8s和大數(shù)據(jù)方面做了很多工作，智領(lǐng)云的差異化在于BDOS Online將所有組建，都用K8s進(jìn)行了改造，而不是改造一部分。同時(shí)，BDOS Online可以在線上直接使用，因?yàn)樗瓿闪硕嘧鈶簦跈?quán)健全的打通，計(jì)費(fèi)等功能。

中小企業(yè)和大型機(jī)構(gòu)都適用的平臺(tái)

彭鋒表示，云原生大數(shù)據(jù)平臺(tái)是一個(gè)基礎(chǔ)架構(gòu)的服務(wù)，并沒(méi)有行業(yè)屬性。使用BDOS Online的客戶，在云上有兩種云原生的方式。針對(duì)中小客戶，或者大客戶中的創(chuàng)新團(tuán)隊(duì)，他們不希望自己來(lái)管理一個(gè)復(fù)雜的大數(shù)據(jù)開(kāi)發(fā)平臺(tái)，但是有數(shù)據(jù)分析的需求，需要大數(shù)據(jù)業(yè)務(wù)開(kāi)發(fā)的管理方式。這樣的客戶可以在公有云上直接使用BDOS Online。

針對(duì)內(nèi)部已經(jīng)有大數(shù)據(jù)平臺(tái)，或者需要搭建大數(shù)據(jù)平臺(tái)，但是需要提供更高效的數(shù)據(jù)應(yīng)用開(kāi)發(fā)能力的客戶，希望能夠把整個(gè)開(kāi)發(fā)統(tǒng)一管理起來(lái)，然后與現(xiàn)有的集群混排一起使用，這也是BDOS Online的一個(gè)目標(biāo)使用場(chǎng)景。不少大企業(yè)內(nèi)部的大數(shù)據(jù)平臺(tái)，因?yàn)槿狈Χ嘧鈶舻母綦x和統(tǒng)一的開(kāi)發(fā)管理，以及統(tǒng)一的開(kāi)發(fā)流程的管理，使得內(nèi)部大數(shù)據(jù)的平臺(tái)運(yùn)維、運(yùn)營(yíng)、數(shù)據(jù)使用比較困難。在使用了BDOS Online這種純?cè)圃拇髷?shù)據(jù)平臺(tái)之后，可以直接使用K8s技術(shù)管理功能，大大降低了集群的運(yùn)維、開(kāi)發(fā)、使用成本。

結(jié)語(yǔ)

此前我們較為熟知的是，智領(lǐng)云BDOS產(chǎn)品，作為企業(yè)級(jí)大數(shù)據(jù)操作系統(tǒng)，以獨(dú)特的優(yōu)勢(shì)，已經(jīng)打造了包括零售、金融、物聯(lián)網(wǎng)、醫(yī)療等多個(gè)行業(yè)的標(biāo)桿案例。而B(niǎo)DOS Online作為BDOS的線上簡(jiǎn)化版本，本次采訪我們了解到它更為強(qiáng)大的功能，幾乎完全不需要借助其他工具平臺(tái)，所有的工作都可以在BDOS Online線上完成，無(wú)需關(guān)心各種復(fù)雜的大數(shù)據(jù)組件，只需專注實(shí)現(xiàn)業(yè)務(wù)即可。

掃碼即可試用