【51CTO.com原創(chuàng)稿件】大數(shù)據(jù)和大數(shù)據(jù)分析成為時(shí)下企業(yè)關(guān)注的焦點(diǎn)，大數(shù)據(jù)分析平臺(tái)正在從企業(yè)的高配變?yōu)闃?biāo)配，是企業(yè)實(shí)現(xiàn)“一切業(yè)務(wù)數(shù)據(jù)化，一切數(shù)據(jù)業(yè)務(wù)化”目標(biāo)的基礎(chǔ)平臺(tái)。本期《大咖來了》邀請(qǐng)了阿里云智能高級(jí)解決方案架構(gòu)師鮑遠(yuǎn)松，分享主題為《零門檻構(gòu)建彈性大數(shù)據(jù)云分析平臺(tái)》，過程中對(duì)大數(shù)據(jù)分析平臺(tái)建設(shè)進(jìn)行階段劃分，并對(duì)每階段進(jìn)行了詳盡的闡述。

如下圖，為大數(shù)據(jù)分析平臺(tái)建設(shè)的四個(gè)階段，分別是自建、云托管、云服務(wù)和云原生。

大數(shù)據(jù)分析平臺(tái)建設(shè)之自建

為什么要自建大數(shù)據(jù)分析平臺(tái)呢？主要原因有三：其一、傳統(tǒng)大數(shù)據(jù)分析技術(shù)已經(jīng)不能滿足大數(shù)據(jù)分析，需要通過引入新技術(shù)進(jìn)行提升；其二、早期大數(shù)據(jù)技術(shù)相對(duì)不成熟、不可靠，需要專門的技術(shù)人才去研究；其三、市場上缺乏有效的大數(shù)據(jù)分析的成功案例和實(shí)踐，企業(yè)必須摸著石頭過河。

自建大數(shù)據(jù)分析平臺(tái)屬于重資產(chǎn)模式，存在多方面不足，主要有如下幾點(diǎn)：

周期長：整個(gè)建設(shè)周期特別長，涉及機(jī)房選擇、硬件采購、集群部署、測(cè)試調(diào)優(yōu)、數(shù)據(jù)服務(wù)、運(yùn)維管理等諸多環(huán)節(jié)。

成本高：成本分為兩類，一類是服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、運(yùn)維、IDC等顯性成本，另一類是業(yè)務(wù)影響、資源閑置、彈性擴(kuò)容、一次性資金投入等隱性成本。這些成本的投入是確定的，但產(chǎn)出卻是未知的。

門檻高：近些年大數(shù)據(jù)技術(shù)蓬勃發(fā)展，數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、分析計(jì)算及數(shù)據(jù)作業(yè)每個(gè)維度都有很多細(xì)分的技術(shù)，任何一個(gè)技術(shù)都需要投入專人進(jìn)行深入研究，對(duì)于普通企業(yè)來說人才門檻很高。

見效慢：大數(shù)據(jù)分析平臺(tái)需要自始至終不斷地進(jìn)行迭代和修正，直至數(shù)據(jù)質(zhì)量符合預(yù)期，數(shù)據(jù)分析結(jié)果可信，才能真正達(dá)到極致彈性性能、高可靠、多場景應(yīng)用的效果。

大數(shù)據(jù)分析平臺(tái)建設(shè)之云托管

自建大數(shù)據(jù)分析平臺(tái)種種不足的背景下，云托管應(yīng)需而生，原因有三：其一、企業(yè)甩掉重資產(chǎn)的包袱；其二、大數(shù)據(jù)技術(shù)趨于成熟，企業(yè)不再聚焦于大數(shù)據(jù)技術(shù)本身，而是需要一批具有大數(shù)據(jù)技能的人來做大數(shù)據(jù)的開發(fā)；其三、云廠商結(jié)合自身的優(yōu)勢(shì)，提供了云上大數(shù)據(jù)托管平臺(tái)。

自建大數(shù)據(jù)分析平臺(tái)通常是基于開源Hadoop平臺(tái)，而云托管是把自建開源Hadoop平臺(tái)轉(zhuǎn)化為企業(yè)級(jí)、標(biāo)準(zhǔn)型大數(shù)據(jù)分析平臺(tái)，具備統(tǒng)一集群管理、完備的監(jiān)控報(bào)警、計(jì)算與存儲(chǔ)分離、彈性擴(kuò)容、按需構(gòu)建、數(shù)據(jù)安全、低門檻運(yùn)維、豐富云生態(tài)對(duì)接等優(yōu)勢(shì)。

EMR提供了基礎(chǔ)資源、平臺(tái)管理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)集成、計(jì)算引擎、數(shù)據(jù)使用和作業(yè)管理等平臺(tái)能力，對(duì)于所有組件都提供了完備的監(jiān)控報(bào)警，任何組件異常都可以第一時(shí)間做報(bào)警并且通知到用戶，同時(shí)基于平臺(tái)提供了智能的運(yùn)維管理、調(diào)度等功能。

接下來我們從基礎(chǔ)設(shè)施、運(yùn)維管理、云生態(tài)等角度，詳細(xì)了解下云托管的部分優(yōu)勢(shì)。

云托管之基礎(chǔ)設(shè)施

首先，云上有豐富的產(chǎn)品規(guī)格族，阿里云整個(gè)虛擬機(jī)分為通用計(jì)算、異構(gòu)計(jì)算、裸金屬&高性能計(jì)算三大類，每一類滿足不同的場景，可以快速構(gòu)建不同場景下的大數(shù)據(jù)分析平臺(tái)；其次，利用云的彈性，計(jì)算和存儲(chǔ)資源可以進(jìn)行獨(dú)立擴(kuò)充，滿足業(yè)務(wù)高峰期或業(yè)務(wù)對(duì)極致性能的追求的同時(shí)，還可以靈活的按需構(gòu)建；最后，云上構(gòu)建大數(shù)據(jù)分析平臺(tái)在成本上可以做大量優(yōu)化，可以根據(jù)業(yè)務(wù)特性靈活選擇購買方式，如通過Spot Instance 大幅降低計(jì)算節(jié)點(diǎn)的成本。

云托管之運(yùn)維管理

運(yùn)維整個(gè)大數(shù)據(jù)分析平臺(tái)非常復(fù)雜，需要專業(yè)的人才和大量的投入。從基礎(chǔ)運(yùn)維到管理運(yùn)維，再到組件運(yùn)維，云廠商提供了多維度運(yùn)維能力。

基礎(chǔ)運(yùn)維：云廠商借助自身大規(guī)模服務(wù)器運(yùn)維經(jīng)驗(yàn)構(gòu)建AlOps系統(tǒng)，可以提前對(duì)硬件做檢測(cè)分析、發(fā)現(xiàn)故障后快速進(jìn)行主動(dòng)運(yùn)維，減少對(duì)業(yè)務(wù)的影響。

管理運(yùn)維：EMR實(shí)現(xiàn)一鍵部署、開箱即用，還提供統(tǒng)一的配置管理、平臺(tái)狀態(tài)監(jiān)控和故障報(bào)警等功能。

組件運(yùn)維：組件運(yùn)維是大數(shù)據(jù)分析平臺(tái)最復(fù)雜的部分，當(dāng)進(jìn)行版本升級(jí)時(shí)，由于組件之間存在著千絲萬縷的關(guān)聯(lián)，保證兼容是重中之重。組件運(yùn)維還有一個(gè)很重要的點(diǎn)就是性能優(yōu)化，云廠商會(huì)結(jié)合自身云計(jì)算優(yōu)勢(shì)對(duì)底層基礎(chǔ)設(shè)施進(jìn)行優(yōu)化，對(duì)內(nèi)核引擎進(jìn)行優(yōu)化，幫助開源組件提升性能。

云托管之云生態(tài)

云上有豐富的生態(tài)，避免后來者重復(fù)造輪子或從零開始，如下圖。

底層存儲(chǔ)在云上可以提供OSS對(duì)象存儲(chǔ)、HDFS存儲(chǔ)，HDFS存儲(chǔ)可以直接去無縫訪問OSS對(duì)象存儲(chǔ)，與訪問HDFS文件沒有任何差別，這樣一來，就可以靈活的進(jìn)行數(shù)據(jù)歸檔和成本調(diào)優(yōu)。

在數(shù)據(jù)源方面， 支持OSS、SLS、RDS、消息隊(duì)列等服務(wù)作為數(shù)據(jù)源；在計(jì)算引擎方面，云上EMR平臺(tái)可與MaxCompute、Flink、Tensorflow引擎進(jìn)行打通；在融合方面，云上提供DataWorks服務(wù)，通過DataWorks可以把Hadoop整個(gè)上層元數(shù)據(jù)的管理、數(shù)據(jù)質(zhì)量管理進(jìn)行統(tǒng)一。除此之外，云上還提供DataV、QuickBI等分析展示能力。

除以上概述內(nèi)容外，后續(xù)還有云服務(wù)和云原生等方面更多干貨，請(qǐng)戳視頻進(jìn)行觀看： http://aix.51cto.com/activity/10019.html

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】