淺談傳統(tǒng)企業(yè)的大數(shù)據(jù)平臺(tái)如何上云
1. 趨勢(shì)介紹與闡述:大數(shù)據(jù)和云計(jì)算進(jìn)一步深度融合, 擁抱云計(jì)算走向云原生化
首先我們來(lái)解讀下“大數(shù)據(jù)和云計(jì)算進(jìn)一步深度融合, 擁抱云計(jì)算走向云原生化”:
- 云原生(Cloud Native)理念,本質(zhì)上是一套“利用云計(jì)算技術(shù)為用戶降本增效”的最佳實(shí)踐與方法論;
- 大數(shù)據(jù)擁抱云計(jì)算走向云原生化,其驅(qū)動(dòng)力來(lái)自于以下四個(gè)方面:
- 一是各個(gè)具體的大數(shù)據(jù)組件都在主動(dòng)改變自身架構(gòu),積極“云化”以適應(yīng)云部署環(huán)境(在底層技術(shù)架構(gòu)上,為適應(yīng)云部署環(huán)境,大數(shù)據(jù)更加青睞存儲(chǔ)計(jì)算分離的架構(gòu),在存儲(chǔ)層也融合了文件系統(tǒng)和對(duì)象存儲(chǔ)且更加青睞云友好的對(duì)象存儲(chǔ));
- 二是各個(gè)傳統(tǒng)大數(shù)據(jù)供應(yīng)商已經(jīng)轉(zhuǎn)向依托云來(lái)提供自己的產(chǎn)品和服務(wù);
- 三是各個(gè)云計(jì)算廠商在不斷推出各種云上托管的基于大數(shù)據(jù)的服務(wù),以加強(qiáng)自己的市場(chǎng)競(jìng)爭(zhēng)力;
- 四是應(yīng)用方的大數(shù)據(jù)平臺(tái)很多也有主動(dòng)上云的需求;
- 各個(gè)行業(yè)和各家公司的發(fā)展階段不同,融合本地?cái)?shù)據(jù)中心和云環(huán)境的進(jìn)度也不同,但在部署架構(gòu)上,基于混合云和多云模式,融合公有云私有云與非云模式,來(lái)構(gòu)建企業(yè)整體的IT基礎(chǔ)設(shè)施,必將是大勢(shì)所趨。
2 大數(shù)據(jù)跟云計(jì)算的融合現(xiàn)狀和趨勢(shì)
大數(shù)據(jù)跟云計(jì)算的融合現(xiàn)狀和趨勢(shì)如下:
- 很多云計(jì)算頭部廠商,比如AWS、阿里和華為等,都提供了云上托管的Hadoop和NoSQL數(shù)據(jù)庫(kù)等大數(shù)據(jù)解決方案; 很多傳統(tǒng)的大數(shù)據(jù)供應(yīng)商,如 elastic, cloudera, databricks,confluent等,也在公有云上推出了自己的大數(shù)據(jù)解決方案;
- 很多初創(chuàng)企業(yè)和中小企業(yè)選擇了公有云上托管的大數(shù)據(jù)解決方案,來(lái)搭建和部署自己的應(yīng)用系統(tǒng),以快速面向市場(chǎng)推出產(chǎn)品提供服務(wù);
- 也有很多規(guī)模較大的公司,出于云端的數(shù)據(jù)安全和隱私保護(hù),出于大規(guī)模租用公有云的成本考量,出于多個(gè)業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)跨區(qū)域移動(dòng)的成本等考量,沒(méi)有使用公有云,而是自行搭建私有云;
- 從長(zhǎng)遠(yuǎn)整體上看,大數(shù)據(jù)云計(jì)算是越來(lái)越深度融合的,大數(shù)據(jù)朝著深度挖掘用戶價(jià)值、注重?cái)?shù)據(jù)時(shí)效性、強(qiáng)調(diào)邊緣計(jì)算、非結(jié)構(gòu)化協(xié)同處理等方向發(fā)展,對(duì)云計(jì)算底座的要求也越來(lái)越高。
3 機(jī)構(gòu)大數(shù)據(jù)平臺(tái)建設(shè)建議
企業(yè)需要意識(shí)到,業(yè)務(wù)系統(tǒng)的上云不是一蹴而就的,也不是單向的一帆風(fēng)順的:
- 這里涉及到新開(kāi)發(fā)的業(yè)務(wù)系統(tǒng)的主動(dòng)上云(由于是采用云原生技術(shù)棧新開(kāi)發(fā)的業(yè)務(wù)系統(tǒng),其上云相對(duì)順暢些);
- 也包括歷史遺留系統(tǒng)的遷移上云(單個(gè)遺留系統(tǒng)的改造遷移和上云,視乎復(fù)雜程度,往往需要一年多甚至更長(zhǎng)的時(shí)間周期);
- 有時(shí)也會(huì)有從云端部署回退到私有云或數(shù)據(jù)中心的情形(上云后系統(tǒng)不順暢,IT人員不適應(yīng)等,也有會(huì)退的場(chǎng)景)。
企業(yè)業(yè)務(wù)系統(tǒng)上云的最終目標(biāo),出于各種考量(有業(yè)務(wù)系統(tǒng)高可用的考量,也有不被云廠商綁定即 vendor-lockin的考量,也有生態(tài)系統(tǒng)合作伙伴即經(jīng)濟(jì)因素等多種考量),部署架構(gòu)不會(huì)是單一的某個(gè)公有云,而是多個(gè)公有云和私有云的混合部署形態(tài);
所以企業(yè)需要制定從上到下的整體的云化整合方案,梳理所有的業(yè)務(wù)系統(tǒng),根據(jù)其業(yè)務(wù)關(guān)鍵性的不同,數(shù)據(jù)時(shí)效要求的不同,以及安全與隱私考量的不同等多種因素,分階段有步驟地,遷移部分業(yè)務(wù)系統(tǒng)到公有云或私有云上,基于混合云和多云模式,融合公有云私有云與非云模式,來(lái)構(gòu)建企業(yè)整體的IT基礎(chǔ)設(shè)施。