數(shù)據(jù)中臺(tái)與其存儲(chǔ)系統(tǒng)
一、什么是數(shù)據(jù)中臺(tái)?
最近幾年經(jīng)常有人提到數(shù)據(jù)中臺(tái)這個(gè)詞,怎么理解?不同人可能有不同的看法,數(shù)據(jù)中臺(tái)總的來(lái)說(shuō)是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來(lái)”的機(jī)制,一種戰(zhàn)略選擇和組織形式,是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu),通過(guò)有形的產(chǎn)品和實(shí)施方法論支撐,構(gòu)建一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制。
通俗的來(lái)理解的話,數(shù)據(jù)中臺(tái)就是一個(gè)組織的公共服務(wù)產(chǎn)品或平臺(tái),將數(shù)據(jù)加工封裝成一個(gè)公共的數(shù)據(jù)產(chǎn)品或者服務(wù)的邏輯概念,方便前臺(tái)業(yè)務(wù)或后臺(tái)研發(fā)的應(yīng)用,它不同于一般的簡(jiǎn)單大數(shù)據(jù)平臺(tái)或者數(shù)據(jù)倉(cāng)庫(kù)。
二、數(shù)據(jù)中臺(tái)的價(jià)值
在過(guò)去幾年中,借著移動(dòng)互聯(lián)網(wǎng)的紅利,許多公司都高速發(fā)展,進(jìn)行大規(guī)模業(yè)務(wù)拓展,業(yè)務(wù)拓展的速度足夠快,對(duì)公司自然是好事,但是隨之而來(lái)的問(wèn)題就是公司內(nèi)部出現(xiàn)了大量的重復(fù)建設(shè)和資源浪費(fèi)的現(xiàn)象。所以中臺(tái)不是憑空產(chǎn)生的,而是建立在業(yè)務(wù)之上,有些組織在發(fā)展過(guò)程中經(jīng)常有不同的項(xiàng)目,需要重新搭建IT架構(gòu),造成資源浪費(fèi),搭建中臺(tái)系統(tǒng)完美解決重復(fù)搭建問(wèn)題。換句話說(shuō)數(shù)據(jù)中臺(tái)是在數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)平臺(tái)的基礎(chǔ)上,從數(shù)據(jù)采集到分析到展現(xiàn),將數(shù)據(jù)包裝成若干的數(shù)據(jù)API 服務(wù),以更高效的方式提供給需求者。未處理的不能給業(yè)務(wù)帶來(lái)價(jià)值的原始數(shù)據(jù)不等于數(shù)據(jù)資產(chǎn),如果沒(méi)有從業(yè)務(wù)的角度對(duì)數(shù)據(jù)進(jìn)行規(guī)劃,再多的數(shù)據(jù)也無(wú)法產(chǎn)生價(jià)值。數(shù)據(jù)中臺(tái)的出現(xiàn),就是為了彌補(bǔ)數(shù)據(jù)開(kāi)發(fā)和應(yīng)用開(kāi)發(fā)之間,由于開(kāi)發(fā)速度不匹配,出現(xiàn)的響應(yīng)力跟不上的問(wèn)題。
具體價(jià)值可從以下幾個(gè)方面來(lái)看:
1、快速應(yīng)對(duì)業(yè)務(wù)對(duì)數(shù)據(jù)處理的需求和業(yè)務(wù)創(chuàng)新,形成核心壁壘;
2、豐富標(biāo)簽數(shù)據(jù),減低管理成本;
3、能體現(xiàn)業(yè)務(wù)系統(tǒng)效果而不僅是準(zhǔn)確度;
4、支持跨主題域訪問(wèn)數(shù)據(jù);
5、數(shù)據(jù)可以快速?gòu)?fù)用和共享、但不僅僅是復(fù)制;
6、解決前臺(tái)和后臺(tái)的沖突,前臺(tái)對(duì)接用戶(hù),后臺(tái)對(duì)接內(nèi)部開(kāi)發(fā)。企業(yè)的數(shù)據(jù)開(kāi)發(fā)一般是跟不上應(yīng)用的開(kāi)發(fā)速度,更是跟不上業(yè)務(wù)的變化速度,這是一個(gè)不可調(diào)和的問(wèn)題,而數(shù)據(jù)中臺(tái)通過(guò)構(gòu)建數(shù)據(jù)體系,將其轉(zhuǎn)化為數(shù)據(jù)開(kāi)發(fā)的能力,提升開(kāi)發(fā)速度。
總結(jié):數(shù)據(jù)中臺(tái)把業(yè)務(wù)生產(chǎn)資料轉(zhuǎn)變?yōu)閿?shù)據(jù)生產(chǎn)力,同時(shí)數(shù)據(jù)生產(chǎn)力反哺業(yè)務(wù),不斷迭代循環(huán)的閉環(huán)過(guò)程。數(shù)據(jù)驅(qū)動(dòng)決策和運(yùn)營(yíng),取之于業(yè)務(wù),用之于業(yè)務(wù)。數(shù)據(jù)中臺(tái)把數(shù)據(jù)統(tǒng)一之后,會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù),再進(jìn)行存儲(chǔ),形成大數(shù)據(jù)資產(chǎn)層,進(jìn)而為其服務(wù)對(duì)象提供高效服務(wù)。
三、數(shù)據(jù)中臺(tái)下的存儲(chǔ)基礎(chǔ)設(shè)施需求
就當(dāng)前的情況來(lái)看,數(shù)據(jù)中臺(tái)在未來(lái)一段時(shí)間內(nèi)仍會(huì)涵蓋數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)湖等存儲(chǔ)組件,包括結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)中臺(tái)如此有價(jià)值,支撐這個(gè)平臺(tái)的基礎(chǔ)設(shè)施也同樣重要,俗話說(shuō)工欲善其事必先利其器,具有優(yōu)秀的基礎(chǔ)架構(gòu)才能夠讓用戶(hù)在未來(lái)的數(shù)據(jù)之路中越走越寬。數(shù)據(jù)中臺(tái)是建立在分布式計(jì)算平臺(tái)和存儲(chǔ)平臺(tái)之上的,理論上可以無(wú)限擴(kuò)充平臺(tái)的計(jì)算和存儲(chǔ)能力。存儲(chǔ)方面具體需要從以下幾個(gè)方面來(lái)考慮:
1、擴(kuò)展性需求
不僅需要購(gòu)買(mǎi)行業(yè)標(biāo)準(zhǔn)的存儲(chǔ)設(shè)備,同時(shí)還要保證產(chǎn)品的擴(kuò)展能力,隨著業(yè)務(wù)的增加,能夠根據(jù)需要進(jìn)行擴(kuò)展,能夠持續(xù)保證組織的需求,通過(guò)增加存儲(chǔ)節(jié)點(diǎn)設(shè)備來(lái)維持?jǐn)?shù)據(jù)增長(zhǎng)的容量和性能需求;
2、消除數(shù)據(jù)流動(dòng)和遷移麻煩
數(shù)據(jù)中臺(tái)存儲(chǔ)系統(tǒng)必須滿(mǎn)足數(shù)據(jù)增長(zhǎng)而不會(huì)受到任何其他系統(tǒng)約束的能力,能夠方便的數(shù)據(jù)遷移和流動(dòng);
3、拒絕數(shù)據(jù)孤島
為了能夠充分利用大數(shù)據(jù)的機(jī)會(huì),組織必須能夠訪問(wèn)所有的數(shù)據(jù),要實(shí)現(xiàn)這一點(diǎn),存儲(chǔ)平臺(tái)必須能夠滿(mǎn)足這個(gè)要求,消除那些傳統(tǒng)的存儲(chǔ)孤島,最好是一套存儲(chǔ)系統(tǒng)就能保存和管理所有的數(shù)據(jù),完成所有需要的任務(wù),而不是簡(jiǎn)單的添加另一個(gè)存儲(chǔ)解決方案;
4、提供全局管理方式
一個(gè)集中的數(shù)據(jù)管理方式在大數(shù)據(jù)增長(zhǎng)迅速的年代已經(jīng)是不可行的了,單點(diǎn)故障的成本會(huì)很高,一個(gè)大數(shù)據(jù)存儲(chǔ)平臺(tái)必須能夠管理分布在不同機(jī)房甚至不同地域中的數(shù)據(jù);
5、保護(hù)數(shù)據(jù)的可用性和可靠性
數(shù)據(jù)價(jià)值越來(lái)越重要,為了防止企業(yè)級(jí)的產(chǎn)品硬件發(fā)生故障或其他錯(cuò)誤,存儲(chǔ)平臺(tái)必須通過(guò)智能軟件的保護(hù)措施來(lái)保證數(shù)據(jù)的可用性和完整性以及可靠性;
6、集成度高
數(shù)據(jù)來(lái)源廣泛與復(fù)雜,不同類(lèi)型的數(shù)據(jù)訪問(wèn),處理和分析的方式不同,這就要求大數(shù)據(jù)時(shí)代下存儲(chǔ)系統(tǒng)的接口集成度要高,使大數(shù)據(jù)存儲(chǔ)系統(tǒng)能夠應(yīng)對(duì)和兼容不同的數(shù)據(jù)需求;
7、自動(dòng)化能力強(qiáng)
大數(shù)據(jù)使得數(shù)據(jù)量大幅增加以及數(shù)據(jù)處理流程,方式更加復(fù)雜,這給存儲(chǔ)系統(tǒng)的管理和維護(hù)提出了更高的要求,因此管理自動(dòng)化也是衡量此數(shù)據(jù)存儲(chǔ)系統(tǒng)的重要指標(biāo);
8、彈性成本規(guī)劃
大數(shù)據(jù)并不意味著用戶(hù)必須要在基礎(chǔ)架構(gòu)上一次性投入大額成本,具有彈性擴(kuò)展的存儲(chǔ)系統(tǒng)能夠幫助用戶(hù)實(shí)現(xiàn)彈性成本,按需購(gòu)買(mǎi)和擴(kuò)容,讓不同層面的用戶(hù)都能在大數(shù)據(jù)浪潮中開(kāi)展業(yè)務(wù)。
最后,個(gè)人覺(jué)得數(shù)據(jù)中臺(tái)的建設(shè)并不是每個(gè)組織所必須的,打個(gè)比方,就好比做某道菜,為了以后方便的做這道菜,事先把加工過(guò)的原料和調(diào)料都準(zhǔn)備好,想吃的時(shí)候就可以迅速做出來(lái),但如果吃這道菜的頻率很低,偶爾吃一次,可能就不需要事先都準(zhǔn)備好了。所以當(dāng)前臺(tái)和后臺(tái)對(duì)數(shù)據(jù)需求的變化頻率很低,而組織認(rèn)為目前的系統(tǒng)架構(gòu)能很好的支撐,也可以暫時(shí)不需要單獨(dú)建設(shè)數(shù)據(jù)中臺(tái)。