—— 某銀行使用華為云FusionInsight構(gòu)建“一湖兩平臺(tái)”金融數(shù)據(jù)湖

一、基于混合云的大數(shù)據(jù)發(fā)展趨勢(shì)

大數(shù)據(jù)技術(shù)經(jīng)過近幾年的快速發(fā)展，在企業(yè)數(shù)據(jù)中心的基礎(chǔ)設(shè)施上已不鮮見，尤其是金融行業(yè)，大數(shù)據(jù)技術(shù)應(yīng)用的步伐已經(jīng)走在其它行業(yè)前面，除此之外數(shù)據(jù)規(guī)模量級(jí)的增長(zhǎng)也非常迅猛。行業(yè)場(chǎng)景方面，金融企業(yè)在以數(shù)據(jù)湖、融合數(shù)倉(cāng)、湖內(nèi)數(shù)倉(cāng)（Data LakeHouse）等一些典型的技術(shù)場(chǎng)景中逐步將大數(shù)據(jù)生態(tài)技術(shù)應(yīng)用到金融企業(yè)的風(fēng)險(xiǎn)控制、運(yùn)營(yíng)管理、信貸查詢、信用卡征信和財(cái)務(wù)分析等領(lǐng)域。

從2019年的各類技術(shù)峰會(huì)以及各廠商新品發(fā)布會(huì)來看，一個(gè)新的趨勢(shì)開始影響大數(shù)據(jù)的發(fā)展，通過“云原生”重新定義大數(shù)據(jù)類的基礎(chǔ)平臺(tái)軟件。大數(shù)據(jù)云服務(wù)化已經(jīng)提了很多年，但是目前用戶的大數(shù)據(jù)平臺(tái)的服務(wù)能力依舊很弱，很多企業(yè)的大數(shù)據(jù)平臺(tái)僅承擔(dān)跑批業(yè)務(wù)，除了IT崗位的用戶之外，其它的業(yè)務(wù)崗位根本感受不到大數(shù)據(jù)的存在，更談不上通過從大數(shù)據(jù)技術(shù)設(shè)施得到業(yè)務(wù)的收益。本質(zhì)原因就是大數(shù)據(jù)基礎(chǔ)平臺(tái)軟件并不具備云服務(wù)化的基礎(chǔ)能力，這是2019年通過“云原生”重新定義軟件的時(shí)代背景，由此可預(yù)見，未來基礎(chǔ)軟件平臺(tái)將更多的被賦予“提供服務(wù)”的能力。

大數(shù)據(jù)的各個(gè)組件成為一種服務(wù)化的形態(tài)，主要是將一個(gè)大數(shù)據(jù)中心的服務(wù)能力進(jìn)行虛擬化，多個(gè)用戶群體可共用服務(wù)能力，單個(gè)用戶群體有類似獨(dú)占的使用體驗(yàn)，而且隨著用戶群體規(guī)模和類別的增加，資源可以輕量化彈性伸縮，自動(dòng)發(fā)放與回收，底層基礎(chǔ)架構(gòu)的耦合比較輕，甚至解耦。在這種架構(gòu)下，用戶的需求，可以更快地被響應(yīng)和實(shí)現(xiàn)。因?yàn)樵圃夹g(shù)可以有效地縮短應(yīng)用交付的周期，讓需求更快落地，最終為用戶服務(wù)，動(dòng)態(tài)實(shí)現(xiàn)價(jià)值，而不僅僅承擔(dān)跑批業(yè)務(wù)。所以，一個(gè)本地建設(shè)的大數(shù)據(jù)中心往往需要大量的資金、人力的投入，為單個(gè)用戶群體建立專用中心是不現(xiàn)實(shí)的，因此大數(shù)據(jù)服務(wù)的云化在這些場(chǎng)景很有價(jià)值，也可能是必須的選擇。

在當(dāng)前的云計(jì)算產(chǎn)業(yè)商業(yè)模式下，未來金融企業(yè)的大數(shù)據(jù)基礎(chǔ)設(shè)施向公有云或者混合云部署模式轉(zhuǎn)變成為必然，隨之而來的是用戶對(duì)云服務(wù)提供商的合規(guī)和信息安全的要求會(huì)進(jìn)一步提高。當(dāng)大數(shù)據(jù)被賦予云原生的含義后，大數(shù)據(jù)的真正業(yè)務(wù)價(jià)值才會(huì)逐步綻放，大數(shù)據(jù)固定資產(chǎn)投資才能真正變現(xiàn)，從而讓更多的領(lǐng)域從大數(shù)據(jù)中獲益，全面提升大數(shù)據(jù)的投資回報(bào)率。

二、某行大數(shù)據(jù)服務(wù)云BDSP案例

背景與挑戰(zhàn)

全行各業(yè)務(wù)線數(shù)據(jù)量不斷增加，業(yè)務(wù)側(cè)對(duì)數(shù)據(jù)需求非常迫切，舊有的模式是業(yè)務(wù)提需求給開發(fā)中心，開發(fā)中心安排開發(fā)資源管道，大量的需求積壓，甚至由于開發(fā)周期太長(zhǎng)導(dǎo)致需求已經(jīng)沒有了實(shí)際意義。另外行內(nèi)煙囪式的數(shù)據(jù)平臺(tái)建設(shè)導(dǎo)致“數(shù)據(jù)孤島”，給開發(fā)人員帶來大量的數(shù)據(jù)拉取和整合的工作量。耗費(fèi)了大量的人力物力以及時(shí)間，還導(dǎo)致了業(yè)務(wù)側(cè)的投訴和抱怨，工作效率嚴(yán)重滯后。從投資成本來看，業(yè)務(wù)倒逼IT的煙囪式的數(shù)據(jù)平臺(tái)的投資建設(shè)，耗費(fèi)了龐大資金和人力投入，協(xié)同效能的提升問題凸顯。

解決方案

通過引入華為云EI智能數(shù)據(jù)湖FusionInsight提供的MRS+DWS大數(shù)據(jù)云服務(wù)化產(chǎn)品，將行內(nèi)的基礎(chǔ)數(shù)據(jù)需求按照業(yè)務(wù)劃分為數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)和集團(tuán)信息庫(kù)，即“一湖兩庫(kù)”為核心，通過不同的數(shù)據(jù)處理手段將數(shù)據(jù)持久化；通過華為MRS和DWS產(chǎn)品提供的組件將主流的數(shù)據(jù)處理引擎集成在大數(shù)據(jù)服務(wù)云平臺(tái)中；再將這些數(shù)據(jù)服務(wù)以租戶渠道方式作為接口開放，例如“數(shù)據(jù)集市”、“損益預(yù)查詢”，最后用戶通過自助或者固定的應(yīng)用服務(wù)渠道來獲得大數(shù)據(jù)服務(wù)，如“分析師工作臺(tái)”。

平臺(tái)全部嘗試采用全國(guó)產(chǎn)化技術(shù)，基于ARM技術(shù)服務(wù)器和華為MRS產(chǎn)品構(gòu)建了1000+節(jié)點(diǎn)的大數(shù)據(jù)云化服務(wù)集群。

在行內(nèi)的大數(shù)據(jù)服務(wù)云場(chǎng)景中，真正提供服務(wù)核心的是一個(gè)全行共用的大數(shù)據(jù)基礎(chǔ)平臺(tái)（MRS+DWS），使用服務(wù)的是多個(gè)不同的用戶群體，各用戶群體以租戶形式互相隔離（租戶渠道層），單個(gè)租戶在限定的范圍內(nèi)使用大數(shù)據(jù)的服務(wù)，如圖所示。大數(shù)據(jù)服務(wù)云平臺(tái)提供用戶自服務(wù)的渠道，例如風(fēng)險(xiǎn)計(jì)量或者分析師工作臺(tái)。用戶自行管理租戶資源池內(nèi)可用的資源、數(shù)據(jù)等內(nèi)容。在使用過程中平臺(tái)提供用戶的驗(yàn)證、訪問的管控、審計(jì)，對(duì)資源使用的計(jì)費(fèi)等衍生問題的處理。

業(yè)務(wù)價(jià)值

將大數(shù)據(jù)基礎(chǔ)平臺(tái)在云化基礎(chǔ)設(shè)施上的部署，使得大數(shù)據(jù)系統(tǒng)降低了建設(shè)、部署、運(yùn)維等環(huán)節(jié)的投入，體現(xiàn)在在多個(gè)租戶間平攤大數(shù)據(jù)中心的建設(shè)、運(yùn)維成本，提高大數(shù)據(jù)中心的使用效率。

基于存算分離的架構(gòu)部署，有效的節(jié)約了存儲(chǔ)成本，真正做到資源的“按需分配”。

對(duì)于單租戶，省去了維護(hù)大數(shù)據(jù)系統(tǒng)帶來的龐大資金和人力投入，使得大數(shù)據(jù)系統(tǒng)降低了建設(shè)、部署、運(yùn)維等環(huán)節(jié)的使用門檻，助力普通員工輕松使用大數(shù)據(jù)應(yīng)用。

華為云針對(duì)大數(shù)據(jù)上云與治理提出了一套適用于互聯(lián)網(wǎng)、金融、游戲、產(chǎn)業(yè)云等行業(yè)的解決方案，由數(shù)據(jù)采集到數(shù)據(jù)處理與匯聚，再到數(shù)據(jù)計(jì)算與分析，最后到應(yīng)用與消費(fèi)層，通過對(duì)數(shù)據(jù)的一系列采集、處理、分析和應(yīng)用，構(gòu)建全場(chǎng)景數(shù)據(jù)服務(wù)助力政府/企業(yè)數(shù)字化轉(zhuǎn)型，最終實(shí)現(xiàn)從數(shù)據(jù)到價(jià)值的閉環(huán)。828上云季，不但有億元上云補(bǔ)貼，還有新購(gòu)滿額送華為手機(jī)P40 Pro 5G，超多豪禮等你來拿~

https://activity.huaweicloud.com/data.html

掃碼立即搶購(gòu)，還可免費(fèi)獲取超高價(jià)值的產(chǎn)品白皮書噢！