從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術進化史
前言
大家好,我是一名大數(shù)據(jù)開發(fā)工程師,在金融行業(yè)深耕多年,其實數(shù)據(jù)技術的演進不僅是技術層面的革新,更是業(yè)務模式與決策方式的深刻變革。從最開始的數(shù)據(jù)倉庫興起,到數(shù)據(jù)中臺的普及,再到數(shù)據(jù)飛輪的出現(xiàn),每一步都見證了金融行業(yè)對數(shù)據(jù)價值認知的深化和利用能力的提升。下面我將以我所了解到的知識來講一講金融行業(yè)的數(shù)據(jù)技術進化史。
數(shù)據(jù)倉庫:奠定數(shù)據(jù)基礎
數(shù)據(jù)倉庫這個概念,其實是由數(shù)據(jù)倉庫之父Bill Inmon在1991年出版的“Building the Data Warehouse"定義且被廣泛接受的——面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策。從定義上來看,數(shù)據(jù)倉庫的關鍵詞為面向主題、集成、穩(wěn)定、反映歷史變化、支持管理決策,而這些關鍵詞的實現(xiàn)就體現(xiàn)在分層架構內。
分層架構怎么分層呢?市面上主流的分層方式太多了,其實從核心思想上分可以分為ODM貼源層、SDMQ標準層、FDM主題層、ADM應用層,如下圖所示:
從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術進化史_數(shù)據(jù)
在數(shù)據(jù)倉庫階段,金融行業(yè)主要依賴于IBM、Oracle、Teradata等廠商提供的整體解決方案。然而,隨著數(shù)據(jù)量的進一步爆炸和業(yè)務需求的多樣化,數(shù)據(jù)倉庫逐漸顯露出其局限性。它雖然能夠存儲和管理大量數(shù)據(jù),但在數(shù)據(jù)處理的實時性、靈活性和效率方面難以滿足日益增長的需求。
數(shù)據(jù)中臺:數(shù)據(jù)價值的深度挖掘
正是在這樣的背景下,數(shù)據(jù)中臺應運而生。前面提到數(shù)據(jù)倉庫的核心是分層架構,那么數(shù)據(jù)中臺的核心就是四化,即業(yè)務數(shù)據(jù)化、數(shù)據(jù)資產化、資產服務化和服務業(yè)務化。因為數(shù)據(jù)量的進一步爆炸和業(yè)務需求的多樣化,所以出現(xiàn)了數(shù)據(jù)中臺,數(shù)據(jù)中臺是如何解決這一現(xiàn)象呢?
下面這張圖是數(shù)據(jù)中臺的邏輯架構圖,可以看到數(shù)據(jù)中臺其實是將數(shù)據(jù)服務化之后提供給業(yè)務系統(tǒng),目標是將數(shù)據(jù)能力滲透到各個業(yè)務環(huán)節(jié),不限于決策分析類場景。這種架構可以加快數(shù)據(jù)賦能業(yè)務的速度,為業(yè)務提供速度更快、更多樣的數(shù)據(jù)服務。
從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術進化史_數(shù)據(jù)倉庫_02
金融行業(yè)其實已經步入了智能化的金融科技3.0時代,我認為智慧中臺是智慧金融的新基礎設施,金融行業(yè)想要實現(xiàn)四化的核心可以先理清金融機構自身的數(shù)據(jù)資產,梳理好機構內的數(shù)據(jù)資產后需要對數(shù)據(jù)的標準、口徑等進行統(tǒng)一,最后再向相關部門提供數(shù)據(jù)服務。
數(shù)據(jù)飛輪:構建數(shù)據(jù)消費的正循環(huán)
什么是數(shù)據(jù)飛輪呢?數(shù)據(jù)飛輪是今年大模型帶火的一個詞匯,核心其實就是通過客戶在應用程序中輸入的提示詞這樣的數(shù)據(jù)反饋,使大模型快速迭代。通俗一點就是,好的產品
從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術進化史_數(shù)據(jù)倉庫_03
雖然現(xiàn)在數(shù)據(jù)飛輪很火,但是想要在金融行業(yè)落地還是有很多挑戰(zhàn)的,比如金融行業(yè)科技技術人才占比較少,難以支撐數(shù)據(jù)飛輪落地以及后續(xù)的迭代、更新;難以將數(shù)據(jù)形成資產納入報表或財務體系,因為無法預估數(shù)據(jù)的價值形成整套的定價,也缺乏相應的質量管控體系等。
總結
從數(shù)據(jù)倉庫到數(shù)據(jù)中臺再到數(shù)據(jù)飛輪,金融行業(yè)的數(shù)據(jù)技術演進歷程不僅見證了數(shù)據(jù)價值的不斷挖掘和利用,也推動了業(yè)務模式的深刻變革和創(chuàng)新發(fā)展。在未來的發(fā)展中,我相信數(shù)據(jù)飛輪肯定能完美的在金融行業(yè)實現(xiàn)落地,助力企業(yè)業(yè)務持續(xù)增長和自我增強的循環(huán)。