金融行業(yè)分布式數(shù)據(jù)庫(kù)應(yīng)用觀察
原創(chuàng)近期,全球領(lǐng)先的 IT 市場(chǎng)研究和咨詢公司 IDC 發(fā)布名為《中國(guó)金融行業(yè)分布式事務(wù)型數(shù)據(jù)庫(kù)市場(chǎng)份額,2023:技術(shù)驗(yàn)證結(jié)束,迎接高速增長(zhǎng)》報(bào)告,報(bào)告引發(fā)了廣泛的關(guān)注。其背后的原因:一方面作為數(shù)據(jù)庫(kù)應(yīng)用高地,金融行業(yè)對(duì)數(shù)據(jù)庫(kù)的使用有著風(fēng)向標(biāo)的意義;另一方面,作為新型架構(gòu)數(shù)據(jù)庫(kù)產(chǎn)品,分布式數(shù)據(jù)庫(kù)經(jīng)過(guò)多年發(fā)展已逐步成熟,大家也很關(guān)注在以金融為代表的核心場(chǎng)景使用情況如何。此外,報(bào)告中引用的多家頭部數(shù)據(jù)庫(kù)廠商也都紛紛宣傳了自己取得的佳績(jī),也引發(fā)了業(yè)內(nèi)對(duì)于“第一”的諸多疑問(wèn)。本文嘗試對(duì)報(bào)告數(shù)據(jù)進(jìn)行解讀,同時(shí)對(duì)后續(xù)分布式數(shù)據(jù)庫(kù)在金融行業(yè)發(fā)展加以展望。
1. 行業(yè)解讀:分布式數(shù)據(jù)庫(kù)高速增長(zhǎng)一年
隨著近些年來(lái),分布式數(shù)據(jù)庫(kù)在金融企業(yè)的大量應(yīng)用,這一新型數(shù)據(jù)庫(kù)產(chǎn)品也走過(guò)了從早期的技術(shù)驗(yàn)證到中后期的規(guī)?;涞氐倪^(guò)程。伴隨著整個(gè)應(yīng)用落地過(guò)程,數(shù)據(jù)庫(kù)廠商及服務(wù)商也都積累了豐富的實(shí)踐經(jīng)驗(yàn),為后續(xù)更大規(guī)模應(yīng)用做好鋪墊。從報(bào)告應(yīng)用的2023年數(shù)據(jù)來(lái)看,中國(guó)金融行業(yè)分布式事務(wù)型數(shù)據(jù)庫(kù)的市場(chǎng)規(guī)模約為 2.0 億美元,同比增長(zhǎng) 12.1%。相信在未來(lái)數(shù)年,這一市場(chǎng)規(guī)模將保持高速增長(zhǎng)態(tài)勢(shì)。從現(xiàn)有落地案例來(lái)看,仍然是以頭部金融企業(yè)為主,隨著技術(shù)產(chǎn)品逐步成熟完善,大量中小規(guī)模企業(yè)將陸續(xù)采用這一產(chǎn)品。下面將從多個(gè)維度分析報(bào)告的數(shù)據(jù)。
(1)廠商頭部聚集效應(yīng)明顯
從報(bào)告披露的數(shù)據(jù)來(lái)看,整個(gè)金融行業(yè)分布式數(shù)據(jù)庫(kù)市場(chǎng)仍以頭部廠商為主,且頭部廠商的整體比例進(jìn)一步拉大,前五家頭部廠商占整體市場(chǎng)份額的 86.9%,中尾部廠商的市場(chǎng)空間被進(jìn)一步擠壓。從下圖對(duì)近兩年來(lái)的頭部(TOP 5)的廠商對(duì)比,其聚集效應(yīng)明顯但還未呈現(xiàn)進(jìn)一步擴(kuò)大的趨勢(shì)。
(2)本地部署方式仍占主流
從部署方式來(lái)看,受限于金融行業(yè)的特殊性,主要是來(lái)自法律法規(guī)及監(jiān)管要求,核心交易系統(tǒng)只能進(jìn)行本地化部署,以保障數(shù)據(jù)的安全性和可控性。針對(duì)不同金融細(xì)分行業(yè)其場(chǎng)景有所不同,如銀行的賬務(wù)核心、存貸核心、信貸、理財(cái)、清算等應(yīng)用,保險(xiǎn)行業(yè)的核保、理賠、保全等應(yīng)用;而面向終端用戶的營(yíng)銷、零售應(yīng)用才能選擇公有云部署方式。從報(bào)告披露的數(shù)據(jù)來(lái)看,本地部署占據(jù)主導(dǎo),云相對(duì)小一些;本地部署規(guī)模近 1.6 億美元,公共云近 0.7 億美元。
(3)金融細(xì)分行業(yè)差異顯著
從金融細(xì)分行業(yè)來(lái)說(shuō),銀行與保險(xiǎn)/證券差異明顯。作為金融監(jiān)管最嚴(yán)格的行業(yè),銀行業(yè)很早就受到監(jiān)管機(jī)構(gòu)的明確指導(dǎo),規(guī)定了相關(guān)建設(shè)標(biāo)準(zhǔn)。幾個(gè)頭部銀行也做了大量早期實(shí)踐,預(yù)計(jì)未來(lái) 2—3 年仍將保持高速增長(zhǎng)。對(duì)于部署方式而言,銀行主要應(yīng)對(duì)內(nèi)部交易系統(tǒng)等,更多采用本地化部署方式。公有云部署在銀行主要涉及互聯(lián)網(wǎng)支付、營(yíng)銷應(yīng)用和手機(jī)銀行部分業(yè)務(wù)模塊等系統(tǒng)。保險(xiǎn)及證券,相對(duì)銀行而言規(guī)模小了很多,且還屬于相對(duì)早期,相信未來(lái)會(huì)是增長(zhǎng)較快的市場(chǎng)。對(duì)于部署方式來(lái)說(shuō),更多會(huì)選擇云的方式。
2. 企業(yè)解讀:頭部聚集,百花齊放
(1)維度分析:部署方式+細(xì)分行業(yè)
本次報(bào)告顯示,部分廠商因深厚的技術(shù)積累和創(chuàng)新能力與同行拉開(kāi)了差距,形成了頭部集團(tuán)。部分廠商在宣傳報(bào)道中,強(qiáng)調(diào)了自己取得“第一”的佳績(jī),也引發(fā)了大家對(duì)誰(shuí)是金融分布式數(shù)據(jù)庫(kù)第一的猜測(cè)。這里其實(shí)更多是統(tǒng)計(jì)口徑和分析角度的差異所造成的。下面我們看下按部署方式的總體情況。根據(jù)廠商性質(zhì),可對(duì)頭部廠商大致分為兩類,一類是以阿里云、騰訊云、華為云為代表的云廠商;一類是以O(shè)ceanBase、金纂信科為代表的獨(dú)立數(shù)據(jù)庫(kù)廠商。按照部署方式來(lái)說(shuō),無(wú)疑前者在云上更具有優(yōu)勢(shì),特別是阿里云尤為明顯大部分份額都來(lái)自云端。當(dāng)然,金融行業(yè)的特殊性會(huì)導(dǎo)致云上可增長(zhǎng)空間相對(duì)有限,可能會(huì)對(duì)后續(xù)發(fā)展造成影響。對(duì)于后者而言,則云上發(fā)展存在劣勢(shì),特別是金纂信科,幾乎放棄了云;OceanBase 近期在云上持續(xù)發(fā)力,并取得了部分成果,金融行業(yè)相對(duì)占比不高,但也有部分來(lái)自云上的份額。
再?gòu)募?xì)分行業(yè)來(lái)看,銀行與保險(xiǎn)/證券,又有著明顯的差異。從上文可見(jiàn),銀行的體量還是要大于保險(xiǎn)/證券,但各家的發(fā)展重點(diǎn)還是存在差異。差異比較明顯的是金纂信科和阿里云,前者絕大部分收入均來(lái)自銀行,后者則大部分來(lái)自保險(xiǎn)/證券;OceanBase等其他三家,則發(fā)展相對(duì)均衡。
我們將上述情況組合一下,就分出了四種情況。結(jié)合上面的兩幅圖,也就明白了各家宣傳的“第一名”的含義如何。其中 OceanBase 是在金融行業(yè)本地部署和保險(xiǎn)/證券細(xì)分行業(yè)本地部署兩項(xiàng)排名第一;金纂信科的 GoldenDB 則是在銀行細(xì)分行業(yè)本地部署排名排名第一;騰訊云的 TDSQL 是在總體及銀行細(xì)分行業(yè)排名第一。
(2)廠商自訴:“攻堅(jiān)、高速、第一”
部分廠商也針對(duì)此次報(bào)告,做了部分宣傳,突出過(guò)去一年在金融行業(yè)所取得成績(jī)。
- OceanBase
OceanBase 現(xiàn)已覆蓋 70% 千億資產(chǎn)規(guī)模以上銀行、75% 頭部證券機(jī)構(gòu)、65% 頭部保險(xiǎn)機(jī)構(gòu)、45% 頭部基金公司,包括中國(guó)工商銀行、交通銀行、四川農(nóng)商聯(lián)合銀行、太平洋保險(xiǎn)、招商證券等。其中,一半以上將 OceanBase 應(yīng)用于核心系統(tǒng)。深耕金融 14 載,“根自研”是 OceanBase 負(fù)載關(guān)鍵業(yè)務(wù)系統(tǒng)、為金融客戶需求兜底的最大底氣。
- TDSQL
騰訊云 TDSQL 已經(jīng)幫助30多家金融機(jī)構(gòu)完成核心系統(tǒng)替換。中國(guó)銀行、中國(guó)建設(shè)銀行、中國(guó)農(nóng)業(yè)銀行……國(guó)內(nèi)前十大銀行中,有7家都選擇了TDSQL。金融行業(yè)的數(shù)據(jù)庫(kù)建設(shè)對(duì)一致性、可用性、安全性要求嚴(yán)苛,堪稱數(shù)據(jù)庫(kù)領(lǐng)域“皇冠上的明珠”。TDSQL 則在上述三個(gè)方向,有著獨(dú)特的技術(shù)優(yōu)勢(shì)。
- GoldenDB
在銀行業(yè),本地化部署主要集中在內(nèi)部交易系統(tǒng)上,這是本土化系統(tǒng)改造的關(guān)鍵領(lǐng)域。能在銀行本地部署份額中坐上頭把交椅,GoldenDB的實(shí)力可見(jiàn)一斑。
3. 分布式數(shù)據(jù)庫(kù)落地金融的關(guān)鍵之匙
(1)落地關(guān)鍵要素總結(jié)
過(guò)去的一年,分布式數(shù)據(jù)庫(kù)在金融行業(yè)遍地開(kāi)花,那這些產(chǎn)品能在金融行業(yè)順利落地,其關(guān)鍵要素又有哪些呢?下文結(jié)合我的觀察加以分析。這些內(nèi)容也是企業(yè)選擇一款事務(wù)型分布式數(shù)據(jù)庫(kù)的重點(diǎn)考察要素。
(2)典型企業(yè)分析:OceanBase
結(jié)合上面的要素總結(jié),我們抽取一家頭部企業(yè)做一分析,看做對(duì)了什么讓企業(yè)占得先機(jī)。這里選擇 OceanBase,作為我們的分析樣本。與傳統(tǒng)幾家云廠商不同,作為一家獨(dú)立數(shù)據(jù)庫(kù)企業(yè)會(huì)面臨更多困難,此次報(bào)告顯示 OceanBase 在獨(dú)立數(shù)據(jù)庫(kù)廠商市場(chǎng)份額排名第一。作為一款由螞蟻集團(tuán)自主研發(fā)、歷經(jīng)多年打磨和優(yōu)化的金融級(jí)分布式關(guān)系數(shù)據(jù)庫(kù)。作為螞蟻金服內(nèi)部 100%核心交易系統(tǒng)的支撐平臺(tái),不僅為阿里和螞蟻金服內(nèi)部的多個(gè)關(guān)鍵業(yè)務(wù)提供穩(wěn)定的服務(wù),還服務(wù)于金融、互聯(lián)網(wǎng)、政企等企業(yè)客戶,同時(shí)提供本地化和公有云服務(wù),以滿足不同場(chǎng)景的部署要求。從要素分析來(lái)看,其做了幾項(xiàng)突出能力,進(jìn)而占得先機(jī)。
- 單機(jī)分布式一體化
單機(jī)分布式一體化架構(gòu)是 OceanBase 的一種創(chuàng)新的數(shù)據(jù)庫(kù)架構(gòu)方式,旨在兼顧分布式架構(gòu)的擴(kuò)展性與集中式架構(gòu)的性能優(yōu)勢(shì)。這種架構(gòu)使得 OceanBase 在單機(jī)和分布式兩種部署場(chǎng)景下具備相同的事務(wù) ACID 能力。這使得企業(yè)可以根據(jù)業(yè)務(wù)及數(shù)據(jù)規(guī)模,靈活選擇數(shù)據(jù)庫(kù)架構(gòu),進(jìn)而應(yīng)對(duì)業(yè)務(wù)增長(zhǎng)所帶來(lái)的擴(kuò)容問(wèn)題。同時(shí)這一能力,也降低了使用分布式的門檻,可根據(jù)情況循序漸進(jìn)來(lái)使用。
- HTAP
作為新的增量場(chǎng)景,HTAP 能力對(duì)于擴(kuò)展使用范圍尤為重要。OceanBase 采用行列混合存儲(chǔ)、編譯執(zhí)行、多級(jí)別資源隔離等技術(shù),在高性能 OLTP 的基礎(chǔ)上支持實(shí)時(shí)分析、跑批等分析性場(chǎng)景,真正通過(guò)“一個(gè)系統(tǒng)”提供同時(shí)處理交易及實(shí)時(shí)分析,“一份數(shù)據(jù)”用于不同的工作負(fù)載,從根本上保持?jǐn)?shù)據(jù)的一致性并最大程度降低數(shù)據(jù)冗余,幫助企業(yè)大幅降低總擁有成本。
- 數(shù)據(jù)壓縮
使用分布式數(shù)據(jù)庫(kù)的痛點(diǎn)之一,就是資源一次性投入過(guò)大。OceanBase 的高級(jí)數(shù)據(jù)壓縮特性,包括行列混合存儲(chǔ)結(jié)構(gòu)和高效的數(shù)據(jù)編碼技術(shù)。這些特性使得存儲(chǔ)空間大幅減少,部分業(yè)務(wù)甚至實(shí)現(xiàn)了存儲(chǔ)空間減半的效果,同時(shí)系統(tǒng)性能并未受到影響。這將極大降低用戶的使用成本,提高整體 ROI。
- 多租戶能力
OceanBase 數(shù)據(jù)庫(kù)支持多租戶模式,允許在同一集群中創(chuàng)建多個(gè)租戶。每個(gè)租戶可以獨(dú)立管理自己的數(shù)據(jù)庫(kù)、用戶和數(shù)據(jù),確保租戶間的數(shù)據(jù)隔離和安全性。OceanBase 通過(guò)資源池管理確保租戶間的資源隔離,避免資源爭(zhēng)搶,保障業(yè)務(wù)穩(wěn)定運(yùn)行;并支持動(dòng)態(tài)擴(kuò)容和縮容,租戶可以根據(jù)業(yè)務(wù)需求靈活調(diào)整資源。這一能力,可以讓用戶將大量小業(yè)務(wù)做整合,充分利用分布式數(shù)據(jù)庫(kù)提供能力的同時(shí),又不至于造成很大浪費(fèi)。
- Oracle 兼容性
OceanBase 是一個(gè)高度兼容 MySQL 和 Oracle 的分布式數(shù)據(jù)庫(kù)系統(tǒng),其兼容性特性顯著降低了用戶從傳統(tǒng)數(shù)據(jù)庫(kù)遷移到 OceanBase 的成本。同時(shí)結(jié)合其提供的工具OMS、OMA,可實(shí)現(xiàn)低成本、平滑的應(yīng)用系統(tǒng)遷移,降低用戶使用 OceanBase 的使用門檻。
- 多平臺(tái)部署
OceanBase 支持本地化部署和云部署,針對(duì)后者還提供基于多家云基礎(chǔ)設(shè)施的公有云服務(wù),并通過(guò)打通不同云廠商網(wǎng)絡(luò),實(shí)現(xiàn)同一集群的跨云部署;也支持將私有部署與公有云通過(guò)安全網(wǎng)絡(luò)設(shè)施相互聯(lián)通。這一能力通過(guò)一站式多云管控平臺(tái)能夠?qū)λ胁渴鸬膶?shí)例進(jìn)行管理,納管多云主機(jī)資源,實(shí)現(xiàn)運(yùn)維界面的統(tǒng)一,大幅提升管理效率,降低風(fēng)險(xiǎn)。
寫在最后
金融行業(yè),具有對(duì)數(shù)據(jù)庫(kù)最為嚴(yán)苛和復(fù)雜的要求與調(diào)整。分布式事務(wù)型數(shù)據(jù)庫(kù),經(jīng)過(guò)多年發(fā)展,也成功驗(yàn)證其可行性與實(shí)用性,可以在金融行業(yè)核心場(chǎng)景中穩(wěn)定運(yùn)行。在這一過(guò)程中,廠商也積累了豐富的實(shí)踐經(jīng)驗(yàn),為未來(lái)更大規(guī)模的使用打下堅(jiān)實(shí)基礎(chǔ)。隨著技術(shù)驗(yàn)證的成熟,相信未來(lái)將有更多的企業(yè)、更核心場(chǎng)景選擇使用分布式數(shù)據(jù)庫(kù),加速數(shù)據(jù)庫(kù)本土化轉(zhuǎn)型。面對(duì)即將到來(lái)的市場(chǎng)高速增長(zhǎng)需求,數(shù)據(jù)庫(kù)廠商應(yīng)當(dāng)未雨綢繆,全面提升自身能力,擴(kuò)充服務(wù)團(tuán)隊(duì)以提供更專業(yè)的技術(shù)支持,優(yōu)化項(xiàng)目管理以提升實(shí)施效率,同時(shí)完善方法論體系以指導(dǎo)更廣泛的實(shí)踐應(yīng)用。希望數(shù)據(jù)庫(kù)廠商,能夠抓住這一市場(chǎng)機(jī)遇,迎來(lái)爆發(fā)式增長(zhǎng),最終取得更大的成績(jī)。