"2023金融業(yè)數(shù)據(jù)庫技術(shù)大會" 有感
原創(chuàng)近日,有幸參加了2023金融業(yè)數(shù)據(jù)庫技術(shù)大會。本次大會以“數(shù)據(jù)庫賦能數(shù)智金融發(fā)展”為主題,邀請管理部門、金融機構(gòu)、科技企業(yè)、研究機構(gòu)等多方,共同對我國金融業(yè)數(shù)據(jù)庫技術(shù)的研究進展、應(yīng)用實踐、風(fēng)險挑戰(zhàn)、發(fā)展趨勢等進行了深入探討與交流。金融業(yè)作為數(shù)據(jù)應(yīng)用“高地”,一直以來都很重視底層基礎(chǔ)平臺-數(shù)據(jù)庫的建設(shè)。特別是近些年來隨著金融業(yè)務(wù)轉(zhuǎn)型、自主創(chuàng)新需求、新技術(shù)架構(gòu)突破等因素,數(shù)據(jù)庫在金融領(lǐng)域的應(yīng)用正呈現(xiàn)一些新的變化趨勢。下文是我參加會議后的一些感受。
1. 參會有感:技術(shù)篇
1).路線之爭:分布式與集中式
曾幾何時,談到新型數(shù)據(jù)庫或信創(chuàng)數(shù)據(jù)庫,大家都不約而同認(rèn)為是分布式數(shù)據(jù)庫。確實,近些年來分布式數(shù)據(jù)庫發(fā)展很快,很多國產(chǎn)數(shù)據(jù)庫也采用了分布式架構(gòu)。同時在金融客戶的國產(chǎn)化替代過程中,因為對國產(chǎn)數(shù)據(jù)庫在穩(wěn)定性、擴展能力、算法優(yōu)化等方面的擔(dān)心,用戶也愿意去考慮選擇分布式架構(gòu)。但從真實業(yè)務(wù)系統(tǒng)來看,超過70%、甚至80%以上的業(yè)務(wù)系統(tǒng)是可以采用集中式架構(gòu)來解決的,而且其綜合成本、運維資源、技術(shù)成熟度等更具優(yōu)勢。那么如何看待這一技術(shù)路線之爭?用戶又如何進行兩種路線的選擇呢?很多乙方廠商,給出的自己的答案。
? 集中式分布式一體化
從技術(shù)長期發(fā)展來看,集中式和分布式不是完全割裂的,而是可以做到統(tǒng)一。采用一套內(nèi)核代碼,使用統(tǒng)一的開發(fā)、運維接口,可以在兩種架構(gòu)間平滑過渡。用戶不用去糾結(jié)選擇哪種架構(gòu),而是可以根據(jù)需要隨時切換或升級架構(gòu)。我們也看到了有廠商提出諸如“單機分布式一體化”的理念,正是基于這一考慮。
? 單一平臺,多種架構(gòu)
分布式架構(gòu),經(jīng)常被詬病的是組件眾多、使用復(fù)雜、成本投入高,特別是對于應(yīng)用而言,不可避免的需要進行數(shù)據(jù)分片后的改造。一種新的思路是,基于分布式架構(gòu)提供多種運行模式,針對數(shù)據(jù)規(guī)模有限、擴展需求不大的場景,可以使用“單分片”架構(gòu),這樣即可以充分利用分布式帶來的收益,保留未來擴展的可能性;又可以減少應(yīng)用遷移改造的成本,可以快速實現(xiàn)業(yè)務(wù)平遷。對于數(shù)據(jù)規(guī)模大或有擴展需求的,可直接選擇分布式架構(gòu)。這樣實現(xiàn),一套平臺,兩種架構(gòu),滿足不同場景需求。
? 充分挖掘單機潛力
隨著近年硬件技術(shù)的快速發(fā)展,單機的能力有了巨大的提升,也就是說硬件上限被提的很高。在單機/集中式架構(gòu)下,中小規(guī)模的應(yīng)用其綜合使用成本是較低的,達到一定規(guī)模后會不及分布式架構(gòu)的成本低;但這一規(guī)模已經(jīng)可以滿足絕大部分用戶需求。因此,我們也看到近些年諸如“一體機”形態(tài)有重新火熱,通過極致的硬件組合可以滿足大部分需求,且通過一體化管控降低運維壓力。
2).產(chǎn)品選型:選路線非選產(chǎn)品
在具體的數(shù)據(jù)庫產(chǎn)品選項上,參會的很多甲方企業(yè)經(jīng)過前些年的實踐,已經(jīng)形成了自己的一套方法論??偨Y(jié)下來,可以大致總結(jié)為以下一些原則:
? 根據(jù)場景,選擇產(chǎn)品
面對金融企業(yè)復(fù)雜、多樣的業(yè)務(wù)場景,很難找到一種“one size fit all”的數(shù)據(jù)庫,之前的一家數(shù)據(jù)庫獨大的情況不再會發(fā)生。用戶可以根據(jù)協(xié)議、負(fù)載、并發(fā)、容量、形態(tài)等多種因素進行選擇。我之前也曾總結(jié)過,金融企業(yè)需整理自己的數(shù)據(jù)庫應(yīng)用矩陣,來滿足內(nèi)部的不同需求。
? 選擇標(biāo)準(zhǔn),而非產(chǎn)品
這里所說的標(biāo)準(zhǔn),是指數(shù)據(jù)庫的生態(tài)標(biāo)準(zhǔn)。與之前使用國外大型商業(yè)數(shù)據(jù)庫不同,國內(nèi)數(shù)據(jù)庫產(chǎn)品的生態(tài)建設(shè)相對較晚,還沒有形成生態(tài)標(biāo)準(zhǔn)。因而在產(chǎn)品構(gòu)建上大多選擇了兼容性,常見如對Oracle、MySQL、PostgreSQL的商業(yè)數(shù)據(jù)庫或開源數(shù)據(jù)庫的兼容。后續(xù)在設(shè)計開發(fā)層面,僅需面對生態(tài)標(biāo)準(zhǔn)編程即可。因此,在用戶選擇上選擇某種標(biāo)準(zhǔn)是比較好的做法,如選擇小眾產(chǎn)品又沒有兼容生態(tài),則會冒很大的風(fēng)險。
? 選擇多家,不依賴綁定
即使是某款產(chǎn)品能很好地滿足需要,在選擇時也要考慮其他可能,做到可隨時替代。一方面是因為廠商本身的不確定性帶來的風(fēng)險,一方面是廠商的供給服務(wù)能力存在一定制約,難以滿足需要。選擇多家,可以有充分的靈活性,同時在采購、續(xù)約時也能保有一定話語權(quán)。
? 不迷信、不盲從,自主測試
目前國產(chǎn)數(shù)據(jù)庫廠商非常大,各家能力也參差不齊,很難通過一兩次交流就做出選型。同時,不同機構(gòu)的業(yè)務(wù)場景也有其自身特點,很難采用通用的標(biāo)準(zhǔn)進行評測。很多甲方已經(jīng)總結(jié)出符合自己情況的一套測試標(biāo)準(zhǔn),通常包括有功能、非功能、性能、高可用等測試。通過這種方式,做出自己的選擇。
3).擴大場景:HTAP 成為剛需
此次大會上,很多用戶與廠商都同時提到了 HTAP 能力。確實,對于金融企業(yè)來說,很多場景很難通過簡單的OLTP、OLAP 進行劃分,混合負(fù)載的場景成為常態(tài),這對國產(chǎn)數(shù)據(jù)庫來說提出了更高的要求。其實從本質(zhì)來說,之前很多國外的商用產(chǎn)品,都是一種 HTAP 架構(gòu),也只有這樣才能滿足金融業(yè)務(wù)需求。雖然針對 HTAP 這一能力,不同廠商的實現(xiàn)技術(shù)差異較大,尚無統(tǒng)一的技術(shù)標(biāo)準(zhǔn),但各家都將這一能力的提升作為產(chǎn)品的核心競爭力之一。相信未來針對這一技術(shù)能力,會形成技術(shù)共識。
4).降低門檻:全方位多層次兼容
兼容性也是這次大會被提及很多的一個能力,很多產(chǎn)品將兼容性提升到一定高度。從底層硬件適配,到內(nèi)核層面的SQL 語法、庫內(nèi)計算,到管理、安全、診斷、優(yōu)化等,再到上層驅(qū)動、乃至上游生態(tài)如開發(fā)工具、BI工具等都希望能支持,進而達到全方位、多層次的兼容。即使無法做到兼容,也通過一系列的工具,來降低改造、遷移的工作量,進而減低遷移的門檻。自己之前也曾對兼容性寫過一篇文章,參考《Oracle兼容性面面觀》
5).規(guī)模供給:云化、容器與多芯
隨著國產(chǎn)數(shù)據(jù)庫在金融企業(yè)的規(guī)?;褂?,頭部金融用戶的使用體量已經(jīng)達到數(shù)千、乃至上萬節(jié)點數(shù)。如何快速實現(xiàn)資源供給,成為制約企業(yè)實施的因素。與會的很多甲方用戶,特別是頭部用戶,在數(shù)據(jù)庫落地實踐后都紛紛開始提升規(guī)?;┙o能力。這其中技術(shù)能力包括有:
? 多芯:X86與國產(chǎn)化
所謂多芯,是指底層平臺是可以基于X86構(gòu)建,也同時需要支持國產(chǎn)非X86的方式。這樣一方面可以實現(xiàn)利用全國產(chǎn)化平臺來承載業(yè)務(wù),真正規(guī)避可能的卡脖子風(fēng)險;另一方面可以充分利用多資源池,實現(xiàn)資源供給的多樣性。從乙方廠商來看,一方面需適配國產(chǎn)化平臺,另一方面將支持資源混部作為突破點,來解決有效利用資源及規(guī)避國產(chǎn)平臺穩(wěn)定性風(fēng)險作為賣點。
? 容器:解決管理痛點
在分布式數(shù)據(jù)庫使用中,通常會面臨規(guī)模大、節(jié)點多、組件多、故障多等問題及現(xiàn)象。如何實現(xiàn)分布式數(shù)據(jù)庫的規(guī)?;芾沓蔀橛脩羰褂蒙系钠毡橥袋c。容器方式,通過獨有資源編排能力,可在一定程度上解決之一問題。部分頭部用戶,開始嘗試使用容器化來解決這一問題。
? 云化:實現(xiàn)規(guī)?;?/h4>
IT 的終極架構(gòu)在云上,金融企業(yè)也不例外,隨著國產(chǎn)數(shù)據(jù)庫逐步成熟,通過云實現(xiàn)規(guī)模化應(yīng)用成為必然。很多頭部用戶在已有多年云平臺的基礎(chǔ)上,支持國產(chǎn)數(shù)據(jù)庫的服務(wù),并通過“行業(yè)云”、“信創(chuàng)云”等實現(xiàn)對外或?qū)?nèi)的技術(shù)服務(wù)。這方面相較于公有云,金融企業(yè)自己的云有著獨特優(yōu)勢。
2. 參會有感:實踐篇
1).數(shù)據(jù)庫遷移規(guī)模化成難點
很多企業(yè)已經(jīng)在內(nèi)部做過了國產(chǎn)數(shù)據(jù)庫遷移,有了一定的經(jīng)驗,但這其中的難點在于規(guī)?;瘑栴}。企業(yè)內(nèi)不是一兩套系統(tǒng),而是可能有上百套、數(shù)百套、乃至上千套的系統(tǒng)。如何在有限的時間內(nèi),付出可接受的成本完成遷移任務(wù),同時還需保障業(yè)務(wù)正常開展是個大問題。信創(chuàng)實施不是做科研項目,不能采用定制化的方式,是需要以工程化(低風(fēng)險)、可復(fù)制(標(biāo)準(zhǔn)化)、可推廣(服務(wù)化)的方式來完成。很多甲方用戶在進行一定體量的改造后,建立了數(shù)據(jù)庫遷移實施的規(guī)范標(biāo)準(zhǔn),形成了“評估-實現(xiàn)-控制-改進”的科學(xué)方法論,進而實現(xiàn)遷移可評估、數(shù)據(jù)有保障、運行可觀測、風(fēng)險可控制的遷移能力。形成了一批包括從系統(tǒng)開發(fā)、應(yīng)用改造、應(yīng)用測試、數(shù)據(jù)遷移(同步)、數(shù)據(jù)校驗、流量切換、優(yōu)化分析等一整套工具或平臺。但這里有個較大的問題在于,大型金融企業(yè)這么做沒有問題,但對于廣大中小企業(yè)而言,既沒有足夠的技術(shù)積累,也沒有充足的財力支持,只能依賴于乙方廠商完成這一過程。因此如何將大型金融機構(gòu)的成熟能力為其他用戶賦能,是個關(guān)鍵問題。
2).數(shù)據(jù)庫穩(wěn)定運行風(fēng)險
金融企業(yè)最為關(guān)注的是數(shù)據(jù)安全及業(yè)務(wù)可用性,作為數(shù)據(jù)的重要載體,數(shù)據(jù)庫承擔(dān)著至關(guān)重要的角色。如何滿足金融行業(yè)對數(shù)據(jù)一致性、運行可靠性的要求是進行國產(chǎn)化改造的關(guān)鍵。一方面乙方廠商通過自身技術(shù)積累、海量實踐磨合、新架構(gòu)技術(shù)突破等手段來解決這一風(fēng)險;另一方面作為甲方的用戶也在通過一系列運營手段來解決這一問題。很多甲方企業(yè)已經(jīng)總結(jié)出一整套生產(chǎn)實施工藝,包括從可研評審、開發(fā)測試、遷移切換、基線管理、版本升級、配置管理、高可用部署、告警監(jiān)控、應(yīng)急處置等多個環(huán)節(jié)來解決。盡量從流程上去解決引入數(shù)據(jù)庫可能帶來的運行風(fēng)險。
3).實施方式多種路徑各異
在具體的實施路徑及選擇方式上,不同企業(yè)差異很大。有的采取了“先核心、后推廣”的策略,通過核心系統(tǒng)遷移積累經(jīng)驗、磨合產(chǎn)品、鍛煉隊伍,為后續(xù)的規(guī)?;瘡?fù)制做好鋪墊。有的則采取“先外圍、后核心”的策略,早期通過外圍系統(tǒng)選擇合適場景進行試點,然后再逐步深入。有的采取“平滑為主、重點突破”,通過將穩(wěn)定業(yè)務(wù)優(yōu)先平遷到國產(chǎn)庫,然后再找難點場景完成分布式改造,即先易后難的方式。這些路徑及方式的選擇,通常是根據(jù)企業(yè)的自身技術(shù)能力、業(yè)務(wù)特點、財力投入、戰(zhàn)略發(fā)展等有關(guān),沒有標(biāo)準(zhǔn)經(jīng)驗可復(fù)用。
3. 參會有感:發(fā)展篇
1).成熟度不足,還需驗證
隨著國產(chǎn)數(shù)據(jù)庫在金融業(yè)的規(guī)模化應(yīng)用,特別是分布式數(shù)據(jù)庫的使用,在過程中暴露出國產(chǎn)產(chǎn)品的一些不足。金融行業(yè)作為數(shù)據(jù)庫應(yīng)用“高地”,對海量規(guī)模、高并發(fā)、高穩(wěn)定性等方面均提出苛刻的要求。國產(chǎn)數(shù)據(jù)庫產(chǎn)品在高性能、穩(wěn)定性、可運維性方面普遍存在短板,需進一步提升。
2).專業(yè)人才短缺,阻礙發(fā)展
國產(chǎn)數(shù)據(jù)庫(含分布式數(shù)據(jù)庫),存在較大的人才缺口,特別是具有實戰(zhàn)進行的技術(shù)人員。一方面乙方廠商自有人員不足,三方資源培養(yǎng)也處于剛剛起步階段;另一方面以分布式數(shù)據(jù)庫為代表,技術(shù)領(lǐng)域跨度大,專業(yè)技術(shù)人才的培養(yǎng)較長;第三方面不僅僅在運維側(cè)、針對分布式架構(gòu)在研發(fā)、架構(gòu)側(cè)同樣繼續(xù)人才,這方面更加匱乏。
3).無標(biāo)準(zhǔn)體系,推廣困難
目前缺乏數(shù)據(jù)庫標(biāo)準(zhǔn)體系,需聯(lián)合行業(yè)與產(chǎn)業(yè)端,加強數(shù)據(jù)庫金融應(yīng)用標(biāo)準(zhǔn)規(guī)范建設(shè)。覆蓋從路線、架構(gòu)、產(chǎn)品選型,到開發(fā)、測試、遷移,再到部署、上線、保障全流程的使用體系;進而推動金融行業(yè)與數(shù)據(jù)庫產(chǎn)業(yè)融合健康發(fā)展。
4).開源生態(tài)存在安全風(fēng)險
開源數(shù)據(jù)庫在金融行業(yè)已經(jīng)大規(guī)模使用,很多國產(chǎn)數(shù)據(jù)庫也是基于開源基礎(chǔ)進行構(gòu)建的。需充分借鑒、吸收開源技術(shù)、融合開源技術(shù)生態(tài),走獨立自主演進開源技術(shù)道路,實現(xiàn)彎道超車。在使用中應(yīng)加強開源數(shù)據(jù)庫在金融業(yè)的管理、合規(guī)治理,考慮收斂技術(shù)棧,加強開源數(shù)據(jù)庫風(fēng)險防范并形成機制。
5).加速從“能用”到“好用”轉(zhuǎn)變
希望數(shù)據(jù)庫廠商,加大投入,針對金融行業(yè)客戶的典型場景,加快產(chǎn)品迭代,不斷優(yōu)化產(chǎn)品。加速產(chǎn)品從“能用”到“好用”的快速轉(zhuǎn)變,擴大、深化國產(chǎn)數(shù)據(jù)庫在金融行業(yè)使用。
6).提升服務(wù)意識,做好保障
金融行業(yè)是涉及國計民生的重要行業(yè),其穩(wěn)定性、可靠性尤為重要。希望廠商在應(yīng)用實施過程中,投入更多資源,做好售后技術(shù)保障工作,加快響應(yīng)速度,制定有效的應(yīng)急手段,提供全面、優(yōu)質(zhì)的服務(wù)保障體系。畢竟好的產(chǎn)品還需要好的服務(wù)配合,才能在用戶處發(fā)揮更大作用。