高容錯!銀行如何搞定PB級非結(jié)構(gòu)化數(shù)據(jù)的存儲與快速搜索
引言
本文針對銀行內(nèi)非結(jié)構(gòu)化數(shù)據(jù)增長迅速、存儲困難、搜索緩慢、識別采集空缺等問題,提出了非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺的設(shè)計和部署方案,并對平臺中的非結(jié)構(gòu)化數(shù)據(jù)生命周期管理策略與平臺容災(zāi)容錯架構(gòu)設(shè)計思路的進(jìn)行了分析與總結(jié),最后,做出了商業(yè)銀行非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺的業(yè)務(wù)對接計劃,提出了未來業(yè)務(wù)的發(fā)展方向。
一、背景:
非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺現(xiàn)狀與行內(nèi)要解決的實際問題
銀行作為非結(jié)構(gòu)化數(shù)據(jù)密集的企業(yè),基本上涵蓋所有類型的非結(jié)構(gòu)化數(shù)據(jù),如視頻數(shù)據(jù)、音頻數(shù)據(jù)、圖片數(shù)據(jù),既包括系統(tǒng)自己產(chǎn)生的近些年越來越多的行內(nèi)業(yè)務(wù)系統(tǒng),也包括與客戶交換產(chǎn)生的,還有購買獲取的,這些數(shù)據(jù)按照格式分為電子文檔、圖像、音頻、視頻、XML/HTML等類型。非結(jié)構(gòu)化數(shù)據(jù)格式、標(biāo)準(zhǔn)多樣,而且這些數(shù)據(jù)每年以幾何級數(shù)在增長,在技術(shù)上比結(jié)構(gòu)化數(shù)據(jù)更難存儲和分析。
行內(nèi)信貸類業(yè)務(wù)、信用卡業(yè)務(wù)、手機(jī)/網(wǎng)上銀行等渠道類業(yè)務(wù)、財務(wù)共享業(yè)務(wù)、柜面無紙化以及電子檔案等多個業(yè)務(wù)系統(tǒng),僅影像文件每日產(chǎn)生新寫入文件接近10萬張,調(diào)閱影像文件近30萬次,每年數(shù)據(jù)增量近10T,隨著線上業(yè)務(wù)的開展,與業(yè)務(wù)場景相關(guān)的影像文件數(shù)量與容量仍會持續(xù)增長。此外,銀行內(nèi)部郵件信息、聊天記錄客服熱線音頻文件、市場調(diào)研結(jié)果、視頻課件、客戶關(guān)系管理系統(tǒng)中的評價及程序中的文本字段等非結(jié)構(gòu)化數(shù)據(jù)都面臨著和影像文件類似的存儲與管理壓力與挑戰(zhàn)。
二、建設(shè)目標(biāo):
如何解決上述問題并設(shè)計合理架構(gòu)滿足未來發(fā)展
隨著非結(jié)構(gòu)化數(shù)據(jù)的劇增,傳統(tǒng)型數(shù)據(jù)庫無法滿足存儲大數(shù)據(jù)基本的非結(jié)構(gòu)數(shù)據(jù),導(dǎo)致架構(gòu)急需做出調(diào)整,盡可能的滿足業(yè)務(wù)需求,實現(xiàn)PB級別數(shù)據(jù)的存儲以及快速搜索。在此基礎(chǔ)之上提出非結(jié)構(gòu)化集中處理平臺產(chǎn)品方案,主要針對行內(nèi)業(yè)務(wù)系統(tǒng)產(chǎn)生的圖片、文檔、提供一套高可靠、高效性、高擴(kuò)展性、高容錯性的企業(yè)級非結(jié)構(gòu)化數(shù)據(jù)服務(wù)解決方案。
為了大規(guī)模、高效率地存調(diào)、分析非結(jié)構(gòu)化數(shù)據(jù),平臺針對標(biāo)準(zhǔn)接口的字段進(jìn)行了定義,提供一個較為規(guī)整、有章可循的非結(jié)構(gòu)化數(shù)據(jù)集,提取其基本元素,形成數(shù)據(jù)字段。
數(shù)據(jù)字段是通過對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行主題提煉形成主題字段,通過匯總非結(jié)構(gòu)化數(shù)據(jù)通用屬性形成通用字段,通過標(biāo)識非結(jié)構(gòu)化數(shù)據(jù)的格式形成技術(shù)字段,并基于以上三個維度的標(biāo)簽滿足更大規(guī)模的數(shù)據(jù)分析和系統(tǒng)性存儲。
主題字段包括渠道來源、機(jī)構(gòu)號、流水號、系統(tǒng)號和數(shù)據(jù)來源等,通用字段通過匯總非結(jié)構(gòu)化數(shù)據(jù)的通用屬性形成,這些屬性不涉及非結(jié)構(gòu)化數(shù)據(jù)的主題,包括掃描時間、掃描人、影像名稱、文件類型等;技術(shù)字段反映的是形成非結(jié)構(gòu)化數(shù)據(jù)所運用的原始處理技術(shù),從而獲得非結(jié)構(gòu)化數(shù)據(jù)的底層特性,包括影像ID、數(shù)據(jù)大小、分辨率等。上述數(shù)據(jù)字段形成后,非結(jié)構(gòu)化數(shù)據(jù)的基本屬性與業(yè)務(wù)屬性都可以較全面的描述和快速檢索,也為不同類型非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲提供了可能。
非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺在設(shè)計上采用低耦合思路,分為表象層,業(yè)務(wù)邏輯層,數(shù)據(jù)訪問層的三層架構(gòu),它會將業(yè)務(wù)產(chǎn)生的圖像數(shù)據(jù)掃描歸檔到影像平臺,并實現(xiàn)影像的查詢、條碼打印、按順序批量打包下載影像文件的歸檔、修改歸檔、拷貝歸檔、分類查詢、階段標(biāo)示綁定關(guān)系、影像操作日志等功能。
表現(xiàn)層(UI)展現(xiàn)給用戶操作的界面,包含多個調(diào)用渠道。本平臺以渠道為單位,針對各個渠道進(jìn)行管理,提供一個安全可靠的環(huán)境,保證數(shù)據(jù)實時性的同時保證服務(wù)的穩(wěn)定性。這些渠道主要通過http/https協(xié)議和數(shù)據(jù)上傳平臺進(jìn)行通信,保證傳輸過程中數(shù)據(jù)的安全性。這些渠道在本系統(tǒng)中只是以影像數(shù)據(jù)傳輸接入,沒有業(yè)務(wù)邏輯,各個渠道具體限制由管理平臺配置化實現(xiàn)。
業(yè)務(wù)邏輯層由非結(jié)構(gòu)化數(shù)據(jù)集中處理平臺(UCP)服務(wù)及三方數(shù)據(jù)上傳平臺應(yīng)用服務(wù)組成,三方數(shù)據(jù)上傳平臺主要負(fù)責(zé)處理非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)邏輯,UCP主要實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的存儲,該平臺支持大部分行內(nèi)業(yè)務(wù)系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)處理服務(wù),少量有高定制化需求的業(yè)務(wù),UCP提供非標(biāo)準(zhǔn)接口,有針對性的為信貸類業(yè)務(wù)系統(tǒng)定制化開發(fā),實現(xiàn)其全流程信貸系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)的存儲以及下載,而針對無定制化其他渠道,均通過標(biāo)準(zhǔn)接口進(jìn)行滿足。三方數(shù)據(jù)上傳平臺APP主要實現(xiàn)互聯(lián)網(wǎng)系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)的校驗、控制、緩存以及壓力均衡。
數(shù)據(jù)層主要由非結(jié)構(gòu)化存儲ElasticSearch(ES)分布式搜索服務(wù),配合輕量級的傳統(tǒng)DB與后端高、中、低性能網(wǎng)絡(luò)存儲共同構(gòu)成。ES主要負(fù)責(zé)保存UCP寫入的元數(shù)據(jù),并可高效完成大量非結(jié)構(gòu)化數(shù)據(jù)的搜索和分析;傳統(tǒng)DB主要負(fù)責(zé)配置信息以及部分日志信息的存儲;采用開源軟件定義存儲,主要負(fù)責(zé)非結(jié)構(gòu)化數(shù)據(jù)的歸檔,高速網(wǎng)絡(luò)存儲部分可作為上傳平臺影像文件緩存,提高ES索引存調(diào)速度,最后通過歸檔流轉(zhuǎn)規(guī)則進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的動態(tài)遷移與歸檔保存。
三、基本組成
1、接口服務(wù)
標(biāo)準(zhǔn)接口基于REST方式實現(xiàn),調(diào)用方以REST API調(diào)用方式調(diào)用即可;調(diào)用方根據(jù)Content-Type字段的值完成單張或批量打包的操作,配合數(shù)據(jù)的字段標(biāo)簽,上送不同的文件類型,如圖片格式(jpg、jpeg、tif、tiff、png、bmp)、word、pdf、excel等常見格式;另外配合接口中請求類型的不同,可實現(xiàn)上傳、下載、替換和刪除等操作請求;標(biāo)準(zhǔn)控件調(diào)用時,接口字段除接口參數(shù)以外,會增加控件類型ID,接口名和返回值,非標(biāo)準(zhǔn)接口會在標(biāo)準(zhǔn)接口基礎(chǔ)之上,為信貸類業(yè)務(wù)流程單獨定制接口類型,結(jié)合業(yè)務(wù)具體需求,增加查看控件調(diào)用方式,動作類型以及對客對司的功能編號等字段。
物理結(jié)構(gòu)上由2臺非標(biāo)準(zhǔn)影像應(yīng)用服務(wù)器通過應(yīng)用負(fù)載對接信貸系統(tǒng)渠道,3臺標(biāo)準(zhǔn)影像應(yīng)用服務(wù)器通過負(fù)載均衡對接行內(nèi)其他業(yè)務(wù)系統(tǒng)渠道;互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)通過三方上傳平臺處理之后,會對接影像應(yīng)用服務(wù)器。
2、索引服務(wù)
ES索引服務(wù)主要負(fù)責(zé)索引(存入)與檢索(調(diào)閱)兩部分,其中索引部分包含分詞器、過濾器、字符映射器等,檢索部分包含查詢解析器等。其索引是先在內(nèi)存里生成,然后定期以段文件的形式將元數(shù)據(jù)刷到磁盤的。每段寫到磁盤上之后是不能被修改的,一個段文件就作為了一個實際上的索引,字段就是最小的檢索域。
物理結(jié)構(gòu)上由5臺索引數(shù)據(jù)庫組成高擴(kuò)展性的分布式ES索引集群,在任意一個節(jié)點宕機(jī)時,整個集群的服務(wù)依然可用,且由于具有副本設(shè)置,保證數(shù)據(jù)完整性。
3、存儲服務(wù)
存儲服務(wù)作為非結(jié)構(gòu)化數(shù)據(jù)文件的載體,需要充分利用存儲,降低存儲成本,保證數(shù)據(jù)安全和服務(wù)質(zhì)量。作為基礎(chǔ)服務(wù)平臺,為高效率利用存儲,將其分為在線、近線(GFS分布式存儲管理)、離線存儲配合影像數(shù)據(jù)文件的歸檔控制。
本平臺存儲服務(wù)在線區(qū)域存儲指存儲設(shè)備的響應(yīng)速度和所存儲的數(shù)據(jù)時刻保持“在線”狀態(tài),可供行內(nèi)用戶隨存取與調(diào)閱,滿足對數(shù)據(jù)訪問速度的要求。這部分目前采用帶有去重壓縮功能的SSD NAS實現(xiàn),可用容量在10TB,價格相對昂貴,但性能較好。
近線存儲選擇相對較廣泛,主要定位于在線存儲和離線存儲之間,將那些存調(diào)頻率相對較低,或者說數(shù)據(jù)的訪問量相對較小的數(shù)據(jù)存放在性能稍低的存儲設(shè)備上。近線存儲對性能要求相對來說并不高,但要求相對較好的訪問性能,各業(yè)務(wù)系統(tǒng)不常用的數(shù)據(jù)要占總數(shù)據(jù)量較大比重,這要求近線存儲設(shè)備容量相對較大,因此近線部分采用基于PC服務(wù)器實現(xiàn)橫向擴(kuò)展的三副本GlusterFileSystem ,可用容量超100TB,雖然維護(hù)成本上升,但性能和安全性都比較高,價格也得到有效控制。
離線存儲被設(shè)計存放不常被業(yè)務(wù)系統(tǒng)調(diào)用,但仍需要長期或永久保存的冷數(shù)據(jù)存儲區(qū)域,存儲介質(zhì)通常選擇訪問速度慢、效率低的存儲設(shè)備,系統(tǒng)最初選擇低成本的NAS設(shè)備,后續(xù)優(yōu)化后,更改為物理磁帶庫,數(shù)據(jù)的存放介質(zhì)變?yōu)榇沤橘|(zhì)后,價格相對低廉。
4、非結(jié)構(gòu)化數(shù)據(jù)的生命周期管理與數(shù)據(jù)分層遷移
影像平臺的在線存儲區(qū)目前使用SSD NAS,保障關(guān)鍵生產(chǎn)系統(tǒng)的快速寫入,但總體容量有限;影像平臺的近線存儲區(qū)會定期將在線數(shù)據(jù),無縫、安全、可靠的遷移到近線區(qū)域,一方面解決大量近線非結(jié)構(gòu)化數(shù)據(jù)的存放空間與成本問題,另一方面保障調(diào)閱的速度,以及與結(jié)構(gòu)化交易數(shù)據(jù)的一一映射關(guān)系,實現(xiàn)應(yīng)用系統(tǒng)透明訪問;影像平臺的離線存儲區(qū),按照數(shù)據(jù)全生命周期管控的規(guī)則,自動將近線數(shù)據(jù)遷移到離線區(qū),并同步備份與結(jié)構(gòu)化交易數(shù)據(jù)的映射關(guān)系,確保應(yīng)用系統(tǒng)直接調(diào)閱,或者由影像平臺提供離線查閱功能調(diào)閱。
非結(jié)構(gòu)化數(shù)據(jù)由在線到近線、由近線到離線的遷移過程中,保證下列關(guān)鍵性控制功能。首先,按照規(guī)則自動化或半自動化(或由作業(yè)調(diào)度系統(tǒng)調(diào)度工具)完成,并且提供MD5校驗/哈希值比對功能,確保備份數(shù)據(jù)的可靠歸檔,應(yīng)刪除數(shù)據(jù)的安全可控刪除。其次,由在線到近線的遷移,為確保應(yīng)用系統(tǒng)可透明訪問被遷移數(shù)據(jù),需實現(xiàn)可靠程的原文件路徑操作系統(tǒng)連接處理,最后,由近線到離線的遷移,需同步更新影像文件的全路徑名稱與結(jié)構(gòu)化數(shù)據(jù)的映射關(guān)系,確保離線數(shù)據(jù)可回調(diào)到近線進(jìn)行查閱,并同步清理在線區(qū)域的操作系統(tǒng)連接,確保生產(chǎn)系統(tǒng)安全。
5、業(yè)務(wù)連續(xù)性的容錯、容災(zāi)架構(gòu)考量
容災(zāi)容錯架構(gòu)都是基于業(yè)務(wù)的可靠性和服務(wù)可用性,以及應(yīng)對各種故障并能快速響應(yīng)的可操控性去考慮和設(shè)計的,容災(zāi)IDC要保證業(yè)務(wù)服務(wù)的連續(xù)性以及數(shù)據(jù)的可用性,因此在平臺前后端均有所考慮。
在同一數(shù)據(jù)中心之內(nèi),應(yīng)對影像標(biāo)準(zhǔn)應(yīng)用與非標(biāo)準(zhǔn)應(yīng)用服務(wù)器硬件故障或應(yīng)用程序BUG導(dǎo)致無法對上層業(yè)務(wù)系統(tǒng)提供影像接口服務(wù),或是需要主動停止進(jìn)行應(yīng)用程序升級或故障維護(hù),都可以通過負(fù)載均衡設(shè)備實現(xiàn)多活,以及調(diào)用均衡策略控制;若發(fā)生IDC級別的災(zāi)難,則容災(zāi)負(fù)載均衡及應(yīng)用服務(wù)器會無縫接管業(yè)務(wù)。
ES的多副本分布式集群架構(gòu),天然帶有容錯屬性,集群內(nèi)5節(jié)點組成的ES索引服務(wù)器集群,為元數(shù)據(jù)的高效數(shù)據(jù)訪問與搜索,集群將元數(shù)據(jù)以分片形式分布于各個節(jié)點,配合多副本保存,容許單節(jié)點或雙節(jié)點的故障前提下,仍可提供服務(wù)。那么以5節(jié)點ES集群分片數(shù)量為10(s0~s9),雙份數(shù)據(jù)副本的配置為例,演示分片和節(jié)點故障的容錯情況。
單分片故障的場景,另外的副本對外提供數(shù)據(jù)服務(wù),待故障分片清理后,數(shù)據(jù)將由正常副本向清理副本同步,恢復(fù)集群分片狀態(tài)。
類似單節(jié)點故障,導(dǎo)致節(jié)點內(nèi)所有分片不可用,整個集群服務(wù)仍然可用,保證s0-s9分片對外服務(wù)正常,節(jié)點故障恢復(fù)或重新部署后,啟動ES服務(wù),分片副本將進(jìn)行同步恢復(fù)集群狀態(tài)。
具體的配置策略與副本數(shù),會根據(jù)承載渠道和業(yè)務(wù)重要性和訪問速度要求,進(jìn)行合理配比。ES集群中元數(shù)據(jù)在本地備份至專用NAS設(shè)備和帶庫以外,還會通過消息隊列(Kafka)將兩中心的元數(shù)據(jù)準(zhǔn)實時同步至對端數(shù)據(jù)中心,相應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)也會在容災(zāi)中心保留一份,形成對等的數(shù)據(jù)容災(zāi)架構(gòu)。
非結(jié)構(gòu)化數(shù)據(jù)存儲的同城容災(zāi)實現(xiàn)方式是:在線區(qū)高性能SSD NAS依靠SnapMirror技術(shù),提供數(shù)據(jù)高可用性和快速數(shù)據(jù)復(fù)制服務(wù),通過專用數(shù)據(jù)傳輸LAN網(wǎng)絡(luò),實現(xiàn)同城容災(zāi)中心NAS設(shè)備的高速數(shù)據(jù)復(fù)制,并不斷更新數(shù)據(jù),保持最新且能隨時滿足使用需求。
容災(zāi)NAS可選擇任意時間點進(jìn)行快照恢復(fù),提供零數(shù)據(jù)丟失同步復(fù)制 (RPO=0)方案,保護(hù)最關(guān)鍵的在線區(qū)存調(diào)業(yè)務(wù)文件,并利用精簡復(fù)制數(shù)據(jù)流創(chuàng)建容災(zāi)數(shù)據(jù)保護(hù),降低數(shù)據(jù)復(fù)制網(wǎng)絡(luò)帶寬利用率;近線區(qū)GFS存儲則在主備IDC各搭建一套,一方面承載在線區(qū)的下移數(shù)據(jù),另一方面對于低失效調(diào)閱要求的業(yè)務(wù)系統(tǒng)的直接調(diào)閱,平臺會通過分布式消息隊列將調(diào)閱任務(wù)同步至對端影像應(yīng)用服務(wù),實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)文件的準(zhǔn)實時容災(zāi)存儲,當(dāng)一側(cè)GFS近線存儲發(fā)生災(zāi)難故障短時間內(nèi)無法恢復(fù),則主備中心可快速切換至對側(cè)GFS提供對業(yè)務(wù)的數(shù)據(jù)服務(wù);離線區(qū)的物理帶庫的歸檔數(shù)據(jù),在歸檔之前會由前端虛擬帶庫完成容災(zāi)端的異步復(fù)制,進(jìn)而在容災(zāi)端實現(xiàn)歸檔的異地磁介質(zhì)永久備份。
6、業(yè)務(wù)訪問量監(jiān)控與效果
非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺的監(jiān)控,主要通過對各部分服務(wù)進(jìn)程和業(yè)務(wù)端口的監(jiān)視,和對負(fù)載模式下的服務(wù)健康檢查端口的通斷操作實現(xiàn)業(yè)務(wù)通道開啟關(guān)閉的控制這兩部分共同完成。
主要服務(wù)進(jìn)程的狀態(tài)監(jiān)視與驗證判斷
主要業(yè)務(wù)端口的狀態(tài)監(jiān)視
配合上述業(yè)務(wù)監(jiān)視方法在監(jiān)控系統(tǒng)中的合理頻率配置以及值機(jī)人員對業(yè)務(wù)通道開關(guān)信號的標(biāo)準(zhǔn)化快速控制,實現(xiàn)“監(jiān)”與“控”的閉環(huán)。
以非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺中影像文件讀寫數(shù)量和讀寫耗時為例,非工作日平均萬筆影像文件讀寫量之下,平均寫入耗時可維持在150毫秒以內(nèi),那么由于批量包下載調(diào)閱的情況存在,讀取平均耗時會被拉高,但也保持在平均250毫秒之內(nèi),能夠較好的滿足當(dāng)前十幾套業(yè)務(wù)系統(tǒng)的存調(diào)需求。
四、非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺規(guī)劃與展望
非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺的未來規(guī)劃會從內(nèi)部結(jié)構(gòu)優(yōu)化、數(shù)據(jù)中心運維服務(wù)支持、行內(nèi)業(yè)務(wù)系統(tǒng)新增功能需求以及未來銀行有機(jī)會承接的非金融資產(chǎn)交易幾方面來進(jìn)行規(guī)劃和展望。
在下一階段,非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺不斷優(yōu)化自身功能與架構(gòu),或通過光盤介質(zhì)庫對物理磁帶庫的存放年限和成本的進(jìn)一步降低提供補充和完善,同時實現(xiàn)海量非結(jié)構(gòu)化的驗證與快速恢復(fù),將備份數(shù)據(jù)的敏捷驗證功能作為快速容災(zāi)容錯的一種補充手段。
數(shù)據(jù)中心內(nèi)部千臺以上生產(chǎn)服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫、中間件、網(wǎng)絡(luò)設(shè)備以及專用設(shè)備產(chǎn)生的海量日志,可交由非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺進(jìn)行采集、萃取、清理與整合,并將非結(jié)構(gòu)化與半結(jié)構(gòu)化的數(shù)據(jù)提煉并應(yīng)用在運維管理中。使用ES技術(shù)實現(xiàn)高效的搜索與存儲,用于系統(tǒng)問題的快速定位、搜索、分析、干預(yù)、解決和預(yù)測,為后續(xù)數(shù)據(jù)中心智能化運維進(jìn)行有力輔助。
行內(nèi)業(yè)務(wù)數(shù)量與種類的不斷增加與更新迭代的過程,也使非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺面臨的壓力和挑戰(zhàn)不斷攀升。呼叫中心與智能客服系統(tǒng)會產(chǎn)生大量語音錄入與智能存儲與分析需求,銀行銷售理財產(chǎn)品、基金、保險等產(chǎn)品時,全程同步錄音錄像產(chǎn)生的雙錄數(shù)據(jù)也有保存至對付后半年以上的需求,以及配合智能視頻分析、語音識別和自然語言處理技術(shù),達(dá)到快速判斷合規(guī)性和稽核、風(fēng)控智能化分析的需求。會計憑證、會計賬簿、財務(wù)會計報告以及其他會計檔案都有30年以上或永久保存的業(yè)務(wù)和監(jiān)管需求。
在后疫情時代,金融行業(yè)也在不斷進(jìn)行發(fā)展方向的思考。疫情沖擊加速了線上“無接觸”服務(wù)全面推進(jìn)的進(jìn)程。與區(qū)塊鏈技術(shù)不可篡改特性相結(jié)合,個人和企業(yè)在參與金融服務(wù)過程中,在存儲數(shù)據(jù)時存在信任的問題,就可以通過區(qū)塊鏈建立起信任,電子證據(jù)存證、電子簽約等業(yè)務(wù)逐漸在興起并日益成熟。以電子簽約為例,可將公證處、司法鑒定中心、仲裁委等權(quán)威機(jī)構(gòu)納入?yún)^(qū)塊鏈節(jié)點生態(tài),確??蛻綦娮雍贤C據(jù)鏈的數(shù)據(jù)真實、私密、無法篡改,可支持單日上億筆簽單的存儲量,并已廣泛應(yīng)用于金融、供應(yīng)鏈、租房租賃、人力資源等場景,實現(xiàn)電子合同全證據(jù)鏈溯源;與人工智能技術(shù)相結(jié)合,可對客戶提供線上合同智能歸檔、智能檢索、智能監(jiān)測與提醒等服務(wù),提供高效便捷的合同全生命周期服務(wù)。
針對上述線上簽約的場景,銀行系統(tǒng)可提供等級保護(hù)四級的IDC機(jī)房,提供私有云架構(gòu)環(huán)境支持業(yè)務(wù)部署,提供高穩(wěn)定性的系統(tǒng)環(huán)境和同城雙活、異地保護(hù)等多種容災(zāi)機(jī)制,提供高并發(fā)業(yè)務(wù)量的性能保障,提供個人與企業(yè)資料審核、實名認(rèn)證和CA證書頒發(fā)服務(wù),在不接觸合同內(nèi)容同時進(jìn)行線上合同簽章,同時對敏感字段加密,保證客戶數(shù)據(jù)安全性和隱私性。
未來銀行要快速適應(yīng)互聯(lián)網(wǎng)+的環(huán)境,消除摩擦,實現(xiàn)功能,原有的傳統(tǒng)銀行產(chǎn)品線上化已經(jīng)不能滿足未來的客戶體驗和嵌入式銀行的功能,未來物聯(lián)網(wǎng)狀態(tài)下,銀行業(yè)務(wù)將以客戶為中心,基于數(shù)據(jù)預(yù)測算法,嵌入日常穿戴設(shè)備、智能汽車與智能樓宇的管家服務(wù)之中,逐漸步入銀行4.0時代。
作者介紹
張鵬,哈爾濱銀行系統(tǒng)管理組存儲/備份/應(yīng)用負(fù)載管理員,具有豐富的項目實施與運維管理經(jīng)驗,參與行內(nèi)新一代核心系統(tǒng)建設(shè)、同城與異地容災(zāi)系統(tǒng)建設(shè)與切換、非結(jié)構(gòu)化數(shù)據(jù)服務(wù)平臺遷移改造等項目,對異構(gòu)存儲設(shè)備監(jiān)控、存儲虛擬化及同城雙活、分布式存儲有深入的研究和應(yīng)用,結(jié)合業(yè)務(wù)數(shù)據(jù)訪問的多重需求進(jìn)行存儲資源適配。