嘉賓 | 史海峰
編輯 | 睿暄
出品 | 51CTO技術棧(微信號:blog51cto)
本文整理自方正證券架構平臺負責人史海峰在WOT2024大會上的主題分享。在《云原生時代的成本優(yōu)化》專場中,史海峰以《未來在云端——方正證券云原生架構升級實踐》為主題分享了方正證券的云計算基礎設施建設實踐以及云原生架構升級的關鍵點和落地收益。
1.方正證券的上云歷程
國內(nèi)證券行業(yè)的信息系統(tǒng)發(fā)展經(jīng)歷了幾個階段:
- 1.0:交易電子化(2000年之前)
- 2.0:交易大集中(2000-2008)
- 3.0:網(wǎng)上交易(2008-2016)
- 4.0:數(shù)字化轉型(2017-今)
當前證券行業(yè)正處于數(shù)字化轉型的4.0階段,在此背景下,監(jiān)管機構和行業(yè)協(xié)會制定了一系列關于金融行業(yè)數(shù)字化轉型的指導政策。例如,2020年中證協(xié)發(fā)布了《關于推進證券行業(yè)數(shù)字化轉型發(fā)展的研究報告》,旨在推廣數(shù)字化轉型領域的行業(yè)最佳實踐。2021年證監(jiān)會發(fā)布了《證券期貨業(yè)科技發(fā)展“十四五”規(guī)劃》,旨在全面推動科技賦能行業(yè)發(fā)展。2023年《數(shù)字中國建設整體布局規(guī)劃》發(fā)布,強調數(shù)字基礎設施是數(shù)字中國建設的基石。
方正證券致力于數(shù)字化轉型,尤其重視IT基礎設施建設,經(jīng)過多年持續(xù)投入,打造了面向未來的云原生基礎架構。證券行業(yè)因其業(yè)務特性,對系統(tǒng)穩(wěn)定性有極高要求,因此在影響全局的IT基礎設施建設方面非常慎重。如果用《跨越鴻溝》的劃分方式,方正證券引入創(chuàng)新技術的戰(zhàn)略秉承實用主義原則,持續(xù)關注前沿技術,在技術跨越鴻溝相對成熟之后再根據(jù)實際需求引入,云基礎設施的建設就是一個典型案例。
圖片
2019年,方正證券經(jīng)過充分調研,決定引入云計算技術,基于KVM構建了輕量級私有云。在驗證私有云的穩(wěn)定性和降低成本的效果后,2020年方正證券進一步選擇外購私有云服務。進入2021年,方正證券開始應用Docker容器技術,進行自研應用容器化改造,啟動云原生架構升級。隨后在2022年基于Kubernetes(K8S)技術自建容器云平臺,并支持一云多芯。到了2023年,方正證券的云原生基礎設施已基本完善,成功將30%的自研應用遷移到了容器云上。未來,除資源密集型、計算密集型或者對響應時間及單機穩(wěn)定性有極高要求的應用外,方正證券計劃在2025年將自研應用全部遷移至云端,并遷移部分外購應用,遷移以容器為第一選項,以虛擬機為第二選項。
2.云原生架構升級之路
基于容器技術的云原生架構與基于虛擬機技術的私有云架構在本質上存在顯著差異。虛擬機技術模擬的是傳統(tǒng)物理機操作模式,而云原生技術是要結合企業(yè)應用生命周期,覆蓋從開發(fā)到部署、再到運維的整個鏈路。云原生技術并不是簡單地將業(yè)務應用遷移至容器,而是多維度全方位的變革,是面向應用的技術體系升級。
方正證券的云原生架構升級是一個系統(tǒng)工程,共分為三個階段:
第一階段(2021-2022年):
構建云原生基礎設施,打造包括應用容器化改造,鏡像倉庫,鏡像安全掃描,DevOps平臺等一系列應用改造及基礎設施。通過Docker改造升級進行過渡,為后續(xù)云原生項目的展開奠定理論和實踐基礎,提供最佳實踐;
第二階段(2022-2023年):
這個階段具有里程碑意義,方正證券創(chuàng)造性地與服務器廠商共創(chuàng)云原生基座,廠商提供更適合,更安全的云原生操作系統(tǒng),基于K8S構建容器云,同時在監(jiān)控,運維,安全等多維度,多領域適配云原生。2023年完成30%自研應用云原生架構升級,遷移上線,并支持部分外購系統(tǒng)部署。
第三階段(2024年-2025年):
穩(wěn)步推進云原生進程,自研應用全面云原生化。對資源進行精細化調度,并形成可靠保障機制,與私有云、物理機協(xié)同實現(xiàn)資源全生命周期管理,與數(shù)據(jù)平臺合作提供容器資源調度,充分合理利用資源,節(jié)約采購成本,提升效率和可用性。
在應用批量架構升級后,方正證券看到了云原生技術帶來的成果:提效和降本。應用生產(chǎn)部署效率提升了75%,容器化相對于虛擬機減少了50%以上的軟硬件資源占用;相對于物理機則減少了73%的軟硬件資源占用。
3.云原生架構升級四個關鍵點
方正證券是如何實現(xiàn)云原生的架構升級?通過哪些關鍵的舉措確保不出現(xiàn)大的風險?在建設過程中有兩點很重要,而在升級過程中還有兩點非常關鍵。
建設的第一點是定標準,方正證券參考信通院的云原生能力成熟度模型標準,結合自身實際需求設定《方正證券云原生能力成熟度模型》,并以此為基礎列出了一張表格,標出每一個維度的階段目標,形成四年規(guī)劃。第二點則是與行業(yè)專家交流,汲取經(jīng)驗,方正證券先后與平安科技、自如、DaoCloud進行了深入交流。
圖片
圖片
學習過后就要落地實踐。方正證券的云原生平臺架構從上到下分別為DevOps、容器云和K8S,同時對接原有的平臺能力,比如監(jiān)控、集群管理、云管、項目管理、權限日志等。方正證券的DevOps平臺不僅服務于云原生架構,還將支持物理機和私有云環(huán)境,實現(xiàn)對前端、后端以及移動端應用的全面部署支持。
圖片
云原生基礎架構建設之后,面對的最大挑戰(zhàn)是應用升級改造,這個過程中有兩個關鍵點:第一點是項目方式推進,制定升級計劃,每周通過例會確認當前進度和下周目標,項目前期進行培訓,提供詳盡的操作手冊,架構平臺團隊專人對口一站式服務;第二點是配套工具支持,包括DevOps平臺支持雙軌部署過渡、網(wǎng)絡連通性探測,監(jiān)控系統(tǒng)支持云原生可觀測性指標,模板工程改造。
圖片
這里重點介紹雙軌和網(wǎng)絡連通性探測。雙軌部署允許應用同時部署到虛擬機上的Docker和容器云的K8S容器運行,對于級別較高的系統(tǒng),可先雙軌部署,觀察一段時間運行平穩(wěn)再完全遷移到K8S的容器上。網(wǎng)絡連通性探測是針對復雜網(wǎng)絡環(huán)境下的必要功能,應用遷移過程中需要重新開通網(wǎng)絡權限,方正證券的DevOps平臺支持提交網(wǎng)絡權限申請,并在網(wǎng)絡權限變更之后自動探測連通性,大幅減少人工操作。
4.未來在云端
隨著行業(yè)技術發(fā)展和數(shù)字化轉型的推進,未來將有更多的應用運行在云端,云原生架構也將持續(xù)演進。接下來方正證券會進一步完善云原生能力。打造更為成熟的容器云、DevOps平臺、微服務技術架構。
在容器云方面,方正證券將支持應用的異地多活部署,合理調度資源,尤其是通過動態(tài)調度為大數(shù)據(jù)平臺提供算力,以優(yōu)化成本。
DevOps平臺則專注于應用的全生命周期管理,簡化部署和監(jiān)控流程,提高問題定位的速度,并增強測試效率。平臺將采用一系列技術和工程規(guī)范,確保所有參與者在流程中達到既定的標準,并設立準入門檻以保證流程的質量。在多版本、多分支的情況下,DevOps平臺將支持流量染色,提升并行開發(fā)和測試的能力,實現(xiàn)同時開發(fā)和測試不同版本的應用。此外DevOps平臺還將探索應用人工智能技術,利用AI提升CodeReview的效率和準確性。
通過實現(xiàn)以上種種能力和功能,方正證券希望能夠實現(xiàn)降成本、保穩(wěn)定、提效率,節(jié)省硬件資源,提升部署效率,縮短線上故障恢復時長。
5.總結
云原生架構建設是技術戰(zhàn)略投入,隨著平臺能力不斷完善,必將深化科技賦能,從而推動數(shù)字化轉型。方正證券金融科技團隊秉承‘行穩(wěn)致遠,進而有為’的理念,立足科技創(chuàng)新,面向業(yè)務場景,創(chuàng)造更多價值,助力數(shù)字金融建設。