鯤鵬DevKit助力海通證券高效開(kāi)發(fā)互聯(lián)網(wǎng)行情系統(tǒng),性能提升26%
數(shù)字技術(shù)驅(qū)動(dòng)證券行業(yè)發(fā)展成為行業(yè)內(nèi)廣泛共識(shí),在經(jīng)濟(jì)業(yè)務(wù)、財(cái)富管理、系統(tǒng)運(yùn)維、風(fēng)險(xiǎn)管理等領(lǐng)域,數(shù)字技術(shù)的應(yīng)用場(chǎng)景在不斷拓寬,移動(dòng)互聯(lián)、人工智能、區(qū)塊鏈、云計(jì)算等技術(shù)的交叉融合應(yīng)用也逐漸成為證券行業(yè)提高運(yùn)營(yíng)效率、增強(qiáng)盈利能力的有力抓手。
目前國(guó)內(nèi)多數(shù)證券公司可通過(guò)數(shù)字技術(shù)提供遠(yuǎn)程開(kāi)戶(hù)、在線交易、智能客服等基礎(chǔ)服務(wù),但與國(guó)外領(lǐng)先機(jī)構(gòu)相比,數(shù)字技術(shù)的應(yīng)用水平仍存在較大差距,數(shù)據(jù)治理能力薄弱,數(shù)據(jù)價(jià)值無(wú)法得到充分挖掘和發(fā)揮的現(xiàn)象較為普遍。證券行業(yè)仍需積極推進(jìn)數(shù)字化轉(zhuǎn)型,探索行業(yè)成功的“新業(yè)態(tài)、新模式”。
互聯(lián)網(wǎng)行情系統(tǒng)作為海通證券的關(guān)鍵業(yè)務(wù)系統(tǒng)之一,支持滬、深、北、港美股、國(guó)內(nèi)外期貨、全球指數(shù)等國(guó)內(nèi)外31個(gè)市場(chǎng)level-1、level-2行情數(shù)據(jù)的服務(wù),為10萬(wàn)多只證券,500多個(gè)板塊,400多個(gè)概念,提供7*24小時(shí)行情數(shù)據(jù)服務(wù),系統(tǒng)累積歷史數(shù)據(jù)超過(guò)25T,日增數(shù)據(jù)在20G左右。
【互聯(lián)網(wǎng)行情系統(tǒng)業(yè)務(wù)示意圖】
該系統(tǒng)的行情數(shù)據(jù)更新快慢以及數(shù)據(jù)的準(zhǔn)確性在很大程度上會(huì)影響客戶(hù)的交易決策,傳統(tǒng)的ICT架構(gòu)無(wú)法支持平臺(tái)表現(xiàn)出更強(qiáng)的創(chuàng)造性和競(jìng)爭(zhēng)力。海通證券對(duì)承載該業(yè)務(wù)的底層基礎(chǔ)設(shè)施提出了更高的要求:
高吞吐量
行情系統(tǒng)具有明顯的潮汐特征,每天特定開(kāi)盤(pán)時(shí)間段以及牛市期間突發(fā)業(yè)務(wù)量的激增,并發(fā)訪問(wèn)量會(huì)高于收盤(pán)期間幾十倍,最大系統(tǒng)QPS為200萬(wàn)/秒,最大推送量高達(dá)1400萬(wàn)筆/秒,同時(shí)要求數(shù)據(jù)準(zhǔn)確度達(dá)到小數(shù)點(diǎn)后4位;
低時(shí)延
高頻的行情發(fā)布周期決定了對(duì)行情系統(tǒng)必須滿(mǎn)足低時(shí)延的要求,全鏈路行情數(shù)據(jù)更新需要在毫秒級(jí)完成;
高可靠
證券業(yè)務(wù)的穩(wěn)定可靠運(yùn)行,是行業(yè)監(jiān)管的基本要求,任何1筆數(shù)據(jù)的丟失會(huì)影響最終計(jì)算結(jié)果,也可能造成客戶(hù)損失等問(wèn)題。
鯤鵬平臺(tái)天生的多核高并發(fā)、海量吞吐等能力,能夠很好的滿(mǎn)足上述需求,且低功耗能夠節(jié)約更多成本;
鯤鵬還提供完善的鯤鵬DevKit開(kāi)發(fā)套件以及專(zhuān)業(yè)服務(wù),能夠幫助用戶(hù)快速完成應(yīng)用的遷移、開(kāi)發(fā)、編譯和調(diào)優(yōu),助力行業(yè)應(yīng)用的高效創(chuàng)新。
基于以上考慮,海通證券與鯤鵬達(dá)成了合作意愿,在鯤鵬上原生開(kāi)發(fā)「互聯(lián)網(wǎng)行情系統(tǒng)」,通過(guò)該方案實(shí)現(xiàn)全球31個(gè)市場(chǎng)的行情接入、轉(zhuǎn)碼、分發(fā)等主要功能和相關(guān)衍生指標(biāo)的計(jì)算。
【互聯(lián)網(wǎng)行情系統(tǒng)業(yè)務(wù)架構(gòu)圖】
基于動(dòng)態(tài)二進(jìn)制翻譯工具ExaGear實(shí)現(xiàn)互聯(lián)網(wǎng)行情系統(tǒng)的快速遷移
在該項(xiàng)目適配鯤鵬的開(kāi)始階段,開(kāi)發(fā)人員需要將整個(gè)互聯(lián)網(wǎng)行情系統(tǒng)遷移到鯤鵬平臺(tái)上。由于該系統(tǒng)的關(guān)鍵組件之一行情轉(zhuǎn)碼模塊,涉及大量代碼且作為無(wú)法找到源碼,給遷移工作帶來(lái)不少挑戰(zhàn):行情轉(zhuǎn)碼模塊接入了境內(nèi)外30多個(gè)市場(chǎng)的行情數(shù)據(jù),很多市場(chǎng)是通過(guò)第三方API接入的,但多數(shù)第三方既無(wú)ARM版本API也暫無(wú)支撐改造計(jì)劃,項(xiàng)目組無(wú)法掌握對(duì)應(yīng)的源碼,導(dǎo)致遷移工作幾乎無(wú)法進(jìn)行。
鯤鵬DevKit針對(duì)無(wú)源碼遷移場(chǎng)景提供了動(dòng)態(tài)二進(jìn)制翻譯工具ExaGear,能夠在軟件執(zhí)行過(guò)程中將x86指令直接翻譯為鯤鵬可識(shí)別的指令,使得絕大部分x86應(yīng)用無(wú)需重新編譯和修改即可在鯤鵬上運(yùn)行。最終開(kāi)發(fā)人員屏蔽了底層平臺(tái)的差異,高效完成了整個(gè)互聯(lián)網(wǎng)行情系統(tǒng)的快速遷移,且性能損耗控制在了10%以?xún)?nèi)。
【動(dòng)態(tài)二進(jìn)制翻譯工具ExaGear遷移示意圖】
通過(guò)畢昇編譯器和性能分析工具助力互聯(lián)網(wǎng)行情系統(tǒng)新版本高效開(kāi)發(fā),性能最高提升26%
遷移完成之后,為持續(xù)滿(mǎn)足行情系統(tǒng)的安全穩(wěn)定、運(yùn)維高效可控以及迭代靈活等要求,海通證券計(jì)劃在鯤鵬平臺(tái)上進(jìn)行該系統(tǒng)新版本的開(kāi)發(fā)迭代。
在開(kāi)發(fā)過(guò)程中,為提升編譯效率,將平臺(tái)之前使用的開(kāi)源GCC升級(jí)為畢昇編譯器。針對(duì)計(jì)算密集型、海量數(shù)據(jù)處理的應(yīng)用場(chǎng)景,畢昇編譯器基于LLVM針對(duì)鯤鵬平臺(tái)進(jìn)行了深度優(yōu)化,通過(guò)使能循環(huán)優(yōu)化,自動(dòng)向量化,內(nèi)存布局優(yōu)化等高性能編譯算法,大幅提升指令和數(shù)據(jù)吞吐量,最大限度地釋放鯤鵬平臺(tái)的強(qiáng)勁算力。
此外,由于分析行情轉(zhuǎn)發(fā)和行情主站兩大模塊需要對(duì)基礎(chǔ)行情、分時(shí) K 線成交漲跌排行等數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,對(duì)性能要求比較高。因此,在新版本開(kāi)發(fā)完成之后,技術(shù)人員還使用了鯤鵬DevKit性能分析工具對(duì)這兩個(gè)模塊進(jìn)行了性能優(yōu)化:
基于系統(tǒng)分析功能進(jìn)行熱點(diǎn)函數(shù)分析,識(shí)別到分析行情轉(zhuǎn)發(fā)有一定的數(shù)據(jù)延遲,在工具的建議下,替換了鯤鵬平臺(tái)的匯編指令(如ldaxr、stlxr等),優(yōu)化之后采用2倍深圳流行情數(shù)據(jù)進(jìn)行回放測(cè)試,5小時(shí)業(yè)務(wù)壓測(cè)下內(nèi)部延遲縮短了26.42%。
【通過(guò)鯤鵬DevKit優(yōu)化后的行情轉(zhuǎn)發(fā)的性能對(duì)比】
基于系統(tǒng)性能分析工具進(jìn)行進(jìn)/線程分析,識(shí)別到行情主站出現(xiàn)響應(yīng)延遲,通過(guò)鎖優(yōu)化降低鎖的粒度、將互斥鎖修改為自旋鎖以提高數(shù)據(jù)處理能力。在相同的配置環(huán)境下,25k連接時(shí)客戶(hù)端響應(yīng)延遲縮短12.25%。
【通過(guò)鯤鵬DevKit優(yōu)化后的行情主站請(qǐng)求處理的性能對(duì)比】
通過(guò)上述一系列的性能調(diào)優(yōu),分析行情轉(zhuǎn)發(fā)的數(shù)據(jù)處理能力和行情主站并發(fā)能力都得到了大幅提升,實(shí)現(xiàn)了行情資訊信息的快速轉(zhuǎn)碼和分發(fā),為用戶(hù)提供更及時(shí)、優(yōu)質(zhì)的行情資訊服務(wù)體驗(yàn)。
目前海通證券「互聯(lián)網(wǎng)行情系統(tǒng)」版本已在華為云等平臺(tái)上線6個(gè)站點(diǎn),當(dāng)前總體用戶(hù)數(shù)超4200萬(wàn),月平均活躍數(shù)近550萬(wàn)。該方案也獲得了行業(yè)信息技術(shù)應(yīng)用創(chuàng)新基地行業(yè)共研課題的最具前瞻價(jià)值獎(jiǎng)并入選IDC中國(guó)金融新基建案例,同時(shí)也在鯤鵬應(yīng)用創(chuàng)新大賽2021上海賽區(qū)金融賽道獲得了金獎(jiǎng)榮譽(yù)。這不僅驗(yàn)證了該方案的高性能、高兼容性、完整性和成熟度等技術(shù)優(yōu)勢(shì),也是了行業(yè)渠道交易云化轉(zhuǎn)型的重要一步。
作為鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)的重要伙伴,海通證券已與華為建立了戰(zhàn)略合作伙伴關(guān)系。未來(lái),海通證券還將聯(lián)合鯤鵬,加速推進(jìn)信息化建設(shè),不斷深化在客戶(hù)服務(wù)、運(yùn)營(yíng)管理、風(fēng)險(xiǎn)合規(guī)和財(cái)務(wù)管理等業(yè)務(wù)領(lǐng)域的數(shù)據(jù)應(yīng)用,全面賦能公司業(yè)務(wù)創(chuàng)新發(fā)展,也為行業(yè)金融科技創(chuàng)新貢獻(xiàn)更具競(jìng)爭(zhēng)力的行業(yè)解決方案。
海通證券股份有限公司
海通證券股份有限公司(以下簡(jiǎn)稱(chēng)海通證券)成立于1988年,是國(guó)內(nèi)成立最早、綜合實(shí)力最強(qiáng)的證券公司之一,經(jīng)紀(jì)、投行和資產(chǎn)管理等傳統(tǒng)業(yè)務(wù)位居行業(yè)前茅,融資融券、股指期貨和PE投資等創(chuàng)新業(yè)務(wù)領(lǐng)先行業(yè)。作為行業(yè)金融科技先行者和探索者,海通證券踐行“數(shù)字化轉(zhuǎn)型”戰(zhàn)略,積極融入國(guó)家高質(zhì)量發(fā)展和上海國(guó)際金融中心建設(shè)大局,準(zhǔn)確識(shí)變、科學(xué)應(yīng)變、主動(dòng)求變。