政府和企業(yè)在撰寫(xiě)數(shù)據(jù)報(bào)告時(shí)，常面臨報(bào)告編寫(xiě)工作量大、撰寫(xiě)耗時(shí)長(zhǎng)、數(shù)據(jù)指標(biāo)計(jì)算分析繁雜、易于出錯(cuò)等問(wèn)題，迫切需要一個(gè)能夠?qū)崿F(xiàn)各種復(fù)雜報(bào)告的一鍵生成、自動(dòng)推送的“神器”，讓工作人員從冗長(zhǎng)復(fù)雜的報(bào)表填坑工作中解放出來(lái)。隨著大數(shù)據(jù)和人工智能技術(shù)的逐漸成熟，一鍵式報(bào)告生成平臺(tái)應(yīng)運(yùn)而生，通過(guò)對(duì)業(yè)務(wù)數(shù)據(jù)的自動(dòng)化分析計(jì)算，構(gòu)建出數(shù)據(jù)指標(biāo)與文本生成規(guī)則，靈活生成各類數(shù)據(jù)分析報(bào)告，全面提升政府和企業(yè)工作效率，實(shí)現(xiàn)高效科學(xué)決策。?

江蘇鴻程大數(shù)據(jù)技術(shù)與應(yīng)用研究院（以下簡(jiǎn)稱：鴻程大數(shù)據(jù)）成立于2019年1月，是依托南京大學(xué)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室、國(guó)家高新技術(shù)企業(yè)，致力于大數(shù)據(jù)及人工智能等領(lǐng)域的科技創(chuàng)新，深耕全鏈路大數(shù)據(jù)，人工智能自動(dòng)化建模等技術(shù)，服務(wù)于政府、金融、互聯(lián)網(wǎng)等國(guó)計(jì)民生行業(yè)。?

鴻程大數(shù)據(jù)自主研發(fā)的一鍵式自動(dòng)化數(shù)據(jù)報(bào)告生成平臺(tái)，通過(guò)大數(shù)據(jù)分析、智能文本引擎，“一鍵式”解決數(shù)據(jù)的“查詢—分析—結(jié)論”問(wèn)題，有效提高編寫(xiě)報(bào)告的效率和數(shù)據(jù)分析深度，助力用戶快速?zèng)Q策。該平臺(tái)可提供數(shù)據(jù)報(bào)告自動(dòng)生成、規(guī)則引擎靈活定義、數(shù)據(jù)多維查詢展示、多源整合數(shù)據(jù)接入、智能歸因分析推薦等多種配置，能快速響應(yīng)業(yè)務(wù)需求，解決數(shù)據(jù)量大、來(lái)源多、種類復(fù)雜、難融合等問(wèn)題，適用政府企業(yè)等多行業(yè)場(chǎng)景需求。?

如今，各種應(yīng)用數(shù)據(jù)呈海量、高速增長(zhǎng)的態(tài)勢(shì)，數(shù)據(jù)類型越發(fā)繁多，報(bào)告生成平臺(tái)的部署日益復(fù)雜，且考慮到安全風(fēng)險(xiǎn)系數(shù)遞增等因素，承載一鍵式自動(dòng)化數(shù)據(jù)分析報(bào)告生成平臺(tái)的底層基礎(chǔ)設(shè)施也面臨更多挑戰(zhàn)：?

1. 高可用：報(bào)告的生成需要實(shí)時(shí)將查詢數(shù)據(jù)提供給分析引擎，平臺(tái)運(yùn)轉(zhuǎn)的連續(xù)性是其重要保障，因此對(duì)性能要求很高；?
2. 低時(shí)延：高并發(fā)訪問(wèn)場(chǎng)景下需要實(shí)現(xiàn)對(duì)https高并發(fā)請(qǐng)求實(shí)時(shí)響應(yīng)，保障https請(qǐng)求在毫秒級(jí)完成。?

鯤鵬天然的多核多并發(fā)、高安全等優(yōu)勢(shì)，能夠很好的滿足一鍵報(bào)告生成平臺(tái)海量數(shù)據(jù)處理、低時(shí)延、高可靠等要求，并提供完善的鯤鵬DevKit開(kāi)發(fā)套件以及專業(yè)服務(wù)，能夠幫助用戶快速完成應(yīng)用的遷移、開(kāi)發(fā)、編譯和調(diào)優(yōu)；基于以上考慮，鴻程大數(shù)據(jù)選擇鯤鵬作為一鍵式自動(dòng)化數(shù)據(jù)分析報(bào)告生成平臺(tái)的數(shù)字底座，以滿足海量數(shù)據(jù)的融合與計(jì)算，為用戶提供更加高效便捷的數(shù)據(jù)采集與管理。?

【一鍵式自動(dòng)化數(shù)據(jù)報(bào)告生成平臺(tái)賬架構(gòu)圖】?

基于鯤鵬代碼遷移工具1人天/應(yīng)用快速遷移一鍵式自動(dòng)化數(shù)據(jù)分析報(bào)告生成平臺(tái)?

項(xiàng)目初期，技術(shù)人員需要將一鍵報(bào)告生成平臺(tái)快速遷移到鯤鵬，該應(yīng)用涉及代碼10萬(wàn)+行，且需要依賴大數(shù)據(jù)底座，涉及底層基礎(chǔ)運(yùn)行時(shí)（runtime）、基礎(chǔ)開(kāi)發(fā)庫(kù)數(shù)十個(gè)，引入開(kāi)源依賴Jar包20+個(gè)，經(jīng)分析，人工編譯這些依賴包并驗(yàn)證依賴包相關(guān)聯(lián)的各組件約需要10人/天才能完成，人力投入成本較大。而利用鯤鵬DevKit提供的代碼遷移工具針對(duì)20+個(gè)開(kāi)源Jar包進(jìn)行依賴掃描，代碼修改建議一鍵替換，平均1人天/應(yīng)用完成原有業(yè)務(wù)遷移。?

【通過(guò)鯤鵬DevKit代碼遷移工具掃描獲取遷移報(bào)告】?

基于鯤鵬開(kāi)發(fā)框架快速開(kāi)發(fā)基于KAE加解密引擎的https訪問(wèn)功能，頁(yè)面訪問(wèn)時(shí)延減少約30%?

在遷移完成之后，為了進(jìn)一步防止信息泄露，保障用戶數(shù)據(jù)安全，鴻程大數(shù)據(jù)選擇在鯤鵬平臺(tái)上開(kāi)發(fā)基于OpenSSL加解密的https訪問(wèn)功能。由于原有X86平臺(tái)的開(kāi)發(fā)經(jīng)驗(yàn)和兼容生態(tài)并不能直接復(fù)制到鯤鵬平臺(tái)之上，開(kāi)發(fā)人員在應(yīng)用開(kāi)發(fā)過(guò)程中也遇到了多重挑戰(zhàn)：?

• 不熟悉鯤鵬平臺(tái)的編譯選項(xiàng)和函數(shù)，不清楚如何在編程過(guò)程中充分發(fā)揮架構(gòu)優(yōu)勢(shì)，提高開(kāi)發(fā)效率，增強(qiáng)軟件性能；?
• 手動(dòng)查找鯤鵬依賴文件兼容版本效率低，無(wú)法快速獲取鯤鵬兼容生態(tài)?

基于上述挑戰(zhàn)，鴻程大數(shù)據(jù)開(kāi)發(fā)人員在新功能的開(kāi)發(fā)過(guò)程中，使用了鯤鵬DevKit提供的鯤鵬開(kāi)發(fā)框架，在工具的幫助下快速創(chuàng)建應(yīng)用工程，并一鍵引入鯤鵬加速庫(kù)-KAE加解密模塊，使能鯤鵬處理器的加解密加速引擎，系統(tǒng)對(duì)外服務(wù)的平均頁(yè)面響應(yīng)時(shí)延由92毫秒降低為69.3毫秒，系統(tǒng)響應(yīng)時(shí)延性能提升30%。?

【鯤鵬硬件加速工程工程創(chuàng)建】?

https訪問(wèn)功能需要在保障數(shù)據(jù)安全性的同時(shí)，盡可能降低時(shí)間上的損耗，以滿足應(yīng)用頁(yè)面高效響應(yīng)的需求，因此該功能對(duì)性能要求極高。開(kāi)發(fā)人員在新功能的開(kāi)發(fā)過(guò)程中，還使用了鯤鵬DevKit提供的性能分析工具，對(duì)系統(tǒng)占用CPU、內(nèi)存、網(wǎng)絡(luò)、IO等指標(biāo)進(jìn)行分析和調(diào)優(yōu)。技術(shù)人員使用系統(tǒng)性能分析功能發(fā)現(xiàn)應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)分析時(shí)，對(duì)應(yīng)進(jìn)程會(huì)在多個(gè)CPU核上來(lái)回切換，導(dǎo)致CPU核會(huì)跨NUMA節(jié)點(diǎn)訪問(wèn)內(nèi)存產(chǎn)生性能損耗。針對(duì)此問(wèn)題，開(kāi)發(fā)人員根據(jù)工具的優(yōu)化建議改進(jìn)程序，將進(jìn)程與物理核進(jìn)行綁定，避免CPU核跨NUMA節(jié)點(diǎn)帶來(lái)性能損失。優(yōu)化后MySQL數(shù)據(jù)庫(kù)的tpmC提升22%，并行任務(wù)執(zhí)行不會(huì)產(chǎn)生性能瓶頸。?

【使用鯤鵬開(kāi)發(fā)框架及鯤鵬DevKit性能分析工具優(yōu)化前后性能對(duì)比圖】?

經(jīng)過(guò)上述幾項(xiàng)性能提升，使得一鍵式自動(dòng)化數(shù)據(jù)分析報(bào)告生成平臺(tái)整體數(shù)據(jù)處理能力提升約22%，頁(yè)面響應(yīng)時(shí)間減少30%，極大的提高了報(bào)告生成效率，提升了用戶體驗(yàn)，為用戶節(jié)省更多時(shí)間成本。?

江蘇鴻程「一鍵式自動(dòng)化數(shù)據(jù)分析報(bào)告生成平臺(tái)」目前已應(yīng)用于政府、企業(yè)、金融等相關(guān)領(lǐng)域。該方案也在鯤鵬應(yīng)用創(chuàng)新大賽2022江蘇初創(chuàng)賽道獲得了一等獎(jiǎng)榮譽(yù)。這不僅驗(yàn)證了該平臺(tái)的高性能、高兼容性、完整性和成熟度等技術(shù)優(yōu)勢(shì)，也標(biāo)志著江蘇鴻程技術(shù)與應(yīng)用研究院有限公司產(chǎn)品在鯤鵬計(jì)算應(yīng)用創(chuàng)新、產(chǎn)業(yè)融合、市場(chǎng)應(yīng)用方面達(dá)到領(lǐng)先水平。?

作為鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)重要伙伴，江蘇鴻程已與江蘇鯤鵬·N騰生態(tài)創(chuàng)新中心建立長(zhǎng)期合作關(guān)系。未來(lái)，還將進(jìn)一步融合相關(guān)資源，打造更具競(jìng)爭(zhēng)力的行業(yè)解決方案，促進(jìn)行業(yè)數(shù)字化轉(zhuǎn)型。?

鯤鵬原生開(kāi)發(fā)是指使用鯤鵬DevKit的原生開(kāi)發(fā)能力，如鯤鵬開(kāi)發(fā)框架（含場(chǎng)景化SDK）、編譯調(diào)試工具、云測(cè)服務(wù)、調(diào)優(yōu)&診斷工具等，在鯤鵬平臺(tái)上開(kāi)發(fā)新軟件/新功能，充分發(fā)揮鯤鵬架構(gòu)優(yōu)勢(shì)，從而獲得開(kāi)發(fā)效率/運(yùn)行性能提升。鯤鵬DevKit將持續(xù)增強(qiáng)開(kāi)發(fā)體驗(yàn)、優(yōu)化工具能力，提升鯤鵬開(kāi)發(fā)效率，助力千行百業(yè)數(shù)字化轉(zhuǎn)型。?