?行業(yè)IT數(shù)字化轉(zhuǎn)型方興未艾，區(qū)塊鏈、虛擬化、容器、IoT等新技術(shù)的應(yīng)用使得業(yè)務(wù)模式產(chǎn)生了巨大的變化，IT運(yùn)維也隨之迎來(lái)了更高的要求：運(yùn)維規(guī)模更龐大、運(yùn)維對(duì)象更豐富、運(yùn)維要求也越來(lái)越高，以上種種都給傳統(tǒng)運(yùn)維方式帶來(lái)巨大挑戰(zhàn)：

• 被動(dòng)低效的運(yùn)維難以保證業(yè)務(wù)連續(xù)性：傳統(tǒng)運(yùn)維多依賴專家的經(jīng)驗(yàn)規(guī)則進(jìn)行故障定位、根因分析和配置下發(fā)等管理任務(wù)的制定和執(zhí)行，運(yùn)維人員往往扮演著事后“救火”的角色；?
• 運(yùn)維方式分散：運(yùn)維的自動(dòng)化程度較低，缺乏統(tǒng)一的運(yùn)維監(jiān)控體系和技術(shù)工具，效率低下；?
• 海量的運(yùn)維數(shù)據(jù)的價(jià)值無(wú)法充分挖掘：傳統(tǒng)運(yùn)維系統(tǒng)收集了大量的運(yùn)維數(shù)據(jù)，但是卻缺乏有效的手段加以分析和利用。?

針對(duì)傳統(tǒng)運(yùn)維中存在的痛點(diǎn)，覆蓋新技術(shù)、新場(chǎng)景和新應(yīng)用的運(yùn)維創(chuàng)新是面向未來(lái)的必然選擇，而由大數(shù)據(jù)、人工智能、機(jī)器學(xué)習(xí)技術(shù)交叉而形成的智能運(yùn)維（AIOps）行業(yè)逐漸成為一片新藍(lán)海，吸引各地政府、企業(yè)開展廣泛布局并積極探索行業(yè)應(yīng)用，也推動(dòng)了自動(dòng)化運(yùn)維工具的進(jìn)一步發(fā)展。?

云上貴州大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有限公司（以下簡(jiǎn)稱：云上貴州）成立于2014年，致力于推動(dòng)??大數(shù)據(jù)????電子信息產(chǎn)業(yè)??發(fā)展。通過(guò)全方位的大數(shù)據(jù)??基礎(chǔ)設(shè)施??、數(shù)據(jù)處理與存儲(chǔ)、數(shù)據(jù)挖掘與交易、信息系統(tǒng)集成服務(wù)和專業(yè)的云平臺(tái)及云??應(yīng)用等服務(wù)??，為政府和企事業(yè)單位提供云計(jì)算、云儲(chǔ)存、數(shù)據(jù)庫(kù)、云安全及數(shù)據(jù)共享開放等服務(wù)，構(gòu)建大數(shù)據(jù)產(chǎn)融生態(tài)體系。?

云上貴州在智能運(yùn)維領(lǐng)域深耕多年，其自主研發(fā)的智能運(yùn)維平臺(tái)，通過(guò)本地或遠(yuǎn)程采控的方式實(shí)現(xiàn)對(duì)終端及云平臺(tái)等新型設(shè)備資產(chǎn)的管理監(jiān)控、運(yùn)維團(tuán)隊(duì)的統(tǒng)籌管理、運(yùn)維數(shù)據(jù)的采集沉淀與挖掘，為用戶提供全流程智能化的IT運(yùn)維服務(wù)，助力企業(yè)運(yùn)維進(jìn)入智能化時(shí)代。?

伴隨著數(shù)據(jù)的爆炸性增長(zhǎng)及技術(shù)快速的迭代升級(jí)，運(yùn)維團(tuán)隊(duì)需要計(jì)算效率更快、數(shù)據(jù)處理效率及工程效率更高的自動(dòng)化平臺(tái)，從而更好地支撐端到端的運(yùn)維保障服務(wù)，因此對(duì)運(yùn)維平臺(tái)的算力底座提出了更高挑戰(zhàn)：?

1.高吞吐：運(yùn)維服務(wù)熱線、設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)采集等大批量數(shù)據(jù)操作要求滿足大并行計(jì)算且快速處理的要求。如某政務(wù)場(chǎng)景中涉及約10萬(wàn)臺(tái)新型終端，除運(yùn)維團(tuán)隊(duì)支撐外，預(yù)計(jì)每天有幾百上千次用戶咨詢或服務(wù)請(qǐng)求。?

2.低延時(shí)：為提供工程師遠(yuǎn)程運(yùn)維能力和用戶服務(wù)體驗(yàn)，平臺(tái)對(duì)數(shù)據(jù)和網(wǎng)絡(luò)延時(shí)有很高要求，客服機(jī)器人回答問題時(shí)間從過(guò)去的3-4s縮短到1s。?

3.高可靠：云上貴州智能運(yùn)維平臺(tái)是構(gòu)建統(tǒng)一運(yùn)維服務(wù)體系的核心支撐，服務(wù)區(qū)域乃至貴州省運(yùn)維工作的統(tǒng)籌管理，因此對(duì)可靠性要求極高。?

4.低功耗：運(yùn)維服務(wù)體系將會(huì)是一個(gè)長(zhǎng)期、高頻、重度使用的業(yè)務(wù)體系，大規(guī)模的計(jì)算量將帶來(lái)了能耗提升，為響應(yīng)國(guó)家環(huán)保號(hào)召，需要低功耗硬件實(shí)現(xiàn)節(jié)能減排。?

鯤鵬天然的多核多并發(fā)的擴(kuò)展運(yùn)行能力，以及高性能、高算力、低功耗等優(yōu)勢(shì)，能夠很好的滿足云上貴州智能運(yùn)維平臺(tái)海量數(shù)據(jù)處理、低時(shí)延、高可靠及綠色計(jì)算等要求，同時(shí)還提供完善的鯤鵬DevKit開發(fā)套件以及專業(yè)服務(wù)，能夠幫助用戶快速完成應(yīng)用的遷移、開發(fā)、編譯和調(diào)優(yōu)；此外，結(jié)合鯤鵬BoostKit還可在HTTPS訪問以及應(yīng)用安全性上實(shí)現(xiàn)進(jìn)一步提升，助力智能運(yùn)維平臺(tái)的高效創(chuàng)新。?

基于上述考慮，云上貴州選擇鯤鵬作為云上貴州智能運(yùn)維平臺(tái)的數(shù)字底座，通過(guò)軟硬件相結(jié)合的方式，實(shí)現(xiàn)面向用戶的智能化及全流程運(yùn)維服務(wù)，提供涵蓋云、網(wǎng)、端全面的運(yùn)維保障服務(wù)。?

【云上貴州智能運(yùn)維平臺(tái)全棧圖】?

鯤鵬DevKit 1人天/應(yīng)用快速遷移云上貴州智能運(yùn)維平臺(tái)?

項(xiàng)目初期，由于生態(tài)架構(gòu)差異，開發(fā)人員需要將云上貴州智能運(yùn)維平臺(tái)快速遷移到鯤鵬平臺(tái)并進(jìn)行兼容適配，由于業(yè)務(wù)系統(tǒng)體量巨大、代碼復(fù)雜，需要對(duì)3個(gè)業(yè)務(wù)子系統(tǒng)，10個(gè)功能模塊進(jìn)行遷移，平臺(tái)依賴包含約600個(gè)，通過(guò)人工無(wú)法快速精準(zhǔn)進(jìn)行兼容性評(píng)估，編譯效率太低。?

鯤鵬開發(fā)套件DevKit提供鯤鵬代碼遷移工具，能夠?qū)こ涛募M(jìn)行掃描分析，自動(dòng)識(shí)別待遷移代碼并給出代碼修改建議，在工具的幫助下共識(shí)別出可兼容替換jar包29個(gè)，同時(shí)還快速獲取了兼容依賴庫(kù)的下載地址，平均1人天/應(yīng)用就完成了業(yè)務(wù)系統(tǒng)的遷移，極大縮短應(yīng)用遷移的時(shí)長(zhǎng)和提高遷移的有效性。?

【鯤鵬DevKit代碼遷移工具掃描獲取遷移報(bào)告-以客服模塊為例】?

基于鯤鵬DevKit高效開發(fā)ITSM管理模塊，性能提升75%?

針對(duì)大體量客戶的運(yùn)維服務(wù)需求，遷移完成之后，云上貴州計(jì)劃在鯤鵬服務(wù)器上開發(fā)ITSM（IT Service Manager）管理模塊以實(shí)現(xiàn)更高的運(yùn)行效率。ITSM系統(tǒng)是云上貴州智能運(yùn)維平臺(tái)核心業(yè)務(wù)層的重要模塊，為工程師提供工單管理和流轉(zhuǎn)的支持服務(wù)，確保技術(shù)支持服務(wù)能夠有序可控且高質(zhì)量的執(zhí)行。?

在開發(fā)過(guò)程中，為進(jìn)一步提升業(yè)務(wù)與鯤鵬平臺(tái)的兼容性和穩(wěn)定性，將之前的OpenJDK替換為鯤鵬DevKit提供的畢NJDK，畢NJDK在鯤鵬架構(gòu)中為云上貴州智能運(yùn)維平臺(tái)提供了更好的兼容性和穩(wěn)定性，編譯性能較之前使用的OpenJDK8有了大幅提升。?

此外，針對(duì)系統(tǒng)出現(xiàn)的性能瓶頸，技術(shù)人員使用鯤鵬DevKit性能分析工具對(duì)應(yīng)用進(jìn)行性能調(diào)優(yōu)和系統(tǒng)診斷，從而幫助技術(shù)人員更加快速找到熱點(diǎn)問題和定位性能瓶頸：?

1. 針對(duì)客服模塊工單處理場(chǎng)景進(jìn)行性能優(yōu)化時(shí)，通過(guò)鯤鵬DevKit系統(tǒng)性能分析功能發(fā)現(xiàn)Docker和Nginx等服務(wù)進(jìn)程上存在熱點(diǎn)的問題，在工具的幫助下調(diào)整了Docker-Compose中物理資源分配策略，調(diào)整了Nginx中worker_processes、proxy、multi_accept等參數(shù)，從而優(yōu)化了數(shù)據(jù)的并發(fā)特性；?
2. 同時(shí)，鯤鵬DevKit調(diào)優(yōu)助手可以快速分析出系統(tǒng)資源消耗鏈條，引導(dǎo)技術(shù)人員分析性能瓶頸，在工具的引導(dǎo)下發(fā)現(xiàn)php-fmp（PHP FastCGI 進(jìn)程管理器）存在性能瓶頸，結(jié)合工具的修改建議，對(duì)pm、pm.start_servers、pm.max_children等參數(shù)項(xiàng)進(jìn)行優(yōu)化，大大減少了系統(tǒng)中斷頻率和服務(wù)響應(yīng)時(shí)間，使得工單處理等業(yè)務(wù)響應(yīng)時(shí)間由375ms縮短到了220ms，提升了設(shè)備處理能力。?

【單次業(yè)務(wù)響應(yīng)時(shí)間和200并發(fā)業(yè)務(wù)場(chǎng)景吞吐量性能調(diào)優(yōu)前后對(duì)比】?

通過(guò)鯤鵬DevKit進(jìn)行編譯優(yōu)化及性能調(diào)優(yōu)之后，云上貴州智能運(yùn)維平臺(tái)的整體性能都得到了提升：在操作工單的業(yè)務(wù)場(chǎng)景中，8w數(shù)據(jù)規(guī)模下單次業(yè)務(wù)響應(yīng)時(shí)間由375ms縮短到220ms，性能提升41%； 200并發(fā)同時(shí)處理工單的場(chǎng)景中，吞吐量由每秒114.7次提升到了202.7次，業(yè)務(wù)性能提升可達(dá)75%。此外，一鍵幫助等業(yè)務(wù)的綜合性能也得到較為明顯的提升。?

在進(jìn)行云上貴州智能運(yùn)維平臺(tái)的鯤鵬原生開發(fā)過(guò)程中，通過(guò)鯤鵬DevKit提升了應(yīng)用開發(fā)和遷移效率，有效提升了加解密算法的處理速度，使得整個(gè)運(yùn)維保障服務(wù)進(jìn)一步實(shí)現(xiàn)降本增效的目標(biāo)，讓政府及企業(yè)的運(yùn)維統(tǒng)籌工作更加便捷和高效。?

目前云上貴州智能運(yùn)維平臺(tái)已正式上線，面向貴州全省提供服務(wù)保障工作，已經(jīng)成功支撐貴州省多項(xiàng)重要民生服務(wù)。該方案也在鯤鵬應(yīng)用創(chuàng)新大賽2022貴州賽區(qū)數(shù)字政府賽道獲得了金獎(jiǎng)榮譽(yù)。這不僅驗(yàn)證了該平臺(tái)與鯤鵬結(jié)合后高性能、高可靠的優(yōu)勢(shì)，也標(biāo)志著云上貴州產(chǎn)品在鯤鵬計(jì)算應(yīng)用創(chuàng)新、產(chǎn)業(yè)融合、市場(chǎng)應(yīng)用方面達(dá)到領(lǐng)先水平。?

作為鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)重要伙伴，云上貴州已與鯤鵬生態(tài)創(chuàng)新中心建立長(zhǎng)期合作關(guān)系。未來(lái)，鯤鵬將持續(xù)通過(guò)最新的技術(shù)使能伙伴聯(lián)合創(chuàng)新，打造更具競(jìng)爭(zhēng)力的行業(yè)解決方案，支撐數(shù)字貴州建設(shè)，促進(jìn)千行百業(yè)數(shù)字化轉(zhuǎn)型。?

鯤鵬原生開發(fā)是指使用鯤鵬DevKit的原生開發(fā)能力，如鯤鵬開發(fā)框架（含場(chǎng)景化SDK）、編譯調(diào)試工具、云測(cè)服務(wù)、調(diào)優(yōu)&診斷工具等，在鯤鵬平臺(tái)上開發(fā)新軟件/新功能，充分發(fā)揮鯤鵬架構(gòu)優(yōu)勢(shì)，從而獲得開發(fā)效率/運(yùn)行性能提升。鯤鵬DevKit將持續(xù)增強(qiáng)開發(fā)體驗(yàn)、優(yōu)化工具能力，提升鯤鵬開發(fā)效率，助力千行百業(yè)數(shù)字化轉(zhuǎn)型。?