中冶賽迪:基于鯤鵬DevKit開發(fā)智慧城市基礎(chǔ)設(shè)施管理平臺,性能提升47%?
?
如何真正實現(xiàn)城市大數(shù)據(jù)互聯(lián)互通??
市政管理、突發(fā)事件怎樣做到及時預(yù)警??
公共交通擁堵不堪,交通線路到底應(yīng)該如何優(yōu)化??
發(fā)生火情時,消防部門如何快速協(xié)調(diào)資源并進行指揮調(diào)度??
……?
解決這些問題需要一個“城市大腦”。中冶賽迪Q-TOUCH云端城市管理平臺就是這樣一個超級大腦,以城市基礎(chǔ)設(shè)施的全生命周期管控為中心,提供數(shù)據(jù)采集、存儲和處理能力,數(shù)據(jù)建模能力,事件接受處理和分撥能力,利用“物聯(lián)網(wǎng)+大數(shù)據(jù)+智能化”等技術(shù)手段,廣泛面向能源、水務(wù)、交通、環(huán)衛(wèi)、城市防災(zāi)和社會文體等多領(lǐng)域和單元,建立自感知、智處置的基礎(chǔ)設(shè)施管控體系,優(yōu)化城市基礎(chǔ)設(shè)施的管理、運營和體驗,激活數(shù)字要素新動能,開啟數(shù)字城市新征程。?
比如在智慧城市應(yīng)用中,Q-TOUCH能夠結(jié)合物聯(lián)設(shè)備、智能識別技術(shù)、和自流程管理機制,面向城市市政設(shè)施、城市公用、城市節(jié)水和停車管理打造智慧城市綜合管理和服務(wù)平臺,實現(xiàn)城市資源智能調(diào)度、城市問題快速發(fā)現(xiàn)、快速調(diào)整、快速解決。
【中冶賽迪Q-TOUCH云端城市管理平臺-智慧城管應(yīng)用】?
隨著城市的不斷的發(fā)展,對設(shè)備接入、數(shù)據(jù)處理、算法分析的要求更高,智慧城市基礎(chǔ)設(shè)施的管理和運營越來越復(fù)雜,為了給人們提供更高效的社會服務(wù),對Q-TOUCH的服務(wù)能力提出更高要求:?
1、海量數(shù)據(jù)處理:在智慧城市數(shù)字化場景下,需要每天完成大批量的城市數(shù)據(jù)的處理和分析,來滿足城市運營管理要求:比如監(jiān)管某城市共享單車是否在指定區(qū)域內(nèi)停放、某區(qū)域內(nèi)共享單車是否給城管數(shù)據(jù)平臺及時備案、通過視頻監(jiān)控查看違規(guī)出攤、檢測垃圾桶是否填滿等應(yīng)用場景;以國內(nèi)某城市為例,高峰期產(chǎn)生的數(shù)據(jù)量為8000+條/秒,TCP連接并發(fā)每秒超過2萬次。?
2、實時響應(yīng):在城市智慧管廊綜合監(jiān)控場景下,為了能夠?qū)崿F(xiàn)對溫度、濕度、結(jié)構(gòu)監(jiān)測、人員入廊這些數(shù)據(jù)的實時監(jiān)測,Q-TOUCH要求能夠在100ms內(nèi)實時響應(yīng)。?
3、可靠穩(wěn)定:設(shè)備檢測數(shù)據(jù)可靠性要求非常高,尤其是接入側(cè)的危險源檢測、管廊結(jié)構(gòu)檢測數(shù)據(jù),涉及信息安全管理,不允許有任何丟失和中斷;而數(shù)據(jù)的接收和上傳也至關(guān)重要,服務(wù)一旦宕機,就會造成數(shù)據(jù)丟失、影響重大。?
4、綠色節(jié)能:大規(guī)模的計算量帶來了能耗提升,為響應(yīng)國家環(huán)保號召,需要低功耗硬件實現(xiàn)節(jié)能減排。?
鯤鵬天然的多核多并發(fā)、高可靠、低功耗等優(yōu)勢,能夠很好的滿足Q-TOUCH海量數(shù)據(jù)處理、并行計算、低時延、綠色計算等要求;同時提供完善的鯤鵬DevKit開發(fā)套件以及專業(yè)服務(wù),能夠幫助用戶快速完成應(yīng)用的遷移、開發(fā)、編譯和調(diào)優(yōu),支撐Q-TOUCH高效創(chuàng)新?;谝陨峡紤],中冶賽迪選擇鯤鵬作為Q-TOUCH城市設(shè)施智慧管控平臺的數(shù)字底座,以滿足城市級別的數(shù)據(jù)融合和管理,為用戶提供更加靈活的一體化的方案。?
【中冶賽迪Q-TOUCH云端城市管理平臺架構(gòu)圖】?
鯤鵬DevKit 1人天/應(yīng)用快速遷移Q-TOUCH云端城市管理平臺?
在項目實施初期,開發(fā)人員需要將Q-TOUCH平臺快速遷移到鯤鵬。由于整個系統(tǒng)的模塊眾多給遷移工作帶來不少挑戰(zhàn):?
語言多:包含java、c、TypeScript等多種語言;?
代碼量大:6個子模塊,8個微服務(wù),共計14萬行左右代碼;?
第三方軟件多:包含redis、rabbitmq、nacos、srs、elasticsearch、iotdb等,手工查找兼容版本非常耗時;?
經(jīng)分析,采用手動遷移的話整個系統(tǒng)8個微服務(wù)需要45人天才能完成。而鯤鵬DevKit代碼遷移工具可以實現(xiàn)依賴文件自動識別、兼容JAR包一鍵下載、代碼修改建議一鍵替換,無須耗時耗力檢查跟進。在鯤鵬DevKit的幫助下整個系統(tǒng)只用了10人天,平均每個服務(wù)1人天左右即可完成自動遷移。?
基于鯤鵬DevKit 高效開發(fā)Q-TOUCH云端城市管理平臺物聯(lián)網(wǎng)數(shù)據(jù)庫,性能提升47%?
遷移完成之后,中冶賽迪需要針對Q-TOUCH城市設(shè)施智慧管控平臺的工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)分析場景,在鯤鵬服務(wù)器上開發(fā)Apache IoTDB(物聯(lián)網(wǎng)數(shù)據(jù)庫),以滿足工業(yè)物聯(lián)網(wǎng)領(lǐng)域的海量數(shù)據(jù)存儲、高速數(shù)據(jù)讀取和復(fù)雜數(shù)據(jù)分析需求。該功能通過數(shù)百萬個低功耗和智能聯(lián)網(wǎng)設(shè)備的高速寫訪問,以及數(shù)據(jù)快速讀取訪問和查詢,實現(xiàn)對擁有復(fù)雜組織關(guān)系的物聯(lián)網(wǎng)設(shè)備進行樹形結(jié)構(gòu)管理,并使用通配符對這些元數(shù)據(jù)進行模糊匹配。?
在開發(fā)過程中,為提升業(yè)務(wù)性能和穩(wěn)定性,開發(fā)人員將平臺之前使用的編譯工具OpenJDK換成畢NJDK,畢NJDK在鯤鵬架構(gòu)中提供了更好的穩(wěn)定性、GC(Gabarage Collector)性能、類信息共享等,其編譯性能相較于openJDK8最高可提升25%。?
此外,針對系統(tǒng)出現(xiàn)的性能瓶頸,技術(shù)人員使用了鯤鵬性能分析工具的JAVA性能分析功能進行了調(diào)優(yōu),對操作系統(tǒng)、JVM的運行狀態(tài)進行監(jiān)控和優(yōu)化:?
1、通過DevKit性能分析工具的系統(tǒng)性能分析功能分析出IoTDB通用型數(shù)據(jù)庫udf_memory_budget_in_mb和MAX_HEAP_SIZE等參數(shù)的配置值為256、20G。這兩個值的過低,會導(dǎo)致數(shù)據(jù)并發(fā)性能下降,在工具的建議下將上述兩個參數(shù)值調(diào)整為512和120G,從而優(yōu)化數(shù)據(jù)并發(fā)特性。?
2、通過DevKit性能分析工具訪問分析功能,發(fā)現(xiàn)cachemiss性能瓶頸,通過增加二級緩存,吞吐量提升1倍。具體如下,設(shè)備數(shù)據(jù)上傳時會對設(shè)備數(shù)據(jù)的格式類型做校驗,因為數(shù)據(jù)格式是動態(tài)配置的,所以將所有類型的設(shè)備屬性配置存儲在redis中,在實際壓測的時候性能瓶頸在從redis讀取緩存數(shù)據(jù)的網(wǎng)絡(luò)上。我們對該數(shù)據(jù)添加了二級緩存,將數(shù)據(jù)存放到了caffine本地緩存上,大大的減少了從redis讀取數(shù)據(jù)的網(wǎng)絡(luò)通訊耗時,提升了設(shè)備數(shù)據(jù)的處理速度。
【設(shè)備數(shù)據(jù)接入能力和數(shù)據(jù)查詢性能前后對比】?
通過鯤鵬DevKit進行編譯優(yōu)化及性能調(diào)優(yōu)之后,Q-TOUCH云端城市管理平臺物聯(lián)網(wǎng)數(shù)據(jù)庫在鯤鵬上運行性能得到有效提升:數(shù)據(jù)庫設(shè)備數(shù)據(jù)處理業(yè)務(wù)場景的綜合處理吞吐量最高提升了47%、業(yè)務(wù)數(shù)據(jù)采集上傳吞吐量提升了24%、設(shè)備數(shù)據(jù)查詢的吞吐量提升了35%;設(shè)備接入、數(shù)據(jù)存儲、設(shè)備數(shù)據(jù)查詢等業(yè)務(wù)的綜合性能均得到明顯提升。?
中冶賽迪在進行Q-TOUCH云端城市管理平臺鯤鵬原生開發(fā)過程中,通過鯤鵬DevKit優(yōu)化了物聯(lián)網(wǎng)數(shù)據(jù)庫的數(shù)據(jù)處理能力,有效提升了各種物聯(lián)設(shè)備的時序數(shù)據(jù)的查詢效率,同時也讓平臺在智慧管廊、智慧城管等領(lǐng)域在三維建模時的數(shù)據(jù)渲染模型數(shù)據(jù)查詢更加便捷和高效違章建筑檢測的查詢速度,同時也讓GIS領(lǐng)域的科研工作更加便捷和高效。?
目前,Q-TOUCH云端城市管理平臺已成功運用到智慧政務(wù)、市政管理、城市建設(shè)、工業(yè)園區(qū)管理等相關(guān)領(lǐng)域,預(yù)計到2023年將覆蓋整個重慶范圍,并不斷加強與氣象、市政、交巡警等部門的聯(lián)動,助力城市智慧管理。該方案已通過鯤鵬Validate兼容性認證,也標志著中冶賽迪產(chǎn)品在鯤鵬計算應(yīng)用創(chuàng)新、產(chǎn)業(yè)融合、市場應(yīng)用方面達到領(lǐng)先水平。?
作為鯤鵬計算產(chǎn)業(yè)生態(tài)重要伙伴,中冶賽迪已與鯤鵬生態(tài)產(chǎn)業(yè)中心重慶公司建立長期合作關(guān)系。未來,鯤鵬將繼續(xù)堅持“硬件開放、軟件開源、使能伙伴,發(fā)展人才”的生態(tài)策略,通過最新的技術(shù)使能伙伴聯(lián)合創(chuàng)新,打造更具競爭力的行業(yè)解決方案,促進千行百業(yè)數(shù)字化轉(zhuǎn)型。?