張真：AIOps六大技術(shù)難點(diǎn)與宜信運(yùn)維的重大變革
原創(chuàng)【51CTO.com原創(chuàng)稿件】運(yùn)維發(fā)展歷程與工業(yè)革命異曲同工，工業(yè)的三次革命分別是機(jī)械化、電氣化與信息化，運(yùn)維則是原始手工、腳本與自動(dòng)化工具。那么工業(yè)4.0悄然來(lái)臨的今天，智能化又將會(huì)給運(yùn)維帶來(lái)哪些影響？AIOps早期是由Gartner提出，原義是基于算法的IT運(yùn)維，隨實(shí)踐、反思和討論的不斷積累，對(duì)它的認(rèn)知發(fā)生了一些變化。
隨著人工智能技術(shù)的發(fā)展，基于人工智能的IT運(yùn)維越來(lái)越被普遍認(rèn)可，所以AIOps如今被解讀為Artificial Intelligence for Operations。近日，宜信研發(fā)總監(jiān)，接受了51CTO的采訪，核心圍繞AIOps技術(shù)難點(diǎn)，金融行業(yè)AIOps應(yīng)用現(xiàn)狀與宜信運(yùn)維的重大變革展開。
張真·宜信研發(fā)總監(jiān)
什么如何理解AIOps？
要理解AIOps，首先要弄懂與DevOps之間的關(guān)系。張真表示，AIOps可以看成DevOps的高級(jí)階段，AIOps不是要完全取代成熟的DevOps工具鏈，而是給DevOps工具鏈裝上“大腦”，將人工決策驅(qū)動(dòng)的運(yùn)維過(guò)程轉(zhuǎn)型成系統(tǒng)自主決策驅(qū)動(dòng)的過(guò)程，所以與DevOps工具鏈深度集成是落地AIOps的必由之路。
用一個(gè)形象的比喻，可以把AIOps看成運(yùn)維的“鋼鐵俠”模式，系統(tǒng)不再是簡(jiǎn)單的工具，而是像鋼鐵俠戰(zhàn)甲一樣可以協(xié)助甚至獨(dú)立自主的完成任務(wù)。
所以，AIOps其實(shí)就是將AI技術(shù)應(yīng)用到IT運(yùn)維領(lǐng)域，提升效率和創(chuàng)造現(xiàn)實(shí)價(jià)值的“工程化”過(guò)程。既然是AI的工程化過(guò)程，就需要?jiǎng)?wù)實(shí)的看待AI技術(shù)，需要選擇合適的AI技術(shù)去解決有效的運(yùn)維場(chǎng)景，例如智能報(bào)警，智能巡檢，智能上線，智能自愈等等。
AIOps的六大技術(shù)難點(diǎn)
理解AIOps之后，我們來(lái)看看AIOps的技術(shù)難點(diǎn)。這部分，張真從六方面進(jìn)行了闡述：
AI“工程化”的復(fù)雜性
目前，機(jī)器學(xué)習(xí)是AIOps的重要手段，其他還有自然語(yǔ)言處理，高級(jí)搜索，知識(shí)圖譜等，也需要綜合應(yīng)用到這個(gè)領(lǐng)域，才能達(dá)成實(shí)際“工程化”的落地效果。換言之，把AIOps認(rèn)為就是算法落地是片面的。
不僅如此，為了解決特定場(chǎng)景的問(wèn)題，可能還要“借鑒”或“移植”其他領(lǐng)域的技術(shù)和方法，如宜信在實(shí)踐中從IoT領(lǐng)域受啟發(fā)創(chuàng)立的“微智能”方法，結(jié)合知識(shí)圖譜，建立微智能知識(shí)圖譜技術(shù)。
如何獲取高質(zhì)量，高時(shí)效的監(jiān)控?cái)?shù)據(jù)
算法的運(yùn)用是以數(shù)據(jù)為前提的，盡管經(jīng)典監(jiān)控架構(gòu)已經(jīng)可以覆蓋Metrics，Logging，Tracing三大類數(shù)據(jù)，但由于每種數(shù)據(jù)都是各自一套系統(tǒng)捕獲，歸集，存儲(chǔ)，使得數(shù)據(jù)的時(shí)效，對(duì)齊，品控的標(biāo)準(zhǔn)難以一致。
此外數(shù)據(jù)格式也可能差異很大，在經(jīng)典大數(shù)據(jù)架構(gòu)下，還要經(jīng)過(guò)清洗，格式轉(zhuǎn)換，面對(duì)海量數(shù)據(jù)時(shí)，時(shí)效就會(huì)進(jìn)一步下降。
多維度數(shù)據(jù)的關(guān)聯(lián)難度大
經(jīng)典監(jiān)控架構(gòu)由于采集不統(tǒng)一，即便Metrics也可能來(lái)自不同的監(jiān)控系統(tǒng)，例如面向網(wǎng)絡(luò)監(jiān)控，面向主機(jī)監(jiān)控，面向應(yīng)用監(jiān)控可能就是三套不同的系統(tǒng)，更不用說(shuō)Logging，Tracing的數(shù)據(jù)，這就造成了多維度數(shù)據(jù)的關(guān)聯(lián)難度大。
除時(shí)效外，可實(shí)時(shí)關(guān)聯(lián)的數(shù)據(jù)是系統(tǒng)能夠“接近”甚至“達(dá)到”專業(yè)人員的任務(wù)決策能力的另一個(gè)關(guān)鍵。
機(jī)器學(xué)習(xí)模型的訓(xùn)練困境
智能運(yùn)維運(yùn)用機(jī)器學(xué)習(xí)的重要目標(biāo)之一就是能夠識(shí)別故障特征。但是運(yùn)維SLA的目標(biāo)是保證系統(tǒng)可用性99.9...%。這樣的矛盾造成故障在實(shí)際運(yùn)行過(guò)程中盡管時(shí)有發(fā)生，但相對(duì)于機(jī)器學(xué)習(xí)需要的樣本實(shí)在是太少。
目前，宜信解決方案是建立一套與生產(chǎn)相同的仿真環(huán)境，它是樣本收集，也是訓(xùn)練模型的場(chǎng)所，當(dāng)然即便如此，也有仿真環(huán)境的局限性，有些場(chǎng)景也難以模擬。
如何實(shí)現(xiàn)運(yùn)維場(chǎng)景的實(shí)時(shí)感知
運(yùn)維的時(shí)效性也要求系統(tǒng)的感知足夠充分，這里不僅僅是監(jiān)控?cái)?shù)據(jù)，之所以運(yùn)維人員比系統(tǒng)有更強(qiáng)的判斷力，在于他們掌握了更充分的運(yùn)維場(chǎng)景的信息，例如他們清楚網(wǎng)絡(luò)架構(gòu)，設(shè)備之間的關(guān)聯(lián)關(guān)系，物理機(jī)/虛擬機(jī)分布，應(yīng)用關(guān)聯(lián)關(guān)系，應(yīng)用技術(shù)棧，甚至業(yè)務(wù)用途等，它們是問(wèn)題定位，根因分析，影響評(píng)估的基礎(chǔ)，所以這些信息也要能被實(shí)時(shí)感知起來(lái)，而這一塊在傳統(tǒng)監(jiān)控中是缺失的。
遺留技術(shù)棧，混合架構(gòu)增大復(fù)雜性
不管金融行業(yè)，還是其他行業(yè)，只要不是新企業(yè)，都面臨大量的遺留系統(tǒng)，它們?cè)诩夹g(shù)棧，架構(gòu)上可能存在很大差異。因此對(duì)它們的感知，數(shù)據(jù)采集需要額外的投入。
另一方面，如果遺留系統(tǒng)還在不停的引入新的業(yè)務(wù)需求，會(huì)進(jìn)一步引入新的復(fù)雜性。
AIOps于金融行業(yè)的應(yīng)用現(xiàn)狀
當(dāng)問(wèn)及AIOps于金融行業(yè)的應(yīng)用現(xiàn)狀如何，張真表示，智能運(yùn)維目前是處于從初創(chuàng)走向成熟的階段，但其應(yīng)用范圍還與行業(yè)特點(diǎn)相關(guān)，不同行業(yè)在運(yùn)維模式上存在差異，這些差異會(huì)影響落地進(jìn)展。金融行業(yè)還處于智能運(yùn)維的早期試驗(yàn)階段，這與金融行業(yè)的特點(diǎn)息息相關(guān)。
一方面，金融行業(yè)是傳統(tǒng)行業(yè)的代表，也包括互聯(lián)網(wǎng)金融企業(yè)，都需要嚴(yán)格落實(shí)合規(guī)，安全，法務(wù)，流程等，所以對(duì)智能運(yùn)維帶來(lái)的新技術(shù)需要更長(zhǎng)時(shí)間的適應(yīng)；
另一方面，多數(shù)金融企業(yè)的基礎(chǔ)平臺(tái)，如監(jiān)控，發(fā)布，CMDB，安全管控等，甚至包括支持金融業(yè)務(wù)的系統(tǒng)，建設(shè)已有很長(zhǎng)時(shí)間，在技術(shù)棧，架構(gòu)，部署，組織運(yùn)作等層面都需面臨面向智能運(yùn)維的轉(zhuǎn)型，這種轉(zhuǎn)型是帶有變革性的。
目前業(yè)內(nèi)有切身痛點(diǎn)，同時(shí)又具備相關(guān)技術(shù)研發(fā)能力的企業(yè)會(huì)較早進(jìn)入智能運(yùn)維初級(jí)階段，宜信也是其中之一員。2017年9月，宜信開源了支撐AIOps的三大利器，也希望能夠促進(jìn)AIOps在金融領(lǐng)域的發(fā)展。
宜信運(yùn)維的重大變革
羅馬非一日建成，宜信運(yùn)維也是從手工運(yùn)維一次次變革，迭代到當(dāng)下智能運(yùn)維時(shí)代。宜信運(yùn)維的重大變革大致可分為手工、自動(dòng)化、DevOps工具鏈、基于全維監(jiān)控移動(dòng)化與智能運(yùn)維五大階段。
手工運(yùn)維時(shí)代
手工運(yùn)維時(shí)代是人力+計(jì)算機(jī)腳本的模式，例如資產(chǎn)管理靠人工錄入，數(shù)據(jù)準(zhǔn)確性完全依賴流程；應(yīng)用打包依靠人工觸發(fā)，然后上傳到生產(chǎn)環(huán)境；應(yīng)用部署依靠人工輸入命令或運(yùn)行腳本完成；監(jiān)控只能看到最基本的幾個(gè)指標(biāo)；運(yùn)維協(xié)作依賴于“人找人”等等，這個(gè)階段稱為“石器時(shí)代”。
自動(dòng)化運(yùn)維初期
自動(dòng)化運(yùn)維初期是人力+專業(yè)系統(tǒng)的模式，每一種專業(yè)系統(tǒng)覆蓋一個(gè)運(yùn)維領(lǐng)域。例如建立了監(jiān)控系統(tǒng)，提升了運(yùn)維的監(jiān)測(cè)效率；資產(chǎn)管理系統(tǒng)幫助提升資產(chǎn)管理的效率；持續(xù)集成系統(tǒng)幫助管理代碼，Build以及版本等；發(fā)布系統(tǒng)實(shí)現(xiàn)應(yīng)用部署的遠(yuǎn)程發(fā)布等等。
這個(gè)階段是運(yùn)維的工業(yè)革命時(shí)代，效率被提升，同時(shí)也要注意到專業(yè)領(lǐng)域的系統(tǒng)其實(shí)是“割裂”的，人力依然是核心的驅(qū)動(dòng)力。
DevOps工具鏈建設(shè)期
DevOps理念的發(fā)展以及相關(guān)開源工具幫助建設(shè)DevOps工具鏈，這個(gè)時(shí)期的明顯特征是通過(guò)DevOps工具鏈的建設(shè)從需求，開發(fā)，Build，測(cè)試，集成到發(fā)布/回滾的端到端流程被打通，開發(fā)，測(cè)試，運(yùn)維的協(xié)作被較好的解決。
這個(gè)時(shí)期也伴隨了人員技能，團(tuán)隊(duì)運(yùn)作模式的轉(zhuǎn)型，例如功能測(cè)試人員逐步被自動(dòng)化測(cè)試平臺(tái)取代，他們會(huì)轉(zhuǎn)型為測(cè)試平臺(tái)的研發(fā)和運(yùn)維。開發(fā)人員不再只關(guān)注開發(fā)，借助自動(dòng)化測(cè)試，CI/CD等可以實(shí)現(xiàn)自助式的測(cè)試，打包，上線/回滾，開始關(guān)注測(cè)試和運(yùn)維過(guò)程。運(yùn)維人員也不再只是被動(dòng)接受工單，開始關(guān)注應(yīng)用質(zhì)量以及流程事件跟蹤。
當(dāng)然，這個(gè)時(shí)期的監(jiān)測(cè)，管控，安全，運(yùn)維處理等還是依賴人力+專業(yè)系統(tǒng)的模式。
基于全維監(jiān)控的移動(dòng)化運(yùn)維
這個(gè)階段還是自動(dòng)化運(yùn)維的范疇，但事實(shí)上宜信已經(jīng)啟動(dòng)了智能運(yùn)維的建設(shè)，把它分為三個(gè)臺(tái)階：全維監(jiān)控，全維關(guān)聯(lián)和全維智能。全維監(jiān)控是基石，之所以強(qiáng)調(diào)全維，正是對(duì)前面難點(diǎn)中提到的“高質(zhì)量，高時(shí)效的監(jiān)控?cái)?shù)據(jù)”和“運(yùn)維場(chǎng)景的實(shí)時(shí)感知”的應(yīng)對(duì)理念。
一方面，全維監(jiān)控宜信重構(gòu)了整個(gè)監(jiān)控運(yùn)維體系，使用統(tǒng)一監(jiān)控系統(tǒng)采集Metrics，Logging，Tracing數(shù)據(jù)。同時(shí)在這個(gè)基礎(chǔ)上補(bǔ)充了Profiling（畫像）數(shù)據(jù)，它可以看成將用戶端到數(shù)據(jù)中心，以及數(shù)據(jù)中心內(nèi)部的數(shù)字投影，這使得系統(tǒng)可以感知與人類相同甚至更加細(xì)粒度的“現(xiàn)實(shí)”場(chǎng)景。
另一方面，為了解放人員的“視野”，移動(dòng)化運(yùn)維模式也引入進(jìn)來(lái)，這需要監(jiān)控體系能夠支持這種工作模式，使包括業(yè)務(wù)，開發(fā)，測(cè)試，CI/CD，運(yùn)維等所有人都可通過(guò)移動(dòng)設(shè)備隨時(shí)監(jiān)控，排障，甚至處理各種事件。
智能運(yùn)維建設(shè)期
當(dāng)前，宜信正處在智能運(yùn)維建設(shè)階段，是人工智能技術(shù)的綜合應(yīng)用時(shí)期。全維關(guān)聯(lián)，是將全維的監(jiān)控?cái)?shù)據(jù)和畫像數(shù)據(jù)完整的，高時(shí)效的關(guān)聯(lián)在一起。
一方面可以支持更快更好的自動(dòng)化運(yùn)維；另一方面，也夯實(shí)智能運(yùn)維的第二個(gè)基石，使得系統(tǒng)可以全面地使用這些數(shù)據(jù)來(lái)實(shí)現(xiàn)協(xié)助甚至自主決策的運(yùn)維。
在這個(gè)階段，任務(wù)機(jī)器人（AI-Mission Robot,也叫運(yùn)維機(jī)器人）系統(tǒng)被建設(shè)起來(lái)，并初步具備了“智能”。同時(shí)，這個(gè)階段也促進(jìn)了團(tuán)隊(duì)運(yùn)作方式的進(jìn)一步轉(zhuǎn)型，從單鏈條的協(xié)作方式逐步轉(zhuǎn)向以系統(tǒng)為中心的多維協(xié)作，系統(tǒng)為所有人提供客觀的，統(tǒng)一的視圖，也為各種事件處理提供執(zhí)行計(jì)劃、協(xié)助建議、甚至主動(dòng)決策與實(shí)施。
張真表示，智能運(yùn)維建階段是最具顛覆與飛躍性的迭代 ，目前已經(jīng)在一些場(chǎng)景下落地：
- 如人可以通過(guò)各種渠道（微信，Web IM，各種IM）與任務(wù)機(jī)器人使用自然語(yǔ)言進(jìn)行對(duì)話，用自然語(yǔ)言的形式下達(dá)目標(biāo)，任務(wù)機(jī)器人會(huì)根據(jù)目標(biāo)自主規(guī)劃如何達(dá)成這一目標(biāo)；
- 如智能報(bào)警這個(gè)場(chǎng)景中，人可以通過(guò)自然語(yǔ)言向任務(wù)機(jī)器人訂閱報(bào)警，修正報(bào)警的參數(shù)，任務(wù)機(jī)器人也不是簡(jiǎn)單將報(bào)警推送到交互渠道上，它會(huì)自動(dòng)篩選/匯總報(bào)警事件，將真正有意義的報(bào)警事件推送給人；
- 如智能上線的場(chǎng)景中，人可以下達(dá)上線的系統(tǒng)，時(shí)間等目標(biāo)信息，任務(wù)機(jī)器人一方面會(huì)按照與人的約定進(jìn)行任務(wù)執(zhí)行的規(guī)劃，也會(huì)在上線過(guò)程中遇到問(wèn)題時(shí)，主動(dòng)判斷是否要繼續(xù)，是否需要人的協(xié)助，是否要終止，轉(zhuǎn)而進(jìn)入問(wèn)題診斷；
- 如智能巡檢的場(chǎng)景中，任務(wù)機(jī)器人以自主驅(qū)動(dòng)的模式，高頻率對(duì)成千上萬(wàn)的應(yīng)用實(shí)例進(jìn)行異常檢測(cè)，問(wèn)題定位，根因分析，影響評(píng)估，自愈執(zhí)行，這個(gè)模式的目標(biāo)就是完成初級(jí)到中級(jí)運(yùn)維工程師的日常巡檢任務(wù)。
全維智能—宜信運(yùn)維的未來(lái)規(guī)劃
當(dāng)問(wèn)及宜信運(yùn)維的下一步規(guī)劃，張真表示，會(huì)很快迎來(lái)第六階段：全維智能。主要發(fā)力如下三方面：
不斷提高任務(wù)機(jī)器人的決策準(zhǔn)確性。這里需要更多的數(shù)據(jù)積累，模型調(diào)試和整合，也需要嘗試更多的技術(shù)和方法，使得它的“智能”更加接近專業(yè)人員。
不斷提高任務(wù)機(jī)器人的學(xué)習(xí)能力。機(jī)器學(xué)習(xí)需要大量的訓(xùn)練工作，目前“離線”訓(xùn)練還是主流的方法，但是線上環(huán)境“千變?nèi)f化”，需要將這種“學(xué)習(xí)”逐步推向“線上”；此外，需要使用“更少”的數(shù)據(jù)獲得“更多”的判斷力，概括來(lái)說(shuō)就是實(shí)現(xiàn)“小數(shù)據(jù)，大任務(wù)”的模式。這里看似矛盾，其實(shí)因?yàn)檫\(yùn)維的時(shí)效要求，訓(xùn)練數(shù)據(jù)越多自然效果越好，但是也意味著訓(xùn)練時(shí)間越長(zhǎng)，這也是一個(gè)更大的技術(shù)挑戰(zhàn)，。
不斷提高任務(wù)機(jī)器人的通用性。盡管宜信已經(jīng)在一些場(chǎng)景下取得進(jìn)展，但是還沒(méi)有覆蓋運(yùn)維的所有場(chǎng)景，需要不斷發(fā)展新技術(shù)來(lái)適應(yīng)更多的場(chǎng)景。更大一點(diǎn)說(shuō)，不同行業(yè)的運(yùn)維模式也是有差異的，如何通過(guò)一套系統(tǒng)的方法，甚至一套產(chǎn)品化的系統(tǒng)來(lái)應(yīng)對(duì)不同行業(yè)的運(yùn)維場(chǎng)景，也是一個(gè)挑戰(zhàn)。
張真老師，是5月18-19日，于北京·粵財(cái)JW萬(wàn)豪酒店即將舉行的2018WOT全球軟件與運(yùn)維技術(shù)峰會(huì)重量級(jí)嘉賓，分享的議題是“運(yùn)維機(jī)器人之任務(wù)決策系統(tǒng)演進(jìn)之路”，亮點(diǎn)內(nèi)容內(nèi)容搶先看：
首先，從總體分享UAVStack的智能研發(fā)/運(yùn)維一體化路線藍(lán)圖，如前面提到，宜信智能化之路分為三個(gè)階段：從全維監(jiān)控到全維關(guān)聯(lián)，最后到全維智能。
接著，分享運(yùn)維機(jī)器人相關(guān)內(nèi)容。運(yùn)維機(jī)器人是全維關(guān)聯(lián)，全維智能兩個(gè)階段的核心，而其任務(wù)決策系統(tǒng)又是其“大腦”的“智能”重要組成之一。宜信運(yùn)維機(jī)器人又叫任務(wù)機(jī)器人（AI-Mission-Robot），從類人行為上，它有兩種基本行為模式：任務(wù)驅(qū)動(dòng)和自主驅(qū)動(dòng)。
- 任務(wù)驅(qū)動(dòng)是接受來(lái)自人的指示而采取行動(dòng)；
- 自主驅(qū)動(dòng)是人給定目標(biāo)，它自主規(guī)劃達(dá)成目標(biāo)的方案并采取行動(dòng)。
無(wú)論是那種模式都依賴于任務(wù)決策系統(tǒng)。
議題會(huì)從宜信實(shí)踐出發(fā)，闡述任務(wù)決策系統(tǒng)的關(guān)鍵原理，架構(gòu)演進(jìn)，典型場(chǎng)景的應(yīng)用剖析。
開發(fā)者可以從張真對(duì)任務(wù)機(jī)器人“大腦”聚焦和深入的剖析，從中獲得如下一些啟發(fā)：
- 從任務(wù)決策系統(tǒng)的架構(gòu)演進(jìn)，來(lái)共同探討任務(wù)機(jī)器人的“智能”是如何“被創(chuàng)造”。
- 從任務(wù)決策系統(tǒng)的“任務(wù)驅(qū)動(dòng)”技術(shù)演進(jìn)，來(lái)討論自然語(yǔ)言是如何被“映射”成一個(gè)系統(tǒng)的API并被準(zhǔn)確執(zhí)行。
- 從任務(wù)決策系統(tǒng)的“自主驅(qū)動(dòng)”技術(shù)演進(jìn)，來(lái)深入了解任務(wù)機(jī)器人是如何做到“發(fā)現(xiàn)問(wèn)題，定位問(wèn)題，分析問(wèn)題”。
【本月排行TOP10】
- 張真：AIOps六大技術(shù)難點(diǎn)與宜信運(yùn)維的重大變革
- 新炬網(wǎng)絡(luò)程永新：插上AI翅膀 運(yùn)維平臺(tái)煥發(fā)出嶄新生命力
- 從SIEM&AI到SIEM@AI AI構(gòu)建下一代企業(yè)安全大腦
- 基于線性網(wǎng)絡(luò)的語(yǔ)音合成說(shuō)話人自適應(yīng)
- 轉(zhuǎn)轉(zhuǎn)公司架構(gòu)算法部孫玄：AI下的微服務(wù)架構(gòu)
【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】
