云計(jì)算帶來了集約化、效率、彈性與業(yè)務(wù)敏捷的同時，對云上運(yùn)維提出了前所未有的挑戰(zhàn)。如何面對新技術(shù)趨勢的挑戰(zhàn)，構(gòu)建面向云時代的智能監(jiān)測平臺，讓云上應(yīng)用獲得更好的保障，是如今擺在每一個企業(yè)面前的一道難題。

在日前的【T·Talk】系列活動第八期中，51CTO內(nèi)容中心特別邀請到了乘云產(chǎn)品VP張懷鵬做客直播間，為大家分享打造云時代數(shù)字化觀測利器的經(jīng)驗(yàn)與思考?！綯·Talk】也將本期精彩內(nèi)容進(jìn)行了整理，望諸君能夠有所收獲：

?

數(shù)字化轉(zhuǎn)型浪潮下的數(shù)字化運(yùn)營痛點(diǎn)

數(shù)字化轉(zhuǎn)型與數(shù)字經(jīng)濟(jì)建設(shè)是當(dāng)前時代的大趨勢，數(shù)字化轉(zhuǎn)型可以說是人類歷史上的第四次工業(yè)革命。我們?nèi)粘５霓k公方式、支付方式、購物方式，包括出行方式等，無時無刻不受到數(shù)字化的影響。簡單來說，目前我們已經(jīng)由傳統(tǒng)的IT時代邁入了數(shù)字化DT的時代。

在數(shù)字化DT的時代，數(shù)字化轉(zhuǎn)型幾乎重新定義了當(dāng)前企業(yè)的業(yè)務(wù)以及業(yè)務(wù)體驗(yàn)的方式。但隨著各行業(yè)數(shù)字化轉(zhuǎn)型的不斷深入，越來越多的數(shù)字化應(yīng)用事故也開始逐漸顯露。例如年初某省市的健康碼崩潰、核酸檢測系統(tǒng)異常等，都對社會面造成了非常大的影響。

據(jù)調(diào)查，目前60%的CEO認(rèn)為數(shù)字化轉(zhuǎn)型非常重要，企業(yè)也在這部分人群的帶領(lǐng)下大踏步地向數(shù)字化轉(zhuǎn)型和人工智能演進(jìn)。然而與此形成鮮明對比的是，95%的企業(yè)應(yīng)用并沒有得到有效的監(jiān)測與關(guān)注。

當(dāng)前數(shù)字化運(yùn)營手段，大多都產(chǎn)生于傳統(tǒng)的數(shù)據(jù)中心時代，大量的工具或技術(shù)都沒有考慮到云計(jì)算的場景。隨著云計(jì)算的普及，信息化的場景發(fā)生了天翻地覆的變化。應(yīng)用本身的復(fù)雜性呈現(xiàn)爆炸式增長，分布式越來越多，依賴關(guān)系也越來越復(fù)雜，軟件迭代節(jié)奏也越來越快。在這樣的場景下，企業(yè)急需構(gòu)建面向DT時代的，基于業(yè)務(wù)和數(shù)據(jù)流的一套解決方案。

DT時代產(chǎn)生了太多新的技術(shù)、新的場景，例如目前熱度很高的云原生，云原生的要求加速了傳統(tǒng)運(yùn)維向應(yīng)用運(yùn)維的演進(jìn)。傳統(tǒng)場景存在大量基礎(chǔ)設(shè)施，但隨著業(yè)務(wù)上云，基礎(chǔ)設(shè)施都將托管給運(yùn)營商或運(yùn)營者，企業(yè)不再需要為傳統(tǒng)的機(jī)房管理、弱電管理、硬件的監(jiān)控、裸金屬的監(jiān)控、UPS配電及溫濕度煩惱。因此傳統(tǒng)的設(shè)備運(yùn)維也演變成了Site reliability以應(yīng)用為重心的運(yùn)維，企業(yè)對傳統(tǒng)運(yùn)維的投入將會變得越來越少。

目前來說，我們處在向智能化運(yùn)維轉(zhuǎn)型的階段。現(xiàn)在需要做的是讓數(shù)字化運(yùn)維、IT運(yùn)維變得更輕、效率更快、成本的支出更少。運(yùn)維團(tuán)隊(duì)的精力需要集中在企業(yè)業(yè)務(wù)本身，業(yè)務(wù)才是運(yùn)維人員所需要關(guān)注的重點(diǎn)問題。這些都會帶來對智能運(yùn)維的需求。

企業(yè)通往智能運(yùn)維的典型技術(shù)路徑

1、什么是智能運(yùn)維

關(guān)于智能運(yùn)維，F(xiàn)orrester和Gartner曾在報(bào)告中進(jìn)行過定義：AIOps是一套將AI和數(shù)據(jù)科學(xué)應(yīng)用于業(yè)務(wù)和運(yùn)維的數(shù)據(jù)領(lǐng)域，以建立關(guān)聯(lián)，并能夠提供實(shí)時的規(guī)范性和預(yù)測性答案的軟件系統(tǒng)。AIOps可以是一套軟件系統(tǒng)，因此它可以是一個落地的產(chǎn)品。AIOps能夠增強(qiáng)并部分取代傳統(tǒng)的主要的IT運(yùn)維的功能，包括可用性和性能監(jiān)控、事件關(guān)聯(lián)和分析、IT的服務(wù)管理和自動化。

AIOps ，面向的是Operations，Operations是需要覆蓋觀測、管理與處置三方面。但目前業(yè)界整體水平更多的是聚焦在觀測層面。Forrester對此也給出了一個經(jīng)典的語句：AIOps承諾了更強(qiáng)的可觀察性和穩(wěn)定性。

Forrester認(rèn)為，當(dāng)前AIOps的一個核心價值，就是將事前能力增強(qiáng)，提升和擴(kuò)展你的可觀測能力。

2、什么是可觀測性

觀測性最早誕生于控制理論中，指系統(tǒng)可以由外部輸出，推斷其內(nèi)部狀態(tài)的程度。在IT領(lǐng)域中，Gartner將可觀測性定義為軟件與系統(tǒng)的一種特性。具體指根據(jù)系統(tǒng)生成的遙測的數(shù)據(jù)來判定當(dāng)前系統(tǒng)的狀態(tài)以及系統(tǒng)情況，這種能力便是可觀測能力或稱可觀察能力。

?

為什么需要可觀測性？

傳統(tǒng)的監(jiān)控的技術(shù)和工具很難跟蹤當(dāng)前的越來越多的分布式架構(gòu)中的通信路徑和依賴關(guān)系，在云原生的場景或者在云端的場景，依賴關(guān)系非常復(fù)雜，不再像傳統(tǒng)很多的單體架構(gòu)的應(yīng)用一樣。而可觀察性能夠更好地控制復(fù)雜系統(tǒng)，通過可觀察性三大數(shù)據(jù)支柱能夠非常直觀詳細(xì)地了解到復(fù)雜系統(tǒng)的方方面面。

可觀察性不僅只服務(wù)于運(yùn)維，還能夠服務(wù)于開發(fā)部門、SRE部門、Support部門、市場部門與Business部門。因此如果能夠?qū)IOps和可觀察性融合為一體，打造出來一體化的平臺，將會得到非常完美的產(chǎn)品，能夠一舉兩得。

3、企業(yè)通往智能運(yùn)維AIOps 的兩條典型技術(shù)路徑

企業(yè)通往IT智能運(yùn)維的兩條典型的技術(shù)路徑可以形象的歸納為“外掛AIOps”與“內(nèi)生AIOps”。外掛AIOps，通過旁路的方式將AIOps的平臺植入企業(yè)IT運(yùn)維的環(huán)境中。AIOps是一個獨(dú)立的算法平臺，通過接入企業(yè)異源異構(gòu)的數(shù)據(jù)，而后通過數(shù)據(jù)工程師梳理數(shù)據(jù)之間的依賴關(guān)系，并借助大數(shù)據(jù)處理技術(shù)，實(shí)現(xiàn)項(xiàng)目制的交付。

內(nèi)生AIOps強(qiáng)調(diào)的是一體化的技術(shù)路線，通過內(nèi)生AIOps引擎，能夠?qū)崿F(xiàn)數(shù)據(jù)處理全流程的閉環(huán)，不需要數(shù)據(jù)工程師參與。類似于快遞的流程，寄件人的物品相當(dāng)于數(shù)據(jù)。拿到數(shù)據(jù)后，由快遞員實(shí)行封裝、倉儲、調(diào)度、運(yùn)輸?shù)炔僮?。但最終收件人收到的就是這個物品，中間的所有的處理環(huán)節(jié)是不需要寄件人和收件人去處理的。內(nèi)生AIOps強(qiáng)調(diào)這一能力，將AI的能力嵌入到一體化觀測平臺當(dāng)中。

技術(shù)實(shí)現(xiàn)上的差異：

外掛AIOps一般使用傳統(tǒng)的機(jī)器學(xué)習(xí)AI，這種技術(shù)本質(zhì)上是一種統(tǒng)計(jì)方法，將Metric、log、事件等信息進(jìn)行關(guān)聯(lián)分析，旨在降低告警的噪聲。通過機(jī)器學(xué)習(xí)AI，我們能夠獲得一組關(guān)聯(lián)告警。因此其需要一定的時間周期，一般來說外掛AIOps需要人工或歷史記錄去提出一個推薦性或者可能性的根因。

同時，外掛AIOps需要大量外部數(shù)據(jù)的依賴，外掛AIOps廠商通常只做算法平臺。數(shù)據(jù)的清洗、CMDB的實(shí)體間的依賴關(guān)系等等，都需要外部的數(shù)據(jù)。因此，想要落地外掛AIOps，需要企業(yè)的信息化運(yùn)維的體系建設(shè)非常成熟，需要有調(diào)用數(shù)據(jù)的前提、有APM的產(chǎn)品、且可觀察性得做的相對完善，才能去做外掛的AIOps。

內(nèi)生AIOps則提供了一個確定性的人工智能分析，將確定性的分析結(jié)果作為目標(biāo)，也就是在問題發(fā)生后，問題發(fā)生原因的根因是確定性的，且是一個接近實(shí)時的結(jié)果。內(nèi)生AIOps維系了一張實(shí)時性非常高的矩陣式依賴關(guān)系地圖，這項(xiàng)技術(shù)不需要去依賴傳統(tǒng)靜態(tài)的CMDB，而是這張依賴關(guān)系地圖本身就相當(dāng)于一張實(shí)時的CMDB，能夠?qū)⒁蕾囮P(guān)系進(jìn)行實(shí)時的變化，借助內(nèi)生的關(guān)系實(shí)現(xiàn)了管理分析。

企業(yè)如何決策選擇適合自己的技術(shù)路徑？

在AIOps的落地層面，企業(yè)需要考慮的問題也比較多。從企業(yè)管理者的角度來說，除了成本、團(tuán)隊(duì)等基礎(chǔ)問題外，還需要考慮不同部門之間的平衡，以及成本、穩(wěn)定性和效率之間的平衡問題。AIOps的目標(biāo)，是既要解決問題，還要合理地解決問題。在保證成本的同時，最大化地提高企業(yè)業(yè)務(wù)的穩(wěn)定性與效率。

在Forrester的一篇報(bào)告中提到，企業(yè)落地AIOps時有以下幾點(diǎn)關(guān)鍵能力需要著重思考：

• AIOps平臺與ITOM工具鏈?zhǔn)欠衲軌驘o縫集成，是否能高度實(shí)現(xiàn)自動化的能力
• AIOps平臺非?？粗卦鷶?shù)據(jù)，原生數(shù)據(jù)包括云原生的依賴關(guān)系、云原生機(jī)器數(shù)據(jù)的信息
• 全服務(wù)的依賴關(guān)系的地圖的自動化和全景的構(gòu)建
• AIOps的未來是智能化的觀測感知和自動化的落地實(shí)踐
• 根因分析和事件補(bǔ)救計(jì)劃的自動化程度
• 現(xiàn)代技術(shù)運(yùn)營需要智能化和自動化

從數(shù)據(jù)處流程上來看兩種技術(shù)路徑的差異：

傳統(tǒng)AIOps平臺，也就是外掛AIOps平臺在數(shù)據(jù)處理過程當(dāng)中會使用到很多工具拼湊組裝，打造一套搖搖晃晃的大數(shù)據(jù)系統(tǒng)。如果發(fā)生工作人員的更換，則很有可能給新的交接者遺留大量的技術(shù)債務(wù)。

第一步的數(shù)據(jù)收集環(huán)節(jié)，需要依賴大量開源與商業(yè)工具。第二步將數(shù)據(jù)注入大數(shù)據(jù)平臺。第三步，人工梳理數(shù)據(jù)關(guān)系以及清洗數(shù)據(jù)。前三個步驟是非常耗時的。第四步，發(fā)現(xiàn)問題、定位問題，這一步AIOps廠商才會參與進(jìn)來，廠商團(tuán)隊(duì)需要落地到客戶現(xiàn)場駐點(diǎn)按需打造。廠商會詢問需求，并提供相應(yīng)服務(wù)。第五，構(gòu)建儀表盤。第六，系統(tǒng)的擴(kuò)展，隨著應(yīng)用系統(tǒng)的規(guī)模的擴(kuò)大，整個系統(tǒng)呈線性增長。

整個流程中，數(shù)據(jù)工程師需要花費(fèi)將近80%的時間用來做數(shù)據(jù)的清洗、采集和組織，整個方案需要尖端的運(yùn)維領(lǐng)域人才，既要是運(yùn)維專家，還需要懂算法、懂開發(fā)。本身AIOps是一套支撐的系統(tǒng)，是用來解決問題的，但外掛式AIOps很有可能會使運(yùn)維變得更重，需要一支專門的團(tuán)隊(duì)來維護(hù)AIOps平臺本身。

內(nèi)生AIOps的數(shù)據(jù)處理流程則非常簡單，一個工具即可解決數(shù)據(jù)采集。且由其是一個高度商業(yè)化的產(chǎn)品，且具有開箱即用的儀表盤能力，包括引擎等。因此后續(xù)的處理流程都是黑盒的，無需企業(yè)過多關(guān)心，也不需要業(yè)務(wù)工程師懂算法并具備SRE的技術(shù)水平。

同時，內(nèi)生AIOps會隨著企業(yè)業(yè)務(wù)系統(tǒng)的規(guī)模的擴(kuò)展，呈非線性的增長。包括用戶的團(tuán)隊(duì)以及產(chǎn)品的整個系統(tǒng)，都是呈非線性增長的。整個方案布置下來的話，企業(yè)只需要要安裝一個Agent，后續(xù)很多都是自動化的能力。這使得企業(yè)的運(yùn)維人員能夠?qū)⒕劢蛊髽I(yè)自身的業(yè)務(wù)。

總結(jié)：

業(yè)界需要新一代的軟件智能平臺，能夠全覆蓋整個數(shù)據(jù)處理流程。將客戶想要的結(jié)果直接交付，而不是呈現(xiàn)原始數(shù)據(jù)。總的來說，在外掛AIOps與內(nèi)生AIOps兩條技術(shù)路徑當(dāng)中，更推薦企業(yè)使用內(nèi)生的AIOps，其屬于智能運(yùn)維的新的范式。

?

內(nèi)生AIOps助力云原生運(yùn)維化繁為簡

內(nèi)生AIOps平臺的目標(biāo)是構(gòu)建一個集AIOps和可觀察性于一體的一體化平臺。其需要具備觀測能力，且觀測能力要以應(yīng)用監(jiān)控為中心，應(yīng)用監(jiān)控才是面向最終用戶的現(xiàn)象層。同時，還需集成基礎(chǔ)設(shè)施的監(jiān)控，包括云平臺的監(jiān)控以及黑盒的監(jiān)控。最后還需要具備面向前端的數(shù)字體驗(yàn)的能力。

新的AIOps平臺需要打造出持續(xù)的自動化，從數(shù)據(jù)的接入到數(shù)據(jù)結(jié)果的輸出實(shí)現(xiàn)自動化。需要具備事前能力，擁有預(yù)測與預(yù)警的能力。

新的AIOps平臺需要提供高階的可觀察性，并不只是把原始數(shù)據(jù)、原始零件展示給企業(yè)，而是要關(guān)注現(xiàn)象、關(guān)注體驗(yàn)，給出準(zhǔn)確結(jié)果，這樣才能盡可能地減少海量噪音對企業(yè)帶來的影響與干擾。

內(nèi)生AIOps的數(shù)據(jù)處理模型，有很多差異化的地方，比如在數(shù)據(jù)采集上面強(qiáng)調(diào)一個Agent的能力。在數(shù)據(jù)處理上面，我們強(qiáng)調(diào)指標(biāo)體系，指標(biāo)體系的構(gòu)建和傳統(tǒng)的方式有所不同，我們強(qiáng)調(diào)內(nèi)生AIOps內(nèi)生于一體化平臺。

內(nèi)生AIOps平臺主要會從以下五個方面幫助云原生運(yùn)維實(shí)現(xiàn)化繁為簡：

• 內(nèi)生AIOps平臺能夠直接獲取優(yōu)質(zhì)的觀測數(shù)據(jù)
• 能夠打造持續(xù)的自動化能力，對于運(yùn)維來說，工作效率會更高
• 平臺能夠構(gòu)建一個實(shí)時的矩陣式的拓?fù)?，按圖索驥
• 能夠即時輸出影響面分析
• 直指根因，見證成果

1、直接獲取優(yōu)質(zhì)的觀測數(shù)據(jù)

首先，直接獲取優(yōu)質(zhì)的監(jiān)測數(shù)據(jù)。一句比較經(jīng)典的總結(jié)是“高質(zhì)量的觀測來源于高質(zhì)量的遙測”，高質(zhì)量的后端的分析一定要求高質(zhì)量的前端的遙測數(shù)據(jù)的產(chǎn)生。可觀察性關(guān)注三大支柱，如果要做高階的可觀測性、內(nèi)生的AIOps分析，需要五大支柱，除了傳統(tǒng)的追蹤數(shù)據(jù)、指標(biāo)、日志數(shù)據(jù)，還需要非常關(guān)鍵的拓?fù)鋽?shù)據(jù)與代碼數(shù)據(jù)，數(shù)據(jù)的質(zhì)量能夠直接決定模型的上限。

直接獲取優(yōu)質(zhì)的監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)一定是實(shí)現(xiàn)非侵入式的、自動化的采集，不用修改源代碼、業(yè)務(wù)與應(yīng)用，且能夠?qū)崿F(xiàn)上下文信息和自動化的結(jié)合。上下文信息能夠輔助實(shí)現(xiàn)真正的根因分析，能夠幫助根因分析提取高保真的背景的信息，能夠幫助平臺構(gòu)建實(shí)時的服務(wù)流圖和拓?fù)鋱D，進(jìn)行依賴關(guān)系。包括矩陣式的關(guān)系拓?fù)涞募夹g(shù)，這些上下文信息也是非常關(guān)鍵的。

拓?fù)鋱D，主要展示整個應(yīng)用環(huán)境的依賴關(guān)系，包括垂直的堆棧和水平的堆棧。服務(wù)流圖是從一個服務(wù)或請求的維度去提供整個交易的視圖，通過服務(wù)流圖和拓?fù)鋱D，可以說明服務(wù)之間調(diào)用的序列。服務(wù)流圖顯示的是交易的整個分布的序列，是有序的，而拓?fù)鋱D則是更高級的抽象，顯示的是依賴關(guān)系等。

直接獲取優(yōu)質(zhì)的監(jiān)測關(guān)系需要用到商業(yè)化的Agent的技術(shù)，雖然目前市面上已經(jīng)有許多開源的工具或者免費(fèi)的工具，但商業(yè)化Agent技術(shù)有著以下幾個開源工具所不具備的優(yōu)勢。

• 采集的代理探針的穩(wěn)定性、安全性和可靠性有保障
• 探針對宿主機(jī)、對于核心業(yè)務(wù)的資源開銷、性能影響有保障
• 部署和插裝，包括變更，能夠更少地使用手工操作
• 監(jiān)測能自動植入到動態(tài)的方法或者容器類的這些組件當(dāng)中
• 各種指標(biāo)采樣精細(xì)，原生高保真
• 有足夠的信息和上下文可供建立一個統(tǒng)一的數(shù)據(jù)模型

以上優(yōu)勢是很多免費(fèi)的工具不具備的。內(nèi)生AIOps平臺依賴于One Agent技術(shù)，Agent擁有邊緣計(jì)算的設(shè)計(jì)，在邊端端點(diǎn)上做了很多數(shù)據(jù)的聚合、數(shù)據(jù)的清洗的工作。

2、打造持續(xù)自動化

內(nèi)生AIOps平臺的能力，旨在構(gòu)建持續(xù)的自動化。監(jiān)測復(fù)雜的云原生環(huán)境，一定離不開自動化。包括自動化的部署、自動化的適配、自動化的發(fā)現(xiàn)、監(jiān)控、注入、清洗等一系列自動化。在復(fù)雜的云原生環(huán)境當(dāng)中，憑人力是難以了解這些端到端的業(yè)務(wù)的，所以需要用高度的自動化能力來作為輔助工具，去輔助自動運(yùn)維。

3、構(gòu)建實(shí)時矩陣式關(guān)系地圖

內(nèi)生AIOps平臺能夠構(gòu)建實(shí)時矩陣式的拓?fù)?。能夠按圖索驥，看到圖紙當(dāng)中水平方向，比如服務(wù)層的依賴關(guān)系圖，還有容器層、主機(jī)層、進(jìn)程級等。垂直向則是服務(wù)是跑在什么容器上，這個容器對應(yīng)的是哪一個進(jìn)程，這個進(jìn)程是落在哪一個云主機(jī)上面。

4、即時輸出影響面分析

輸出影響面分析則相當(dāng)于網(wǎng)絡(luò)安全的思維，在運(yùn)維當(dāng)中也是一樣。系統(tǒng)出現(xiàn)了故障或異常，其影響面有哪些，會影響哪些用戶、會影響哪些服務(wù)、影響哪些應(yīng)用，其根本原因是什么。通過自動化的手段和技術(shù)，把結(jié)果輸出給用戶，并不需要運(yùn)維人員人工分析。

5、直指根因，見證成果

最后，自動化運(yùn)維非常重要的能力，就是直指根因，見證成果。傳統(tǒng)的技術(shù)需要基于知識庫、基于CMDB、基于因果推斷不同的方法，而AIOps則提供內(nèi)生型根因定位。其能夠打通數(shù)據(jù)依賴關(guān)系，除了對象間的依賴關(guān)系，還可以打通不同數(shù)據(jù)類型間的依賴關(guān)系，比如調(diào)用鏈、日志、指標(biāo)間的依賴關(guān)系。其提供的是一個實(shí)時的根因定位，具有高度的適應(yīng)性，在低開銷的同時，準(zhǔn)確率非常高。而且具備無監(jiān)督的技術(shù)，不需要過多的人工輔助去實(shí)現(xiàn)這些能力的交付。

總結(jié)    

企業(yè)若想數(shù)字化轉(zhuǎn)型成功，需要做到所有的應(yīng)用、數(shù)字化服務(wù)以及支撐其運(yùn)行的動態(tài)多重云平臺都能完美地工作，而且要每時每刻做到這一點(diǎn)。

這些高度動態(tài)化、分布式的云原生技術(shù)，與傳統(tǒng)的場景截然不同。這導(dǎo)致由微服務(wù)、容器及軟件定義云基礎(chǔ)設(shè)施所帶來的復(fù)雜性在當(dāng)前一發(fā)不可收拾。這些復(fù)雜性超越了團(tuán)隊(duì)管理能力的極限，并且還在不斷擴(kuò)大。要想隨時了解在這些瞬息萬變的環(huán)境中所發(fā)生的的一切，就必須提升可觀測與智能運(yùn)維能力。

我們需要借助高度的自動化與智能化技術(shù)，讓云原生運(yùn)維變得更輕、效率更快、成本的支出更少，讓企業(yè)團(tuán)隊(duì)的精力需要集中在企業(yè)業(yè)務(wù)本身，真正的邁向智能化運(yùn)維時代。

?

嘉賓介紹

張懷鵬，乘云產(chǎn)品VP。2017年加入杭州乘云數(shù)字技術(shù)有限公司，負(fù)責(zé)【DataBuff 一體化觀測與智能運(yùn)維】產(chǎn)品線日常管理，擔(dān)任IPD集成產(chǎn)品開發(fā)團(tuán)隊(duì)經(jīng)理，參與市場管理、需求分析、團(tuán)隊(duì)協(xié)同、流程結(jié)構(gòu)化、質(zhì)量控制等工作。