隨著容器云覆蓋的業(yè)務(wù)越來越多，日常人工的容器云維護(hù)方式和管理已經(jīng)無法滿足技術(shù)上的需要，因此擁有自動(dòng)化運(yùn)維解決方案至關(guān)重要。容器云自動(dòng)化運(yùn)維需要覆蓋多種類型的IT環(huán)境，并具備可擴(kuò)展的能力，便于獲得對(duì)全局基礎(chǔ)架構(gòu)的完全可見性和性能控制。實(shí)現(xiàn)容器云自動(dòng)化運(yùn)維的核心痛點(diǎn)包括：受限于傳統(tǒng)運(yùn)維思維，導(dǎo)致自動(dòng)化能力不強(qiáng)；自動(dòng)化平臺(tái)的經(jīng)驗(yàn)沉淀缺乏；開源工具過多，開源選型以及開源治理方法選擇困難。

云原生應(yīng)用創(chuàng)新實(shí)踐聯(lián)盟通過課題方向?qū)＜医M在“容器云自動(dòng)化運(yùn)維方向”的課題研究，重點(diǎn)圍繞構(gòu)建容器云自動(dòng)化運(yùn)維體系、容器云監(jiān)控體系的分層以及實(shí)現(xiàn)方式、容器云運(yùn)維與企業(yè)運(yùn)維流程對(duì)接融合三方面為企業(yè)提供決策參考。幫助企業(yè)運(yùn)維人員提升對(duì)容器云的理解、升級(jí)運(yùn)維思維，為運(yùn)維人員提供容器云自動(dòng)化運(yùn)維建設(shè)的方法建議。

本期介紹容器云自動(dòng)化運(yùn)維方向課題組階段性研究成果“容器云資源數(shù)據(jù)關(guān)聯(lián)和數(shù)據(jù)聯(lián)動(dòng)的難點(diǎn)和解決思路”。

導(dǎo)讀

本文探討了基于容器云場景下資源數(shù)據(jù)的管理，指出了傳統(tǒng)架構(gòu)與云原生架構(gòu)下數(shù)據(jù)管理的區(qū)別。文中定義了數(shù)據(jù)資源的范圍，并展開論述了對(duì)數(shù)據(jù)進(jìn)行管理后的運(yùn)維獲益場景。企業(yè)在云原生改造過程中，往往會(huì)面臨動(dòng)態(tài)資源感知問題，作者也給出了一些切實(shí)而有效的解決方向。

前言

在云原生的背景下，運(yùn)維體系的構(gòu)建和能力面臨了很大的挑戰(zhàn)，在傳統(tǒng)的運(yùn)維場景中，有固定的資源管理方式和流程支撐，同樣，運(yùn)維對(duì)于業(yè)務(wù)的支撐也無法進(jìn)行大面積的覆蓋。在云原生或DevOps的場景中，運(yùn)維工程師或云原生工程師需要對(duì)運(yùn)維場景的能力進(jìn)行升級(jí)，比較典型的有，需要具備服務(wù)全鏈路質(zhì)量監(jiān)控覆蓋，涵蓋數(shù)據(jù)域與業(yè)務(wù)域；需要具備智能化的、集約化的資源動(dòng)態(tài)調(diào)度和伸縮機(jī)制；需要具備面向終態(tài)的監(jiān)控體系，解決故障預(yù)警和問題定位的能力；需要在“價(jià)值”交付過程中的各個(gè)階段，具備能夠防御不可靠因素的能力；需要具備資源高效交付的流程機(jī)制與快速上線的能力；需要在IT組織內(nèi)部推進(jìn)業(yè)務(wù)快速上云的能力。

我們可以發(fā)現(xiàn)，在以上的所有能力中，有一個(gè)核心的要素，數(shù)據(jù)需要在云原生的各場景或各能力中，處于中樞地位，需要對(duì)資源進(jìn)行統(tǒng)籌和管理，實(shí)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)和聯(lián)動(dòng)。

一、資源數(shù)據(jù)的管理方式

1、傳統(tǒng)的資源管理方式

容器云資源數(shù)據(jù)的管理和傳統(tǒng)的CMDB有本質(zhì)的區(qū)別，在很多人的理解中，傳統(tǒng)的CMDB僅僅是一個(gè)管理IT設(shè)備配置的數(shù)據(jù)庫，其功能局限于采集設(shè)備配置和存儲(chǔ)設(shè)備配置，進(jìn)行配置數(shù)據(jù)的粗加工，如配置報(bào)表和成本報(bào)表，如下圖所示。

2、面向自動(dòng)化運(yùn)維的資源管理方式

隨著自動(dòng)化運(yùn)維理念的普及，以及運(yùn)維技術(shù)的發(fā)展，資源管理的方式或方法也悄然“升級(jí)”，主要有兩個(gè)方面，分別是數(shù)據(jù)中心的資源管理和應(yīng)用的資源管理，前者在IT資產(chǎn)管理的功能進(jìn)行擴(kuò)充，后者為了更好的為應(yīng)用數(shù)據(jù)進(jìn)行支撐，這兩個(gè)方面的核心功能在本質(zhì)上而言，都是自動(dòng)化運(yùn)維推進(jìn)或落地的重要步驟，如下圖所示，通過問題診斷、資源批量管理、自動(dòng)巡檢、SLA保障和資源利用率管理的方式提升運(yùn)維的效率，通過數(shù)據(jù)自動(dòng)采集、開放API、可視化視圖、資源標(biāo)準(zhǔn)化、服務(wù)管理的方式為運(yùn)維自動(dòng)化提供支撐。

在面向自動(dòng)化運(yùn)維的場景中，資源管理是底層的管理能力，通過API能力為上層的應(yīng)用提供支撐，比較典型的有標(biāo)準(zhǔn)的一致性數(shù)據(jù)支撐和固化的無障礙流程支撐。

3、面向DevOps的資源管理方式

面向DevOps的資源管理，其實(shí)是DevOps和CMDB二者的集成，作者的《DevOps權(quán)威指南》中有詳細(xì)的描述，在此進(jìn)行提煉。

CMDB和DevOps的集成場景主要包括業(yè)務(wù)場景、架構(gòu)場景、部署場景、數(shù)據(jù)輸出場景和傳統(tǒng)的基礎(chǔ)架構(gòu)場景。在業(yè)務(wù)場景方面，基于業(yè)務(wù)訪問流的方式，對(duì)服務(wù)進(jìn)行可視化呈現(xiàn)；在架構(gòu)場景方面，基于架構(gòu)視圖，對(duì)應(yīng)用的顆粒度進(jìn)行整合，形成完整的業(yè)務(wù)和業(yè)務(wù)的全景視圖；在部署場景方面，包含應(yīng)用對(duì)應(yīng)的節(jié)點(diǎn)和組件，形成應(yīng)用的部署視圖；在數(shù)據(jù)輸出場景方面，包括 CMDB 提供的數(shù)據(jù)所有的對(duì)外輸出場景，該場景主要與其他集成場景進(jìn)行單向和雙向的數(shù)據(jù)交互；傳統(tǒng)的基礎(chǔ)架構(gòu)場景是指對(duì)底層的基礎(chǔ)設(shè)施進(jìn)行視圖輸出，并提供采集、查詢、存儲(chǔ)和展示功能。

在應(yīng)用方面， CMDB輔助業(yè)務(wù)場景，通過DevOps驅(qū)動(dòng)業(yè)務(wù)流程。在價(jià)值交付流水線中， CMDB為各業(yè)務(wù)流程提供準(zhǔn)確的配置數(shù)據(jù)。業(yè)務(wù)系統(tǒng)在架構(gòu)設(shè)計(jì)、容量管理、持續(xù)交付和業(yè)務(wù)域保障過程中，通過數(shù)據(jù)賦能，進(jìn)行業(yè)務(wù)流程的落地。同時(shí)，CMDB 提供的數(shù)據(jù)的高階使用方式主要是多場景的數(shù)據(jù)關(guān)聯(lián)和通過端到端的視圖輔助DevOps在監(jiān)控領(lǐng)域進(jìn)行根因分析、故障定位和快速“自愈”。在DevOps的度量和反饋環(huán)節(jié)，對(duì)CMDB提供的數(shù)據(jù)進(jìn)行服務(wù)化運(yùn)營，實(shí)現(xiàn)業(yè)務(wù)的運(yùn)營分析和成本復(fù)盤，以及資源的容量規(guī)劃和管理。

二、容器云資源的管理方式

無論是私有云、公有云，還是容器云的場景中，都將面臨云原生的資源管理方式，也叫云原生資產(chǎn)管理，包括了應(yīng)用、數(shù)據(jù)、組件。云原生的資源管理方式和傳統(tǒng)的資源方式存在很大的不同，在云原生的環(huán)境中，所有的資源都是不停的在變化，因此支撐的應(yīng)用和場景也是復(fù)雜多變的，同時(shí)云原生的應(yīng)用大都采用微服務(wù)的方式，因此管理的配置項(xiàng)數(shù)量也呈現(xiàn)幾何級(jí)的增加。

在這種情況下，容器云資源的管理方式需要通過資源數(shù)據(jù)管理和資源場景管理相結(jié)合的方式，通過資源數(shù)據(jù)定義資源管理的模型、屬性、組合關(guān)系，通過資源場景的方式對(duì)資源進(jìn)行描述并對(duì)數(shù)據(jù)類型進(jìn)行標(biāo)準(zhǔn)化。常見的容器云資源管理場景如下圖所示。

應(yīng)用資源管理，包括應(yīng)用的拓?fù)湫畔?，?yīng)用的基本信息如程序包目錄、啟停腳本等，應(yīng)用的部署信息如集群、環(huán)境、主機(jī)、進(jìn)程等，以及應(yīng)用與應(yīng)用之間、應(yīng)用與基礎(chǔ)資源之間的調(diào)用信息等。

基礎(chǔ)資源管理，應(yīng)用是由各種基礎(chǔ)資源構(gòu)成的，需要支持各種基礎(chǔ)資源的配置信息管理。

應(yīng)用制品管理，一般而言，資源管理中不會(huì)納管制品，但需要支持與外部制品庫對(duì)接，對(duì)制品與應(yīng)用之間的關(guān)系進(jìn)行管理。

作者舉一個(gè)典型的例子，便于讀者理解。在容器云資源管理過程中，需要定義一個(gè)資源管理模型，這個(gè)模型代表著一類云資源，如計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源，也包括了集群模型和制品類型。模型需要以屬性的方式從各個(gè)方面云資源，模型的屬性可以根據(jù)場景自由定義和擴(kuò)展。如集群模型的屬性中，包括集群名、集群方式等，主機(jī)模型的屬性包括ip、類型、區(qū)域等。和傳統(tǒng)資源管理方式最大的不同，隨著業(yè)務(wù)不斷發(fā)展變化，集群和主機(jī)的信息也需要進(jìn)行不斷的擴(kuò)展。

三、容器云資源數(shù)據(jù)的關(guān)聯(lián)

資源數(shù)據(jù)的關(guān)聯(lián)，涉及了三個(gè)核心問題，分別是如何對(duì)資源進(jìn)行抽象和定義，如何確定資源數(shù)據(jù)之間的關(guān)系，如何在容器云場景中對(duì)資源進(jìn)行鏈路追蹤。

容器云資源數(shù)據(jù)中，包括了容器云平臺(tái)自身的數(shù)據(jù)，數(shù)據(jù)中心數(shù)據(jù)，還包括了面向可靠性保障的事件數(shù)據(jù)和變更數(shù)據(jù)，同時(shí)也包括面向業(yè)務(wù)連續(xù)性的監(jiān)控?cái)?shù)據(jù)、應(yīng)用配置數(shù)據(jù)和業(yè)務(wù)集群數(shù)據(jù)。作者在此重點(diǎn)分析聚焦在運(yùn)維領(lǐng)域的數(shù)據(jù)，如下圖所示，我們可以清晰的看到，機(jī)房、機(jī)柜、服務(wù)器設(shè)備、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備之間的關(guān)聯(lián)關(guān)系，也可以看到應(yīng)用、實(shí)體、數(shù)據(jù)庫、系統(tǒng)之間的關(guān)聯(lián)，這是一種典型的以IP地址為基礎(chǔ)的數(shù)據(jù)關(guān)聯(lián)方式。

在上述的容器云資源數(shù)據(jù)關(guān)聯(lián)的場景中，我們可以明顯的看到，應(yīng)用、數(shù)據(jù)庫、負(fù)載均衡，這三個(gè)模型的關(guān)聯(lián)是雙向的，而物理設(shè)備、網(wǎng)絡(luò)設(shè)備和存儲(chǔ)設(shè)備的數(shù)據(jù)關(guān)聯(lián)是單向的，這是容器的特性所造成。如果將任何一個(gè)實(shí)例進(jìn)行模型化展示，PaaS層模型之上會(huì)關(guān)聯(lián)另一個(gè)模型，每個(gè)模型都有一個(gè)屬性數(shù)據(jù)供其他模型進(jìn)行使用，從而衍生出一個(gè)龐大的數(shù)據(jù)關(guān)聯(lián)圖。因此只要任何一個(gè)屬性數(shù)據(jù)發(fā)生了變化，相關(guān)的數(shù)據(jù)關(guān)聯(lián)都會(huì)發(fā)生變化，甚至?xí)l(fā)數(shù)據(jù)聯(lián)動(dòng)的情況。

作者同樣舉一個(gè)簡單的例子來描述容器云資源的數(shù)據(jù)關(guān)聯(lián)，當(dāng)運(yùn)維團(tuán)隊(duì)對(duì)某個(gè)對(duì)象進(jìn)行監(jiān)控時(shí)，收到一個(gè)監(jiān)控指標(biāo)的預(yù)警信息，運(yùn)維負(fù)責(zé)人首先關(guān)注是否影響業(yè)務(wù)連續(xù)性或可持續(xù)提供服務(wù)的能力是否受到影響，具體負(fù)責(zé)這個(gè)對(duì)象的工程師需要在短時(shí)間內(nèi)對(duì)這個(gè)對(duì)象的上下游關(guān)系進(jìn)行故障排查，如這個(gè)對(duì)象的故障是否因下游組件造成，是否對(duì)上游系統(tǒng)造成問題，這個(gè)對(duì)象在應(yīng)用服務(wù)中處在什么環(huán)境，是否具備高可用能力，所承載的應(yīng)用屬于那個(gè)團(tuán)隊(duì)，近期是否有變更，是否和其他組件存在依賴關(guān)系，是否因?yàn)槿萜髟破脚_(tái)自身的原因造成。在這個(gè)時(shí)候，就需要一套完整的容器云資源數(shù)據(jù)關(guān)聯(lián)的拓?fù)鋱D譜，如應(yīng)用拓?fù)?、集群拓?fù)洹⒛K拓?fù)?、容器云資源拓?fù)?、?shù)據(jù)關(guān)聯(lián)關(guān)系。

資源數(shù)據(jù)的關(guān)聯(lián)，不僅僅需要容器云平臺(tái)自身具備數(shù)據(jù)關(guān)聯(lián)的能力，還需要和第三方系統(tǒng)進(jìn)行對(duì)接，如接口系統(tǒng)、應(yīng)用監(jiān)控系統(tǒng)、配置中心系統(tǒng)、組織架構(gòu)系統(tǒng)、運(yùn)維流程系統(tǒng)，雙邊系統(tǒng)在對(duì)接過程中，任意兩個(gè)模型都需要通過數(shù)據(jù)關(guān)聯(lián)的方式，形成單向或多向的關(guān)系。

四、容器云資源數(shù)據(jù)的聯(lián)動(dòng)

當(dāng)容器云資源數(shù)據(jù)具備了數(shù)據(jù)關(guān)聯(lián)的能力，便需要和具體的場景進(jìn)行適配，進(jìn)行數(shù)據(jù)聯(lián)動(dòng)。通常，在容器云環(huán)境下，運(yùn)維團(tuán)隊(duì)面臨了各類環(huán)境和資源的操作，雖然容器云平臺(tái)具備自身資源數(shù)據(jù)的聯(lián)動(dòng)，和應(yīng)用的聯(lián)動(dòng)依然不友好。因此，需要在容器云平臺(tái)內(nèi)部的資源編排能力之上，通過開發(fā)、封裝可編排的組件和插件的方式，將資源數(shù)據(jù)以數(shù)據(jù)聯(lián)動(dòng)的方式提供靈活、可定制、可管理的模板化運(yùn)維能力，覆蓋面向業(yè)務(wù)連續(xù)性管理過程中的運(yùn)維管理、運(yùn)維審批、運(yùn)維決策和運(yùn)維執(zhí)行的場景，最終實(shí)現(xiàn)運(yùn)維自動(dòng)化和運(yùn)維智能化。

可以將容器云資源數(shù)據(jù)聯(lián)動(dòng)分為三層，分別為基礎(chǔ)設(shè)施層、容器服務(wù)層、應(yīng)用層，其中基礎(chǔ)設(shè)施層對(duì)應(yīng)了云資源聯(lián)動(dòng)，容器服務(wù)層對(duì)應(yīng)了kubernetes聯(lián)動(dòng)，應(yīng)用層對(duì)應(yīng)了運(yùn)維聯(lián)動(dòng)，還可以對(duì)應(yīng)IT組織內(nèi)部的其他能力子域的聯(lián)動(dòng)，如下圖所示。

????

云資源聯(lián)動(dòng)，聯(lián)動(dòng)對(duì)象是各類云資源，包括計(jì)算資源、網(wǎng)絡(luò)資源和存儲(chǔ)資源，主要通過容器云平臺(tái)內(nèi)部的編排功能，達(dá)到基礎(chǔ)資源彈性伸縮的能力。kubernetes聯(lián)動(dòng)，聯(lián)動(dòng)對(duì)象是kubernetes集群資源數(shù)據(jù)，主要通過Helm或YAML進(jìn)行編排。運(yùn)維聯(lián)動(dòng)，主要面向運(yùn)維保障、運(yùn)維監(jiān)控和運(yùn)維流程場景，達(dá)到自動(dòng)化運(yùn)維或智能化運(yùn)維的能力。

通常，資源數(shù)據(jù)聯(lián)動(dòng)在運(yùn)維場景內(nèi)主要有四種方式，分別是運(yùn)維事件的管理、應(yīng)用調(diào)用管理、服務(wù)部署管理和變更影響管理。事件管理方面，可以通過容器云平臺(tái)和事件系統(tǒng)進(jìn)行對(duì)接，可以對(duì)告警進(jìn)行分析，達(dá)到事件數(shù)據(jù)和發(fā)布數(shù)據(jù)之間的聯(lián)動(dòng)。應(yīng)用調(diào)用管理方面，可以通過容器云平臺(tái)和應(yīng)用鏈路系統(tǒng)進(jìn)行對(duì)接，對(duì)故障應(yīng)用的上下游調(diào)用鏈路進(jìn)行分析，匹配服務(wù)異常原因和應(yīng)用鏈路調(diào)用之間的影響關(guān)系。服務(wù)部署管理方面，可以通過容器云平臺(tái)自身的數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，及時(shí)的辨識(shí)變更和告警之間關(guān)系。變更影響管理方面，可以通過容器云平臺(tái)和變更系統(tǒng)進(jìn)行對(duì)接，打通業(yè)務(wù)連續(xù)性各項(xiàng)指標(biāo)之間的關(guān)聯(lián)，通過數(shù)據(jù)聯(lián)動(dòng)的方式明確變更可能發(fā)生影響的范圍。