一、認(rèn)識(shí)數(shù)據(jù)資產(chǎn)

1. 數(shù)據(jù)資產(chǎn)——企業(yè)IT價(jià)值

圖片

如圖所示，未進(jìn)行數(shù)據(jù)資產(chǎn)化建設(shè)時(shí)，數(shù)據(jù)可能呈現(xiàn)離散狀態(tài)，數(shù)據(jù)生產(chǎn)和消費(fèi)不統(tǒng)一，容易出現(xiàn)數(shù)據(jù)孤島或零利益的情況。

建設(shè)數(shù)據(jù)資產(chǎn)化后，我們整合不同渠道數(shù)據(jù)，構(gòu)造統(tǒng)一的數(shù)據(jù)源，或數(shù)據(jù)采集、存儲(chǔ)、分析的流程鏈路，進(jìn)而統(tǒng)一對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)關(guān)系和消費(fèi)出口。

運(yùn)營(yíng)數(shù)據(jù)經(jīng)過采集、整編后，可服務(wù)于自身決策和業(yè)務(wù)流程。

2. 數(shù)據(jù)資產(chǎn)——以運(yùn)維場(chǎng)景為例

圖片

上圖以場(chǎng)景為例，介紹了數(shù)據(jù)資產(chǎn)的分類。理解數(shù)據(jù)資產(chǎn)，就要理解數(shù)據(jù)資產(chǎn)所對(duì)應(yīng)的三個(gè)要素，即數(shù)據(jù)類型、數(shù)據(jù)形式和數(shù)據(jù)載體。

• 數(shù)據(jù)類型：運(yùn)維特征的信息描述

業(yè)務(wù)指標(biāo)層面，SRE關(guān)注交易耗時(shí)、交易訂單量等信息；操作軟件層面，SRE關(guān)注用戶IP、接口調(diào)用情況等信息；基礎(chǔ)設(shè)施層面，則關(guān)注對(duì)應(yīng)的網(wǎng)絡(luò)丟包率、內(nèi)存占用或CPU使用率等信息；再深入，SRE會(huì)更加關(guān)注變更事件、發(fā)布試點(diǎn)或緊急變更的數(shù)量等數(shù)據(jù)。

• 數(shù)據(jù)形式：數(shù)據(jù)儲(chǔ)存于數(shù)據(jù)載體的形式

我們根據(jù)日志類、關(guān)系類及監(jiān)控類等數(shù)據(jù)的不同表現(xiàn)形式，選擇相應(yīng)存儲(chǔ)方式，比如關(guān)系型數(shù)據(jù)庫(kù)、持續(xù)性數(shù)據(jù)庫(kù)、消息隊(duì)列或者日志文件等。

• 數(shù)據(jù)載體：為運(yùn)維數(shù)據(jù)提供存儲(chǔ)的方式

3. 數(shù)據(jù)資產(chǎn)——提升SRE價(jià)值

圖片

首先，使用獲得的運(yùn)維數(shù)據(jù)，建設(shè)資產(chǎn)化平臺(tái)（例如后文將要提到的CMDB）。通過這些平臺(tái)，按照消費(fèi)場(chǎng)景，對(duì)海量的運(yùn)維數(shù)據(jù)進(jìn)行拆分治理，進(jìn)而形成資產(chǎn)化。

其次，依托數(shù)字資產(chǎn)平臺(tái)，可快速構(gòu)建并迭代SRE穩(wěn)定性相關(guān)平臺(tái)（例如SLO、容量管理等平臺(tái)）。平臺(tái)成功建立后，我們持續(xù)挖掘數(shù)據(jù)價(jià)值，以提升SRE關(guān)注的穩(wěn)定性。

二、數(shù)據(jù)治理-方法論

1. 運(yùn)維數(shù)據(jù)標(biāo)準(zhǔn)面臨的問題

圖片

運(yùn)維數(shù)據(jù)標(biāo)準(zhǔn)化面臨的問題，和大數(shù)據(jù)場(chǎng)景下數(shù)據(jù)質(zhì)量的問題類似，主要包括數(shù)據(jù)孤島、數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)不可知、數(shù)據(jù)服務(wù)不夠、獲取數(shù)據(jù)的開發(fā)耗時(shí)長(zhǎng)等。

這些問題導(dǎo)致，數(shù)據(jù)消費(fèi)場(chǎng)景難以快速迭代，無法滿足業(yè)務(wù)需求。在人力資源、服務(wù)器資源、中間件資源等投入不足的情況下，對(duì)數(shù)據(jù)標(biāo)準(zhǔn)化的建設(shè)會(huì)產(chǎn)生災(zāi)難性的影響。

運(yùn)維數(shù)據(jù)天生是不標(biāo)準(zhǔn)的，比如，日志和日志監(jiān)控的數(shù)據(jù)存儲(chǔ)方式不同。而我們要在資源有限的情況下，進(jìn)行最大化闡述，完成標(biāo)準(zhǔn)化。

針對(duì)近期業(yè)內(nèi)比較火的概念，比如DataOps、AIOps等模型或場(chǎng)景，我們還缺少成熟、全面的數(shù)據(jù)建模方法論。

2. 建立運(yùn)維數(shù)據(jù)治理模型

將運(yùn)維數(shù)據(jù)提升為數(shù)據(jù)資產(chǎn)，需圍繞治理方法、治理過程和技術(shù)平臺(tái)三部分展開。

圖片

1）治理方法

• 主數(shù)據(jù)管理：將SRE關(guān)注的數(shù)據(jù)進(jìn)行定義和拆分。比如，主機(jī)和CLP等數(shù)據(jù)可作為主數(shù)據(jù)，我們對(duì)其進(jìn)行生命周期管理。
• 廣義元數(shù)據(jù)管理：這些數(shù)據(jù)在閉環(huán)的上報(bào)流程中，進(jìn)入到CMDB，就是廣義元數(shù)據(jù)管理。以CMDB的模式為代表，向上層提供相應(yīng)的數(shù)據(jù)支撐。
• 關(guān)鍵治理鏈路：基于數(shù)據(jù)標(biāo)準(zhǔn)、治理質(zhì)量和安全基線三個(gè)維度，梳理整個(gè)治理鏈路，即數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量目標(biāo)、整個(gè)變更的基線要求。

2）治理過程

治理過程包括策略、建設(shè)與運(yùn)營(yíng)。整體建設(shè)方面，需要建設(shè)平臺(tái)和工具，輔助自身運(yùn)營(yíng)。

3）技術(shù)平臺(tái)

建立技術(shù)平臺(tái)的主要目的是，通過工具支撐存量和增量數(shù)據(jù)。

3. 聚焦數(shù)據(jù)治理關(guān)鍵要素

數(shù)據(jù)治理的關(guān)鍵要素主要圍繞四方面：組織保障、制度建設(shè)、項(xiàng)目落地和平臺(tái)支撐。

• 組織保障：為解決人力資源問題，我們明確成員角色和職責(zé)分工。由產(chǎn)品、運(yùn)營(yíng)和研發(fā)三種角色，組成數(shù)據(jù)治理專項(xiàng)團(tuán)隊(duì)。
• 制度建設(shè)：需要建設(shè)標(biāo)準(zhǔn)化流程，并保證其有序落實(shí)，比如資源接入、資源開發(fā)、資源數(shù)據(jù)模型等規(guī)范。
• 項(xiàng)目落地：開始整體的專項(xiàng)治理，數(shù)據(jù)治理是長(zhǎng)效的過程，而非簡(jiǎn)單的運(yùn)動(dòng)式作戰(zhàn)。如果數(shù)據(jù)質(zhì)量嚴(yán)重不達(dá)標(biāo)，我們會(huì)成立專項(xiàng)小組，采取運(yùn)動(dòng)式的作戰(zhàn)方式，緊急修復(fù)數(shù)據(jù)質(zhì)量的問題。但建立長(zhǎng)效治理手段需根據(jù)數(shù)據(jù)產(chǎn)品，輸出對(duì)應(yīng)的治理方法論，并將其落實(shí)為產(chǎn)品化的平臺(tái)手段，以此驅(qū)動(dòng)數(shù)據(jù)責(zé)任方進(jìn)行數(shù)據(jù)治理。
• 平臺(tái)支撐：平臺(tái)建設(shè)主要圍繞精細(xì)度量、執(zhí)行治理效率等維度進(jìn)行。

三、CMDB平臺(tái)建設(shè)

1. CMDB配置管理庫(kù)

CMDB配置管理處，主要圍繞四方面進(jìn)行建設(shè)：基礎(chǔ)備案的技術(shù)臺(tái)賬、詳細(xì)自然屬性、自然關(guān)聯(lián)關(guān)系、資源消費(fèi)圖譜。我們需要分層建立對(duì)應(yīng)業(yè)務(wù)的模型，再通過自動(dòng)化感知或標(biāo)準(zhǔn)化流程，實(shí)時(shí)推送配置動(dòng)態(tài)。

對(duì)應(yīng)配置也需要有對(duì)應(yīng)的可視化界面，激發(fā)協(xié)作力量，最終，這些數(shù)據(jù)通過APP或相應(yīng)離線場(chǎng)景，促進(jìn)數(shù)據(jù)的消費(fèi)場(chǎng)景。

2. CMDB在ITIL時(shí)代的定位——元數(shù)據(jù)中心

個(gè)人理解，CMDB是元數(shù)據(jù)中心。如上圖所示，我們配置管理的數(shù)據(jù)庫(kù)CMDB，會(huì)對(duì)組織、人員、決策、權(quán)限、流程等相關(guān)數(shù)據(jù)進(jìn)行清洗或組裝操作。

下層對(duì)接的平臺(tái)很多，比如監(jiān)控平臺(tái)、郵件、短信、運(yùn)維的數(shù)據(jù)庫(kù)等。這些數(shù)據(jù)組裝完畢后，會(huì)交由上層（類似服務(wù)管理層的平臺(tái)）進(jìn)行數(shù)據(jù)輸出，完成資產(chǎn)管理、配置管理等一系列服務(wù)，并進(jìn)行平臺(tái)建設(shè)。

3. CMBD在新時(shí)代的定位——以應(yīng)用為中心

、

以應(yīng)用為中心，可以實(shí)現(xiàn)組織-項(xiàng)目-人員的關(guān)聯(lián)關(guān)系，并與應(yīng)用綁定。

應(yīng)用運(yùn)行過程中，使用對(duì)應(yīng)資源（服務(wù)器資源、配置中心、可觀測(cè)性指標(biāo)等），再按照公司的組織架構(gòu)形成從屬關(guān)系，最終把組織架構(gòu)視角引用到微服務(wù)視角，形成資源及其資源的關(guān)系——拓?fù)?，其中包括?yīng)用拓?fù)?、物理拓?fù)洹?/p>

4. 以應(yīng)用為中心的CMDB優(yōu)勢(shì)

圖片

5. 應(yīng)用在運(yùn)行期間與元數(shù)據(jù)中心的關(guān)系

圖片

上圖所示為CMDB，它會(huì)將基礎(chǔ)測(cè)試設(shè)施的元數(shù)據(jù)、Paas相關(guān)數(shù)據(jù)及運(yùn)行數(shù)據(jù)，提供給上層（CI平臺(tái)、CD平臺(tái)、服務(wù)運(yùn)行平臺(tái)和服務(wù)運(yùn)營(yíng)平臺(tái)）使用，圖中所示的下層平臺(tái)就形成服務(wù)資源支撐平臺(tái)。

這樣建設(shè)的好處是，為應(yīng)用的全生命周期提供基本的數(shù)據(jù)支撐，包括應(yīng)用創(chuàng)建、應(yīng)用運(yùn)行時(shí)態(tài)（構(gòu)建、發(fā)布、擴(kuò)容、計(jì)費(fèi)）、回收應(yīng)用下線后資源。

6. CMDB建設(shè)的四大階段

圖片

上圖是建設(shè)CMDB的四大階段，我們目前處于從服務(wù)導(dǎo)向到價(jià)值導(dǎo)向的第四階段。

部門導(dǎo)向：

• 不論有無CMDB系統(tǒng)，實(shí)際都存在CMDB需求，以部門為單元維護(hù)配置信息；
• 信息是孤立的、不及時(shí)的，無法保證完整性和正確性。

數(shù)據(jù)導(dǎo)向：

• 各部門都關(guān)心的數(shù)據(jù)及相互關(guān)系統(tǒng)一納入CMDB管理，并建立配置管理流程制度；
• 由于消費(fèi)場(chǎng)景不明確，造成消費(fèi)價(jià)值與生產(chǎn)成本的失衡。
• B站數(shù)據(jù)生產(chǎn)成本建設(shè)并非很高，但是數(shù)據(jù)消費(fèi)產(chǎn)品建設(shè)特別多，或是業(yè)務(wù)側(cè)經(jīng)常定制場(chǎng)景需求，CMDB需要定制介入開發(fā)，完成業(yè)務(wù)側(cè)訴求。由此暴露出問題，CMDB有300多個(gè)OKACI，不便于維護(hù)。

場(chǎng)景導(dǎo)向：

• 局部數(shù)據(jù)標(biāo)準(zhǔn)化程度，準(zhǔn)確性較高；
• 由于使用場(chǎng)景單一，總體消費(fèi)價(jià)值不高，生產(chǎn)成本相對(duì)較高。

服務(wù)導(dǎo)向：

• 數(shù)據(jù)供給服務(wù)，支撐日常操作管控，如自動(dòng)化、監(jiān)控、作業(yè)流管理、運(yùn)維分析等；
• 引入多樣化的數(shù)據(jù)生產(chǎn)/消費(fèi)手段，逐步平衡消費(fèi)價(jià)值與生產(chǎn)成本。

價(jià)值導(dǎo)向：

• CMDB全面支撐服務(wù)及業(yè)務(wù)發(fā)展，如服務(wù)容量管理、可用性管理，成為IT運(yùn)維的基石；
• 主動(dòng)推動(dòng)組織IT管理水平的提升。

7. CMDB模型如何構(gòu)建

圖片

• 定義數(shù)據(jù)類型：包括主機(jī)、交換機(jī)、應(yīng)用、應(yīng)用配置文件，配置人員接到需求后會(huì)對(duì)此進(jìn)行調(diào)研。
• 定義數(shù)據(jù)核心屬性：以主機(jī)為例，需要上報(bào)或采集IP、序列號(hào)、機(jī)房、云廠商等資源核心屬性。
• 構(gòu)建數(shù)據(jù)模型直接關(guān)系：梳理資源與資源之間的對(duì)應(yīng)關(guān)系，如包含關(guān)系、依賴關(guān)系、運(yùn)行關(guān)系等，以便后續(xù)制作資源拓?fù)?。例如，?yīng)用使用一種數(shù)據(jù)類型，主機(jī)使用另一種數(shù)據(jù)類型，那么應(yīng)用運(yùn)行時(shí)會(huì)依賴主機(jī)，主機(jī)反過來可以組成應(yīng)用。
• 消費(fèi)場(chǎng)景確認(rèn)：確認(rèn)消費(fèi)場(chǎng)景，就是確認(rèn)數(shù)據(jù)用于哪些階段。如果用于集群部署，可能需要到應(yīng)用維度進(jìn)行相關(guān)部署，或?qū)?yīng)的運(yùn)維作業(yè)。
• 確立數(shù)據(jù)規(guī)范：生命周期（從創(chuàng)建、生產(chǎn)到部署）是怎樣的過程？數(shù)據(jù)狀態(tài)變化后，平臺(tái)如何感知？

綜上所述，我們要以數(shù)據(jù)全生命周期為出發(fā)點(diǎn)，確定屬性、理清關(guān)系、明確消費(fèi)場(chǎng)景，借助自動(dòng)化流程來保障數(shù)據(jù)的實(shí)時(shí)性與準(zhǔn)確性。

1）模型關(guān)系定義

圖片

2）CI關(guān)系DEMO舉例

圖片

3）CMDB落地實(shí)施框架

• 現(xiàn)狀評(píng)估：當(dāng)前是否有CMDB平臺(tái)？這個(gè)平臺(tái)建設(shè)程度如何？這部分?jǐn)?shù)據(jù)質(zhì)量如何？組織架構(gòu)和技術(shù)架構(gòu)如何？未來上線的過程中，需要用到的資源狀態(tài)如何？
• 項(xiàng)目啟動(dòng)：?jiǎn)?dòng)時(shí)，需要定義接入資源的 CI模型和關(guān)系、后期消費(fèi)場(chǎng)景、數(shù)據(jù)來源、CI干系方。
• 數(shù)據(jù)實(shí)例化：進(jìn)行數(shù)據(jù)實(shí)例化檢測(cè)時(shí)，會(huì)搭建測(cè)試環(huán)境，導(dǎo)入CI模型或?qū)嵗瘮?shù)據(jù)。
• 數(shù)據(jù)校驗(yàn)：在UG環(huán)境內(nèi)，查看數(shù)據(jù)上報(bào)和實(shí)際產(chǎn)出的對(duì)比情況，確認(rèn)數(shù)據(jù)質(zhì)量能否達(dá)標(biāo)。數(shù)據(jù)質(zhì)量達(dá)標(biāo)后，需要建設(shè)生產(chǎn)環(huán)境，以檢測(cè)數(shù)據(jù)在生產(chǎn)環(huán)境的狀態(tài)。
• 數(shù)據(jù)場(chǎng)景消費(fèi)：數(shù)據(jù)落到生產(chǎn)環(huán)境后，需查看數(shù)據(jù)消費(fèi)的場(chǎng)景，我們要與運(yùn)營(yíng)平臺(tái)或SRE平臺(tái)進(jìn)行對(duì)接。

4）標(biāo)準(zhǔn)化先行

標(biāo)準(zhǔn)化先行是，落地之前的所有事項(xiàng)，都圍繞標(biāo)準(zhǔn)化進(jìn)行建設(shè)。其中包括一些強(qiáng)要求，比如規(guī)劃要求、流程要求、組織要求和平臺(tái)要求。

規(guī)范要求：

• 明確定義CMDB平臺(tái)的作用，以及其他業(yè)務(wù)系統(tǒng)間的關(guān)系；
• 明確定義資源的管理過程、責(zé)任人和責(zé)任平臺(tái)；
• 明確定義資源的基線標(biāo)準(zhǔn)以及偏差管理辦法；
• 從服務(wù)業(yè)務(wù)場(chǎng)景的視角，規(guī)劃和建設(shè)配置管理能力。

流程要求：

• 能夠真實(shí)反應(yīng)資源狀況；
• 能夠完整包含所有資源信息以及資源間關(guān)系；
• 全局唯一的權(quán)威數(shù)據(jù)源；
• 數(shù)據(jù)能夠被用戶及系統(tǒng)方便、及時(shí)、高效地獲取。

組織要求：

• 成立統(tǒng)一的配置管理能力建設(shè)主體；
• 各個(gè)業(yè)務(wù)團(tuán)隊(duì)明確配置消費(fèi)和完善的責(zé)任；
• 形成配置管理討論、優(yōu)化和需求收集的機(jī)制。

平臺(tái)要求：

• 逐步實(shí)現(xiàn)配置自動(dòng)發(fā)現(xiàn)、自動(dòng)維護(hù)；
• 實(shí)時(shí)跟蹤資源的狀態(tài)及配置變化；
• 模型靈活，能夠根據(jù)業(yè)務(wù)需求實(shí)時(shí)擴(kuò)展和調(diào)整；
• 配置可視化，能夠支持資源問題的分析和快速定位。

5）打造數(shù)據(jù)全生命周期閉環(huán)

首先，確定應(yīng)用屬性。應(yīng)用的屬性可能包括，應(yīng)用的中英文名稱、應(yīng)用等級(jí)、唯一ID、歸屬業(yè)務(wù)和業(yè)務(wù)域等，屬性內(nèi)容主要取決于個(gè)人定義。定義應(yīng)用后，應(yīng)用可能與其他CI產(chǎn)生關(guān)系，需進(jìn)一步梳理。

其次，明確應(yīng)用的屬性負(fù)責(zé)人。應(yīng)用具有對(duì)應(yīng)的負(fù)責(zé)人、研發(fā)和SRE等，針對(duì)應(yīng)用構(gòu)建、發(fā)布、變更，以及圍繞用戶進(jìn)行的其他動(dòng)作，我們都有對(duì)應(yīng)流程，以保障應(yīng)用的配置和變更審核。

最后，進(jìn)行定時(shí)的采集任務(wù)，以保證應(yīng)用最終的數(shù)據(jù)準(zhǔn)確性。

6）推動(dòng)配置的自動(dòng)發(fā)現(xiàn)和更新

上圖提到的“資源”還是傳統(tǒng)意義上的資源，比如服務(wù)器資源。通過一定方式采集這些資源，最終上報(bào)到資源管理平臺(tái)。

• 建設(shè)完善的配置采集能力，杜絕人工維護(hù)的場(chǎng)景；
• 自動(dòng)發(fā)現(xiàn)資源和應(yīng)用的配置信息；
• 對(duì)接流程、管理平臺(tái)和設(shè)備，實(shí)時(shí)獲取和更新配置狀態(tài)；
• 建立資源配置和使用規(guī)范，通過CMDB進(jìn)行合規(guī)檢查；
• 推動(dòng)實(shí)現(xiàn)配置消費(fèi)閉環(huán)，通過消費(fèi)反饋，自動(dòng)維護(hù)數(shù)據(jù)可靠性。