【51CTO.com快譯】什么是機器人數(shù)據(jù)自動化 (Robotic Data Automation 以下簡稱 RDA)

機器人數(shù)據(jù)自動化 (RDA) 是一種新模式，它有助于自動化數(shù)據(jù)集成和數(shù)據(jù)準(zhǔn)備活動，這些活動涉及到處理用于分析和人工智能/機器學(xué)習(xí)應(yīng)用程序的機器數(shù)據(jù)。RDA 不僅僅是一個框架，還包含了一套實現(xiàn)數(shù)據(jù)自動化的技術(shù)和產(chǎn)品能力。

RDA 使企業(yè)能夠大規(guī)模操作機器數(shù)據(jù)，從而推動人工智能。

RDA 在企業(yè)領(lǐng)域具有廣泛的適用性，首先，CloudFabrix 采用 RDA 框架并將其應(yīng)用于解決 AIOps 問題——以幫助簡化和加速 AIOps 實現(xiàn)，并使其更加開放和可擴展。

RDA使用數(shù)據(jù)機器人自動執(zhí)行重復(fù)的數(shù)據(jù)集成、清理、驗證、成形、豐富和轉(zhuǎn)換活動，這些數(shù)據(jù)機器人被調(diào)用以在“低代碼”數(shù)據(jù)工作流或管道中連續(xù)工作。RDA有助于輕松地將數(shù)據(jù)移入和移出AIOps系統(tǒng)，從而簡化和加速AIOps實現(xiàn)，否則這些實現(xiàn)將依賴于大量手動數(shù)據(jù)集成和專業(yè)服務(wù)活動。

為什么需要 RDA

AIOps需要處理從各種混合 IT 數(shù)據(jù)源獲得的大量數(shù)據(jù)，這些數(shù)據(jù)分布在本地、云和邊緣環(huán)境中。這些數(shù)據(jù)有多種格式和交付模式。此外，此類數(shù)據(jù)處理的結(jié)果還需要與 IT 生態(tài)系統(tǒng)中的其他工具（例如：ITSM/閉環(huán)自動化/協(xié)作工具和 BI/報告工具）進行交換。

所有這些都需要以高效、可重用和可擴展的方式集成、攝取、準(zhǔn)備、驗證、清理、轉(zhuǎn)換、整合、分析和將數(shù)據(jù)移入或者移出 AIOps 系統(tǒng)。這些基本任務(wù)在 AIOps 實施中常常被忽略，并且導(dǎo)致了嚴(yán)重的延遲和增加了 AIOps 項目的成本。

挑戰(zhàn)

讓我們了解一下在實施 AIOps 項目時，數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)集成活動中的一些關(guān)鍵挑戰(zhàn)。

• 不同的數(shù)據(jù)格式（文本/二進制/json/XML/CSV）、數(shù)據(jù)傳輸模式（流、批處理、批量、通知）、編程接口（API/Webhooks/Queries/CLI）
• 復(fù)雜的數(shù)據(jù)準(zhǔn)備活動，包括完整性檢查、清理、轉(zhuǎn)換和行成數(shù)據(jù)（聚合/過濾/排序）
• 原始數(shù)據(jù)通常缺乏應(yīng)用程序或服務(wù)上下文，需要從外部系統(tǒng)引入上下文來進行更新實時數(shù)據(jù)。
• 實施數(shù)據(jù)工作流需要專業(yè)的編程/數(shù)據(jù)科學(xué)技能
• 源系統(tǒng)或目標(biāo)系統(tǒng)的更改需要重寫/更新連接器

AIOps 中數(shù)據(jù)處理的傳統(tǒng)方法

在傳統(tǒng)方法中，AIOps 供應(yīng)商提供了一組現(xiàn)成的集成，將 AIOps 解決方案連接到數(shù)據(jù)源，處理數(shù)據(jù)的方法和結(jié)果如下：

• 數(shù)據(jù)采集、處理和集成的黑盒方法。
• 用例和場景僅限于平臺支持的內(nèi)容。
• 集成大多是預(yù)定義/硬編碼的限制重用。
• 需要專業(yè)/編程技能（Javascript、Python 等）的復(fù)雜腳本模塊或說明書。
• 難以引入外部集成，用于間歇數(shù)據(jù)處理（例如：富集）。
• 難以以編程方式訪問數(shù)據(jù)，以實現(xiàn)補充功能（例如：腳本、報告、儀表板、自動化等的數(shù)據(jù)訪問）。

這些都是通過增加延遲和成本（手動數(shù)據(jù)準(zhǔn)備/處理活動）來有效處理 AIOps 的障礙。

短時需求：AIOps 的機器人數(shù)據(jù)自動化

機器人數(shù)據(jù)自動化 (RDA)是AIOps 2.0 的關(guān)鍵技術(shù)

RDA 的自動化 DataOps，類似于 RPA 自動化業(yè)務(wù)流程。RDA是AIOps平臺不可分割的一部分，可提供增強的數(shù)據(jù)準(zhǔn)備和集成功能能力。RDA 既是一個數(shù)據(jù)自動化框架，也是一個加速和簡化AIOps實現(xiàn)中所有數(shù)據(jù)處理的工具箱。

重點

• 使用數(shù)據(jù)機器人實現(xiàn)低代碼數(shù)據(jù)管道。
• 原生 AI/ML 機器人程序。
• CFXQL — 統(tǒng)一查詢語言。
• 內(nèi)聯(lián)數(shù)據(jù)映射。
• 數(shù)據(jù)完整性檢查。
• 數(shù)據(jù)屏蔽、編輯和加密。
• 數(shù)據(jù)整合：聚合/過濾/排序。
• 數(shù)據(jù)提取/指標(biāo)獲取。
• 合成數(shù)據(jù)。

好處

• 簡化和加速 AIOps 用例的實現(xiàn)。
• 減少與數(shù)據(jù)準(zhǔn)備和集成相關(guān)的時間/工作/成本。
• 適用于 DevOps/ProdOps 人員（不需要數(shù)據(jù)科學(xué)家技能）。

用例和場景

• 日志集群： 從云和本地獲取應(yīng)用程序日志，運行 ML 模型以集群日志，將結(jié)果推送到Kibana/CFX儀表板。
• CMDB 同步：從 CFX 獲取最新的資產(chǎn)清單并將其推送到CMDB。
• 從合作伙伴/子公司 ITSM 到客戶ITSM的標(biāo)簽電子綁定（例如：BMC 事件到 ServiceNow）。
• 事件 NLP 分類：從 ServiceNow 獲取標(biāo)簽，OpenAI（GPT-3）進行NLP分類，并在 ServiceNow 中豐富標(biāo)簽。
• 異常檢測：從Prometheus（或任何監(jiān)控工具）獲取節(jié)點的歷史 CPU 使用率（每小時）。應(yīng)用回歸在Slack上發(fā)送一條消息，并將異常列表作為附件。
• 標(biāo)簽集群：從ServiceNow獲取最近 24 小時的事件，對標(biāo)簽應(yīng)用集群，并將結(jié)果推送到新數(shù)據(jù)集，以便在 CFX 儀表板中進行可視化。
• 變更檢測：獲取AWS EC2 虛擬機的基準(zhǔn)清單，并與當(dāng)前狀態(tài)進行比較以突出計劃外的變更。

原文標(biāo)題：Taming the Data Problem and Accelerating AIOps Implementations With RDA，作者：Tejo Prayaga

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】