?譯者 | 陳峻

審校 | 孫淑娟

如今，由各行各業(yè)產(chǎn)生和分發(fā)的數(shù)據(jù)體量，正在以驚人的速度爆發(fā)式地增長著。根據(jù)??Statista的報告??，截至2023年前，全球已有約120澤字節(jié)（zettabytes）的數(shù)據(jù)，而預(yù)計到2025年，這一數(shù)字將達(dá)到181澤字節(jié)。

來源：statista.com

隨著數(shù)據(jù)量的繼續(xù)快速增長，大家對于高效數(shù)據(jù)管理和可觀察性的解決方案與工具的需求也在增加。其實，數(shù)據(jù)的實際價值在于它如何被利用。我們僅僅收集和存儲數(shù)據(jù)是遠(yuǎn)遠(yuǎn)不夠的，必須正確地利用和使用它們，才能獲得有價值的見解。這些見解可能關(guān)于人口統(tǒng)計，也可能涉及到消費者行為，甚至是對未來的銷售預(yù)測，為業(yè)務(wù)決策過程提供真實可信的資源。此外，通過實時的數(shù)據(jù)，企業(yè)也可以快速做出明智的決策，以適應(yīng)市場，并把握瞬間即逝的商機。不過，這些都是基于優(yōu)質(zhì)的數(shù)據(jù)前提，而如果數(shù)據(jù)本身雜亂且已過時、那么就可能產(chǎn)生誤導(dǎo)性的效果。因此，我們的重點應(yīng)當(dāng)放在提升數(shù)據(jù)質(zhì)量上。

DataOps的本質(zhì)

作為一組優(yōu)秀實踐和工具，??DataOps??旨在增強數(shù)據(jù)的管理操作，任務(wù)的協(xié)作、集成和自動化。DataOps尋求通過集成和面向過程的方法，來提高數(shù)據(jù)管理的質(zhì)量、速度和協(xié)作效率，并利用類似于DevOps的自動化和敏捷軟件工程的實踐，來加速和簡化準(zhǔn)確數(shù)據(jù)的交付過程[1]。它可以被用來幫助企業(yè)和組織更好地管理其數(shù)據(jù)管道，減少開發(fā)與部署新的數(shù)據(jù)驅(qū)動應(yīng)用所需的工作量和時間，進(jìn)而提高數(shù)據(jù)的質(zhì)量。

了解了DataOps的概念，下面讓我們來深入研究DataOps的關(guān)鍵組件。通常，其關(guān)鍵組成部分包括：數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)編排、數(shù)據(jù)質(zhì)量管理、以及DataOps的可觀察性。

數(shù)據(jù)集成

數(shù)據(jù)集成涉及到對變更的代碼進(jìn)行整合與測試，并及時將它們部署到生產(chǎn)環(huán)境中，確保數(shù)據(jù)在集成的過程中，以及在交付給適當(dāng)?shù)膱F(tuán)隊時的準(zhǔn)確性和一致性。

數(shù)據(jù)治理

數(shù)據(jù)治理需要確保數(shù)據(jù)的收集、存儲和使用，不但能夠具有一貫性，而且合乎道德和法規(guī)。

數(shù)據(jù)編排

數(shù)據(jù)編排有助于管理和協(xié)調(diào)管道中的數(shù)據(jù)處理過程，指定和安排任務(wù)，以及通過處置錯誤，來自動化和優(yōu)化流經(jīng)數(shù)據(jù)管道的數(shù)據(jù)流。這對于確保數(shù)據(jù)通過數(shù)據(jù)管道的平穩(wěn)運行、及其性能都是至關(guān)重要的。

數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理涉及到識別、糾正和防止數(shù)據(jù)中的錯誤或不一致，確保所使用的數(shù)據(jù)是高度可靠和準(zhǔn)確的。

DataOps可觀察性

DataOps可觀察性是指監(jiān)控和理解數(shù)據(jù)管理中，涉及到的各種流程和系統(tǒng)的能力。其首要目標(biāo)是確保數(shù)據(jù)的可靠性、可信度、以及商業(yè)價值。它關(guān)注的是從監(jiān)控和分析數(shù)據(jù)管道，到維護(hù)數(shù)據(jù)質(zhì)量，以及通過財務(wù)和運營效率指標(biāo)，去全面證明數(shù)據(jù)的商業(yè)價值。DataOps可觀察性使企業(yè)和組織能夠提高其數(shù)據(jù)管理流程的效率，并更好地利用其數(shù)據(jù)資產(chǎn)。因此，它有助于確保數(shù)據(jù)準(zhǔn)確、可靠且易于訪問，進(jìn)而幫助企業(yè)和組織做出由數(shù)據(jù)驅(qū)動的決策，優(yōu)化與數(shù)據(jù)相關(guān)的各類成本與支出，并從中產(chǎn)生更多的價值。

DataOps可觀察性工具，可簡化數(shù)據(jù)的管理、成本和協(xié)作流程

DataOps最具挑戰(zhàn)性的一個方面是，集成各個數(shù)據(jù)源，并確保數(shù)據(jù)的質(zhì)量、治理、編排、成本管理、以及可觀察性。同時，DataOps旨在簡化此類流程，并改善團(tuán)隊之間的協(xié)作，使企業(yè)能夠做出更好的數(shù)據(jù)驅(qū)動決策，進(jìn)而實現(xiàn)更高的性能和輸出[2]。下面，我們將介紹一系列企業(yè)可以用來簡化數(shù)據(jù)管理、成本和協(xié)作流程的優(yōu)秀DataOps工具，以及它們在DataOps可觀察性方面的能力。

數(shù)據(jù)整合工具

市場上有各種各樣的DataOps工具，選擇合適的工具可能是一項非常艱巨的任務(wù)。為了幫助企業(yè)做出明智的決策，我們在此編制了一份可用于管理數(shù)據(jù)驅(qū)動流程的DataOps工具列表。

1.??Fivetran??

Fivetran是一個非常流行且被廣泛采用的數(shù)據(jù)集成平臺。它簡化了將各種數(shù)據(jù)源連接到集中式數(shù)據(jù)倉庫的過程[3]。這使得用戶或企業(yè)能夠在同一處，去輕松地分析和可視化他們的數(shù)據(jù)，而無需從多個不同來源，手動提取、轉(zhuǎn)換和加載(ETL)數(shù)據(jù)。

Fivetran為范圍廣泛的數(shù)據(jù)源提供了一組預(yù)構(gòu)建的??連接器??。其中包括：流行的數(shù)據(jù)庫、云應(yīng)用程序、SaaS應(yīng)用程序、以及flat文件（一種包含沒有相對關(guān)系結(jié)構(gòu)記錄的文件）。這些連接器能夠自動執(zhí)行數(shù)據(jù)的提取過程，確保數(shù)據(jù)始終是最新且準(zhǔn)確的。而一旦數(shù)據(jù)進(jìn)入中央數(shù)據(jù)倉庫，F(xiàn)ivetran就會執(zhí)行模式發(fā)現(xiàn)和數(shù)據(jù)驗證，根據(jù)數(shù)據(jù)源的結(jié)構(gòu)，自動在數(shù)據(jù)倉庫中創(chuàng)建表和列，從而非常容易地建立和維護(hù)數(shù)據(jù)管道，而無需人工編寫自定義的代碼。

同時，F(xiàn)ivetran還提供重復(fù)數(shù)據(jù)的刪除、增量數(shù)據(jù)的更新、以及實時數(shù)據(jù)的復(fù)制等功能。這些功能都有助于確保數(shù)據(jù)的完整、最新和準(zhǔn)確。

來源：fivetran.com

2.??Talend Data Fabric??

Talend Data Fabric解決方案旨在幫助企業(yè)和組織確保他們擁有健康的數(shù)據(jù)，以鞏固控制、降低風(fēng)險、以及推動數(shù)據(jù)的價值。該平臺結(jié)合了??數(shù)據(jù)集成??、??完整性??和??治理??，以提供企業(yè)和組織在決策過程中，可信賴的數(shù)據(jù)。同時，Talend可以幫助企業(yè)建立客戶忠誠度，提高運營效率，并實現(xiàn)IT基礎(chǔ)架構(gòu)的現(xiàn)代化。

Talend獨特的??數(shù)據(jù)集成方法??使得企業(yè)和組織可以輕松地將多個數(shù)據(jù)源的數(shù)據(jù)整合到一起，并為他們的所有業(yè)務(wù)決策提供支持。也就是說，它幾乎可以將任何數(shù)據(jù)類型，從任何數(shù)據(jù)源集成到任何數(shù)據(jù)目的地（即，本地或云端）。該平臺非常靈活，允許企業(yè)和組織一次性構(gòu)建數(shù)據(jù)管道，并能在任何地方運行，而無需被供應(yīng)商或平臺鎖定。同時，作為一體化的解決方案，它還能夠?qū)?shù)據(jù)集成、數(shù)據(jù)質(zhì)量、以及數(shù)據(jù)共享，集中到一個易用的平臺上。

Talend Data Fabric的數(shù)據(jù)集成功能，主要包括前文提及的數(shù)據(jù)集成、??管道設(shè)計器???、??數(shù)據(jù)庫存???、??數(shù)據(jù)準(zhǔn)備???、??變更數(shù)據(jù)捕獲???、以及??數(shù)據(jù)拼接??。這些工具既使得數(shù)據(jù)的集成、發(fā)現(xiàn)、搜索、以及共享等環(huán)節(jié)更易于管理，又能夠讓用戶快速地準(zhǔn)備數(shù)據(jù)，集成數(shù)據(jù)，可視化數(shù)據(jù)，保持?jǐn)?shù)據(jù)為最新，以及安全地轉(zhuǎn)移數(shù)據(jù)。

來源：http://talend.com/

3.??StreamSets??

StreamSets是一個功能強大的數(shù)據(jù)集成平臺。它能夠讓企業(yè)控制和管理，從各種批處理和流媒體源，到現(xiàn)代化分析平臺中的數(shù)據(jù)流。您可以使用其協(xié)作式可視化管道，去設(shè)計在邊緣、本地或云端部署和擴(kuò)展的數(shù)據(jù)流，通過映射和監(jiān)控它們，以實現(xiàn)端到端可見化[4]。同時，該平臺還允許用戶通過??數(shù)據(jù)SLA??，來獲得數(shù)據(jù)的高可用性、以及保障數(shù)據(jù)的隱私。

StreamSets使企業(yè)和組織能夠通過其可視化的管道設(shè)計、測試和部署功能，消除對于專業(yè)編程技能的需求，從而通過直觀的圖形用戶界面，快速啟動項目。由于StreamSets平臺可以自動處理各種意外的變化，因此避免了因脆弱的管道所導(dǎo)致的數(shù)據(jù)丟失。此外，該平臺還包含一個帶有指標(biāo)、警報、以及能夠向下“深挖”的實時數(shù)據(jù)地圖，以便企業(yè)輕松、高效地集成數(shù)據(jù)。

來源：http://streamsets.com/

4.??K2View??

作為企業(yè)級DataOps工具，K2View通過提供一個用于實時數(shù)據(jù)集成的??數(shù)據(jù)結(jié)構(gòu)平臺??，方便了企業(yè)和組織提供個性化的體驗[6]。K2View的??企業(yè)級數(shù)據(jù)集成工具??可集成任何類型的數(shù)據(jù)源，并通過諸如：??批量ETL??、反向ETL、數(shù)據(jù)流、數(shù)據(jù)虛擬化、基于日志的??CDC??、基于消息的集成、以及SQL和API等各種方法，便于各個消費方（consumer）輕松地訪問數(shù)據(jù)。

K2View可以從各種來源和系統(tǒng)中提取數(shù)據(jù)，通過實時的洞察來增強數(shù)據(jù)，將其轉(zhuǎn)換成特定的??微數(shù)據(jù)庫???，并通過單獨地壓縮和加密微數(shù)據(jù)庫，來確保其性能、可擴(kuò)展性、以及安全性。同時，它也能夠即時地運用??數(shù)據(jù)屏蔽??、轉(zhuǎn)換、以及編排工具，使已授權(quán)的消費方可以在遵守數(shù)據(jù)隱私和安全規(guī)則的前提下，訪問任何格式的數(shù)據(jù)。

來源：https://www.k2view.com/

5.??Alteryx??

作為一個非常強大的數(shù)據(jù)集成平臺，Alteryx允許用戶輕松地訪問、操作、分析和輸出數(shù)據(jù)。該平臺使用的是拖放式界面（即：低代碼/無代碼界面），包含了80多種用于數(shù)據(jù)混合、預(yù)測分析、以及數(shù)據(jù)可視化的工具和連接器[7]。它既可以被按需單次使用，又可以被作為“工作流”重復(fù)使用。而Alteryx構(gòu)建工作流的方式，也可以被作為流程文檔的一種形式，以便用戶查看、協(xié)作、支持和增強流程。同時，該平臺可以將數(shù)據(jù)讀取和寫入至文件、數(shù)據(jù)庫和API，以便用于預(yù)測分析和地理空間分析。

目前，Alteryx已作為更快、更高效地自動化數(shù)據(jù)集成過程，被用于各個行業(yè)和功能領(lǐng)域。一些常見用例包括：在電子表格中組合和操作數(shù)據(jù)、補充性的SQL開發(fā)、各種API、（混合）云訪問、數(shù)據(jù)科學(xué)、地理空間分析、以及創(chuàng)建報告和儀表板。

值得注意的是，Alteryx經(jīng)常被數(shù)據(jù)分析師用作ETL工具，通過讓業(yè)務(wù)用戶在不依賴IT的情況下，自由地訪問、操作和分析數(shù)據(jù)，進(jìn)而為業(yè)務(wù)用戶賦能。

來源：http://alteryx.com/

數(shù)據(jù)質(zhì)量測試和監(jiān)控工具

1.??Monte Carlo??

Monte Carlo是業(yè)界領(lǐng)先的企業(yè)數(shù)據(jù)監(jiān)控和可觀察性平臺。它提供了一個端到端的解決方案，可用于跨數(shù)據(jù)倉庫、數(shù)據(jù)湖、ETL和商業(yè)智能平臺的數(shù)據(jù)問題監(jiān)控和警告。通常，它使用機器學(xué)習(xí)（ML）和人工智能（AI），來了解數(shù)據(jù)，并主動識別與數(shù)據(jù)相關(guān)的問題，評估其影響，進(jìn)而通知相關(guān)人員。由于該平臺能夠自動、及時識別問題的根本原因，因此相關(guān)團(tuán)隊可以更快地聯(lián)調(diào)并解決問題。同時，它也提供自動化的、字段級別的??解析??（field-levellineage）、數(shù)據(jù)發(fā)現(xiàn)、以及集中式數(shù)據(jù)編錄。這些都能夠讓數(shù)據(jù)分析團(tuán)隊更好地了解其數(shù)據(jù)資產(chǎn)的可訪問性、位置、健康狀況、以及所有權(quán)。此外，該平臺在設(shè)計時，還考慮到了安全性，可以根據(jù)用戶提供的技術(shù)棧進(jìn)行相應(yīng)的擴(kuò)展，并通過包含無代碼或低代碼功能函數(shù)，方便使用現(xiàn)有的數(shù)據(jù)棧，來輕松實施。

來源：http://montecarlodata.com/

2.??Databand??

Databand是IBM最近收購的一個數(shù)據(jù)監(jiān)控和可觀察性平臺。它可以協(xié)助組織在業(yè)務(wù)受到影響之前，檢測并解決數(shù)據(jù)的相關(guān)問題。該平臺提供了從源數(shù)據(jù)開始的端到端式數(shù)據(jù)管道視圖，以便企業(yè)和組織能夠及早地發(fā)現(xiàn)問題，并將??平均檢測時間??(MTTD)?和??平均解決時間??(MTTR)從數(shù)天和數(shù)周，減少到數(shù)分鐘。

Databand的一個關(guān)鍵特性是，它能夠自動從??Airflow???、??Spark???、??Databricks???、??Redshift???、以及??Snowflake???等現(xiàn)代數(shù)據(jù)技術(shù)棧中，??收集元數(shù)據(jù)??。此類元數(shù)據(jù)可被用于構(gòu)建常見的數(shù)據(jù)管道行為的歷史基線，以便組織能夠了解從源頭到目的地的每個數(shù)據(jù)流。

同時，Databand也提供了事件管理、端到端的解析、數(shù)據(jù)可靠性監(jiān)控、數(shù)據(jù)質(zhì)量指標(biāo)、異常檢測、以及DataOps警報和路由功能。據(jù)此，企業(yè)和組織可以提高數(shù)據(jù)的可靠性和質(zhì)量，并能可視化數(shù)據(jù)事件是如何影響數(shù)據(jù)棧的上、下游組件的。也就是說，Databand的組合功能為各種數(shù)據(jù)事件提供了統(tǒng)一的解決方案，以便數(shù)據(jù)工程師能夠?qū)Ｗ⒂跇?gòu)建現(xiàn)代化的數(shù)據(jù)棧，而不是疲于修補。

3.??Datafold??

Datafold是一個數(shù)據(jù)可靠性平臺，專注于對數(shù)據(jù)質(zhì)量的主動管理，幫助企業(yè)預(yù)防數(shù)據(jù)災(zāi)難。它具有在組織的生產(chǎn)力受到影響之前，檢測、評估和調(diào)查數(shù)據(jù)質(zhì)量問題的獨特能力。也就是說，該平臺能夠通過實時監(jiān)控，來快速識別問題，并防止數(shù)據(jù)災(zāi)難的發(fā)生。

來源：http://datafold.com/

Datafold能夠利用AI和ML，提供具有實時洞察力的分析，以便數(shù)據(jù)工程師能夠從大量數(shù)據(jù)中，做出高質(zhì)量的預(yù)測。總結(jié)起來，Datafold的主要功能包括：

• 針對ETL的一鍵式回歸測試
• 跨所有管道和BI報告的數(shù)據(jù)流可見性
• SQL查詢轉(zhuǎn)換、數(shù)據(jù)發(fā)現(xiàn)、以及多數(shù)據(jù)源集成

此外，Datafold還提供了簡單、直觀且具有強大導(dǎo)航功能的用戶界面(UI)。該平臺允許用戶深入地探索表格和數(shù)據(jù)資產(chǎn)之間的關(guān)系。當(dāng)然，相對于其靈活的數(shù)據(jù)質(zhì)量監(jiān)控與可視化能力，它能夠支持的數(shù)據(jù)集成則相對有限。

4.??Query Surge??

Query Surge是一個非常強大且多功能的工具，常被用于自動化數(shù)據(jù)質(zhì)量測試和監(jiān)控，尤其適用于大數(shù)據(jù)、數(shù)據(jù)倉庫、BI報告、以及各種企業(yè)級的應(yīng)用。它專為無縫集成而設(shè)計，允許用戶在數(shù)據(jù)流動時，對其進(jìn)行持續(xù)測試和驗證。

Query Surge提供了創(chuàng)建和運行測試的能力，而無需通過智能查詢向?qū)Вゾ帉慡QL語句。這方便了列、行和表級別的比較、以及自動列匹配。同時，用戶也可以創(chuàng)建自定義的測試，去使用可重用的代碼“片段”進(jìn)行模塊化、設(shè)置閾值、檢查數(shù)據(jù)類型、以及執(zhí)行其他大量的高級檢查與驗證。此外，Query Surge還具有強大的調(diào)度功能，允許用戶在指定的日期和時間立即運行測試。而且，由于支持200多種供應(yīng)商和技術(shù)棧，因此它可以橫跨各種平臺，針對：大數(shù)據(jù)湖、數(shù)據(jù)倉庫、傳統(tǒng)數(shù)據(jù)庫、NoSQL文檔存儲、BI報告、flat文件、以及JSON文件等開展測試。

來源：https://www.querysurge.com/

Query Surge的一項主要優(yōu)勢在于，它能夠與DataOps管道中的數(shù)據(jù)集成/ETL解決方案、構(gòu)建/配置解決方案、QA/測試管理解決方案等相集成。該工具還包含了一個數(shù)據(jù)分析儀表板，便于用戶實時地監(jiān)控測試的執(zhí)行進(jìn)度，深入研究數(shù)據(jù)，檢查結(jié)果，并查看已執(zhí)行測試的統(tǒng)計數(shù)據(jù)。同時，它也能夠以“開箱即用”的方式，與??大量服務(wù)??、及其他具有API訪問權(quán)限的方案相集成。

Query Surge可被用于本地和云端，支持??AES 256位加密??、??LDAP/LDAPS??、TLS、HTTPS/SSL、自動超時、以及其他安全功能。簡而言之，Query Surge是一個非常強大且全面的自動化數(shù)據(jù)監(jiān)控和測試解決方案，能夠讓企業(yè)和組織快速提高數(shù)據(jù)質(zhì)量，并降低交付管道中的數(shù)據(jù)相關(guān)問題與風(fēng)險。

5.??Right Data??

Right Data公司的RDT是一個功能強大的數(shù)據(jù)測試和監(jiān)控平臺。它通過為數(shù)據(jù)測試、協(xié)調(diào)和驗證提供易用的界面，幫助企業(yè)和組織提高數(shù)據(jù)的可靠性和信任度。它允許用戶快速識別與數(shù)據(jù)相關(guān)的一致性、質(zhì)量和完整性等問題。同時，它也提供了一整套分析、設(shè)計、構(gòu)建、執(zhí)行、自動化協(xié)調(diào)和驗證場景的有效方法。由于它幾乎不需要任何編程，因此有效地節(jié)省了數(shù)據(jù)工程師的時間和資源。

來源：http://getrightdata.com/RDt-product

RDT的主要特點：

• 分析數(shù)據(jù)庫的能力：它通過提供一套完整的應(yīng)用，來分析源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集。其頂級的Query Builder和Data Profiling功能,可幫助用戶在不同場景中，事先了解和分析數(shù)據(jù)。
• 支持廣泛的數(shù)據(jù)源：RDT廣泛地支持諸如：ODBC或??JDBC??、flat文件、云技術(shù)、SAP、大數(shù)據(jù)、BI報告、以及各種其他來源。這使得企業(yè)和組織能夠輕松地連接到現(xiàn)有的數(shù)據(jù)源，并與之協(xié)作。
• 數(shù)據(jù)核對：RDT具有“比較行計數(shù)”等功能，可讓用戶去比較源數(shù)據(jù)集中的行數(shù)和目標(biāo)數(shù)據(jù)集中的行數(shù)，找出行數(shù)不匹配的表。也就是說，它提供了“行級別的數(shù)據(jù)比較”功能，可以比較源與目標(biāo)之間的數(shù)據(jù)集，以識別出彼此不匹配的行。
• 數(shù)據(jù)驗證：RDT通過提供一個用戶友好的界面，來創(chuàng)建驗證場景，使用戶能夠為目標(biāo)數(shù)據(jù)集建立一到多個驗證規(guī)則，進(jìn)而識別異常，分析和報告結(jié)果。
• 管理和CMS：RDT擁有一個可配置的管理控制臺，并提供了創(chuàng)建和管理用戶、角色、以及將角色映射到特定用戶的能力。當(dāng)然，管理員也可以創(chuàng)建、管理和測試用于查詢連接的配置文件。同時，該工具也提供了一個Content Management Studio(CMS)，可以將查詢、場景和連接配置文件，從一個Right Data實例導(dǎo)出到另一個實例。此功能對于在同一實例中，從一個文件夾復(fù)制到另一個文件夾，以及切換查詢的連接配置文件來說，非常實用。

DataOps的可觀察性和增強式FinOps

1.??Chaos Genius??

Chaos Genius是一個強大的DataOps可觀察性工具。它使用ML和AI來篩選數(shù)據(jù)，并提供精確的成本預(yù)測和增強式指標(biāo)，可用于監(jiān)控和分析數(shù)據(jù)和業(yè)務(wù)的狀況。構(gòu)建該工具的主要目的之一是：通過提供功能強大的、一流的DataOps可觀察性工具，協(xié)助監(jiān)控和分析數(shù)據(jù)，降低支出，改進(jìn)業(yè)務(wù)指標(biāo)，從而為企業(yè)創(chuàng)造價值。

來源：http://chaosgenius.io/

下圖展示了，ChaosGenius目前提供的一項名為“Snowflake Observability”的主要服務(wù)。

來源：http://chaosgenius.io/

Chaos Genius（Snowflake Observability）的主要特點包括：

• 成本優(yōu)化和監(jiān)控：Chaos Genius旨在幫助企業(yè)和組織優(yōu)化和監(jiān)控Snowflake云數(shù)據(jù)平臺的成本，其中包括：尋找可以削減成本的地方，以及就如何削減成本提出建議。
• 增強的查詢性能：Chaos Genius可以分析查詢模式，以識別低效的查詢，并給出提高性能的智能建議，從而實現(xiàn)更快、更高效地檢索數(shù)據(jù)，并提高數(shù)據(jù)倉庫的整體性能。
• 減少支出：Chaos Genius使企業(yè)能夠更好地提高系統(tǒng)效率，并將總支出減少約10%-30%。
• 定價模型：Chaos Genius提供了一種三層定價模型。第一層是完全免費的，而另外兩層是針對希望監(jiān)控到更多指標(biāo)的公司而設(shè)計的。這使得各種規(guī)模和預(yù)算的企業(yè)都可以使用它。

2.??Unravel??

作為一個DataOps可觀察性平臺，Unravel可為企業(yè)和組織提供整體數(shù)據(jù)棧的全面視圖，并幫助他們優(yōu)化性能，自動化故障排除，以及管理和監(jiān)控其整個數(shù)據(jù)管道的成本。該平臺能夠與諸如：??Azure???、??Amazon EMR???、??GCP???、以及??Cloudera???等不同的云服務(wù)提供商、甚至是??本地環(huán)境??協(xié)作，為企業(yè)提供管理其數(shù)據(jù)管道的靈活性。

來源：http://unraveldata.com/

Unravel利用ML和AI對端到端的數(shù)據(jù)管道進(jìn)行建模，使企業(yè)能夠詳細(xì)地了解數(shù)據(jù)如何流經(jīng)其系統(tǒng)。這使得企業(yè)與組織能夠識別出瓶頸，優(yōu)化其資源分配，并提高其數(shù)據(jù)管道的整體性能。

該平臺的數(shù)據(jù)模型可以幫助企業(yè)探索、關(guān)聯(lián)和分析整個環(huán)境中的數(shù)據(jù)，深入了解應(yīng)用程序、服務(wù)與資源的使用方式，及其有效性，進(jìn)而讓企業(yè)能夠快速地識別到潛在問題，并采取措施予以解決。不僅如此，Unravel還具有自動化的排查問題功能，可以幫助企業(yè)快速地找到問題的原因，為企業(yè)節(jié)省大量開支，并讓他們的數(shù)據(jù)管道更加可靠和高效。

小結(jié)

隨著各個企業(yè)的數(shù)據(jù)量以前所未有的速度持續(xù)增長，它們對于高效的數(shù)據(jù)管理和可觀察性解決方案的需求，也日趨強烈。顯然，僅靠收集和存儲數(shù)據(jù)并不能解決根本問題，企業(yè)真正需要的是通過數(shù)據(jù)獲取的洞察力和價值。而這往往只有在數(shù)據(jù)質(zhì)量高、最新且易于訪問的情況下才能實現(xiàn)。這也正是DataOps的用武之地。它可以提供一套強大的最佳實踐和工具，來改進(jìn)協(xié)作、集成和自動化，使企業(yè)能夠簡化其數(shù)據(jù)管道，降低成本與工作量。希望您能夠從上述介紹的數(shù)據(jù)管理和可觀察性工具中，有選擇地進(jìn)行采用，最大限度地減少與數(shù)據(jù)相關(guān)的費用，進(jìn)而從數(shù)據(jù)中獲取最大價值。

參考

[1]. A. Dyck, R. Penners and H. Lichter, "Towards Definitions for Release Engineering and DevOps," 2015 IEEE/ACM 3rd International Workshop on Release Engineering, Florence, Italy, 2015, pp. 3-3, doi: 10.1109/RELENG.2015.10.

[2] Doyle, Kerry. “DataOps vs. MLOps: Streamline your data operations.” TechTarget, 15 February 2022, https://www.techtarget.com/searchitoperations/tip/DataOps-vs-MLOps-Streamline-your-data-operations. Accessed 12 January 2023.

[3] Danise, Amy, and Bruce Rogers. “Fivetran Innovates Data Integration Tools Market.” Forbes, 11 January 2022, https://www.forbes.com/sites/brucerogers/2022/01/11/fivetran-innovates-data-integration-tools-market/. Accessed 13 January 2023.

[4] Basu, Kirit. “What Is StreamSets? Data Engineering for DataOps.” StreamSets, 5 October 2015, https://streamsets.com/blog/what-is-streamsets/. Accessed 13 January 2023.

[5] Chand, Swatee. “What is Talend | Introduction to Talend ETL Tool.” Edureka, 29 November 2021, https://www.edureka.co/blog/what-is-talend-tool/#WhatIsTalend. Accessed 12 January 2023.

[6] “Delivering real-time data products to accelerate digital business [white paper].” K2View, https://www.k2view.com/hubfs/K2View%20Overview%202022.pdf. Accessed 13 January 2023.

[7] “Complete introduction to Alteryx.” GeeksforGeeks, 3 June 2022, https://www.geeksforgeeks.org/complete-introduction-to-alteryx/. Accessed 13 January 2023.

譯者介紹

陳峻 （Julian Chen），51CTO社區(qū)編輯，具有十多年的IT項目實施經(jīng)驗，善于對內(nèi)外部資源與風(fēng)險實施管控，專注傳播網(wǎng)絡(luò)與信息安全知識與經(jīng)驗。

原文標(biāo)題：??22 Best DataOps Tools To Optimize Your Data Management and Observability In 2023??，作者：Pramit Marattha?