文章來源 | https://dzone.com/articles/data-observability-better-insights-through-reliabl

作者 | Joana Carvalho

借助數(shù)據(jù)可觀測(cè)性，數(shù)據(jù)的完整性得到保障，其全部潛力也得以釋放，從而幫助企業(yè)實(shí)現(xiàn)創(chuàng)新、效率和成功。

如今，數(shù)據(jù)是企業(yè)制定決策、創(chuàng)新和保持競(jìng)爭(zhēng)力的關(guān)鍵因素之一。因此保證數(shù)據(jù)的可靠且值得信賴至關(guān)重要。許多組織正在采用數(shù)據(jù)可觀測(cè)性文化，以在整個(gè)生命周期中保護(hù)其數(shù)據(jù)的準(zhǔn)確性和運(yùn)行狀況。這種文化涉及實(shí)施一系列實(shí)踐，使您和您的組織能夠主動(dòng)識(shí)別和解決問題，防止?jié)撛诘闹袛?，并?yōu)化其數(shù)據(jù)生態(tài)系統(tǒng)。當(dāng)您采用數(shù)據(jù)可觀測(cè)性時(shí)，您可以保護(hù)寶貴的數(shù)據(jù)資產(chǎn)并最大限度地提高其有效性。

了解數(shù)據(jù)可觀測(cè)性

在一個(gè)被無關(guān)信息淹沒的世界里，清晰就是力量。

正如Yuval Noah Harari所說，數(shù)據(jù)是當(dāng)今非常寶貴的資產(chǎn)。因此，企業(yè)必須確保其數(shù)據(jù)準(zhǔn)確可靠。這就是數(shù)據(jù)可觀測(cè)性的用武之地，但數(shù)據(jù)可觀測(cè)性到底是什么？

數(shù)據(jù)可觀測(cè)性是確保數(shù)據(jù)的健康和準(zhǔn)確性的手段，這意味著了解如何收集、存儲(chǔ)、處理和使用數(shù)據(jù)，并能夠?qū)崟r(shí)發(fā)現(xiàn)和修復(fù)問題。通過這種手段，我們可以識(shí)別和解決差異來優(yōu)化系統(tǒng)的有效性和可靠性，同時(shí)確保其符合 GDPR 或 CCPA 等法規(guī)。通過采取這種積極主動(dòng)的措施，我們可以收集到有價(jià)值的見解，防止同類錯(cuò)誤的再次發(fā)生。

為什么數(shù)據(jù)可觀測(cè)性至關(guān)重要？

數(shù)據(jù)可靠性至關(guān)重要。我們生活在一個(gè)數(shù)據(jù)支撐關(guān)鍵決策過程的時(shí)代，因此我們必須確保我們的信息準(zhǔn)確并值得信賴。數(shù)據(jù)可觀測(cè)性使企業(yè)能夠在問題向下游傳播之前主動(dòng)識(shí)別和解決問題，從而防止?jié)撛诘闹袛嗪痛鷥r(jià)高昂的錯(cuò)誤。

實(shí)踐數(shù)據(jù)可觀測(cè)性的優(yōu)點(diǎn)之一是，它將確保您的數(shù)據(jù)可靠且值得信賴。這意味著持續(xù)監(jiān)控您的數(shù)據(jù)，以避免根據(jù)不完整或不正確的信息做出決策。

圖 1：公司使用分析的優(yōu)勢(shì)

數(shù)據(jù)來源：全球企業(yè)現(xiàn)狀分析（2020 年），MicroStrategy

分析您的技術(shù)堆棧還可以幫助您發(fā)現(xiàn)效率低下和資源未充分利用的領(lǐng)域，從而節(jié)省資金。但是，眾所周知，將自動(dòng)化工具整合到數(shù)據(jù)可觀測(cè)性流程中可以使一切更加高效和簡(jiǎn)化。

數(shù)據(jù)可觀測(cè)性是一種保護(hù)數(shù)據(jù)完整性的長(zhǎng)期方法，無論是為了明智的決策、法規(guī)遵從性還是運(yùn)營(yíng)效率。

數(shù)據(jù)可觀測(cè)性的優(yōu)缺點(diǎn)

在根據(jù)數(shù)據(jù)做出決策時(shí)，快速?zèng)Q策至關(guān)重要。但是，如果數(shù)據(jù)不可靠怎么辦？這就是數(shù)據(jù)可觀測(cè)性的用武之地。但是，像任何工具一樣，它也有其優(yōu)點(diǎn)和缺點(diǎn)。

表1

綜上所述，數(shù)據(jù)可觀測(cè)性既有優(yōu)點(diǎn)也有缺點(diǎn)，例如提供可靠的數(shù)據(jù)，檢測(cè)實(shí)時(shí)問題以及增強(qiáng)團(tuán)隊(duì)合作。但是，在尊重?cái)?shù)據(jù)隱私的同時(shí)，它需要大量的時(shí)間、資源和培訓(xùn)。雖然存在這些挑戰(zhàn)，但采用數(shù)據(jù)可觀測(cè)性的組織可以更好地準(zhǔn)備在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的世界及以后取得成功。

培養(yǎng)數(shù)據(jù)優(yōu)先的文化

數(shù)據(jù)在當(dāng)今快節(jié)奏和競(jìng)爭(zhēng)激烈的商業(yè)環(huán)境中發(fā)揮著至關(guān)重要的作用。它支持明智的決策并推動(dòng)創(chuàng)新。為了實(shí)現(xiàn)這一目標(biāo)，必須營(yíng)造一個(gè)重視數(shù)據(jù)的環(huán)境。這種文化應(yīng)優(yōu)先考慮準(zhǔn)確性、可靠性和在整個(gè)數(shù)據(jù)生命周期中的一致監(jiān)控。

為了確保有效的數(shù)據(jù)可觀察性，強(qiáng)有力的領(lǐng)導(dǎo)至關(guān)重要。領(lǐng)導(dǎo)者應(yīng)該自上而下地確定數(shù)據(jù)的優(yōu)先級(jí)，分配必要的資源，并為數(shù)據(jù)驅(qū)動(dòng)的文化設(shè)定清晰的愿景。這種領(lǐng)導(dǎo)力促進(jìn)了團(tuán)隊(duì)協(xié)作和協(xié)調(diào)，鼓勵(lì)他們朝著相同的目標(biāo)共同努力。當(dāng)團(tuán)隊(duì)在支持性工作環(huán)境中進(jìn)行協(xié)作時(shí)，關(guān)鍵數(shù)據(jù)將得到適當(dāng)?shù)墓芾砗屠?，以使組織受益。

技術(shù)團(tuán)隊(duì)和業(yè)務(wù)用戶必須共同努力，創(chuàng)造一種重視數(shù)據(jù)的文化。技術(shù)團(tuán)隊(duì)構(gòu)建數(shù)據(jù)基礎(chǔ)架構(gòu)的基礎(chǔ)，而業(yè)務(wù)用戶則訪問數(shù)據(jù)以做出決策。這些團(tuán)隊(duì)之間的協(xié)作會(huì)促進(jìn)大家提出能推動(dòng)業(yè)務(wù)增長(zhǎng)的寶貴見解。

圖 2：生成、收集、復(fù)制和使用的數(shù)據(jù)

數(shù)據(jù)來源：2023 年數(shù)據(jù)和分析領(lǐng)導(dǎo)力年度高管調(diào)查，NewVantage Partners

利用數(shù)據(jù)可觀測(cè)性，企業(yè)可以做出明智的決策，快速解決問題，并優(yōu)化其數(shù)據(jù)生態(tài)系統(tǒng)，以造福所有利益相關(guān)者。

培養(yǎng)數(shù)據(jù)素養(yǎng)和問責(zé)制

促進(jìn)數(shù)據(jù)素養(yǎng)和問責(zé)制不僅是為了提高效率，也是出于道德考慮。分配數(shù)據(jù)管理的所有權(quán)和責(zé)任，使人們能夠根據(jù)數(shù)據(jù)見解做出明智的決策，加強(qiáng)透明度，并堅(jiān)持責(zé)任和誠(chéng)信原則，確保準(zhǔn)確性、安全性和遵守隱私法規(guī)。

具有數(shù)據(jù)素養(yǎng)的員工隊(duì)伍能為數(shù)據(jù)的使用提供一種保障，他們可以識(shí)別數(shù)據(jù)可能被濫用或出于不道德目的操縱的情況。

圖 3：數(shù)據(jù)責(zé)任和數(shù)據(jù)道德的現(xiàn)狀

數(shù)據(jù)來源：2010-2020 年創(chuàng)建、消費(fèi)和存儲(chǔ)的數(shù)據(jù)量，預(yù)測(cè)到 2025 年、2023 年，統(tǒng)計(jì)

克服變革的阻力

采用可觀測(cè)性實(shí)踐通常是一個(gè)相當(dāng)大的挑戰(zhàn)，面臨團(tuán)隊(duì)成員的抵制并不少見。但是，您應(yīng)該面對(duì)這些問題并清楚地溝通以促進(jìn)平穩(wěn)過渡。您可以通過強(qiáng)調(diào)更好的數(shù)據(jù)質(zhì)量和可觀察性的長(zhǎng)期優(yōu)勢(shì)來鼓勵(lì)采用數(shù)據(jù)驅(qū)動(dòng)的做法，這可能會(huì)激發(fā)您的同事歡迎更改。展示積極成果的真實(shí)案例，例如更高的收入和客戶滿意度，也有助于證明情況。

實(shí)施數(shù)據(jù)可觀測(cè)性技術(shù)

可以通過實(shí)施數(shù)據(jù)可觀測(cè)性來保持?jǐn)?shù)據(jù)管道的可靠性和高質(zhì)量，實(shí)施會(huì)涉及使用不同的技術(shù)和功能，以便監(jiān)視和分析數(shù)據(jù)。這些過程包括數(shù)據(jù)分析、異常檢測(cè)、沿襲和質(zhì)量檢查。這些工具將為您提供數(shù)據(jù)管道的整體視圖，使你能夠監(jiān)視其運(yùn)行狀況并快速識(shí)別可能影響其性能的任何問題或不一致。

成功實(shí)施的基本技巧

為了保證管道的平穩(wěn)運(yùn)行，您必須建立適當(dāng)?shù)南到y(tǒng)來監(jiān)視、排除故障和維護(hù)數(shù)據(jù)。采用有效的策略可以幫助實(shí)現(xiàn)這一目標(biāo)。讓我們回顧一些需要考慮的關(guān)鍵技術(shù)。

連接和集成

為了獲得最佳的數(shù)據(jù)可觀測(cè)性，您的工具必須與現(xiàn)有數(shù)據(jù)堆棧順利集成。此集成不需要對(duì)管道、數(shù)據(jù)倉庫或處理框架進(jìn)行重大修改。此方法允許在不中斷當(dāng)前工作流的情況下輕松部署工具。

靜態(tài)數(shù)據(jù)監(jiān)控

可觀測(cè)性工具應(yīng)該能夠在數(shù)據(jù)處于靜止?fàn)顟B(tài)時(shí)監(jiān)視數(shù)據(jù)，而無需從當(dāng)前存儲(chǔ)位置提取數(shù)據(jù)。此方法可確保監(jiān)視過程不會(huì)影響數(shù)據(jù)管道的速度，并且具有成本效益。此外，這種方法使您的數(shù)據(jù)更安全，因?yàn)樗恍枰崛　?/span>

自動(dòng)異常檢測(cè)

自動(dòng)異常檢測(cè)是數(shù)據(jù)可觀測(cè)性的重要組成部分。通過機(jī)器學(xué)習(xí)模型，識(shí)別數(shù)據(jù)中的模式和行，這樣就可以在發(fā)生意外偏差時(shí)發(fā)送警報(bào)，從而減少誤報(bào)的數(shù)量，并減輕數(shù)據(jù)工程師的工作量，否則他們將不得不管理復(fù)雜的監(jiān)控規(guī)則。

動(dòng)態(tài)資源識(shí)別

數(shù)據(jù)可觀測(cè)性工具可讓您全面了解數(shù)據(jù)生態(tài)系統(tǒng)。這些工具應(yīng)自動(dòng)檢測(cè)重要的資源、依賴項(xiàng)和不變量。它們應(yīng)該足夠靈活，以適應(yīng)數(shù)據(jù)環(huán)境中的變化，讓您無需不斷手動(dòng)更新即可深入了解重要組件，并使數(shù)據(jù)可觀測(cè)性廣泛且易于配置。

全面的上下文信息

為了進(jìn)行有效的故障排除和通信，數(shù)據(jù)可觀測(cè)性需要提供全面的上下文信息。此信息應(yīng)涵蓋數(shù)據(jù)資產(chǎn)、依賴項(xiàng)以及任何數(shù)據(jù)差距或問題背后的原因。擁有完整的上下文將幫助數(shù)據(jù)團(tuán)隊(duì)快速識(shí)別和解決任何可靠性問題。

預(yù)防措施

數(shù)據(jù)可觀測(cè)性實(shí)現(xiàn)監(jiān)視數(shù)據(jù)資產(chǎn)，并提供預(yù)防措施以避免潛在問題。通過深入了解數(shù)據(jù)后，您可以在問題影響數(shù)據(jù)管道之前主動(dòng)解決問題。從長(zhǎng)遠(yuǎn)來看，這種方法可以提高效率并節(jié)省時(shí)間。如果您需要跟蹤數(shù)據(jù)，確保覆蓋所有內(nèi)容可能會(huì)很困難。僅僅使用批處理和流處理框架是不夠的。這就是為什么最好使用專門為此目的設(shè)計(jì)的工具。

您可以使用數(shù)據(jù)平臺(tái)，將其添加到現(xiàn)有數(shù)據(jù)倉庫中，或選擇開源工具。每個(gè)選項(xiàng)都有其自身的優(yōu)缺點(diǎn)：

• 使用數(shù)據(jù)平臺(tái) – 數(shù)據(jù)平臺(tái)旨在將組織的所有數(shù)據(jù)集中管理，并通過API提供對(duì)這些數(shù)據(jù)的訪問權(quán)限，而不是通過平臺(tái)本身提供訪問權(quán)限。使用數(shù)據(jù)平臺(tái)有很多好處，包括速度、輕松訪問組織的所有信息、靈活的部署選項(xiàng)和提高的安全性。此外，許多平臺(tái)都包含用于數(shù)據(jù)可觀測(cè)性的內(nèi)置功能，因此您只需確保數(shù)據(jù)庫運(yùn)行良好，而無需實(shí)施其他解決方案。
• 將數(shù)據(jù)可觀測(cè)性構(gòu)建到現(xiàn)有平臺(tái)中 – 如果您的組織僅使用一個(gè)應(yīng)用程序或工具來管理其數(shù)據(jù)，則此方法可能是最適合您的，前提是它包含可觀測(cè)性功能。

如果您管理著存儲(chǔ)在多個(gè)來源中的復(fù)雜數(shù)據(jù)，那么將數(shù)據(jù)可觀測(cè)性納入到您當(dāng)前的設(shè)置中是必不可少的，從而提高數(shù)據(jù)流程循環(huán)的可靠性。

平衡自動(dòng)化和人工監(jiān)督

圖 4：平衡自動(dòng)化和人工監(jiān)督

雖然自動(dòng)化是數(shù)據(jù)可觀測(cè)性的關(guān)鍵組成部分，但在自動(dòng)化和人工監(jiān)督之間取得平衡非常重要。雖然自動(dòng)化可以幫助完成日常任務(wù)，但人類的專業(yè)知識(shí)對(duì)于關(guān)鍵決策和確保數(shù)據(jù)質(zhì)量是必要的。實(shí)施數(shù)據(jù)可觀測(cè)性技術(shù)涉及無縫集成、自動(dòng)異常檢測(cè)、動(dòng)態(tài)資源識(shí)別和全面的上下文信息。平衡自動(dòng)化和人工監(jiān)督對(duì)于高效和有效的數(shù)據(jù)可觀測(cè)性非常重要，這樣才能產(chǎn)生更可靠的數(shù)據(jù)管道和改進(jìn)的決策能力。

結(jié)論

總之，數(shù)據(jù)可觀測(cè)性通過確保數(shù)據(jù)的準(zhǔn)確性、可靠性和可信度，使組織能夠在數(shù)據(jù)推動(dòng)決策的世界中蓬勃發(fā)展。我們可以從培養(yǎng)一種重視數(shù)據(jù)完整性、技術(shù)和業(yè)務(wù)團(tuán)隊(duì)之間的協(xié)作以及培養(yǎng)數(shù)據(jù)素養(yǎng)和問責(zé)制的承諾的文化開始。還需要一個(gè)強(qiáng)大的數(shù)據(jù)可觀測(cè)性框架來有效監(jiān)視數(shù)據(jù)管道。這包括一組有助于及早發(fā)現(xiàn)問題并優(yōu)化數(shù)據(jù)生態(tài)系統(tǒng)的技術(shù)。

但自動(dòng)化流程還不夠，我們必須在對(duì)自動(dòng)化的依賴與人為監(jiān)督之間取得平衡，認(rèn)識(shí)到雖然自動(dòng)化簡(jiǎn)化了日常任務(wù)，但人類的專業(yè)知識(shí)對(duì)于關(guān)鍵決策和保持?jǐn)?shù)據(jù)質(zhì)量仍然是無價(jià)的。借助數(shù)據(jù)可觀測(cè)性，數(shù)據(jù)完整性得到保障，其全部潛力得以釋放，從而實(shí)現(xiàn)創(chuàng)新、效率和成功。