???

作者丨徐杰承

【51CTO.com原創(chuàng)稿件】DevOps 一直以來都是轉(zhuǎn)變 IT 工作方式的主要催化劑，它能夠使項目變得更加敏捷，使企業(yè)能夠更快的對客戶需求作出響應(yīng)。正如企業(yè)需要 DevOps 幫助研發(fā)團隊在保持高質(zhì)量情況下提高交付效率一樣，企業(yè)同樣需要依賴這些功能來實現(xiàn)對于數(shù)據(jù)工程的分析與開發(fā)，而應(yīng)對這一挑戰(zhàn)的方案便是 DataOps。

什么是 DataOps?

DataOps 概念由 Lenny Liebmann 于 2014 年首次提出，DataOps 的核心是一種面向過程的方法，用于提高數(shù)據(jù)分析團隊與數(shù)據(jù)工程團隊所使用的數(shù)據(jù)質(zhì)量并縮短數(shù)據(jù)分析的時間周期。DataOps 統(tǒng)一了數(shù)據(jù)分析團隊和數(shù)據(jù)工程團隊，使企業(yè)的數(shù)據(jù)團隊能夠更快速、更準(zhǔn)確地提供分析解決方案及數(shù)據(jù)產(chǎn)品。

對企業(yè)而言，數(shù)據(jù)的價值從未像今天這般重要，這也就是為什么一些企業(yè)愿意采取不同的方式來獲取所需數(shù)據(jù)以及可用于數(shù)據(jù)驅(qū)動的解決方案。而 DataOps 便是可應(yīng)用于這些方面的最佳實踐，且如今，DataOps 已逐漸發(fā)展成為了一種獨特的數(shù)據(jù)加工、配置與分析方法。

為什么 DataOps 對數(shù)據(jù)驅(qū)動的企業(yè)很重要?

DataOps 對于數(shù)據(jù)驅(qū)動的企業(yè)而言至關(guān)重要，它有助于提高數(shù)據(jù)分析的質(zhì)量和速度，提升數(shù)據(jù)項目的“時間的價值”。DataOps 能夠優(yōu)化從數(shù)據(jù)采集到分析的整個流程，而數(shù)據(jù)分析質(zhì)量和速度的提高可以帶來以下幾個好處：

• 增強預(yù)測能力
• 提高生產(chǎn)效率
• 降低資源消耗

DataOps 可以幫助企業(yè)提高總體的數(shù)據(jù)質(zhì)量，并能夠?qū)?shù)據(jù)處理流程中的各個階段進行集成。數(shù)據(jù)分析師與數(shù)據(jù)工程師通過協(xié)同工作能夠更早的發(fā)現(xiàn)和解決數(shù)據(jù)問題，以避免數(shù)據(jù)問題對企業(yè)項目產(chǎn)生影響。不僅如此，DataOps 還關(guān)注數(shù)據(jù)的交付流程，其目標(biāo)是通過不斷改善和更新數(shù)據(jù)模型、可視化效果、數(shù)據(jù)報告與數(shù)據(jù)報表，來滿足企業(yè)的各類訴求。

在企業(yè)的發(fā)展與成長過程中，需要獲取大量的數(shù)據(jù)以支持企業(yè)不斷做出新的決策，而 DataOps 的另一個優(yōu)勢則是其所形成的數(shù)據(jù)質(zhì)量與解決方案會隨著企業(yè)數(shù)據(jù)量的增大而具有更高的可靠性。

DataOps 與 DevOps

雖然兩者都是基于敏捷結(jié)構(gòu)所設(shè)計的用來加速工作周期的方法，但是 DevOps 將重點放在了產(chǎn)品開發(fā)上。相反，DataOps 側(cè)更為關(guān)注數(shù)據(jù)的管理和交付速度。DevOps 往往以應(yīng)用層為中心，而 DataOps 則包含了從數(shù)據(jù)獲取到用戶消費的整個數(shù)據(jù)鏈。

此外，DevOps 強調(diào)開發(fā)團隊和運營團隊之間的協(xié)作，通常由企業(yè)中的開發(fā)團隊單獨使用。而 DataOps 則強調(diào)了所有數(shù)據(jù)使用者之間的關(guān)聯(lián)，使得數(shù)據(jù)在被使用時能夠得到更為全面的管理，這對于確保產(chǎn)品開發(fā)過程中的數(shù)據(jù)完整性至關(guān)重要。

因此，雖然 DevOps 為 DataOps 奠定了基礎(chǔ)，但 DataOps 并非是用于數(shù)據(jù)層面的 DevOps。

DataOps 與 DevOps 的相似之處

DataOps 的許多原則都是從 DevOps 中類似的原則里衍生出來的。企業(yè)需要 DevOps 幫助研發(fā)團隊在保持高質(zhì)量情況下提高交付效率。而在執(zhí)行與數(shù)據(jù)相關(guān)的任務(wù)時，企業(yè)則需要依靠 DataOps 進行敏捷的數(shù)據(jù)分析與數(shù)據(jù)處理。

由于 DataOps 與 DevOps 使用相同的工具鏈，因此對于已經(jīng)具有 DevOps 架構(gòu)的企業(yè)來說，使用 DataOps 將會非常簡單。以下是 DataOps 從 DevOps 中獲取的一些主要概念：

• 快速增長
• 重用與自動化
• 專注于提供市場價值
• 自動化測試與代碼升級
• 持續(xù)集成 / 持續(xù)交付 (CI/CD)

DevOps 和 DataOps 的差異

盡管 DevOps 和 DataOps 在基礎(chǔ)上有一些相似之處，但兩者之間其實還是存在著許多顯著區(qū)別的。

流程：DataOps 和 DevOps 的生命周期具有一定的交互特性。但 DataOps 的不同之處在于，它由數(shù)據(jù)管道和分析開發(fā)過程組成，其二者是實時交互的，而 DevOps 則由軟件的開發(fā)與交付組成。

編排：應(yīng)用程序源代碼不需要在 DevOps 方法中進行大量編排。但對 DataOps 來說，數(shù)據(jù)管道和分析開發(fā)的編排都是必須的。盡管 DataOps 中經(jīng)常發(fā)生數(shù)據(jù)管道的編排，但在應(yīng)用程序開發(fā)和 DevOps 過程中通常不會出現(xiàn)這樣的管道協(xié)調(diào)。

數(shù)據(jù)管理：在大多數(shù) DevOps 中，測試數(shù)據(jù)管理與權(quán)限變更并沒有優(yōu)先權(quán)，但在 DataOps 中這些操作將擁有更高的優(yōu)先級別。

受眾：DataOps 和 DevOps 的使用者有著不同的技術(shù)能力。DevOps 是為軟件開發(fā)工程師量身定制的，而 DataOps 更多的是面向數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師，他們在工作中更多的依靠模型與可視化工具的輔助。

工具：DataOps 是從 DevOps 中衍生出來的，雖然在 DevOps 中的測試主要是自動化的，但是 DataOps 并不具備這樣的優(yōu)勢。現(xiàn)階段支持 DataOps 的自動化測試工具并不十分完善，大多數(shù)用戶仍需要自行修改自動化測試工具或重新構(gòu)建自己所需的自動化測試工具。

DataSecOps 及其重要性

DataSecOps 是一種敏捷、整體、安全的嵌入式方法，用于協(xié)調(diào)不斷變化的用戶數(shù)據(jù)，核心是在 DataOps 中內(nèi)嵌數(shù)據(jù)安全屬性，這樣的結(jié)合對于那些通過數(shù)據(jù)驅(qū)動的企業(yè)來說是至關(guān)重要的。這使得企業(yè)在快速獲取數(shù)據(jù)價值的同時能夠保持自身數(shù)據(jù)的私密性、安全性并對數(shù)據(jù)進行有效管理。

DataSecOps 與 DataOps 的相似之處在于，它們都專注于通過數(shù)據(jù)分析以改善安全問題，但它們在安全性標(biāo)準(zhǔn)、安全思想和執(zhí)行過程上的側(cè)重點不同。隨著互聯(lián)網(wǎng)的不斷發(fā)展，數(shù)據(jù)活動也在不斷發(fā)生改變，而 DataSecOps 能夠幫助企業(yè)始終保持對數(shù)據(jù)的掌控權(quán)。DataSecOps 是一種動態(tài)的、全方位的思維方式，可以將數(shù)據(jù)解決方案與快速變化的數(shù)據(jù)集成起來，并支持?jǐn)?shù)據(jù)治理，保障企業(yè)的數(shù)據(jù)隱私與數(shù)據(jù)安全。

DataSecOps 強調(diào)安全與 DataOps 的融合，這種方法的目的是確保數(shù)據(jù)項目不會給企業(yè)帶來額外的安全風(fēng)險。這需要企業(yè)在數(shù)據(jù)操作中的每一個階段都進行安全性考量，而不是在項目完成后再去思考安全問題，這樣能夠確保所有的數(shù)據(jù)項目和數(shù)據(jù)操作都是安全可查的。

很明顯，DataSecOps 是 DataOps 的一個子集，將“Sec”組件集成到 DataOps 能夠幫助于企業(yè)在數(shù)據(jù)使用的整個生命周期中避免數(shù)據(jù)安全問題。在如今的互聯(lián)網(wǎng)背景下，保障數(shù)據(jù)的安全性和完整性是每家企業(yè)的發(fā)展過程中都會面臨的嚴(yán)峻挑戰(zhàn)。

結(jié)語

DataOps 和 DevOps 都是能夠給企業(yè)帶來幫助的重要方法，但它們之間有著很大的不同，DataOps 并非“用于數(shù)據(jù)的 DevOps”。DataOps 是一種敏捷方法，對于擁有著眾多數(shù)據(jù)使用者、數(shù)據(jù)生產(chǎn)者和其他數(shù)據(jù)涉眾的以數(shù)據(jù)為中心的企業(yè)至關(guān)重要。

原文鏈接：https://dzone.com/articles/is-dataops-devops-for-data

會議推薦

隨著數(shù)字經(jīng)濟在全球經(jīng)濟中占比的不斷提升，數(shù)字化帶來了新的機遇和挑戰(zhàn)。數(shù)據(jù)、算力、算法推動數(shù)字世界持續(xù)進化，隨著產(chǎn)業(yè)數(shù)字化、數(shù)字產(chǎn)業(yè)化的深入，數(shù)據(jù)驅(qū)動逐漸成為企業(yè)經(jīng)營與創(chuàng)新的源動力、經(jīng)濟發(fā)展的新常態(tài)。

2022 年 4 月 9 日至 10 日的 WOT 全球技術(shù)創(chuàng)新大會“數(shù)據(jù)驅(qū)動新常態(tài)”專題中，多為來自業(yè)界優(yōu)秀企業(yè)的技術(shù)專家，將圍繞技術(shù)演進、架構(gòu)變革、應(yīng)用探索、治理優(yōu)化等方向，與大家分享大數(shù)據(jù)生態(tài)的前沿趨勢與最佳實踐，旨在為廣大聽眾帶來一些新的思考與借鑒。感興趣的同學(xué)可以掃下圖二維碼或點擊閱讀原文查看活動詳情。

目前大會 6 折購票中，現(xiàn)在購票立減 2320 元，團購還有更多優(yōu)惠!有任何問題歡迎聯(lián)系票務(wù)小姐姐秋秋：15600226809(電話同微信)

???

 【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】