譯者 | 布加迪

審校 | 重樓

各行各業(yè)的公司越來(lái)越關(guān)注收集數(shù)據(jù)，并尋找創(chuàng)新的方法以獲得寶貴的見解。企業(yè)組織愿意投入大量的時(shí)間和資金來(lái)實(shí)現(xiàn)這一目標(biāo)。

據(jù)IDC公司聲稱，數(shù)據(jù)和分析軟件以及云服務(wù)市場(chǎng)在2021年達(dá)到了900億美元，隨著企業(yè)繼續(xù)投入于人工智能和機(jī)器學(xué)習(xí)以及現(xiàn)代數(shù)據(jù)項(xiàng)目，預(yù)計(jì)到2026年將增加一倍以上。

然而，盡管投入了大量資金，數(shù)據(jù)項(xiàng)目獲得的結(jié)果卻常常不盡人意。最近，麥肯錫對(duì)前沿的主要分析項(xiàng)目進(jìn)行了一項(xiàng)調(diào)查，結(jié)果發(fā)現(xiàn)企業(yè)將80%的時(shí)間用于數(shù)據(jù)準(zhǔn)備之類的重復(fù)性任務(wù)，而這類任務(wù)的增值效果非常有限。此外，麥肯錫發(fā)現(xiàn)只有10%的公司認(rèn)為已經(jīng)控制了這個(gè)問題。

那么，為什么盡管加大了投入和關(guān)注力度，數(shù)據(jù)項(xiàng)目的失敗率還是如此之高？

許多變化因素會(huì)影響項(xiàng)目的成功。常被提到的因素包括項(xiàng)目復(fù)雜性和人才儲(chǔ)備有限。數(shù)據(jù)科學(xué)家、云架構(gòu)師和數(shù)據(jù)工程師在全球范圍內(nèi)供不應(yīng)求。企業(yè)也認(rèn)識(shí)到，許多數(shù)據(jù)項(xiàng)目之所以失敗，是由于很難在生產(chǎn)環(huán)境中讓數(shù)據(jù)項(xiàng)目大規(guī)模運(yùn)作起來(lái)。

這導(dǎo)致DataOps這種新框架應(yīng)運(yùn)而生，以克服常見的挑戰(zhàn)。DataOps將敏捷工程和DevOps最佳實(shí)踐運(yùn)用于數(shù)據(jù)管理領(lǐng)域，幫助企業(yè)組織迅速將新的見解轉(zhuǎn)化為完全可操作的生產(chǎn)交付成果，從而從數(shù)據(jù)中釋放業(yè)務(wù)價(jià)值。DataOps工具和方法可以幫助你充分利用數(shù)據(jù)投入。但是如果你想確保DataOps取得成功，必須能夠?qū)?shù)據(jù)進(jìn)行操作。

數(shù)據(jù)編排方面的挑戰(zhàn)

大多數(shù)數(shù)據(jù)管道工作流非常復(fù)雜，牽涉許多不同的應(yīng)用程序、數(shù)據(jù)源和基礎(chǔ)設(shè)施技術(shù)，需要協(xié)同工作才能成功。雖然目標(biāo)是在生產(chǎn)環(huán)境中自動(dòng)化處理這些流程，但現(xiàn)實(shí)情況是，如果沒有強(qiáng)大的工作流編排平臺(tái)，在企業(yè)環(huán)境下實(shí)現(xiàn)這些項(xiàng)目可能會(huì)非常昂貴，常常需要花費(fèi)大量的時(shí)間處理手動(dòng)工作。

數(shù)據(jù)工作流編排項(xiàng)目有四個(gè)關(guān)鍵階段：

攝取包括從傳統(tǒng)數(shù)據(jù)源收集數(shù)據(jù)，比如企業(yè)資源規(guī)劃（ERP）和客戶資源管理（CRM）解決方案、財(cái)務(wù)系統(tǒng)及其他許多記錄系統(tǒng)，并從現(xiàn)代數(shù)據(jù)源收集數(shù)據(jù)，比如眾多設(shè)備、物聯(lián)網(wǎng)傳感器和社交媒體。

存儲(chǔ)增加了復(fù)雜性，這歸因于作為數(shù)據(jù)管道一部分的許多不同工具和技術(shù)。存儲(chǔ)數(shù)據(jù)的位置和方式在很大程度上取決于持久性、數(shù)據(jù)集的相對(duì)價(jià)值、分析模型的刷新率以及將數(shù)據(jù)轉(zhuǎn)移到處理系統(tǒng)的速度。

處理也面臨許多同樣的挑戰(zhàn)。需要多少純粹的處理？它是恒定的還是變量？它是計(jì)劃的、事件驅(qū)動(dòng)的還是臨時(shí)的？如何使成本最小化？這樣的例子不勝枚舉。

提供見解需要將數(shù)據(jù)輸出轉(zhuǎn)移到分析系統(tǒng)。這一層也很復(fù)雜，越來(lái)越多的工具成了數(shù)據(jù)管道中的最后一英里。

隨著新的數(shù)據(jù)和云技術(shù)不斷引入，公司不斷重新評(píng)估其技術(shù)堆棧。這種不斷的創(chuàng)新帶來(lái)了壓力和變化，因?yàn)楣拘枰p松地采用新技術(shù)，并在生產(chǎn)環(huán)境中擴(kuò)展規(guī)模。最終，如果新的數(shù)據(jù)分析服務(wù)沒有在生產(chǎn)環(huán)境中大規(guī)模運(yùn)用，公司無(wú)法獲得寶貴的見解或?qū)崿F(xiàn)價(jià)值。

實(shí)現(xiàn)規(guī)?；a(chǎn)

成功地在生產(chǎn)環(huán)境中大規(guī)模運(yùn)行關(guān)鍵業(yè)務(wù)工作流不是偶然出現(xiàn)的。合適的工作流編排平臺(tái)可以幫助你簡(jiǎn)化數(shù)據(jù)管道，并獲得所需的寶貴見解。

考慮到這一點(diǎn)，以下是在工作流編排平臺(tái)中需要物色的八項(xiàng)基本功能：

1. 支持異構(gòu)工作流：公司在迅速向云遷移；在可預(yù)見的未來(lái)，工作流將橫跨高度復(fù)雜的混合環(huán)境。對(duì)于許多公司來(lái)說(shuō)，這將包括支持跨數(shù)據(jù)中心和多個(gè)私有云及/或公共云的大型機(jī)和分布式系統(tǒng)。如果你的編排平臺(tái)無(wú)法處理應(yīng)用程序和底層基礎(chǔ)設(shè)施的多樣性，你將擁有一個(gè)高度分散的自動(dòng)化策略，許多自動(dòng)化孤島需要繁瑣的自定義集成來(lái)處理跨平臺(tái)的工作流依賴關(guān)系。

2. 服務(wù)級(jí)別協(xié)議（SLA）管理：從預(yù)測(cè)風(fēng)險(xiǎn)的機(jī)器學(xué)習(xí)模型到財(cái)務(wù)結(jié)算和支付結(jié)算，業(yè)務(wù)工作流都有相應(yīng)的SLA，這些SLA有時(shí)由監(jiān)管機(jī)構(gòu)設(shè)定的指導(dǎo)方針加以管理。你的編排平臺(tái)必須能夠理解并通知你復(fù)雜工作流中的任務(wù)失敗和延遲，它需要能夠?qū)栴}與更廣泛的業(yè)務(wù)影響結(jié)合起來(lái)。

3. 錯(cuò)誤處理和通知：在生產(chǎn)環(huán)境中運(yùn)行時(shí)，即使設(shè)計(jì)再好的工作流也會(huì)出現(xiàn)失敗和延遲。通知相應(yīng)的團(tuán)隊(duì)至關(guān)重要，這樣可以避免僅僅為了搞清楚誰(shuí)需要解決問題而進(jìn)行長(zhǎng)時(shí)間的作戰(zhàn)室討論。你的編排平臺(tái)必須在合適的時(shí)間自動(dòng)向合適的團(tuán)隊(duì)發(fā)送通知。

4. 自我修復(fù)和補(bǔ)救：當(dāng)團(tuán)隊(duì)響應(yīng)業(yè)務(wù)工作流中的作業(yè)失敗時(shí)，他們會(huì)采取糾正措施，比如重新啟動(dòng)作業(yè)、刪除文件或者清空緩存或臨時(shí)表。你的編排平臺(tái)應(yīng)該使自動(dòng)化工程師能夠配置這類操作，以便下次出現(xiàn)同樣的問題時(shí)自動(dòng)執(zhí)行。

5. 端到端可見性：工作流跨混合技術(shù)堆棧執(zhí)行相互連接的業(yè)務(wù)流程。你的編排平臺(tái)應(yīng)該能夠清楚地顯示工作流的邏輯順序。這對(duì)于幫助你理解應(yīng)用程序和它們支持的業(yè)務(wù)流程之間的關(guān)系極為重要。這對(duì)于變更管理也很重要。進(jìn)行變更時(shí)，需要查看流程的上下游發(fā)生了什么。

6. 針對(duì)多個(gè)用戶角色的自助服務(wù)用戶體驗(yàn)：工作流編排是一項(xiàng)集體工作，涉及許多利益相關(guān)者，比如數(shù)據(jù)團(tuán)隊(duì)、開發(fā)人員、運(yùn)營(yíng)和業(yè)務(wù)流程所有者等。對(duì)于如何與編排工具交互，每個(gè)團(tuán)隊(duì)都有不同的用例和偏好。這意味著你的編排平臺(tái)必須為每個(gè)團(tuán)隊(duì)提供合適的用戶界面和用戶體驗(yàn)，以便他們能夠得益于技術(shù)。

7. 生產(chǎn)標(biāo)準(zhǔn)：在生產(chǎn)環(huán)境中運(yùn)行工作流需要遵守標(biāo)準(zhǔn)，這意味著使用正確的命名約定和錯(cuò)誤處理模式等。你的編排平臺(tái)應(yīng)該有一種機(jī)制，提供一種非常簡(jiǎn)單的方式來(lái)定義這樣的標(biāo)準(zhǔn)，并在用戶構(gòu)建工作流時(shí)引導(dǎo)他們使用適當(dāng)?shù)臉?biāo)準(zhǔn)。

8. 支持DevOps實(shí)踐：隨著公司企業(yè)采用諸多DevOps實(shí)踐，比如持續(xù)集成和持續(xù)部署（CI/CD）管道、工作流開發(fā)、修改，甚至工作流的基礎(chǔ)設(shè)施部署，你的編排平臺(tái)應(yīng)該能夠適應(yīng)現(xiàn)代發(fā)布實(shí)踐。

組織對(duì)數(shù)據(jù)的需求在上升，絲毫沒有減弱的跡象，這意味著能夠存儲(chǔ)、處理和操作數(shù)據(jù)對(duì)任何組織的成功都至關(guān)重要。與強(qiáng)大的編排功能相結(jié)合的DataOps實(shí)踐可以幫助企業(yè)編排數(shù)據(jù)管道、簡(jiǎn)化數(shù)據(jù)交付過程，并改進(jìn)業(yè)務(wù)結(jié)果。

原文標(biāo)題：Unlock Your Data Initiatives with DataOps，作者：Guy Eden