執(zhí)行良好的大數(shù)據(jù)戰(zhàn)略可以簡化運(yùn)營成本、縮短上市時(shí)間并支持新產(chǎn)品。但是，在將董事會討論的大數(shù)據(jù)舉措付諸實(shí)踐的過程中，企業(yè)面臨著各種大數(shù)據(jù)挑戰(zhàn)。

IT和數(shù)據(jù)專業(yè)人員需要構(gòu)建物理基礎(chǔ)架構(gòu)，以便在不同來源和多個(gè)應(yīng)用程序之間移動數(shù)據(jù)。他們還需要滿足性能、可擴(kuò)展性、及時(shí)性、安全性和數(shù)據(jù)治理的要求。此外，企業(yè)必須預(yù)先考慮部署成本，因?yàn)樗鼈兛赡軙杆偈Э亍?/p>

也許最重要的是，企業(yè)首先需要弄清楚大數(shù)據(jù)如何以及為什么對他們的業(yè)務(wù)很重要。

ERP軟件提供商VAI的商業(yè)智能經(jīng)理Bill Szybillo說：“大數(shù)據(jù)項(xiàng)目面臨的最大挑戰(zhàn)之一是，如何成功應(yīng)用所獲得的見解?！?/p>

他解釋說，很多應(yīng)用程序和系統(tǒng)都在捕獲數(shù)據(jù)，但企業(yè)往往難以理解什么是有價(jià)值的數(shù)據(jù)，而且無法應(yīng)用這些見解-以一種有影響力的方式。

從更廣泛的角度來看，下面的建議可幫助企業(yè)了解這10個(gè)大數(shù)據(jù)挑戰(zhàn)以及如何解決這些挑戰(zhàn)。

1. 管理大量數(shù)據(jù)

就其定義而言，大數(shù)據(jù)通常涉及存儲在不同系統(tǒng)和平臺中的大量數(shù)據(jù)。Szybillo表示，企業(yè)面臨的第一個(gè)挑戰(zhàn)是將他們從CRM和ERP系統(tǒng)以及其他數(shù)據(jù)源中提取的超大型數(shù)據(jù)集整合到統(tǒng)一且可管理的大數(shù)據(jù)架構(gòu)中。

他說，當(dāng)你對正在收集的數(shù)據(jù)有所了解，通過進(jìn)行小的調(diào)整就可以更容易地縮小見解。要實(shí)現(xiàn)這一點(diǎn)，請構(gòu)建允許增量更改的基礎(chǔ)架構(gòu)。嘗試做較大改變可能最終會產(chǎn)生新的問題。

2.發(fā)現(xiàn)和修復(fù)數(shù)據(jù)質(zhì)量問題

當(dāng)數(shù)據(jù)質(zhì)量問題蔓延到大數(shù)據(jù)系統(tǒng)時(shí)，基于大數(shù)據(jù)構(gòu)建的分析算法和人工智能應(yīng)用程序可能會產(chǎn)生糟糕的結(jié)果。隨著數(shù)據(jù)管理和分析團(tuán)隊(duì)試圖引入更多不同類型的數(shù)據(jù)，這些問題可能會變得更加嚴(yán)重和難以審計(jì)。Bundler是一個(gè)在線市場，用于尋找?guī)椭藗冑徺I產(chǎn)品和安排發(fā)貨的網(wǎng)絡(luò)購物助手，當(dāng)它擴(kuò)展到500,000名客戶時(shí)，就經(jīng)歷了這樣的問題。該公司的關(guān)鍵增長動力是利用大數(shù)據(jù)提供高度個(gè)性化的體驗(yàn)、識別追加銷售機(jī)會，并監(jiān)控新趨勢。有效的數(shù)據(jù)質(zhì)量管理是關(guān)鍵問題。

Bundler首席執(zhí)行官Pavel Kovalenko說：“你需要不斷監(jiān)控和修復(fù)任何數(shù)據(jù)質(zhì)量問題?！彼f，重復(fù)條目和拼寫錯(cuò)誤很常見，尤其是當(dāng)數(shù)據(jù)來自不同來源時(shí)。為了確保他們所收集數(shù)據(jù)的質(zhì)量，Kovalenko的團(tuán)隊(duì)創(chuàng)建了一個(gè)智能數(shù)據(jù)識別器，該識別器將重復(fù)數(shù)據(jù)與較小的數(shù)據(jù)差異進(jìn)行匹配，并報(bào)告任何可能的拼寫錯(cuò)誤。對于通過分析數(shù)據(jù)生成的業(yè)務(wù)見解，這可幫組提高準(zhǔn)確性。

3. 應(yīng)對數(shù)據(jù)集成和準(zhǔn)備復(fù)雜性

開源分析平臺供應(yīng)商Knime首席數(shù)據(jù)科學(xué)家Rosaria Silipo稱，大數(shù)據(jù)平臺解決了收集和存儲大量不同類型數(shù)據(jù)的問題，并可快速檢索分析使用所需的數(shù)據(jù)。但數(shù)據(jù)收集過程仍然非常具有挑戰(zhàn)性。

企業(yè)收集的數(shù)據(jù)存儲的完整性取決于它們的不斷更新。這需要保持對各種數(shù)據(jù)源的訪問，并擁有專門的大數(shù)據(jù)集成策略。

有些企業(yè)使用數(shù)據(jù)湖作為包羅萬象的存儲庫，以存儲不同來源收集的大數(shù)據(jù)集，而沒有考慮如何集成不同的數(shù)據(jù)。例如，各種業(yè)務(wù)領(lǐng)域會產(chǎn)生對聯(lián)合分析很重要的數(shù)據(jù)，但這些數(shù)據(jù)通常帶有不同的底層語義，企業(yè)必須消除歧義。Silipo告誡不要對項(xiàng)目進(jìn)行臨時(shí)集成，這可能涉及大量返工。為了獲得大數(shù)據(jù)項(xiàng)目的最佳投資回報(bào)率，通常最好制定戰(zhàn)略方法以支持?jǐn)?shù)據(jù)集成。

4. 高效且經(jīng)濟(jì)地?cái)U(kuò)展大數(shù)據(jù)系統(tǒng)

如果企業(yè)沒有關(guān)于如何使用大數(shù)據(jù)的策略，他們可能會浪費(fèi)大量資金來存儲大數(shù)據(jù)。技術(shù)和服務(wù)提供商ZL Tech的企業(yè)解決方案負(fù)責(zé)人George Kobakhidze表示，企業(yè)需要了解大數(shù)據(jù)分析始于數(shù)據(jù)攝取階段。管理企業(yè)數(shù)據(jù)存儲庫還需要一致的保留策略，以循環(huán)淘汰舊信息，尤其是現(xiàn)在，因?yàn)镃OVID-19疫情前的數(shù)據(jù)在當(dāng)今市場上通常不再準(zhǔn)確。

云管理平臺供應(yīng)商CloudCheckr的產(chǎn)品副總裁Travis Rehl說，因此，數(shù)據(jù)管理團(tuán)隊(duì)?wèi)?yīng)該在部署大數(shù)據(jù)系統(tǒng)之前，規(guī)劃好數(shù)據(jù)的類型、模式和用途。但這說起來容易做起來難。

他表示：“通常，你從一個(gè)數(shù)據(jù)模型開始并進(jìn)行擴(kuò)展，但很快意識到該模型不適合你的新數(shù)據(jù)點(diǎn)，并且你突然需要解決技術(shù)債務(wù)?！?/p>

具有適當(dāng)數(shù)據(jù)結(jié)構(gòu)的通用數(shù)據(jù)湖可以更輕松地有效且經(jīng)濟(jì)地重用數(shù)據(jù)。例如，Parquet文件通常比數(shù)據(jù)湖中的CSV轉(zhuǎn)儲提供更好的性能成本比。

5. 評估和選擇大數(shù)據(jù)技術(shù)

數(shù)據(jù)管理團(tuán)隊(duì)有多種大數(shù)據(jù)技術(shù)可供選擇，而且各種工具的功能往往重疊。

NoSQL數(shù)據(jù)庫公司Aerospike的首席戰(zhàn)略官Lenley Hensarling建議團(tuán)隊(duì)首先考慮來自流和批處理源的數(shù)據(jù)的當(dāng)前和未來需求，例如大型機(jī)、云應(yīng)用程序和第三方數(shù)據(jù)服務(wù)。例如，需要考慮的企業(yè)級流媒體平臺包括Apache Kafka、Apache Pulsar、AWS Kinesis和Google Pub/Sub，所有這些平臺都提供云計(jì)算、本地和混合云系統(tǒng)之間的無縫數(shù)據(jù)移動。

接下來，團(tuán)隊(duì)?wèi)?yīng)該開始評估復(fù)雜數(shù)據(jù)準(zhǔn)備能力，為人工智能、機(jī)器學(xué)習(xí)和其他高級分析系統(tǒng)提供數(shù)據(jù)。規(guī)劃數(shù)據(jù)的處理位置也很重要。對于存在延遲問題的情況，團(tuán)隊(duì)需要考慮如何在邊緣服務(wù)器上運(yùn)行分析和AI模型，以及如何輕松更新模型。企業(yè)需要平衡這些功能與部署和管理在本地、云端或邊緣運(yùn)行的設(shè)備和應(yīng)用程序的成本。

6. 生成業(yè)務(wù)見解

數(shù)據(jù)團(tuán)隊(duì)傾向于關(guān)注大數(shù)據(jù)技術(shù)，而不是結(jié)果。在很多情況下，Silipo發(fā)現(xiàn)人們很少關(guān)注如何處理數(shù)據(jù)。

從企業(yè)中的大數(shù)據(jù)應(yīng)用程序中生成有價(jià)值的業(yè)務(wù)見解需要考慮各種場景，例如創(chuàng)建基于KPI的報(bào)告、識別有用的預(yù)測或提出不同類型的建議。

這將需要具有機(jī)器學(xué)習(xí)專業(yè)知識的業(yè)務(wù)分析專業(yè)人士、統(tǒng)計(jì)學(xué)家和數(shù)據(jù)科學(xué)家的共同努力。她說，這些團(tuán)隊(duì)與大數(shù)據(jù)工程團(tuán)隊(duì)合作可以幫助提高構(gòu)建大數(shù)據(jù)環(huán)境的投資回報(bào)率。

7. 雇傭和留住具有大數(shù)據(jù)技能的員工

軟件開發(fā)和IT外包公司SenecaGlobal戰(zhàn)略高級副總裁Mike O’Malley表示：“大數(shù)據(jù)軟件開發(fā)面臨的最大挑戰(zhàn)之一是尋找和留住具有大數(shù)據(jù)技能的員工?！?/p>

這種特殊的大數(shù)據(jù)趨勢不太可能很快消失。S&P Global的一份報(bào)告發(fā)現(xiàn)，云架構(gòu)師和數(shù)據(jù)科學(xué)家是2021年需求最大的職位之一。填補(bǔ)這些職位的策略是與已經(jīng)建立人才庫的軟件開發(fā)服務(wù)公司合作。

提供免費(fèi)IT培訓(xùn)的慈善機(jī)構(gòu)ComIT的創(chuàng)始人兼所有者Pablo Listingart說，另一個(gè)策略是與HR合作，找出并解決現(xiàn)有大數(shù)據(jù)人才的任何缺口。

他表示：“很多大數(shù)據(jù)計(jì)劃之所以失敗，是因?yàn)閺捻?xiàng)目開始到結(jié)束的錯(cuò)誤預(yù)期和錯(cuò)誤估計(jì)?！焙线m的團(tuán)隊(duì)將能夠估計(jì)風(fēng)險(xiǎn)、評估嚴(yán)重性并解決各種大數(shù)據(jù)挑戰(zhàn)。

建立吸引和留住合適人才的文化也很重要?？蛻魯?shù)據(jù)平臺供應(yīng)商Meiro的首席技術(shù)官Vojtech Kurka說，他一開始的設(shè)想是，他可以在正確的位置使用一些SQL和Python腳本來解決所有數(shù)據(jù)問題。隨著時(shí)間的推移，他意識到，他可以取得更大的進(jìn)步-通過雇用合適的人，并推廣一種讓人們快樂和積極的安全公司文化。

8. 防止成本失控

數(shù)據(jù)集成公司AtScale的創(chuàng)始人兼首席技術(shù)官David Mariani稱，另一個(gè)常見的大數(shù)據(jù)挑戰(zhàn)是“云賬單心臟病發(fā)作”。很多企業(yè)使用現(xiàn)有的數(shù)據(jù)消耗指標(biāo)來估計(jì)新的大數(shù)據(jù)基礎(chǔ)設(shè)施的成本，但這是一個(gè)錯(cuò)誤。

其中一個(gè)問題是，企業(yè)低估了對計(jì)算資源的需求，更豐富數(shù)據(jù)集帶來更廣泛的訪問，這需要更高的計(jì)算資源。特別是，云計(jì)算讓大數(shù)據(jù)平臺更容易呈現(xiàn)更豐富、更細(xì)化的數(shù)據(jù)，這種能力會推高成本，因?yàn)樵葡到y(tǒng)將彈性擴(kuò)展以滿足用戶需求。

使用按需定價(jià)模型也會增加成本。一種好的做法是選擇固定資源定價(jià)，但這并不能完全解決問題。盡管計(jì)量器停止在固定數(shù)量，但編寫不佳的應(yīng)用程序最終可能仍會消耗影響其他用戶和工作負(fù)載的資源。因此，另一個(gè)好的做法是對查詢實(shí)施細(xì)粒度的控制。Mariani稱：“我見過幾個(gè)客戶，由于SQL設(shè)計(jì)不佳，用戶編寫了10,000美元的查詢?！?/p>

CloudCheckr公司的Rehl還建議，數(shù)據(jù)管理團(tuán)隊(duì)在與業(yè)務(wù)和數(shù)據(jù)工程團(tuán)隊(duì)討論大數(shù)據(jù)部署時(shí)，提前提出成本問題。定義它的要求是企業(yè)的責(zé)任;軟件開發(fā)人員應(yīng)負(fù)責(zé)以有效格式交付數(shù)據(jù)，DevOps負(fù)責(zé)確保監(jiān)控和管理正確的歸檔策略和增長率。

9. 管理大數(shù)據(jù)環(huán)境

隨著大數(shù)據(jù)應(yīng)用程序跨更多系統(tǒng)增長，數(shù)據(jù)管理問題變得越來越難以解決。隨著新的云架構(gòu)使企業(yè)能夠以非聚合形式捕獲和存儲他們收集的所有數(shù)據(jù)，這個(gè)問題變得更加復(fù)雜。受保護(hù)的信息字段可能會意外潛入各種應(yīng)用程序。

Mariani 稱：“根據(jù)我的經(jīng)驗(yàn)，如果沒有數(shù)據(jù)治理策略和控制，可能會失去更廣泛、更深入的數(shù)據(jù)訪問的大部分好處?！?/p>

好的做法是將數(shù)據(jù)視為一種產(chǎn)品，從一開始就制定內(nèi)置的治理規(guī)則。在前期投入更多時(shí)間在識別和管理大數(shù)據(jù)治理問題，將更容易提供自助服務(wù)訪問，而不需要監(jiān)督每個(gè)新用例。

10. 請確保理解數(shù)據(jù)背景信息和用例

企業(yè)還傾向于過分強(qiáng)調(diào)技術(shù)，而不了解數(shù)據(jù)的背景信息及其對業(yè)務(wù)的用途。

數(shù)據(jù)爭論工具提供商Trifacta公司首席執(zhí)行官Adam Wilson說：“企業(yè)通常投入大量精力在考慮大數(shù)據(jù)存儲架構(gòu)、安全框架和攝取方面，但很少考慮引導(dǎo)用戶和用例?！?/p>

團(tuán)隊(duì)需要考慮誰將提煉數(shù)據(jù)以及如何提煉數(shù)據(jù)。那些最接近業(yè)務(wù)問題的人需要與最接近技術(shù)的人合作，以管理風(fēng)險(xiǎn)并確保正確對齊。這涉及到思考如何使數(shù)據(jù)工程民主化。構(gòu)建一些簡單的端到端用例也有助于獲得早期勝利、了解限制并吸引用戶。