?大數(shù)據(jù)世界正在以前所未有的方式發(fā)生著變化，特別是企業(yè)將數(shù)據(jù)整合到一起并將其應用到業(yè)務的情況下。而企業(yè)都面臨的挑戰(zhàn)是能夠發(fā)現(xiàn)、識別并帶來構建產(chǎn)品、提供服務和了解客戶所需的數(shù)據(jù)。數(shù)據(jù)集成本身幾十年來一直是一種實踐和挑戰(zhàn)。然而，新的工具和流程正在以新的方式使企業(yè)達到一種能夠支持人工智能、機器學習和物聯(lián)網(wǎng)等復雜應用程序的狀態(tài)。問題是，以數(shù)據(jù)為中心的文化還很遙遠，特別是由于數(shù)據(jù)仍然存在于孤島中，跨越不同的設備，并以不同的格式存儲，這些可能是很多企業(yè)沒有準備好充分利用其潛力的部分原因。

以下是未來一年值得關注的一些發(fā)展。

非結構化數(shù)據(jù)存儲和搜索

首先，企業(yè)需要做些什么來處理輸入或生成的不斷增長的數(shù)據(jù)量。調研機構Constellation Research公司副總裁兼首席分析師Andy Thurai說，“改變游戲規(guī)則的是非結構化數(shù)據(jù)的存儲、管理和搜索方式。人工智能需要采用大量非結構化數(shù)據(jù)，這很重要，因為收集到的近80%的數(shù)據(jù)都是非結構化的?！?/p>

他補充說，“許多企業(yè)擁有的非結構化數(shù)據(jù)遠遠多于他們真正知道該如何處理的數(shù)據(jù)。非結構化數(shù)據(jù)被轉儲到像Amazon S3這樣的存儲設施中，沒有人會費心從中獲取見解，除非有迫切的需求。視頻、圖像和音頻文件以及其他類型的非結構化數(shù)據(jù)會占用大量空間。鑒于存儲需求的巨大規(guī)模，存儲成本成為許多企業(yè)的一個主要因素。這種存儲需要比傳統(tǒng)系統(tǒng)便宜得多?！?/p>

他表示，Data Lakehouse就是為了解決這些問題而發(fā)明的。數(shù)據(jù)湖直接從原始來源存儲數(shù)據(jù)，而不需要更傳統(tǒng)的數(shù)據(jù)倉庫所需要的格式化、清理和轉換。Thurai指出：“Data Lakehouse還支持大規(guī)模的機器學習工作負載。”

Thurai表示，現(xiàn)在越來越多的工具和平臺以對非結構化數(shù)據(jù)進行多語言搜索，搜索未標記、未分類的圖像為特色。以前很難在掃描文檔中搜索圖像。視頻、圖像和音頻自動分類功能是另一個非常重要的領域。數(shù)據(jù)科學家需要花更少的時間來處理這些數(shù)據(jù)，而花更多的時間來建立模型。

這樣的能力使系統(tǒng)能夠發(fā)現(xiàn)相似之處，這有效地保護了音樂、圖像、音樂視頻等的版權。Thurai說。“現(xiàn)在可以比較兩個非結構化數(shù)據(jù)片段，例如音樂或視頻，看看其中一個是否復制自另一個。此外，這種能力對情感分析也很有用。例如，如果有人在新聞片段中提到某一公司或個人，人工智能可以自動分析未標記的數(shù)據(jù)，并預防性地提出緩解措施。”

數(shù)據(jù)網(wǎng)格

云計算已經(jīng)出現(xiàn)在商業(yè)領域很多年了。然而，大數(shù)據(jù)領域剛剛開始感受到它的影響。OvalEdge公司首席執(zhí)行官Sharad Varshney說，“云計算技術現(xiàn)在已經(jīng)很成熟，但非主流的分布式技術仍在推動數(shù)據(jù)管理領域最令人興奮的發(fā)展。也許其中最重要的是數(shù)據(jù)網(wǎng)格架構。該技術支持去中心化的數(shù)據(jù)管理，而不是將數(shù)據(jù)傳輸?shù)胶椿騻}庫，它是在域中工作的?！?/p>

許多有遠見的企業(yè)已經(jīng)開始把它納入他們的數(shù)據(jù)治理和管理戰(zhàn)略。Varshney說。“主要的云計算和數(shù)據(jù)組織已經(jīng)采用了數(shù)據(jù)網(wǎng)格技術，這是一個積極的跡象，表明這一關鍵戰(zhàn)略正變得更容易實現(xiàn)。與此同時，與數(shù)據(jù)管理領域內或外的任何新技術一樣，發(fā)起文化變革是最重要的障礙之一?！?/p>

他警告說?！皵?shù)據(jù)網(wǎng)格技術要求改變用戶和上層管理人員訪問和查詢數(shù)據(jù)的方式。有些人很難接受將責任從中央權力機構轉移到個人身上。首先也是最重要的是信任的問題。然而，一旦克服了這些最初的障礙，那么該技術的有效性應該可以消除內部擔憂?！?/p>

隨著數(shù)字產(chǎn)品的興起，大數(shù)據(jù)分析出現(xiàn)了一種新的方法——產(chǎn)品分析。Heap公司數(shù)據(jù)科學主管David Robinson說，“每一個使用數(shù)字產(chǎn)品的人都在提供制造商如何使其更成功的信息，像SaaS?、電子商務和移動應用程序這樣的數(shù)字產(chǎn)品能夠跟蹤行為數(shù)據(jù)——瀏覽量、點擊量和用戶在使用產(chǎn)品時進行的其他交互?！?/p>

他繼續(xù)說，“產(chǎn)品分析將數(shù)據(jù)轉化為改進產(chǎn)品的可操作的見解，就像上一代分析師和數(shù)據(jù)庫工程師學會了將倉庫轉化為商業(yè)智能一樣，我們正在看到從收集的大量行為數(shù)據(jù)中獲取價值的能力發(fā)生轉變。產(chǎn)品經(jīng)理和設計師不再需要一次采訪幾個用戶，他們可以看到現(xiàn)實世界中成千上萬的用戶如何使用他們的產(chǎn)品。企業(yè)的董事不必猜測將戰(zhàn)略投資應用到產(chǎn)品的何處，他們可以衡量和比較每項投資的影響?！?/p>

然而，Robinson警告說，一個需要解決的潛在問題是因果推理。他說，“尋找可操作的產(chǎn)品洞察力的科學是對原因的推理，需要回答‘如果改變這個產(chǎn)品，會對業(yè)務結果產(chǎn)生什么影響?’這個問題，行為數(shù)據(jù)尤其充滿了令人混淆的陷阱，粗心的人可能會把相關性當成因果關系。這個問題出現(xiàn)在產(chǎn)品開發(fā)過程的每個階段。產(chǎn)品經(jīng)理可以使用行為數(shù)據(jù)來衡量受錯誤影響的用戶數(shù)量，但對他們來說更重要的是衡量錯誤對業(yè)務結果的影響。如果產(chǎn)品經(jīng)理對行為數(shù)據(jù)不小心，他們可能會得出一個荒謬的結論——比如‘在所有訪問者中，在結帳頁面遇到錯誤的用戶購買的可能性是其他用戶的10倍’，而只是因為這些用戶是最先到達結帳頁面的用戶。”

機器學習數(shù)據(jù)集

人工智能的背后是機器學習，它將數(shù)據(jù)用于訓練算法和模型。然而，這些任務和所需的數(shù)據(jù)量是巨大的。Camunda公司高級產(chǎn)品經(jīng)理Eric Lundberg表示：“數(shù)據(jù)科學家仍將45%的時間花在數(shù)據(jù)準備上，而訓練有素的數(shù)據(jù)科學家在全球都存在短缺。能夠提供干凈的、機器學習準備好的數(shù)據(jù)的數(shù)據(jù)系統(tǒng)可以減少數(shù)據(jù)科學家的時間，并將項目的投資回報率提高到足夠高的水平，從而值得投資。如今的軟件供應商越來越多地提供機器學習準備好的數(shù)據(jù)集，并使任何人都能更容易地創(chuàng)建高質量、有意義的機器學習模型?！?/p>

提供機器學習就緒的數(shù)據(jù)集可以完全消除對基本用例的數(shù)據(jù)管道的需求。Lundberg說，“這也將人工智能的觸角伸向了公民數(shù)據(jù)科學家。任何團隊都可以創(chuàng)建自己的機器學習模型，而不是通過對寶貴的數(shù)據(jù)工程或數(shù)據(jù)科學資源的激烈競爭來運行項目?！?/p>

他警告說，“與此同時，如果企業(yè)不是收集數(shù)據(jù)的人，就不可能保證數(shù)據(jù)的質量。數(shù)據(jù)缺失、數(shù)據(jù)收集不一致或人為錯誤需要時間來糾正，而這些都與數(shù)據(jù)收集方法有關。但事情正在朝著正確的方向發(fā)展。”

Verta公司創(chuàng)始人兼首席執(zhí)行官Manasi Vartak表示，為機器學習操作數(shù)據(jù)對數(shù)據(jù)的管理和交付方式有很大影響。他說，“一個例子是特征存儲的出現(xiàn)，數(shù)據(jù)科學家使用它來確保跨模型開發(fā)和模型生產(chǎn)環(huán)境的機器學習模型特征之間的連續(xù)性。隨著企業(yè)進行數(shù)字化轉型的創(chuàng)新，第一個合乎邏輯的步驟是獲取數(shù)據(jù)，以便對業(yè)務問題的潛在人工智能或機器學習解決方案進行研究和試驗。既然模型構建能力已經(jīng)成熟和穩(wěn)定，操作模型就有了完全獨特的需求。特征庫是彌合模型構建和模型操作之間鴻溝的一個方面，但對于企業(yè)來說，為機器學習操作數(shù)據(jù)還有很多其他的考慮?！?/p>

道德的數(shù)據(jù)解決方案

塑造該市場的另一個趨勢是，旨在確保更合乎道德地部署人工智能的工具和方法的興起。Diveplane公司銷售工程總監(jiān)Jack Shu表示，“合乎道德地使用人工智能的核心是合乎道德地使用數(shù)據(jù)。遵守跨司法管轄的治理往往會妨礙數(shù)據(jù)的可用性。在某些情況下，需要進一步處理，因為原始數(shù)據(jù)可能表現(xiàn)出偏見或歧視等潛在屬性?！?/p>

Shu繼續(xù)說，“數(shù)據(jù)監(jiān)控和可觀察性也成為了重要的考慮因素，因為大多數(shù)數(shù)據(jù)源不斷更新，可能會隨著時間推移而漂移。從道德上管理數(shù)據(jù)所面臨的問題是有多種技術可以解決這些挑戰(zhàn)，盡管每種解決方案往往只關注問題的一個子部分。例如，合成數(shù)據(jù)的應用允許遵守GDPR法規(guī)，從而允許跨司法管轄區(qū)傳輸數(shù)據(jù)。也有各種各樣的解決方案來減輕偏見和歧視，還有另一套數(shù)據(jù)監(jiān)測工具。這就產(chǎn)生了針對每個子問題的專門軟件的需求，這可能很快導致成本和復雜性的增加，因為業(yè)務用戶需要學習和維護多個軟件和模型?！?/p>

Shu推薦了基于實例的機器學習的應用，它能夠使用單一平臺來合成數(shù)據(jù)，監(jiān)控數(shù)據(jù)，并在必要時修復數(shù)據(jù)不需要的屬性。Shu警告說，“雖然這樣的解決方案現(xiàn)在已經(jīng)可用，與現(xiàn)有的企業(yè)基礎設施和機器學習投資的兼容性可能會減緩新技術的采用，如果能夠克服在企業(yè)范圍內采用基于實例的機器學習的障礙，這將為使用單一平臺生成合成數(shù)據(jù)、減少偏見或歧視以及實時數(shù)據(jù)監(jiān)控提供可能性?！?/p>

數(shù)字集成中心

GigaSpaces公司首席執(zhí)行官Adi Paz表示，“如今IT基礎設施錯綜復雜，構建新的數(shù)字服務是一項艱苦的工作，開發(fā)周期很長，遠遠落后于市場需求。數(shù)字集成中心有助于通過將記錄系統(tǒng)與數(shù)字應用程序分離來克服這些障礙?！彼硎荆髽I(yè)能夠在現(xiàn)有遺留系統(tǒng)之上快速推出原生云數(shù)字服務，將開發(fā)工作重點放在交付穩(wěn)定的高性能數(shù)字服務流上，而不是將時間花在系統(tǒng)記錄集成上。

這樣的中心是“中間件”的一種形式，它需要集成到企業(yè)IT架構上，并將其連接到組織的不同記錄系統(tǒng)上。Paz警告說，“有些企業(yè)在開放他們的IT基礎設施和在現(xiàn)有架構上添加外部集成層方面猶豫不決。”

 不過他表示，這些中心通過大幅縮短新數(shù)字服務的上市時間，促進了業(yè)務加速，通過使開發(fā)人員能夠專注于新的業(yè)務邏輯，而不是將時間花在重復的數(shù)據(jù)集成任務上，有助于推動創(chuàng)新。

交換/數(shù)據(jù)融合

數(shù)據(jù)交換和數(shù)據(jù)融合正在作為預先配置的集成環(huán)境出現(xiàn)，它省去了許多減慢數(shù)據(jù)分析應用程序和功能的前期工作。Smart Sense公司首席產(chǎn)品官Sammy Kolt表示:“數(shù)據(jù)交換允許企業(yè)將其技術合作伙伴平臺生成的數(shù)據(jù)導入到自己的系統(tǒng)中，以便在自己的商業(yè)智能或分析工具中使用。當多個數(shù)據(jù)流被整合到一個數(shù)據(jù)庫中進行額外分析時，就會發(fā)生數(shù)據(jù)融合。像天氣和交通這樣的外部數(shù)據(jù)流可以幫助通知和影響需要做出的關鍵業(yè)務決策。例如，當電力、溫度、能源、庫存和財務數(shù)據(jù)集組合在一起時，內部數(shù)據(jù)流會帶來復合效應。當供應商和平臺超越專有報告，開放他們的系統(tǒng)，并提供對底層結構化數(shù)據(jù)的訪問時，這一切都成為可能?！?/p>

Kolt解釋說，數(shù)據(jù)交換和數(shù)據(jù)融合有助于減輕數(shù)據(jù)科學團隊的工作量。他說，“企業(yè)不再只指望使用供應商提供的開箱即用的報告。他們希望能夠訪問這些數(shù)據(jù)，這樣他們的團隊就可以對這些數(shù)據(jù)進行額外的分析。數(shù)據(jù)科學團隊需要為這種方法做好準備。當企業(yè)的數(shù)據(jù)科學團隊沒有明確定義或設計良好時，障礙就會出現(xiàn)。創(chuàng)建一個數(shù)據(jù)科學團隊，既關注技術方面，也關注業(yè)務分析?！?/p>

Kolt說:“那些將自己定位為平臺的企業(yè)已經(jīng)發(fā)現(xiàn)，他們通過數(shù)據(jù)交換為客戶增加了價值。在某些垂直領域的數(shù)據(jù)科學成熟度與它們與這一概念的距離之間存在明顯的相關性?！?/p>

數(shù)字資產(chǎn)管理

數(shù)字資產(chǎn)管理平臺正在崛起，Hyland公司主要內容架構師Alan Porter表示：“在一個存儲庫中，在正確的時間快速訪問正確的資產(chǎn)的需求從未如此之大，而這些資產(chǎn)的數(shù)量也從未如此之大。數(shù)字資產(chǎn)管理將數(shù)據(jù)、圖像、文件和相關材料集合在一起，消除了這些資產(chǎn)周圍的孤島，并通過適當?shù)脑獢?shù)據(jù)輸入和標記，使這些資產(chǎn)更容易通過平臺檢索?！?/p>

在早期，數(shù)字資產(chǎn)管理主要是由營銷部門用于管理內容和資產(chǎn)。他補充說，“快進到今天，技術已經(jīng)發(fā)展到包括產(chǎn)品資產(chǎn)管理，并適用于企業(yè)，還包括產(chǎn)品團隊和更多的人，以連接內容、數(shù)據(jù)和其他資產(chǎn)。在龐大的、迅速發(fā)展的資產(chǎn)存儲庫中，員工經(jīng)常會浪費大量的人力時間來查找和檢索所需的文件——或者由于很難找到合適的內容，只能采用擁有的任何資源，從而產(chǎn)生低質量的輸出?！?/p>

人工智能現(xiàn)在在這些平臺的性能中也扮演著關鍵角色。Porter說:“在該框架之上，一個能夠學習不同數(shù)據(jù)集之間聯(lián)系的人工智能引擎使這些資產(chǎn)更加有用和實用?！?/p>

Porter警告說，DAM平臺的有效性依賴于前端準確、完整和詳細的元數(shù)據(jù)輸入。為了為搜索特定資產(chǎn)的用戶提供最佳結果，平臺需要基于最佳數(shù)據(jù)進行工作。?