2023 年已經(jīng)到來(lái)，企業(yè)極為重視這一年。從初創(chuàng)企業(yè)到大型企業(yè)集團(tuán)，每家公司都肩負(fù)著同樣的使命進(jìn)入新的一年，即通過(guò)提高運(yùn)營(yíng)效率、生產(chǎn)效率和韌性來(lái)推動(dòng)增長(zhǎng)。

由于在完成這一使命過(guò)程中數(shù)據(jù)發(fā)揮著關(guān)鍵作用，一些優(yōu)秀的行業(yè)專家和供應(yīng)商就未來(lái)幾個(gè)月數(shù)據(jù)領(lǐng)域如何發(fā)展分享了自己的預(yù)測(cè)。

1. 首席信息官們將開(kāi)始整合數(shù)據(jù)和簡(jiǎn)化架構(gòu)

“在與其他首席信息官交談時(shí)，我注意到，企業(yè)正在呈指數(shù)級(jí)發(fā)展，但沒(méi)有制定計(jì)劃來(lái)組織自己的數(shù)據(jù)。當(dāng)一個(gè)公司考慮全力以赴擴(kuò)大規(guī)模，卻不對(duì)適合自己的技術(shù)進(jìn)行投入以支持這種業(yè)務(wù)增長(zhǎng)時(shí)，就會(huì)出現(xiàn)問(wèn)題?！?/p>

“問(wèn)題之一是，如今的首席信息官不得不管理太多的系統(tǒng)。過(guò)多彼此脫節(jié)的數(shù)據(jù)庫(kù)會(huì)導(dǎo)致數(shù)據(jù)重復(fù)、孤立和被鎖住，這不僅為管理和分析工作帶來(lái)更高的時(shí)間和其他成本，而且還會(huì)導(dǎo)致產(chǎn)生安全問(wèn)題?！?/p>

“對(duì)于一家公司來(lái)說(shuō)，要真正推進(jìn)數(shù)字化轉(zhuǎn)型，他們需要將數(shù)據(jù)科學(xué)和數(shù)據(jù)分析相結(jié)合，并應(yīng)從單一且可靠的來(lái)源提取數(shù)據(jù)。我們將看到更多的首席信息官會(huì)削減在供應(yīng)商方面的開(kāi)支，以簡(jiǎn)化自身的數(shù)據(jù)架構(gòu)。對(duì)于那些已采用事后分析和預(yù)測(cè)分析架構(gòu)來(lái)制定高效和智能解決方案的公司，他們最終將得到成功發(fā)展?！?/p>

- Databricks 公司首席信息官——Naveen Zutshi

2. 更廣泛地使用數(shù)據(jù)合約

“為防止數(shù)據(jù)生成服務(wù)發(fā)生意外改變導(dǎo)致上游出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，數(shù)據(jù)合約變得非常受歡迎。為什么?由于軟件工程師做出了一些更改，而無(wú)意中通過(guò)一些可影響下游數(shù)據(jù)管道的升級(jí)過(guò)程帶來(lái)某些結(jié)果，并導(dǎo)致數(shù)據(jù)建模的興起，(這些結(jié)果讓)數(shù)據(jù)工程師可選擇預(yù)先建模，然后將數(shù)據(jù)交付到數(shù)據(jù)倉(cāng)庫(kù)。2023 年，隨著從業(yè)者嘗試使用這些框架，我們將看到人們更廣泛地使用數(shù)據(jù)合約?！?/p>

-Monte Carlo 公司聯(lián)合創(chuàng)始人兼首席技術(shù)官 (CTO)——Lior Gavish

3. 可用性將是 2023 年的致勝關(guān)鍵

“近年來(lái)，我們學(xué)到的一個(gè)經(jīng)驗(yàn)是，服務(wù)中斷可能會(huì)對(duì)企業(yè)造成嚴(yán)重影響。在 2023 年，可用性將是區(qū)分贏家和輸家的秘密武器。企業(yè)需要避免被鎖定，同時(shí)要擁有擴(kuò)大業(yè)務(wù)規(guī)模的靈活性。通過(guò)使其云環(huán)境多樣化，企業(yè)將最大限度地減少服務(wù)中斷對(duì)其業(yè)務(wù)持續(xù)運(yùn)營(yíng)能力的影響。”

- MariaDB 公司產(chǎn)品經(jīng)理——Patrick Bossman

4. 2023 年將是數(shù)據(jù)應(yīng)用程序之年

“在過(guò)去的十年里，我們看到了 web 應(yīng)用程序和手機(jī)應(yīng)用程序的崛起，但 2023年是數(shù)據(jù)應(yīng)用程序之年。隨著企業(yè)尋求新的解決方案來(lái)改善面向客戶的應(yīng)用程序和內(nèi)部業(yè)務(wù)運(yùn)營(yíng)，可靠且高效的數(shù)據(jù)應(yīng)用程序?qū)⑹瞧髽I(yè)成功的關(guān)鍵工具。隨著像Uber、Lyft 和 Doordash 等按需數(shù)據(jù)應(yīng)用程序觸手可及，對(duì)于客戶來(lái)說(shuō)，沒(méi)有什么比陷入對(duì)一個(gè)應(yīng)用程序的漫長(zhǎng)等待和一個(gè)請(qǐng)求沒(méi)有得到回應(yīng)更糟糕的了。在實(shí)時(shí)分析技術(shù)的支持下，我們將看到數(shù)據(jù)應(yīng)用程序承受越來(lái)越大的壓力，其不僅要做到實(shí)時(shí)響應(yīng)，而且要做到無(wú)故障?！?/p>

- Rockset 公司聯(lián)合創(chuàng)始人兼首席技術(shù)官——Dhruba Borthakur

5. 數(shù)據(jù)處理協(xié)議 (DPA) 的興起

“企業(yè)如何在內(nèi)部系統(tǒng)中處理數(shù)據(jù)，歷來(lái)是一個(gè)受到嚴(yán)格管控的過(guò)程，需要周密的設(shè)計(jì)和使用大量的保護(hù)措施。然而，當(dāng)我們使用如今的 SaaS 數(shù)據(jù)基礎(chǔ)設(shè)施時(shí)，跨部門、跨地區(qū)和跨公司進(jìn)行數(shù)據(jù)共享和訪問(wèn)變得前所未有的簡(jiǎn)單。考慮到這一點(diǎn)，以及由于數(shù)據(jù)本地化/主權(quán)法規(guī)的不斷完善，與如何訪問(wèn)、處理和報(bào)告數(shù)據(jù)使用情況的相關(guān)規(guī)則需要通過(guò)合同協(xié)議(也稱為數(shù)據(jù)處理協(xié)議)來(lái)界定?！?/p>

“在 2023 年，我們將看到數(shù)據(jù)處理協(xié)議成為 SaaS 合同和數(shù)據(jù)共享談判的一個(gè)標(biāo)準(zhǔn)要素。企業(yè)如何處理這些合同將從根本上改變他們構(gòu)建數(shù)據(jù)基礎(chǔ)設(shè)施的方式，并將定義其數(shù)據(jù)的商業(yè)價(jià)值。因此，在 2023 年及以后，完全接受數(shù)據(jù)處理協(xié)議將給數(shù)據(jù)主管們帶來(lái)最大利益。這些文件將非常冗長(zhǎng)且復(fù)雜，但數(shù)據(jù)處理協(xié)議的數(shù)字化和法律團(tuán)隊(duì)的參與將使這些文件更容易理解和實(shí)施?！?/p>

- Immuta 公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官——馬特·卡羅爾 (Matt Carroll)

6. 無(wú)副本的數(shù)據(jù)交換將占主導(dǎo)地位

“2023 年，隨著數(shù)據(jù)共享業(yè)務(wù)持續(xù)增加，以及數(shù)據(jù)和 IT 團(tuán)隊(duì)疲于應(yīng)對(duì)這方面的業(yè)務(wù)增長(zhǎng)，無(wú)副本數(shù)據(jù)交換將成為新的標(biāo)準(zhǔn)。隨著企業(yè)將其現(xiàn)代數(shù)據(jù)堆棧產(chǎn)品化，數(shù)據(jù)集的大小和數(shù)量將出現(xiàn)爆炸性增長(zhǎng)。在數(shù)據(jù)分享之前先進(jìn)行復(fù)制，已不再可行。在 2023 年，企業(yè)將涌向成熟的平臺(tái)(如 Snowflake 公司的數(shù)據(jù)交換平臺(tái)和 Databricks 公司的 Delta Sharing 協(xié)議)，以更容易地共享數(shù)據(jù)和利用數(shù)據(jù)盈利?！?/p>

- Immuta 公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官——馬特·卡羅爾 (Matt Carroll)

7. 用于非結(jié)構(gòu)化數(shù)據(jù)管理的人工智能自動(dòng)化將獲得關(guān)注

“隨著自適應(yīng)機(jī)器學(xué)習(xí)和人工智能自動(dòng)化技術(shù)可以合理地引導(dǎo)完成數(shù)據(jù)放置、生命周期管理、搜索和移動(dòng)操作，文件和對(duì)象數(shù)據(jù)的管理正變得日益復(fù)雜。解決方案可根據(jù)客戶的成本狀況、數(shù)據(jù)狀況和目標(biāo)配置進(jìn)行調(diào)整，并隨著時(shí)間的推移了解更多情況以提出更好的建議。例如，人工智能算法可用于主動(dòng)識(shí)別敏感的數(shù)據(jù)集(如含有與財(cái)務(wù)文檔相關(guān)的擴(kuò)展名或標(biāo)簽的文件)，這些文件不按照規(guī)定進(jìn)行保存——如保存在首席營(yíng)銷官的目錄中，而不是保存在首席財(cái)務(wù)官管理的只讀目錄中。”

- Komprise 公司首席執(zhí)行官兼聯(lián)合創(chuàng)始人——庫(kù)馬爾·戈斯瓦米 (Kumar Goswami)

8. 合成數(shù)據(jù)將加快推進(jìn) AI 創(chuàng)新

“2023 年，在加快推進(jìn)人工智能發(fā)展和部署，以及防止出現(xiàn)算法偏見(jiàn)方面，合成數(shù)據(jù)將成為游戲規(guī)則改變者。發(fā)展人工智能技術(shù)所面臨的一個(gè)重大挑戰(zhàn)是獲取適當(dāng)數(shù)量和多樣性的數(shù)據(jù)來(lái)訓(xùn)練基于機(jī)器學(xué)習(xí)技術(shù)的算法。這些算法需要大量的數(shù)據(jù)，而這些數(shù)據(jù)代表著使用數(shù)據(jù)的不同的人以及使用數(shù)據(jù)的一些背景信息?！?/p>

“獲取這種具有廣度和深度的數(shù)據(jù)非常困難，極為耗時(shí)且需付出很高成本。數(shù)據(jù)合成技術(shù)使人工智能公司可以快速增加其現(xiàn)有的數(shù)據(jù)集，并能模擬在現(xiàn)實(shí)環(huán)境中難以發(fā)生的場(chǎng)景?！?/p>

“例如，在汽車行業(yè)，合成數(shù)據(jù)工具可使用駕駛員的一個(gè)源圖像，在使用不同光照條件或不同頭部運(yùn)動(dòng)情況下，創(chuàng)建一些合成的變化。這些工具甚至可以模擬駕駛員在駕駛過(guò)程中睡著的場(chǎng)景，而這些數(shù)據(jù)在現(xiàn)實(shí)生活中很少見(jiàn)，而且非常危險(xiǎn)。部署合成數(shù)據(jù)工具非常重要，其不僅可以解決在數(shù)據(jù)收集方面所面臨的這些復(fù)雜難題，而且還可通過(guò)數(shù)據(jù)集所具有的真正多樣性來(lái)防止出現(xiàn)算法偏見(jiàn)?！?/p>

- Smart Eye 公司副首席執(zhí)行官——Rana el Kaliouby 博士

9. 在多云的環(huán)境中，對(duì)象存儲(chǔ)是主要的存儲(chǔ)方式

“如今，數(shù)據(jù)庫(kù)正趨向于將對(duì)象存儲(chǔ)作為其主要的存儲(chǔ)解決方案。這是由性能、可擴(kuò)展性和開(kāi)放表格式所推動(dòng)。開(kāi)放表格式(Iceberg、Hudi、Delta)興起的一個(gè)關(guān)鍵優(yōu)勢(shì)是，其允許多個(gè)數(shù)據(jù)庫(kù)和分析引擎共存。因此，這又帶來(lái)了人們?cè)谌魏蔚攸c(diǎn)都能運(yùn)行的需求——這恰好非常適合現(xiàn)代的對(duì)象存儲(chǔ)?！?/p>

“初期的跡象已非常明顯;Snowflake 公司和微軟公司都將在 2023 年底推出外部表功能。如今，企業(yè)將能夠針對(duì)任何數(shù)據(jù)庫(kù)使用對(duì)象存儲(chǔ)，而不再需要將這些對(duì)象直接移入數(shù)據(jù)庫(kù);企業(yè)可以就地查詢?！?/p>

- MinIO 公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官——Anand Babu Periasamy

10. 數(shù)據(jù)收集將成為人們關(guān)注的焦點(diǎn)

“數(shù)據(jù)收集是當(dāng)今業(yè)內(nèi)最大的隱秘之一。2022 年有 144 億個(gè)連接點(diǎn)，企業(yè)正坐在數(shù)據(jù)寶藏之上，而沒(méi)有真正使用這些數(shù)據(jù)。人們的想法是，他們能夠在未來(lái)以不同于如今的方式來(lái)使用這些數(shù)據(jù)?！?/p>

“隨著技術(shù)的不斷進(jìn)步，每條數(shù)據(jù)也在變得更大。一切東西都變得更加先進(jìn)，例如更高分辨率的相機(jī)、更高質(zhì)量的麥克風(fēng)等——所有這些都需要占用大量的空間。我希望企業(yè)和消費(fèi)者都能開(kāi)始關(guān)注他們無(wú)意中開(kāi)始收集的數(shù)據(jù)。”

- VAST Data 公司創(chuàng)始人兼首席執(zhí)行官——Renen Hallak

11. “自帶數(shù)據(jù)庫(kù)”(BYODB) 混合云部署的興起

“將某些數(shù)據(jù)驅(qū)動(dòng)的項(xiàng)目遷移到云端的好處是毋庸置疑的——可以更快的部署，減少基礎(chǔ)設(shè)施和維護(hù)成本，提供配套的技術(shù)支持和服務(wù)等級(jí)協(xié)議 (SLA)，以及在需要時(shí)可以立即進(jìn)行業(yè)務(wù)擴(kuò)展。然而，總會(huì)有一些用例合同要求將數(shù)據(jù)保存在企業(yè)內(nèi)部，包括工作數(shù)據(jù)、安全數(shù)據(jù)、法規(guī)遵從信息、本地開(kāi)發(fā)數(shù)據(jù)和實(shí)體隔離硬件(僅舉幾例)。對(duì)于現(xiàn)代數(shù)據(jù)供應(yīng)商而言，一個(gè)更靈活的解決方案是支持‘自帶數(shù)據(jù)庫(kù)’的混合云部署，以及支持更常見(jiàn)的企業(yè)內(nèi)部部署方案和完全托管的云服務(wù)方案?！?/p>

“這種新方法將在未來(lái)幾年內(nèi)流行起來(lái)，其允許數(shù)據(jù)保存在原地且不被更改，并可遠(yuǎn)程連接到位于附近數(shù)據(jù)中心頂層的 SaaS 服務(wù)。這就帶來(lái)了云端的所有好處，同時(shí)仍對(duì)公司的最寶貴資源——數(shù)據(jù)——擁有完全的主權(quán)和控制權(quán)?！?/p>

- Directus 公司首席執(zhí)行官兼聯(lián)合創(chuàng)始人——本·海恩斯 (Ben Haynes)

12. 管道將變得更復(fù)雜

“數(shù)據(jù)管道是指數(shù)據(jù)從其原始來(lái)源進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)的方式。由于存在如此多新的數(shù)據(jù)類型，以及數(shù)據(jù)不斷涌入，這些管道不僅變得更為重要，而且可能變得更加復(fù)雜。在 2023 年，用戶應(yīng)期待數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)商來(lái)提供新的且更好的方法，以提取、轉(zhuǎn)換、加載、建模、測(cè)試和部署數(shù)據(jù)。供應(yīng)商在做這方面工作時(shí)，應(yīng)側(cè)重于整合和易用性?！?/p>

- Ocient 公司首席執(zhí)行官兼聯(lián)合創(chuàng)始人——克里斯·格拉德溫 (Chris Gladwin)

13. 矢量數(shù)據(jù)庫(kù)占據(jù)主導(dǎo)地位，釋放非結(jié)構(gòu)化數(shù)據(jù)的未利用價(jià)值

“隨著企業(yè)步入人工智能時(shí)代，并試圖在生產(chǎn)中充分利用人工智能的優(yōu)勢(shì)，由此，各種形式的非結(jié)構(gòu)化數(shù)據(jù)大幅飆升，而人們需要了解這些數(shù)據(jù)。為了應(yīng)對(duì)從非結(jié)構(gòu)化數(shù)據(jù)中獲取有形價(jià)值所面臨的這些挑戰(zhàn)，矢量數(shù)據(jù)庫(kù)(一種新型數(shù)據(jù)庫(kù)管理技術(shù)，專門用于處理非結(jié)構(gòu)化數(shù)據(jù))正在興起，并將在未來(lái)幾年內(nèi)占據(jù)主導(dǎo)地位?！?/p>

- Zilliz 公司運(yùn)營(yíng)總監(jiān)——Frank Liu

14. 數(shù)據(jù)可觀察性將成為一個(gè)重要產(chǎn)業(yè)

“在如今的經(jīng)濟(jì)形勢(shì)下，不斷計(jì)算投資回報(bào)率，并優(yōu)先考慮那些花小錢辦大事的方法，這是至關(guān)重要的。我相信工程團(tuán)隊(duì)可以精益求精，努力提高公司成功發(fā)展的能力?！?/p>

“我預(yù)測(cè)，我們將越來(lái)越多地看到工程師和數(shù)據(jù)團(tuán)隊(duì)成為推動(dòng)者，通過(guò)構(gòu)建基礎(chǔ)設(shè)施和為其他團(tuán)隊(duì)(特別是非技術(shù)團(tuán)隊(duì))高效工作提供所需的工具，使公司能夠基于數(shù)據(jù)做出決策。他們開(kāi)啟這種轉(zhuǎn)變的方式之一是幫助團(tuán)隊(duì)了解如何獨(dú)立地訪問(wèn)他們的數(shù)據(jù)，而非始終在回答各種問(wèn)題。我希望數(shù)據(jù)團(tuán)隊(duì)不要雇傭更多的數(shù)據(jù)專家，而是要更多地發(fā)揮數(shù)據(jù)工程的作用，以構(gòu)建可長(zhǎng)期使用的基礎(chǔ)設(shè)施，使所有業(yè)務(wù)人員能獨(dú)立回答問(wèn)題?！?/p>

- Amplitude 公司工程高級(jí)副總裁——Shadi Rostami