?關鍵洞察

1. AI驅(qū)動存儲轉(zhuǎn)型：AI的需求推動了對象存儲成為企業(yè)存儲的主導技術(shù)，尤其是對于大規(guī)模數(shù)據(jù)處理和并行計算工作負載，尤其是在AI模型訓練、推理及數(shù)據(jù)湖倉存儲中。
2. 對象存儲的普及：超過70%的云原生數(shù)據(jù)已存儲在對象存儲中，預計兩年內(nèi)這一比例將增至75%。對象存儲因其性能、擴展性、安全性等特點，成為支持AI工作負載的首選技術(shù)。
3. AI工作負載對存儲的需求：AI（尤其是生成式AI）對存儲性能和規(guī)模提出更高要求，對象存儲能滿足這些需求，支持大規(guī)模數(shù)據(jù)集、模型訓練、生成式AI向量數(shù)據(jù)庫等。
4. AI挑戰(zhàn)：盡管AI發(fā)展迅速，企業(yè)面臨的主要挑戰(zhàn)包括安全性、數(shù)據(jù)治理和高成本，尤其是在公有云中運行AI時，成本和性能成為關鍵考量因素。
5. 云與私有云的平衡：雖然公有云在AI工作負載中占主導地位，但混合云部署日益增多，企業(yè)對私有云和公有云的結(jié)合使用感興趣，尤其是在面對成本和數(shù)據(jù)控制需求時。
6. 未來存儲發(fā)展：隨著數(shù)據(jù)存儲規(guī)模和訪問需求的不斷增長，對象存儲在性能、擴展性、安全性及簡便性上的優(yōu)勢將持續(xù)推動其在AI時代的應用。?

數(shù)據(jù)存儲領域正經(jīng)歷一場深刻變革。

AI從根本上重塑了我們對數(shù)據(jù)存儲規(guī)模、性能及大規(guī)模并行處理能力的需求。以往，企業(yè)和組織多依賴于傳統(tǒng)的SAN/NAS架構(gòu)。然而，隨著非結(jié)構(gòu)化數(shù)據(jù)呈指數(shù)級增長，規(guī)模已至PB級別，一個事實愈發(fā)清晰：對象存儲已成為企業(yè)存儲需求的主導技術(shù)。

報告中最明確的發(fā)現(xiàn)是，企業(yè)有多少比例的數(shù)據(jù)存儲在對象存儲中。IT領導者指出，企業(yè)超過70%的云原生數(shù)據(jù)存于對象存儲中。這一比例頗為驚人，且預計將持續(xù)增長。

針對您所在組織目前在云原生存儲中的數(shù)據(jù)量。

據(jù)您所知，當前哪些數(shù)據(jù)存儲在對象存儲中？

針對您所在組織的數(shù)據(jù)存儲演變歷程。

您認為兩年后，數(shù)據(jù)中將有多少比率會存儲在對象存儲中？

展望未來，企業(yè)領導者計劃加大投資力度，預測兩年后，75%的云原生數(shù)據(jù)將存儲于對象存儲中。AI的發(fā)展以及面向AI的數(shù)據(jù)湖倉（Data Lakehouse）的興起，將在未來幾年進一步推動這一趨勢，使對象存儲成為未來可預見時間內(nèi)的標志性存儲技術(shù)。

AI的必要性

鑒于對象存儲在企業(yè)中占據(jù)如此重要的地位，我們向IT領導者詢問了推動采用對象存儲的動因以及哪些工作負載利用了這些對象存儲。

推動您所在組織采用對象存儲（公有云或私有云）的前三大業(yè)務或技術(shù)因素是什么？

前三大回答是相互關聯(lián)的概念：AI項目需要大規(guī)模性能。在1PB規(guī)模下實現(xiàn)高性能相對容易，但在100PB規(guī)模下保持高性能則完全不同。而這正是AI工作負載的核心需求。

由于這一問題的重要性，我們從稍微不同的角度再次提出，得到的答案基本一致。

哪些工作負載使用對象存儲？

高級分析（Advanced Analytics），例如Spark、Presto/Trino、SQL Server和Snowflake（54%）。

這類工作負載，如網(wǎng)絡安全異常檢測，需要持續(xù)的大規(guī)模吞吐能力以支持高速分析。大多數(shù)供應商建議將架構(gòu)分割為更小的命名空間，因為它們無法處理單一的超大規(guī)模（Exascale）命名空間。然而，這種工作負載正是對象存儲解決方案的典型應用場景。

AI模型訓練和推理（AI Model Training and Inference），包括LLM和RAG（51%）。

AI需要性能和規(guī)模，而對象存儲能夠滿足這一需求。因此，未來對象存儲將繼續(xù)占據(jù)優(yōu)勢。

數(shù)據(jù)湖倉存儲（Data Lakehouse Storage）（44%）。

數(shù)據(jù)湖倉完全基于對象存儲構(gòu)建，71%的受訪者表示他們已經(jīng)部署或計劃在未來12個月內(nèi)構(gòu)建數(shù)據(jù)湖倉。這表明數(shù)據(jù)湖倉已成為對象存儲的優(yōu)先應用方向，并可能進一步增長。

以上三種使用場景都具有巨大的行業(yè)變革潛力。然而，從生成式AI的迅速崛起到傳統(tǒng)AI形式的持續(xù)重要性，這些AI工作負載目前是推動對象存儲新采用的最強動力。

貴組織將哪些類型的訓練集發(fā)送到對象存儲中進行AI分析？

現(xiàn)代對象存儲具備支持AI/ML等高要求工作負載所需的性能、可擴展性和安全性等特性。因此，開發(fā)者選擇對象存儲來保存各種數(shù)據(jù)集，用于訓練模型、微調(diào)模型，以及構(gòu)建生成式AI的向量數(shù)據(jù)庫。隨著AI應用場景的不斷拓展，數(shù)據(jù)集、模型和向量數(shù)據(jù)庫的規(guī)模也將隨之增長。

我們向IT領導者詢問了其組織用于AI分析的訓練數(shù)據(jù)集類型，結(jié)果涵蓋了從地理空間數(shù)據(jù)到應用程序數(shù)據(jù)的10種不同數(shù)據(jù)類型。其中，應用程序數(shù)據(jù)的重要性尤為突出。雖然這一類別較為寬泛，但表明IT領導者正在嘗試從核心業(yè)務數(shù)據(jù)中挖掘更多價值。

我們還深入探討了這些IT領導者如何利用這些訓練數(shù)據(jù)集，特別是在AI工作負載中的應用。

貴組織目前運行或計劃在對象存儲上運行哪些類型的AI工作負載？

值得注意的是，在生成式AI（GenAI）領域，基于云托管LLM（Cloud Hosted LLM）和自托管LLM（Self Hosted LLM）的選擇幾乎不相上下。盡管目前公有云略占優(yōu)勢，但這可能預示著企業(yè)對關鍵工作負載部署位置的考量正在發(fā)生轉(zhuǎn)變。

另一個有趣的發(fā)現(xiàn)是，傳統(tǒng)AI依然保持著強勁的生命力。企業(yè)并未因生成式AI的興起而忽視傳統(tǒng)AI。大量數(shù)據(jù)類型仍被用于訓練傳統(tǒng)AI模型，這表明這些工作負載的重要性依然存在。

而自定義語料庫（Custom Corpus）的排名相對較低，這可能暗示存在一定的挑戰(zhàn)。在訓練數(shù)據(jù)集和工作負載相關的問題中，受訪者對自定義語料庫及基于自定義語料庫的RAG的選擇均低于其他選項。這表明企業(yè)在構(gòu)建自定義語料庫所需的基礎設施、工程和實驗方面可能面臨困難。

在具體的AI應用場景方面，IT領導者的視野相對廣泛。從排名最高的威脅檢測到排名最低的物聯(lián)網(wǎng)遙測，各選項之間的差距較小。這表明數(shù)據(jù)基礎設施團隊正在積極探索如何為組織創(chuàng)造更大的業(yè)務價值。

貴組織對象存儲的數(shù)據(jù)應用與哪些AI場景？

AI的發(fā)展并非一帆風順。在接受調(diào)查的組織中，超過96%已經(jīng)開始運行AI/ML工作負載，并逐漸發(fā)現(xiàn)了其中的痛點。我們進一步向IT領導者提出了以下問題：

貴組織面臨的AI挑戰(zhàn)中，最具挑戰(zhàn)性的三個方面是什么？

受訪者報告指出，AI面臨的三大主要挑戰(zhàn)是：

1. 安全性和隱私問題（44%）

這一挑戰(zhàn)在IT領導者中備受關注。AI模型在數(shù)據(jù)處理和保護方面存在諸多不確定性，企業(yè)希望對數(shù)據(jù)擁有絕對控制權(quán)。他們擔心公有云提供商的數(shù)據(jù)泄露問題，不愿因此喪失競爭優(yōu)勢。在AI應用中，企業(yè)傾向于避免將數(shù)據(jù)發(fā)送至主流LLM（Large Language Models，大型語言模型）進行推理，而是希望將數(shù)據(jù)完全保存在本地。這需要在性能和安全之間找到平衡。盡管公有云擁有豐富的GPU資源，且“時間到洞察”（Time to Insight）至關重要，但數(shù)據(jù)顯示企業(yè)更偏好私有云，尤其在部署生成式AI（GenAI）工作負載時。

2. 數(shù)據(jù)治理（27%）

與安全問題類似，AI的數(shù)據(jù)治理同樣強調(diào)控制權(quán)。企業(yè)領導者需要明確掌握數(shù)據(jù)的內(nèi)容，并嚴格監(jiān)管數(shù)據(jù)訪問權(quán)限。例如，當AI或ML工程師需要從私有云提取原始數(shù)據(jù)并將其傳輸至公有云（如AWS或Google Cloud）以微調(diào)AI模型后再將數(shù)據(jù)返回私有云時，數(shù)據(jù)在傳輸和存儲過程中必須加密。此外，私有云與公有云需要通過統(tǒng)一的身份提供商（Identity Provider）實現(xiàn)身份驗證與授權(quán)。健全的訪問控制以及清晰的訪問記錄和變更記錄是強有力的數(shù)據(jù)治理的基礎。

3. 云原生存儲（25%）

云原生存儲為企業(yè)AI需求提供了強有力的支持，包括容器化、編排、RESTful API以及微服務架構(gòu)。云原生存儲基于軟件定義和標準化，擁有豐富的開箱即用生態(tài)系統(tǒng)。而傳統(tǒng)的SAN（Storage Area Network，存儲區(qū)域網(wǎng)絡）和NAS（Network-Attached Storage，網(wǎng)絡附加存儲）技術(shù)由于其硬件定義的特性，并不適合云原生環(huán)境。

AI的入門通道——數(shù)據(jù)湖倉

研究表明，傳統(tǒng)AI仍為企業(yè)創(chuàng)造著價值。另一個IT領導者關注的重點投資領域是數(shù)據(jù)湖倉架構(gòu)。回顧調(diào)查結(jié)果可以發(fā)現(xiàn)，高級分析（Advanced Analytics）是最受歡迎的應用場景，而現(xiàn)代數(shù)據(jù)湖/湖倉（Modern Data Lake/Lakehouses）排名第三。

許多高級分析工作負載都基于數(shù)據(jù)湖/湖倉架構(gòu)構(gòu)建，使其成為實現(xiàn)更復雜AI工作負載的重要入門通道。更重要的是，這些工作負載正在模糊“高級分析”的界限，正如Snowflake、Databricks、Dremio、Starburst、Athena和BigQuery等產(chǎn)品的最新發(fā)布所顯示的那樣。值得注意的是，這些產(chǎn)品無一例外地都構(gòu)建在對象存儲之上。

因此，絕大多數(shù)受訪的IT高管計劃立即利用對象存儲構(gòu)建大規(guī)模數(shù)據(jù)湖倉架構(gòu)。

企業(yè)運行云基礎設施和對象存儲的現(xiàn)狀

云是一種操作模式，而非特定位置。通過容器化、編排、RESTful API（如S3）、微服務和軟件定義基礎設施等核心支柱，整個技術(shù)棧及其上的數(shù)據(jù)可以實現(xiàn)可移植性。

公有云的基礎是對象存儲。AWS S3、Azure Blob Storage和Google Cloud Storage等平臺的成功便印證了這一點。這些平臺的主要存儲技術(shù)均為對象存儲。

因此，當被問及云基礎設施的部署情況時，公有云的領先地位并不令人意外。

受訪者的組織大多已采納基于云的基礎設施。

這一趨勢同樣適用于新興的AI/ML工作負載。然而，需要注意的是，無論是公有云還是私有云，都存在大量的混合部署。這要求公有云和私有云基礎設施都必須具備云原生特性。然而，SAN/NAS或硬件設備技術(shù)由于其本質(zhì)，并不具備真正的云原生特性。

貴組織當前如何運行AI/ML工作負載？

目前，最大的受訪者群體（48%）采用了混合部署方式，在公有云和私有云中同時運行AI/ML工作負載。這是一個值得持續(xù)關注的數(shù)據(jù)點。經(jīng)濟因素可能會加速這種平衡的轉(zhuǎn)變。企業(yè)對成本的關注正使公有云逐漸變得不適合AI/ML的需求，這已推動更多的數(shù)據(jù)遷回本地（Repatriation）以及對私有云的更廣泛使用。

最后，為了避免將企業(yè)的云使用情況簡單化，我們還詢問了受訪者所使用的云數(shù)量。結(jié)果與其他研究一致，即現(xiàn)代企業(yè)通常是多云環(huán)境的用戶。

AI時代存儲的挑戰(zhàn)、機遇與需求

現(xiàn)代對象存儲為企業(yè)組織提供了支持多樣化應用場景的靈活解決方案，遠遠超出了過去以歸檔和備份為主的用途。隨著企業(yè)對對象存儲依賴程度的加深，他們對對象存儲功能的期望也不斷提高。

研究發(fā)現(xiàn)，無論在公有云還是私有云環(huán)境中，企業(yè)認為對象存儲最重要的三大功能是：

另一方面，受訪者指出本地數(shù)據(jù)存儲基礎設施面臨的三大挑戰(zhàn)是：

盡管未進入前三，但性能問題（37%）和擴展性問題（31%）也被視為私有云的主要挑戰(zhàn)之一。

除了成本考量（后續(xù)會進一步探討），這些結(jié)果揭示了選擇存儲技術(shù)，尤其是對象存儲時的三個關鍵驅(qū)動因素：

1.安全性

不僅需要高水平，還需要簡單易用。無論存儲架構(gòu)如何，安全性始終是關鍵關注點和必要功能。在當今環(huán)境中，靜態(tài)加密和傳輸加密已成為基本要求，更高水平的安全能力也成為必需條件。與知名身份提供商集成以實現(xiàn)認證和授權(quán)，使對象存儲能夠輕松融入現(xiàn)有數(shù)據(jù)中心。然而，安全性的一個關鍵要素是其簡單性。復雜性本身就是一個攻擊面，系統(tǒng)越復雜，漏洞越多。能夠提供簡單安全性的對象存儲，使企業(yè)在更換云提供商或采用新解決方案時，不會對數(shù)據(jù)安全性造成妥協(xié)，同時具備更大的靈活性。

2.高成本

在選擇存儲解決方案時，成本仍然是一個重要因素，無論是對象存儲還是其他類型的存儲。雖然成本并非對象存儲的核心價值驅(qū)動因素，但它可以在不同解決方案之間起到區(qū)分作用，尤其是在比較私有云和公有云時。

數(shù)據(jù)在成本方面呈現(xiàn)出兩面性，這對IT領導者來說并不陌生。首先，私有云相較于公有云具有更好的經(jīng)濟性。

生成式AI的興起已導致公有云成本急劇攀升。近40%的受訪者表示，他們“非?！被颉皹O為”擔心在云中運行AI/ML工作負載的成本，另外29%的受訪者也表示對此有一定的擔憂。隨著規(guī)模的擴大，訪問公有云中的數(shù)據(jù)，尤其是用于訓練和微調(diào)AI模型的數(shù)據(jù)，變得越來越困難且成本高昂。調(diào)查顯示，云支出同比增長了30%，Tangoe的報告還表明，72%的IT領導者表示云支出已經(jīng)變得不可控。

企業(yè)希望避免重蹈覆轍，不想再次因為云存儲成本飆升而陷入困境——這正是Cloud FinOps（云財務運維）行業(yè)誕生的原因。隨著AI工作負載導致數(shù)據(jù)存儲和計算成本的激增，公有云正逐漸失去其可行性，這推動了更多的私有云使用甚至數(shù)據(jù)回遷。雖然公有云擁有大量GPU，適合用于小規(guī)模的實驗和學習，但在生產(chǎn)環(huán)境中，企業(yè)更需要控制和簡化。

其次，在私有云中，硬件設備模型（appliance model）并不具有成本優(yōu)勢。43%的受訪者將成本問題列為私有云對象存儲方案的第二大挑戰(zhàn)。企業(yè)對硬件設備模型感到厭倦，因為它會導致廠商鎖定并限制選擇靈活性。相反，企業(yè)希望能夠使用智能軟件、簡單硬件，并且價格能夠與其部署需求相匹配。

軟件定義存儲（SDS）提供了企業(yè)所需的靈活性、控制力和杠桿作用——這也是它成為當前及未來首選架構(gòu)的原因。然而，由于成本優(yōu)勢，許多企業(yè)正在選擇將某些工作負載回遷到私有云基礎設施。

3.數(shù)據(jù)管理與規(guī)?；阅苄枨?/strong>

如前所述，云是一種操作模式，而非特定位置。與其相適應的存儲即為云原生存儲（Cloud-native Storage）。不符合這一特性的存儲通常即為硬件設備。

四分之一的IT領導者表示，他們在管理和整合私有云對象存儲時遇到了困難。其原因或在于他們采用了硬件設備模型。硬件設備無法容器化，本質(zhì)上并非云原生。

基于硬件的存儲系統(tǒng)作為一種固定的硬件中心化解決方案，固有地受到其物理限制和靜態(tài)架構(gòu)的約束。它缺乏與容器化應用程序和現(xiàn)代云原生工作流無縫集成的靈活性。硬件設備通常需要手動擴展，這迫使企業(yè)過度配置存儲，導致效率低下和成本增加。此外，硬件設備依賴于專有硬件，使得它們不適用于需要靈活性、可擴展性和分布式操作的環(huán)境。

相比之下，軟件定義的云原生對象存儲體現(xiàn)了云操作模型的原則。它與特定硬件解耦，可以在任何基礎設施上部署，無論是本地、公有云中，還是在混合部署環(huán)境中。云原生對象存儲能夠彈性擴展，根據(jù)需求調(diào)整容量，并與Kubernetes等編排工具無縫集成。該模型還利用API進行自動化和可編程性，幫助IT團隊高效管理大規(guī)模的分布式數(shù)據(jù)環(huán)境。

這些因素推動了存儲技術(shù)選擇標準的轉(zhuǎn)變。當我們詢問IT領導者如何排序選擇對象存儲（公有云或私有云）時，他們提供了以下反饋：

在您看來，選擇對象存儲（公有云或私有云）時，最重要的因素是什么？

大規(guī)模數(shù)據(jù)存儲的運營：何為、為何、如何

操作細節(jié)非常重要，我們向受訪者請求了一些關于其存儲系統(tǒng)架構(gòu)、背后硬件以及相關團隊的數(shù)據(jù)。以下是部分數(shù)據(jù)。

可擴展性一直是推動對象存儲崛起的關鍵因素之一。如今，隨著AI和分析對存儲和檢索大量數(shù)據(jù)的靈活性需求不斷增加，企業(yè)對性能和規(guī)模的要求比以往任何時候都更高。在各種基礎設施中，對象存儲提供了容量、性能和簡便性，使企業(yè)數(shù)據(jù)能夠達到新的高度。

我們的研究發(fā)現(xiàn)，近20%的云端對象存儲部署規(guī)模至少為10PB。在這個規(guī)模上，大多數(shù)技術(shù)開始出現(xiàn)裂痕。這是傳統(tǒng)API（如POSIX）變得過于冗長或第三方元數(shù)據(jù)數(shù)據(jù)庫出現(xiàn)故障的時刻。更重要的是，市場上的每個預測都表明，企業(yè)數(shù)據(jù)正在以超過60%的年復合增長率（CAGR）增長。

這意味著典型的對象存儲集群將增大規(guī)模。這是由于無結(jié)構(gòu)數(shù)據(jù)的持續(xù)增長（預計年增長率為55%-65%），這些數(shù)據(jù)用于訓練傳統(tǒng)AI和生成式AI模型，并且在各類應用中的對象存儲使用也在增加。云對象存儲市場也有望從2023年的65億美元增長到2031年的180億美元，幾乎是其三倍，顯示出更廣泛的采用和更大規(guī)模的部署。

對象的大小也很重要。能夠在小型對象上良好運行是頂級對象存儲的一個顯著特點。盡管如此，大多數(shù)對象的大小都在MB級別。

企業(yè)級對象存儲中的典型對象大小是多少？

網(wǎng)絡是一個動態(tài)變化的領域，AI無疑處于這一變化的推動之中。幾年前被認為極為快速的100GbE網(wǎng)絡如今已成為基礎設施標準。接近一半的受訪者（43%）表示，他們組織中的對象存儲集群的典型網(wǎng)絡速度為100GbE或更快。這些高速網(wǎng)絡的出現(xiàn)與高吞吐量、高性能對象存儲的采用趨勢相一致。傳統(tǒng)的對象存儲應用（如歸檔和備份）不需要如此高的帶寬，但像災難恢復這樣的工作負載（41%的受訪者表示使用對象存儲進行災難恢復）確實需要這種性能。

對速度的需求也體現(xiàn)在驅(qū)動器類型上?，F(xiàn)在，我們生活在一個NVMe/SSD的世界中，這反映了它們相較于HDD在性能和密度方面的優(yōu)勢。

在未來三年，NVMe預計將成為最大的增長領域，在企業(yè)中的數(shù)據(jù)份額預計將增加3個百分點。

貴組織當前在以下存儲平臺中存儲的數(shù)據(jù)比例是多少？未來三年，NVMe預計將成為增長最快的領域，在企業(yè)中的數(shù)據(jù)份額預計將增加3個百分點。

存儲團隊的動態(tài)是一個值得關注的領域。盡管IT運營/基礎設施顯然是主導力量，但它絕不是唯一參與存儲管理的團隊。許多團隊都在參與其中，這也符合當前數(shù)據(jù)幾乎是每個組織核心資產(chǎn)的事實。

哪些團隊參與了貴組織的存儲管理？

話雖如此，DevOps、開發(fā)和數(shù)據(jù)團隊顯然都在其中扮演著重要角色。

根據(jù)您的經(jīng)驗，管理PB級數(shù)據(jù)需要多大的團隊？

說到團隊合作，管理PB級數(shù)據(jù)需要一個完整的團隊。在受訪組織中，超過三分之二的受訪者表示，管理這種規(guī)模的數(shù)據(jù)至少需要四名或更多的全職員工。

總結(jié)：一個以AI為中心、以對象存儲為主導的世界

到2024年，大多數(shù)企業(yè)的數(shù)據(jù)已經(jīng)存儲在對象存儲中，這一趨勢預計將持續(xù)增長。對象存儲主導地位的兩個關鍵原因很明確：

對象存儲不僅支持AI，還推動AI的發(fā)展，滿足安全需求，解決成本和可擴展性問題，并支持跨工作負載的高性能。

企業(yè)在數(shù)據(jù)存儲上優(yōu)先考慮大規(guī)模性能，可能比其他任何因素都更為重要。他們希望獲得云原生世界中傳統(tǒng)SAN/NAS技術(shù)難以提供的靈活性和簡便性。

不斷攀升的公有云成本不可持續(xù)——但顯然，成本在選擇工作負載和可擴展性時不是最重要的因素。我們可以推測，在成本和功能之間做出選擇時，企業(yè)將更加注重后者。在所有可用的解決方案中，運行在私有云上的軟件定義存儲最有可能讓企業(yè)獲得所需的一切。

本文轉(zhuǎn)載自 ??Andy730??，作者： 常華Andy