支持AI人工智能和ML機器學(xué)習(xí)部署的數(shù)據(jù)中心依靠基于圖形處理單元(GPU)的服務(wù)器為其計算密集型架構(gòu)提供支持。到2024年，在多個行業(yè)中，GPU使用量的增長將使GPU服務(wù)器的復(fù)合年增長率超過31%。這意味著將有更多的系統(tǒng)架構(gòu)師承擔(dān)承擔(dān)相應(yīng)的職責(zé)，以確保GPU系統(tǒng)具有最高的性能和成本效益。

[[319044]]

然而，為這些基于GPU的AI / ML工作負載優(yōu)化存儲并非易事。存儲系統(tǒng)必須高速處理海量數(shù)據(jù)，與此同時需要注意以下兩個挑戰(zhàn)：

1)服務(wù)器利用率。GPU服務(wù)器對于訓(xùn)練大型AI / ML數(shù)據(jù)集所需的矩陣乘法和卷積非常高效。但是，GPU服務(wù)器的成本是典型CPU服務(wù)器的3倍。為了保持ROI，IT員工需要讓GPU使用率足夠飽和。但不幸的是，很多部署經(jīng)驗表明GPU僅有30%的使用率。

2)GPU存儲瓶頸。ML訓(xùn)練數(shù)據(jù)集通常遠遠超過GPU的本地RAM容量，從而產(chǎn)生了一個I / O瓶頸，分析人員將其稱為GPU存儲瓶頸。AI和ML系統(tǒng)最終要等待訪問存儲資源，這是因為它們龐大的數(shù)據(jù)阻礙了及時訪問，從而影響了性能。

為了解決這個問題，NVMe閃存固態(tài)硬盤逐漸取代了標(biāo)準(zhǔn)閃存固態(tài)硬盤，成為Al / ML存儲的首選。NVMe支持大規(guī)模的IO并行性，性能約為同類SATA SSD的6倍，并且延遲降低了10倍，并且具有更高的電源效率。正如GPU推動了高性能計算的發(fā)展一樣，NVMe閃存在降低延遲的同時，實現(xiàn)了更高的存儲性能、帶寬和吞吐量。NVMe閃存解決方案可以使AI和ML數(shù)據(jù)集加載到應(yīng)用程序的速度更快，并且可以避免GPU匱乏。

此外，NVMe Over Fabrics可以虛擬化整個高速網(wǎng)絡(luò)上的Nvme資源，通過NVMeoF技術(shù)可以更好的適用于AI和ML的存儲架構(gòu)。NVMeoF使GPU可以直接訪問NVMe的彈性池，因此可以使用本地閃存性能來訪問所有資源。它使AI數(shù)據(jù)科學(xué)家和HPC研究人員可以向應(yīng)用程序提供更多數(shù)據(jù)，以便他們更快地獲得更好的結(jié)果。

要獲得最佳的GPU存儲性能，就需要根據(jù)業(yè)務(wù)目標(biāo)對基礎(chǔ)架構(gòu)進行微調(diào)。這里有四種方法可供考慮。

1.有效擴展GPU存儲容量

例如，某存儲公司為不需要運行自己的AI堆棧的組織提供了AI即服務(wù)解決方案。因此，這家公司需要最大的ROI和可擴展性。特別是對多租戶的需求，這意味著為滿足各種工作負載和客戶端的性能要求，基礎(chǔ)架構(gòu)必須隨時準(zhǔn)備就緒。

該基礎(chǔ)架構(gòu)團隊在部署其第一個GPU服務(wù)器系統(tǒng)的早期就了解到，本地GPU服務(wù)器的存儲容量將太有限，只有4TB的本地存儲，而客戶的工作量則需要10到100 TB的數(shù)據(jù)。該團隊研究了外部存儲選項，并注意到，使用傳統(tǒng)陣列它們將獲得更多的容量，但性能最終會阻礙AI工作負載，因為應(yīng)用程序需要將數(shù)據(jù)移入和移出GPU系統(tǒng)，從而中斷工作流程并影響系統(tǒng)效率。

最終這家公司通過使用軟件定義存儲在快速的RDMA網(wǎng)絡(luò)上合并NVMe閃存(一種將數(shù)據(jù)集加載速度提高10倍的方法)，最終可以實現(xiàn)更高的GPU容量利用率，消除了GPU瓶頸并提高了ROI，因此現(xiàn)有的GPU變得更加充分利用。(注：參考lnstaDeep)

2.大規(guī)模調(diào)整性能

AI部署的快速增長和ML訓(xùn)練數(shù)據(jù)集的大小增加了計算基礎(chǔ)架構(gòu)的負擔(dān)，STFC(The Science and Technology Facilities Council )則是這種典型的代表。盡管STFC已添加了高端GPU服務(wù)器以提供更高的計算支持，但STFC缺乏在數(shù)百個Researchers 中擴展資源所需的企業(yè)級存儲功能。

通過在具有RDMA功能的高速網(wǎng)絡(luò)(例如Infiniband或融合以太網(wǎng)(RoCE)v2上的RDMA)上實現(xiàn)NVMe-over-Fabrics協(xié)議，大型AI / ML用戶組(例如STFC)可以虛擬化NVMe SSD在各種服務(wù)器上未使用的存儲資源池，因此它們的性能就像在本地一樣。通過這樣做，可以在一個小時內(nèi)完成機器學(xué)習(xí)培訓(xùn)任務(wù)，而以前則需要三到四天。即使具有復(fù)雜的模型訓(xùn)練任務(wù)，GPU存儲也不再是瓶頸。

3.在并行文件系統(tǒng)下使用NVMe池化存儲

當(dāng)AI和ML應(yīng)用程序涉及從許多GPU服務(wù)器訪問大量小文件時，作為存儲基礎(chǔ)架構(gòu)就必須部署并行分布式文件系統(tǒng)。并行文件系統(tǒng)還使存儲更容易實現(xiàn)大多數(shù)AI / ML使用所需的高吞吐量和低延遲。在并行文件系統(tǒng)下具有快速、靈活的池化NVMe存儲，可以改善對元數(shù)據(jù)的處理，從而實現(xiàn)更高的讀取性能和更低的延遲，從而提高GPU服務(wù)器的利用率。

例如，一家超大型技術(shù)提供商最近推出了一種AI解決方案，用于預(yù)估保險公司使用的車輛碰撞場景。為了開發(fā)應(yīng)用程序背后的AI邏輯，應(yīng)用程序工作流涉及培訓(xùn)模型，方法是攝取多達2000萬個小文件數(shù)據(jù)集，其中每個文件大小在150-700 KB之間。數(shù)據(jù)提取通常每8小時以100萬個文件的速度或者每個客戶端每秒最多35,000個文件進行。

通過在并行分布式文件系統(tǒng)下使用池化NVMe存儲方法，該技術(shù)提供商消除了它遇到的存儲瓶頸，并將存儲性能提高了3-4倍。

4.檢查特定于GPU的“高速公路”

新的數(shù)據(jù)中心架構(gòu)正在以統(tǒng)一的方式提高服務(wù)器、網(wǎng)絡(luò)和存儲的性能。一種類似的方法于2019年秋季首次亮相，它將來自多個供應(yīng)商的基礎(chǔ)架構(gòu)元素與GPU優(yōu)化的網(wǎng)絡(luò)和存儲進行集成，以在GPU內(nèi)存和存儲之間打開直接的數(shù)據(jù)通道，從而完全繞開CPU。這使數(shù)據(jù)能夠在GPU、存儲和網(wǎng)絡(luò)設(shè)備提供的“開放高速公路”上進行傳輸，從而實現(xiàn)了對NVMe企業(yè)級卓越性能的無障礙訪問。

總結(jié)

AI和ML的創(chuàng)新步伐迅捷，這意味著當(dāng)今的部署依賴及關(guān)鍵技術(shù)在一年前可能是不存在的，在明年也可能被新技術(shù)取代?，F(xiàn)在精通微調(diào)GPU存儲性能的IT團隊已經(jīng)意識到它們之前的許多新選擇，可以實現(xiàn)最佳的系統(tǒng)利用率和ROI，從而為其組織帶來競爭優(yōu)勢。

參考鏈接：https://www.enterpriseai.news/2020/03/17/how-to-beat-the-gpu-storage-bottleneck-for-ai-and-ml/