法國云服務提供商 Scaleway 正在基于 NVIDIA 的 Hopper GPU 和 Spectrum-X 以太網(wǎng)網(wǎng)絡平臺構(gòu)建區(qū)域性 GPU 集群，為用戶提供 AI 按需服務業(yè)務。

Scaleway 是法國的一家擁有高性能基礎設施的云服務提供商，創(chuàng)立于 1999 年，擁有 80+ 云產(chǎn)品及服務，為全球 25,000+ 客戶提供云服務，客戶包括 Mistral AI、Aternos、Hugging Face、Golem.ai 等。 Scaleway 提供一站式的云服務，以開發(fā)創(chuàng)新解決方案并幫助用戶從零開始構(gòu)建和擴展 AI 項目，目前 Scaleway 正在構(gòu)建區(qū)域 AI 云，提供 GPU 基礎設施，用于大規(guī)模的 AI 模型訓練、推理及部署。

客戶挑戰(zhàn)

云 AI 工作負載需求正以前所未有的速度增長，同時生成式 AI 應用也在激增。為滿足客戶部署生成式 AI 應用程序、訓練基礎 AI 大模型的需求，云服務提供商面臨巨大挑戰(zhàn)，需要構(gòu)建 AI 云，使用加速計算技術和高性能網(wǎng)絡來支持 AI 業(yè)務。Scaleway 的核心需求包括：

● 對于分布式 AI 訓練任務，單個任務的訓練時間由最慢的計算節(jié)點的運行時間決定，這使得尾部延遲至關重要。AI 云需要一個高吞吐、低延遲、低抖動、易擴展的高性能網(wǎng)絡，來確保 GPU 間快速、高效的通信，尤其是在大規(guī)模部署的場景下。

● 在多個 AI 任務同時運行的多租戶環(huán)境中，性能隔離對于保護一個租戶的 AI 任務免受其他租戶業(yè)務的影響是必不可少的。由此提出了對多租戶多任務場景下性能隔離的需求。

● 對于復雜的 AI 云環(huán)境，需要專門適用于 AI 網(wǎng)絡的監(jiān)控管理工具，提供細粒度的網(wǎng)絡可視化功能、同時具備網(wǎng)絡監(jiān)控和故障定位能力。

● 為實現(xiàn) AI 云數(shù)據(jù)中心的高效、快速部署，需要強大的網(wǎng)絡仿真及自動化平臺。

● 隨著云上用戶、數(shù)據(jù)、應用的快速增長，網(wǎng)絡安全威脅不容忽視，需要提供私有的、安全的零信任基礎設施，保障用戶的業(yè)務安全。

解決方案

Scaleway 采用了 NVIDIA 的Hopper GPU 和Spectrum-X 網(wǎng)絡平臺應對以上挑戰(zhàn)。

Scaleway 將 HGX Hopper GPU 服務器加入其 GPU 集群陣容中，以覆蓋廣泛的計算需求，利用 GPU 的速度和效率加速 AI 分布式工作負載。

對于 Scale-Out AI 網(wǎng)絡，Scaleway 采用了基于 BlueField-3 SuperNIC 和 Spectrum SN5600 交換機構(gòu)建的 Spectrum-X 網(wǎng)絡平臺。 NVIDIA 的 Spectrum-X 網(wǎng)絡平臺是全球首個專為 AI 構(gòu)建的以太網(wǎng)端到端解決方案，與傳統(tǒng)以太網(wǎng)相比，其生成式 AI 訓練的網(wǎng)絡通信效率提高了 1.6 倍。同時 Spectrum-X 部署將利用以下網(wǎng)絡軟件堆棧：

● NVIDIA Air 用于 AI 網(wǎng)絡仿真，NVIDIA Air 是一個云托管的數(shù)據(jù)中心網(wǎng)絡仿真平臺，其行為類似于真實世界的生產(chǎn)環(huán)境。使用 NVIDIA Air 創(chuàng)建數(shù)據(jù)中心的數(shù)字孿生，可以驗證網(wǎng)絡配置、網(wǎng)絡功能以及自動化部署代碼，提升數(shù)據(jù)中心的部署效率。

● NetQ 用于 AI 網(wǎng)絡監(jiān)控，通過高頻遙測技術監(jiān)控 AI 工作負載，NetQ 提供有關數(shù)據(jù)中心運行狀況的數(shù)據(jù)和統(tǒng)計信息，關聯(lián)配置和運行狀態(tài)，并跟蹤狀態(tài)變化?；谶b測信息，NetQ 提供動態(tài)路由監(jiān)控，RoCE 流量計數(shù)器，交換機隊列直方圖等功能，以識別和應對網(wǎng)絡微突發(fā)、擁塞場景，方便網(wǎng)絡故障定位。

● Cumulus Linux 用于軟件驅(qū)動的數(shù)據(jù)中心網(wǎng)絡自動化，Cumulus Linux 是創(chuàng)新的開放網(wǎng)絡操作系統(tǒng)，支持 BGP/OSPF 路由協(xié)議，以太網(wǎng)虛擬專用網(wǎng)絡 EVPN，虛擬路由和轉(zhuǎn)發(fā)。

● DOCA SDK 和庫用于增強 BlueField-3 SuperNIC 性能，DOCA SDK 提供行業(yè)標準的開放 API 和軟件框架，包括針對 RDMA、網(wǎng)絡、安全、存儲、數(shù)據(jù)路徑加速的 SDK，幫助開發(fā)者快速創(chuàng)建軟件定義、SuperNIC 加速的服務。

使用的NVIDIA產(chǎn)品

● 硬件:

o   NVIDIA HGX Hopper 服務器

o   NVIDIA Spectrum-4 SN5600 以太網(wǎng)交換機

o   NVIDIA BlueField-3 B3140H SuperNICs

● 軟件:

o   Cumulus Linux 網(wǎng)絡操作系統(tǒng)

o   NetQ 監(jiān)控管理平臺

o   NVIDIA Air 仿真平臺

o   DOCA SDK

實際效果

采用 NVIDIA 的整體解決方案后，極大地提升了 AI 計算能力，縮短了 AI 訓練時間，同時加速了 AI 解決方案的開發(fā)、部署和上市時間，有效提高了投資回報率。

● Scaleway 客戶可以從幾個 GPU 擴展到幾千個 GPU，以適應任何 AI 用例

● Spectrum-X 提供多租戶、多任務的 AI 環(huán)境所需的高性能和安全性， 借助動態(tài)路由、擁塞控制、全局共享緩沖區(qū)等多種機制，實現(xiàn)了多任務的性能隔離。

● NetQ 提供對 AI 網(wǎng)絡健康狀況的深度可視性，具有 RoCE 流量計數(shù)器、事件和WJH（What Just Happened）警報等豐富的儀表板，實現(xiàn) AI 網(wǎng)絡可視化、故障排除和驗證功能。

● NVIDIA Air 和 Cumulus Linux 支持 API 原生網(wǎng)絡環(huán)境，該環(huán)境可集成到 DevOps 工具鏈中，實現(xiàn)了第 0 天、第 1 天 和第 2 天操作的無縫銜接。

NVIDIA 網(wǎng)絡高級副總裁 Gilad Shainer 表示：“生成式 AI 等開創(chuàng)性技術的飛速發(fā)展，使每家企業(yè)都必須把網(wǎng)絡創(chuàng)新放在第一位，從而獲得競爭優(yōu)勢。NVIDIA Spectrum-X 是對以太網(wǎng)絡的一次革命，讓企業(yè)能夠充分利用其 AI 基礎設施的強大力量來改變其運營方式，甚至顛覆他們的行業(yè)?！?/span>

Scaleway 首席執(zhí)行官 Damien Lucas 表示：“NVIDIA Spectrum-X 網(wǎng)絡技術為我們的 ‘ GPU 集群按需服務’ 提供了更快的網(wǎng)絡連接和更高效的 GPU 通信，使我們的客戶能夠加速開發(fā)和部署他們的 AI 解決方案?！?/span>