Hello folks，我是 Luga，今天我們繼續(xù)來聊一下人工智能生態(tài)相關(guān)技術(shù) - 用于加速構(gòu)建 AI 核心算力的 GPU 硬件技術(shù)。

隨著人工智能、渲染、仿真技術(shù)以及支持高動態(tài)范圍（HDR）的 4K 顯示器逐漸進入主流市場，GPU（圖形處理單元）的內(nèi)存需求也在迅速增長。這一需求的增加源自多個方面，包括更復(fù)雜和龐大的模型與數(shù)據(jù)集、多任務(wù)工作流程、多個顯示器上顯示的高分辨率內(nèi)容以及團隊協(xié)作等因素。

在現(xiàn)代專業(yè)工作環(huán)境中，GPU 內(nèi)存的重要性比以往任何時候都更為突出。尤其是工程、設(shè)計、影視制作和科學(xué)計算等領(lǐng)域的工作流程，對大容量 GPU內(nèi)存的依賴不斷增加……

什么是 CPU 內(nèi)存 ？

GPU 內(nèi)存是 GPU 上的專用內(nèi)存，主要用于存儲臨時數(shù)據(jù)緩沖區(qū)。這些緩沖區(qū)在 GPU 執(zhí)行復(fù)雜數(shù)學(xué)運算、圖形渲染和視覺數(shù)據(jù)處理時起著關(guān)鍵作用。通常而言，執(zhí)行特定指令前，GPU 通常需要在內(nèi)存中存儲大量數(shù)據(jù)，包括幾何信息、紋理數(shù)據(jù)和計算參數(shù)。高效的數(shù)據(jù)存儲與管理是 GPU 快速處理任務(wù)的核心。

NVIDIA Tesla V100 GPU 內(nèi)存結(jié)構(gòu)

在實際應(yīng)用場景中，系統(tǒng)通常需要將大量小型數(shù)據(jù)包從 CPU 或全局內(nèi)存?zhèn)鬏數(shù)?GPU 內(nèi)存進行處理。如果 GPU 內(nèi)存資源不足，數(shù)據(jù)傳輸頻率和處理速度會受到影響，導(dǎo)致性能瓶頸和延遲。這種情況尤其常見于高分辨率圖像處理、3D 建模和復(fù)雜的實時渲染任務(wù)。

值得注意的是，GPU 內(nèi)存是獨立于系統(tǒng) RAM 的專用內(nèi)存空間，專為圖形和計算任務(wù)優(yōu)化。它在快速存儲和訪問數(shù)據(jù)中扮演著重要角色，尤其是在高性能計算和實時應(yīng)用中，對整體計算效率和響應(yīng)速度有直接影響。

有時，在處理人工智能（AI）和機器學(xué)習（ML）模型等需要大量數(shù)據(jù)的復(fù)雜工作負載時， GPU 內(nèi)存的使用要求常被低估。AI/ML 模型通常需要處理龐大數(shù)據(jù)集和復(fù)雜算法，此時內(nèi)存資源的有效利用至關(guān)重要。GPU 內(nèi)存的使用效率和帶寬常是影響系統(tǒng)性能的關(guān)鍵瓶頸之一。

對于這些高強度計算任務(wù)，GPU 不僅需要大容量內(nèi)存來存儲數(shù)據(jù)，還需要足夠的內(nèi)存帶寬以確保數(shù)據(jù)在處理器與內(nèi)存間的高速傳輸。因此，內(nèi)存容量和帶寬在處理 AI、深度學(xué)習模型及其他繁重工作負載時至關(guān)重要。隨著技術(shù)的發(fā)展，工作負載對 GPU 內(nèi)存的需求持續(xù)增長，這強調(diào)了在設(shè)計和使用 GPU 時充分考慮內(nèi)存資源分配和管理的重要性。

常見的 GPU 內(nèi)存解析

在云計算體系中，“內(nèi)存”作為硬件系統(tǒng)的基石，為各類應(yīng)用提供了存儲和處理數(shù)據(jù)的空間。從龐大的數(shù)據(jù)中心到微小的嵌入式系統(tǒng)，內(nèi)存的性能直接影響著整個系統(tǒng)的響應(yīng)速度和處理能力。無論是大數(shù)據(jù)分析中海量數(shù)據(jù)的快速處理，人工智能模型的實時訓(xùn)練和推理，還是物聯(lián)網(wǎng)設(shè)備對實時性的嚴苛要求，高效的內(nèi)存利用都是提升系統(tǒng)性能的關(guān)鍵。

通常而言，在 GPU 內(nèi)存體系中，不同類型的內(nèi)存具有各自的特性和適用場景。合理地選擇和利用這些內(nèi)存類型，對于提升應(yīng)用程序的性能至關(guān)重要。

在深入研究 GPU 中的各種內(nèi)存類型之前，首先需要明確內(nèi)存的基本分類。通常，在討論內(nèi)存時，我們會將其分為兩種主要類型：物理內(nèi)存和邏輯內(nèi)存。這一區(qū)分在理解 GPU 內(nèi)存架構(gòu)以及如何優(yōu)化其使用時至關(guān)重要。 

1. 物理內(nèi)存 

通常指的是實際存在于硬件中的內(nèi)存，包括顯卡上的 VRAM（視頻隨機存取存儲器）以及其他存儲組件。這種內(nèi)存是真實存在的硬件資源，決定了 GPU 能夠直接存儲和訪問數(shù)據(jù)的容量。物理內(nèi)存的大小直接影響了 GPU 在處理大量數(shù)據(jù)時的能力，尤其是在運行復(fù)雜的圖形任務(wù)、訓(xùn)練深度學(xué)習模型或者執(zhí)行大規(guī)模計算時，物理內(nèi)存的容量越大， GPU 能夠處理的數(shù)據(jù)集就越大，從而減少內(nèi)存溢出和性能瓶頸的發(fā)生。

2. 邏輯內(nèi)存

邏輯內(nèi)存則是從編程和軟件層面上定義的內(nèi)存。它并不與物理內(nèi)存一一對應(yīng)，而是通過抽象層次為開發(fā)者提供了一種管理內(nèi)存資源的方式。在 GPU 編程中，邏輯內(nèi)存的概念包括不同類型的存儲區(qū)域，例如寄存器、共享內(nèi)存、全局內(nèi)存和本地內(nèi)存等。每種邏輯內(nèi)存有著不同的訪問速度、容量和適用場景，開發(fā)者在編寫代碼時需要根據(jù)具體任務(wù)和需求，合理選擇和管理這些邏輯內(nèi)存，以最大化性能。

這種對內(nèi)存的劃分幫助我們在理解 GPU 工作機制時，明確硬件資源和軟件管理之間的區(qū)別。物理內(nèi)存提供了硬件層面的基礎(chǔ)，而邏輯內(nèi)存則通過編程模型來合理管理和調(diào)度這些資源。優(yōu)化應(yīng)用程序的性能往往需要充分理解這兩者之間的關(guān)系，確保物理內(nèi)存得到高效利用，同時最大限度地發(fā)揮邏輯內(nèi)存的優(yōu)勢，避免資源浪費和性能瓶頸。

接下來，我們先來看一下 GPU 的邏輯內(nèi)存架構(gòu)圖，具體可參考如下所示：

(1) 共享 GPU 內(nèi)存

當 GPU 的 VRAM（視頻內(nèi)存）不足時，系統(tǒng)會調(diào)用另一種內(nèi)存類型來補充。這種內(nèi)存類型通常是指共享內(nèi)存（Shared Memory），在 CUDA 編程模型中發(fā)揮著重要作用。多個線程可以在同一 GPU 塊中共享這些 CUDA 內(nèi)存空間，從而在處理資源密集型任務(wù)時提高效率。

共享內(nèi)存的特點是其生命周期與創(chuàng)建它的塊（Block）相同，也就是說，一旦該塊結(jié)束執(zhí)行，分配給共享內(nèi)存的數(shù)據(jù)也會被釋放。

共享內(nèi)存的主要優(yōu)勢在于：提供了一種比全局內(nèi)存更快的訪問方式，允許同一線程塊中的多個線程同時訪問和共享數(shù)據(jù)，而不必每次都通過較慢的全局內(nèi)存?zhèn)鬏敗＿@種機制在處理大量數(shù)據(jù)時，能夠極大地減少內(nèi)存訪問延遲，從而提升整體計算效率。因此，在并行計算和資源密集型任務(wù)（如科學(xué)計算、圖像處理和機器學(xué)習）中，共享內(nèi)存的合理利用可以顯著加快計算速度。

然而，GPU 的共享內(nèi)存是有限的資源，且通常分配給每個線程塊的共享內(nèi)存量是固定的。這意味著，開發(fā)者在編寫 CUDA 程序時，必須仔細規(guī)劃內(nèi)存的分配和使用，以避免超出共享內(nèi)存的容量限制。如果任務(wù)需要的內(nèi)存超過了共享內(nèi)存的容量，GPU 就不得不依賴速度較慢的全局內(nèi)存，可能導(dǎo)致性能下降。

(2) 注冊 GPU 內(nèi)存

在大多數(shù)情況下，訪問寄存器的指令不消耗時鐘周期。然而，讀后寫依賴關(guān)系和銀行沖突可能導(dǎo)致延遲。具體而言，寫后依賴項的讀后延遲大約為 24 個時鐘周期。對于配備 32 個內(nèi)核的較新 CUDA 設(shè)備來說，可能需要多達 768 個線程才能完全隱藏這種延遲。

除了讀寫延遲之外，寄存器壓力也會嚴重影響應(yīng)用程序性能。當任務(wù)所需的寄存器不足時，就會發(fā)生寄存器壓力。這種情況下，數(shù)據(jù)將“溢出”到本地內(nèi)存中進行存儲，從而導(dǎo)致性能下降。

有效管理寄存器使用對于優(yōu)化 CUDA 應(yīng)用程序的性能至關(guān)重要。通過仔細分配線程和優(yōu)化內(nèi)存訪問模式，可以減輕這些潛在的性能瓶頸。

(3) 本地 GPU 內(nèi)存

本地 GPU 內(nèi)存是由操作系統(tǒng)內(nèi)核分配的靜態(tài)內(nèi)存，在 CUDA 編程中，此類內(nèi)存被視為線程的本地內(nèi)存。每個線程只能訪問其自身分配的本地內(nèi)存。這種內(nèi)存訪問速度較慢，因為它通過寄存器或共享內(nèi)存進行操作，效率不如直接使用寄存器。

在實際應(yīng)用中，本地內(nèi)存的使用會導(dǎo)致性能下降，尤其是在需要頻繁數(shù)據(jù)訪問的情況下。因此，在 CUDA 編程中，優(yōu)化內(nèi)存使用、盡量減少對本地內(nèi)存的依賴，對于提升程序執(zhí)行效率至關(guān)重要。

當然，我們也可以將上述內(nèi)存劃分為其他形式，比如，紋理內(nèi)存（Texture Memory）、常量內(nèi)存（Constant Memory）以及其他內(nèi)存等。

而對于 GPU 的物理內(nèi)存架構(gòu)圖，可參考如下：

上述架構(gòu)圖所述與塊和線程的關(guān)系非常相似，但在這里我們討論的是流式多處理器（SM）和流式處理器（SP）。每個 SM 都擁有自己獨立的共享內(nèi)存、緩存、常量內(nèi)存和寄存器資源，這些資源僅供該 SM 內(nèi)部的線程使用。然而，所有 SM 之間共享相同的全局內(nèi)存資源，所有線程都可以訪問該內(nèi)存。

GPU 內(nèi)存常用場景解析

在 GPU 中，內(nèi)存帶寬是決定其在處理內(nèi)核和內(nèi)存之間數(shù)據(jù)傳輸速度的關(guān)鍵因素。內(nèi)存帶寬可以通過兩種主要方式來衡量：一是內(nèi)存與計算內(nèi)核之間的數(shù)據(jù)傳輸速度，二是連接這兩者之間的總線數(shù)量和帶寬。

內(nèi)存帶寬對 GPU 的性能有著深遠的影響，直接影響到各種任務(wù)的處理效率。例如，在進行計算密集型任務(wù)時，如大規(guī)模的機器學(xué)習（ML）項目、醫(yī)療影像分析或高端游戲，內(nèi)存帶寬的寬度會顯著影響計算的生產(chǎn)力和任務(wù)的執(zhí)行速度。內(nèi)存帶寬越大，GPU 能夠更高效地傳輸和處理數(shù)據(jù)，從而提高整體計算性能和響應(yīng)速度。

對于復(fù)雜的任務(wù)，如神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推斷，一個擁有更寬內(nèi)存帶寬的 GPU 可以避免數(shù)據(jù)傳輸成為性能瓶頸。大規(guī)模的 ML 項目通常需要處理大量的權(quán)重和激活值，這些數(shù)據(jù)需要在計算內(nèi)核和內(nèi)存之間迅速傳輸。更高的內(nèi)存帶寬意味著 GPU 能夠在并行處理時更有效地訪問和利用數(shù)據(jù)，提升計算的吞吐量和效率。

此外，不同類型的應(yīng)用對內(nèi)存帶寬的需求也有所不同。例如，圖像和視頻處理相關(guān)的機器學(xué)習項目（如圖像識別、對象檢測等）通常需要較高的內(nèi)存帶寬，因為這些任務(wù)涉及大量的視覺數(shù)據(jù)處理和高頻率的數(shù)據(jù)傳輸。足夠的內(nèi)存帶寬可以確保 GPU 能夠高效地處理和存儲大量的視覺數(shù)據(jù)，避免由于帶寬不足而造成的數(shù)據(jù)傳輸延遲。

相比之下，涉及聲音處理或自然語言處理（NLP）的任務(wù)通常對內(nèi)存帶寬的需求較低。這些工作負載通常涉及的數(shù)據(jù)量較小，因此可以在較低帶寬的 GPU 上有效處理，而不會造成明顯的性能瓶頸。盡管如此，足夠的內(nèi)存帶寬仍然能夠優(yōu)化這些應(yīng)用的處理效率和響應(yīng)速度。

因此，毫無疑問地講，內(nèi)存帶寬在 GPU 的性能表現(xiàn)中起著至關(guān)重要的作用。其寬度直接影響到數(shù)據(jù)傳輸?shù)乃俣群陀嬎愕男?，尤其在處理高?shù)據(jù)量和高計算需求的任務(wù)時尤為重要。選擇適合的 GPU時，了解內(nèi)存帶寬的要求可以幫助確保計算資源的有效利用，并優(yōu)化應(yīng)用程序的整體性能。

Reference ：

• [1] https://www.engineering.com/why-gpu-memory-matters-more-than-you-think/
• [2] https://www.microway.com/hpc-tech-tips/gpu-memory-types-performance-comparison/