Hello folks，我是 Luga，今天我們來聊一下人工智能（AI）生態(tài)領(lǐng)域相關(guān)的底座技術(shù) -  NVIDIA GPU Core。

近年來，如果大家使用過 NVIDIA 的 GPU，一定對“ GPU Core”有所耳聞。那么，這玩意 究竟是什么？

現(xiàn)代 NVIDIA GPU 的強(qiáng)大性能源于其內(nèi)部精心設(shè)計的多類型核心架構(gòu)，其中 CUDA cores、Tensor cores 和 Ray-Tracing cores 各司其職，共同推動 GPU 在計算性能、人工智能和圖形渲染等領(lǐng)域的跨越式發(fā)展。

一、CUDA Cores：并行計算的基石

CUDA cores（Compute Unified Device Architecture cores）是 NVIDIA GPU 中最基礎(chǔ)的處理單元，專門用于執(zhí)行并行計算任務(wù)。其主要職責(zé)包括處理大規(guī)模的浮點運算和整數(shù)運算，尤其適合需要高吞吐量的計算場景。

GPU 內(nèi)部的處理單元被稱為 CUDA 核心。CUDA 是“Compute Unified Device Architecture”（計算統(tǒng)一設(shè)備架構(gòu)）的縮寫。這個術(shù)語旨在描述 GPU 的并行計算能力，以及允許我們訪問 GPU 中 NVIDIA CUDA 核心指令集的應(yīng)用程序接口（API）。這些核心是 NVIDIA GPU 的基石，自 2006 年首次推出以來，已成為高性能計算領(lǐng)域不可或缺的重要組成部分。

CUDA 核心的設(shè)計特點是 “多線程并行執(zhí)行”，能夠一次性運行數(shù)千甚至數(shù)百萬個線程。這種架構(gòu)使 GPU 在以下任務(wù)中表現(xiàn)卓越：

• 圖像和視頻處理：通過對像素和幀進(jìn)行并行處理，顯著提升渲染效率。
• 科學(xué)計算：例如粒子模擬、氣象預(yù)測等需要密集計算的領(lǐng)域。
• 實時物理計算：如游戲中的碰撞檢測、流體模擬等。

CUDA cores 核心優(yōu)勢主要體現(xiàn)在如下幾點：

• 大規(guī)模并行性：CUDA cores 通常以成千上萬的數(shù)量存在，其核心數(shù)顯著高于傳統(tǒng) CPU 核心。
• 高計算效率：通過簡化指令流水線，提高并行任務(wù)的執(zhí)行速度。
• 廣泛的開發(fā)工具支持：NVIDIA 提供了完整的 CUDA 開發(fā)工具鏈，幫助開發(fā)者編寫高效的并行代碼。

CUDA cores 典型應(yīng)用包括但不限于如下：

• 視頻轉(zhuǎn)碼（如 NVIDIA NVENC）：加速高分辨率視頻的編碼和解碼。
• 3D 渲染：在 Blender 或 Maya 等軟件中顯著提升渲染速度。
• 深度學(xué)習(xí)基礎(chǔ)運算：為復(fù)雜矩陣運算提供底層計算支持。

二、Tensor Cores：AI 核心驅(qū)動力

作為 NVIDIA GPU 中的第2大核心，Tensor cores  為深度學(xué)習(xí)模型訓(xùn)練和推理任務(wù)專門設(shè)計的計算單元，首次引入于 Volta 架構(gòu)（如 Tesla V100）。其核心特性是能夠在 張量運算（Tensor Operations）中表現(xiàn)出色，例如矩陣乘法和累加計算（Matrix Multiplication and Accumulation, MMA）。

相比傳統(tǒng)的 CUDA cores，Tensor cores 能夠以 混合精度（FP16/FP32 或更高精度）處理大規(guī)模矩陣運算，這顯著提升了深度學(xué)習(xí)任務(wù)的性能和效率。通常而言，Tensor cores 的性能優(yōu)勢在于其專用性。例如，在矩陣計算任務(wù)中，其性能往往是 CUDA cores 的數(shù)倍，尤其是在處理 FP16 或 INT8 類型的高效計算時。

Tensor cores 核心優(yōu)勢主要體現(xiàn)在如下幾點：

• 混合精度計算：通過在性能與精度之間找到平衡，Tensor cores 可實現(xiàn) 10 倍甚至更高的運算速度。
• 針對 AI 優(yōu)化：專為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理任務(wù)設(shè)計。
• 低延遲高吞吐量：加速深度學(xué)習(xí)中占主導(dǎo)地位的線性代數(shù)運算。

Tensor cores 典型應(yīng)用包括但不限于如下：

• 深度學(xué)習(xí)訓(xùn)練：如神經(jīng)網(wǎng)絡(luò)的前向傳播和反向傳播計算。
• 推理優(yōu)化：在實時語音識別或圖像分類任務(wù)中顯著提升推理速度。
• 生成式 AI：支持像 GPT-4、DALL-E 這樣的生成模型加速計算。
• 大規(guī)模 AI 框架支持：TensorFlow、PyTorch 和 JAX 等深度學(xué)習(xí)框架已深度集成對 Tensor cores 的優(yōu)化。

三、Ray-Tracing Cores：渲染技術(shù)的革命者

作為 NVIDIA GPU 最后一個核心，Ray-Tracing cores 是 NVIDIA 針對光線追蹤渲染技術(shù)專門設(shè)計的核心單元，首次引入于 Turing 架構(gòu)（如 RTX 20 系列）。其主要任務(wù)是加速光線追蹤計算，即模擬光線在 3D 場景中的傳播和交互，以實現(xiàn)逼真的光影效果。

光線追蹤的關(guān)鍵任務(wù)：

• 光線與場景交互檢測（Ray-Object Intersection Detection）：快速判斷光線是否與場景中的幾何體相交。
• 路徑追蹤（Path Tracing）：模擬光線的多次反射和折射路徑，生成真實感光影效果。
• 動態(tài)光影渲染：支持實時生成動態(tài)場景中的光影變化。

Ray-Tracing cores 核心優(yōu)勢主要體現(xiàn)在如下幾點：

• 硬件加速：相較于傳統(tǒng)的軟件光線追蹤，Ray-Tracing cores 能夠以更高效率完成復(fù)雜光線計算。
• 實時性能：在高分辨率游戲和虛擬現(xiàn)實場景中實現(xiàn)實時光線追蹤效果。
• 兼容性與擴(kuò)展性：支持 NVIDIA 的 RTX 技術(shù)（如 DLSS）進(jìn)一步優(yōu)化性能。

Ray-Tracing cores 典型應(yīng)用包括但不限于如下：

• 高端游戲：如《賽博朋克 2077》和《戰(zhàn)地 V》，提供真實的光影和反射效果。
• 電影特效：提升 CG 動畫渲染效率和視覺效果。
• 虛擬現(xiàn)實：增強(qiáng) VR 場景中的沉浸感。

通常而言，在現(xiàn)代 NVIDIA GPU 工作機(jī)制下，盡管 CUDA cores、Tensor cores 和 Ray-Tracing cores 在功能上分工明確，但它們并非孤立運行，而是以互補(bǔ)和協(xié)同的方式共同完成任務(wù)。以下從硬件架構(gòu)和應(yīng)用場景兩方面，剖析三者之間的關(guān)系，具體可參考：

1. 硬件架構(gòu)中的關(guān)系

• 共享基礎(chǔ)資源：三種核心都集成在 GPU 的 Streaming Multiprocessor (SM) 模塊中，SM 通過共享緩存、寄存器和內(nèi)存接口，使得三者能夠高效協(xié)同工作。
• 多任務(wù)調(diào)度：CUDA cores 負(fù)責(zé)通用計算任務(wù)，而當(dāng)涉及特定的深度學(xué)習(xí)推理或訓(xùn)練時，任務(wù)會由 Tensor cores 加速執(zhí)行。對于需要實時光線追蹤的場景，Ray-Tracing cores 會接管相關(guān)計算。
• 統(tǒng)一編程模型：NVIDIA 提供統(tǒng)一的 CUDA 編程框架，使開發(fā)者能夠靈活調(diào)配三種核心的資源。例如，開發(fā)者可以通過 CUDA 代碼調(diào)用 Tensor cores 的矩陣加速功能，或在光線追蹤算法中結(jié)合 CUDA cores 進(jìn)行輔助計算。

2. 應(yīng)用場景中的關(guān)系

三種核心的協(xié)同作用在實際應(yīng)用中尤為明顯，它們通過分工合作提升了計算效率：

(1) 深度學(xué)習(xí)中的協(xié)同作用

Tensor cores 提供高效的矩陣計算，用于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理。

CUDA cores 處理預(yù)處理、數(shù)據(jù)加載和其他非矩陣計算任務(wù)，為 Tensor cores 減輕負(fù)擔(dān)。

在某些生成式模型（如 GAN 和 Stable Diffusion）中，Ray-Tracing cores 可用于生成更真實的圖像效果。

(2) 游戲與圖形渲染中的協(xié)同作用

Ray-Tracing cores 處理復(fù)雜的光線追蹤運算，如反射、折射和全局光照。

CUDA cores 輔助執(zhí)行像素著色、幾何計算和紋理映射等傳統(tǒng)渲染任務(wù)。

Tensor cores 加速 AI 驅(qū)動的渲染技術(shù)（如 NVIDIA DLSS），通過深度學(xué)習(xí)優(yōu)化渲染質(zhì)量和性能。

(3) 科學(xué)計算中的協(xié)同作用

CUDA cores 負(fù)責(zé)通用的數(shù)值計算和模擬任務(wù)。

Tensor cores 加速涉及矩陣運算的高性能計算任務(wù)，如氣候模擬和分子動力學(xué)仿真。

Ray-Tracing cores 可用于科學(xué)可視化中的光線追蹤渲染，生成高質(zhì)量的三維圖像。

此外，三種核心的協(xié)同工作使得 NVIDIA GPU 能夠在多種應(yīng)用場景中展現(xiàn)出卓越性能，其主要優(yōu)勢包括：

(1) 性能最大化

不同核心各司其職，分擔(dān)不同計算任務(wù)，提高整體吞吐量。例如，在 AI 模型訓(xùn)練中，Tensor cores 執(zhí)行矩陣運算，CUDA cores 執(zhí)行輔助任務(wù)，從而實現(xiàn)更快的訓(xùn)練速度。

(2) 多功能性

三種核心的結(jié)合使得 GPU 不僅能夠勝任通用計算任務(wù)，還能處理 AI 推理和實時渲染等高度專業(yè)化任務(wù)，擴(kuò)展了 GPU 的應(yīng)用范圍。

(3) 節(jié)能與效率

通過為不同類型的任務(wù)分配最合適的硬件資源，GPU 的功耗得以優(yōu)化。例如，Tensor cores 的設(shè)計使其能夠在較低的功耗下完成高效矩陣計算。

總而言之，CUDA cores、Tensor cores 和 Ray-Tracing cores 的分工明確卻又緊密協(xié)作，代表了現(xiàn)代 GPU 的三大計算支柱。CUDA cores 提供通用計算能力，Tensor cores 專注于 AI 加速，而 Ray-Tracing cores 為光線追蹤渲染提供支持。三者在硬件架構(gòu)、任務(wù)協(xié)作和應(yīng)用場景中形成了高效的協(xié)同關(guān)系，為深度學(xué)習(xí)、科學(xué)計算、圖形渲染等領(lǐng)域帶來了革命性突破。

未來，隨著任務(wù)復(fù)雜度的提升和計算需求的增長，三者的協(xié)同作用將進(jìn)一步深化，推動 GPU 技術(shù)繼續(xù)引領(lǐng)高性能計算的前沿。

Happy Coding ~

Reference ：https://developer.nvidia.com/