譯者 | 布加迪

審校 | 重樓

CuPy簡(jiǎn)介

CuPy是一個(gè)Python庫(kù)，與NumPy和SciPy數(shù)組兼容，為GPU加速計(jì)算而設(shè)計(jì)。通過(guò)將NumPy換成CuPy語(yǔ)法，您可以在英偉達(dá)CUDA或AMD ROCm平臺(tái)上運(yùn)行代碼。這讓您可以使用GPU加速執(zhí)行與數(shù)組相關(guān)的任務(wù)，從而更快地處理更龐大的數(shù)組。

只需換掉幾行代碼，就可以利用GPU的大規(guī)模并行處理能力來(lái)顯著加快索引、規(guī)范化和矩陣乘法等數(shù)組操作。

CuPy還支持訪問(wèn)低級(jí)CUDA功能。它允許使用RawKernels將ndarray傳遞給現(xiàn)有的CUDA C/ C++程序，借助Streams簡(jiǎn)化性能，并允許直接調(diào)用CUDA Runtime API。

安裝CuPy

您可以使用pip安裝CuPy，但在此之前，您必須使用以下命令找到正確的CUDA版本。

!nvcc --version

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0

谷歌Colab的當(dāng)前版本似乎使用CUDA版本11.8。因此，我們將繼續(xù)安裝cupy-cuda11x版本。

如果您使用較舊的CUDA版本，我提供了下面的表格來(lái)幫助您確定要安裝的合適的CuPy軟件包。

選擇正確的版本后，我們將使用pip安裝Python軟件包。

pip install cupy-cuda11x

如果您已安裝了Anaconda，還可以使用conda命令自動(dòng)檢測(cè)并安裝CuPy軟件包的正確版本。

conda install -c conda-forge cupy

CuPy基礎(chǔ)知識(shí)

在本節(jié)中，我們將比較CuPy和Numpy的語(yǔ)法，它們相似度為95%。您不是使用np，而是用cp代替它。

我們將先使用Python列表創(chuàng)建NumPy和CuPy數(shù)組。之后，我們將計(jì)算向量的范數(shù)。

import cupy as cp
import numpy as np

x = [3, 4, 5]

x_np = np.array(x)
x_cp = cp.array(x)

l2_np = np.linalg.norm(x_np)
l2_cp = cp.linalg.norm(x_cp)

print("Numpy: ", l2_np)
print("Cupy: ", l2_cp)

正如我們所見(jiàn)，我們得到了類(lèi)似的結(jié)果。

Numpy: 7.0710678118654755

Cupy: 7.0710678118654755

為了將NumPy轉(zhuǎn)換成CuPy數(shù)組，只需使用cp.asarray(X)。

x_array = np.array([10, 22, 30])
x_cp_array = cp.asarray(x_array)
type(x_cp_array)

cupy.ndarray

或者，使用.get()，將CuPy轉(zhuǎn)換成Numpy數(shù)組。

x_np_array = x_cp_array.get()
type(x_np_array)

numpy.ndarray

性能比較

在本節(jié)中，我們將比較NumPy和CuPy的性能。

我們將使用time.time()對(duì)代碼執(zhí)行時(shí)間進(jìn)行計(jì)時(shí)。然后，我們將創(chuàng)建一個(gè)3D NumPy數(shù)組，并執(zhí)行一些數(shù)學(xué)函數(shù)。

import time

# NumPy and CPU Runtime
s = time.time()
x_cpu = np.ones((1000, 100, 1000))
np_result = np.sqrt(np.sum(x_cpu**2, axis=-1))
e = time.time()
np_time = e - s
print("Time consumed by NumPy: ", np_time)

Time consumed by NumPy: 0.5474584102630615

類(lèi)似地，我們將創(chuàng)建一個(gè)3D CuPy數(shù)組，執(zhí)行數(shù)學(xué)運(yùn)算，并進(jìn)行計(jì)時(shí)以評(píng)測(cè)性能。

# CuPy and GPU Runtime
s = time.time()
x_gpu = cp.ones((1000, 100, 1000))
cp_result = cp.sqrt(cp.sum(x_gpu**2, axis=-1))
e = time.time()
cp_time = e - s
print("\nTime consumed by CuPy: ", cp_time)

Time consumed by CuPy: 0.001028299331665039

為了計(jì)算差異，我們將NumPy時(shí)間除以CuPy時(shí)間，我們使用CuPy后獲得了500倍以上的性能提升。

diff = np_time/cp_time
print(f'\nCuPy is {diff: .2f} X time faster than NumPy')

CuPy is 532.39 X time faster than NumPy

注意：為了達(dá)到更好的效果，建議進(jìn)行一番預(yù)熱運(yùn)行，以盡量減少時(shí)間波動(dòng)。

除了速度優(yōu)勢(shì)外，CuPy還提供了出色的多GPU支持，可以充分利用多個(gè)GPU的集體計(jì)算能力。

此外，如果您想比較結(jié)果，可以看看我的Colab筆記本。

結(jié)論

總之，CuPy提供了一種在英偉達(dá)GPU上加速NumPy代碼的簡(jiǎn)單方法。只需做幾個(gè)修改，將NumPy替換成CuPy，就可以體驗(yàn)到數(shù)組計(jì)算在速度上有數(shù)量級(jí)的提升。這種性能提升使您可以處理龐大得多的數(shù)據(jù)集和模型，從而實(shí)現(xiàn)更先進(jìn)的機(jī)器學(xué)習(xí)和科學(xué)計(jì)算。

相關(guān)資源：

• 說(shuō)明文檔：https://docs.cupy.dev/en/stable/index.html
• GitHub：https://github.com/cupy/cupy
• 示例：https://github.com/cupy/cupy/tree/main/examples
• API：https://docs.cupy.dev/en/stable/reference/

原文標(biāo)題：Leveraging the Power of GPUs with CuPy in Python，作者：Abid Ali Awan