隨著深度學(xué)習(xí)模型（特別是大型語言模型）不斷變大，開發(fā)和本地使用它們對更多GPU內(nèi)存（VRAM）的需求也在不斷增加。構(gòu)建或獲取多GPU機(jī)器只是挑戰(zhàn)的第一部分。大多數(shù)庫和應(yīng)用程序默認(rèn)只使用一個GPU。因此，機(jī)器還需要有適當(dāng)?shù)尿?qū)動程序以及可以利用多GPU設(shè)置的庫。

這篇文章提供了如何在多GPU（Nvidia）Linux機(jī)器上設(shè)置重要庫（如CUDA Toolkit和PyTorch）的指南。這將希望節(jié)省你在實(shí)驗(yàn)上的時間，并讓你開始你的開發(fā)。最后，提供了可以利用多GPU設(shè)置進(jìn)行深度學(xué)習(xí)的流行開源庫的鏈接。

目標(biāo)：設(shè)置一個帶有必要庫（如CUDA Toolkit和PyTorch）的多GPU Linux系統(tǒng)，以開始深度學(xué)習(xí)。（相同的步驟也適用于單GPU機(jī)器）

我們將安裝：

1）CUDA Toolkit

2）PyTorch

3）Miniconda

以開始使用exllamaV2和torchtune等框架進(jìn)行深度學(xué)習(xí)。

開始

使用終端中的nvidia-smi命令檢查機(jī)器中安裝的GPU數(shù)量。它應(yīng)該打印出所有已安裝GPU的列表。如果有任何差異或命令不起作用，請首先為你的Linux版本安裝Nvidia驅(qū)動程序。確保nvidia-smi命令打印出你的機(jī)器中安裝的所有GPU的列表，如上圖所示。

步驟1 安裝CUDA Toolkit

檢查usr/local/cuda-xx中是否有現(xiàn)有的CUDA文件夾。這意味著已經(jīng)安裝了一個版本的CUDA。如果你已經(jīng)安裝了所需的CUDA工具包（在終端中檢查nvcc命令），請?zhí)讲襟E2。

檢查你所需的PyTorch庫所需的CUDA版本：

基礎(chǔ)安裝程序的終端命令將根據(jù)你選擇的選項(xiàng)出現(xiàn)。復(fù)制并粘貼它們在你的Linux終端中運(yùn)行以安裝CUDA工具包。例如，對于x86_64 Ubuntu 22，通過在下載文件夾中打開終端運(yùn)行以下命令：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-1-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

在安裝CUDA工具包時，安裝程序可能會提示內(nèi)核更新。如果在終端中出現(xiàn)任何彈出窗口以更新內(nèi)核，請按esc鍵取消。在此階段不要更新內(nèi)核！— 它可能會破壞你的Nvidia驅(qū)動程序。安裝完成后重新啟動Linux機(jī)器。nvcc命令仍然不起作用。你需要將CUDA安裝添加到PATH。使用nano編輯器打開.bashrc文件。

nano /home/$USER/.bashrc

滾動到.bashrc文件的底部并添加這兩行：

export PATH="/usr/local/cuda-12.1/bin:$PATH"
 export LD_LIBRARY_PATH="/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH"

注意你可以將cuda-12.1更改為你安裝的CUDA版本，如果將來需要，cuda-xx，'xx'是你的CUDA版本。

保存更改并關(guān)閉nano編輯器：

 To save changes - On you keyboard, press the following: 

 ctrl + o             --> save 
 enter or return key  --> accept changes
 ctrl + x             --> close editor

關(guān)閉并重新打開終端?，F(xiàn)在nvcc--version命令應(yīng)該在終端中打印出已安裝的CUDA版本。

步驟2 安裝Miniconda

在我們安裝PyTorch之前，最好先安裝Miniconda，然后在Conda環(huán)境中安裝PyTorch。為每個項(xiàng)目創(chuàng)建一個新的Conda環(huán)境也很有用。在下載文件夾中打開終端并運(yùn)行以下命令：

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh


# initiate conda
~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh

關(guān)閉并重新打開終端?，F(xiàn)在conda命令應(yīng)該可以工作。

步驟3 安裝PyTorch

（可選）— 為你的項(xiàng)目創(chuàng)建一個新的conda環(huán)境。

conda create -n <environment-name> python=3.11

# activate the environment
conda activate <environment-name>

為你的CUDA版本安裝PyTorch庫。以下是我們安裝的cuda-12.1的命令：

pip3 install torch torchvision torchaudio

PyTorch安裝后，在終端中檢查PyTorch可見的GPU數(shù)量。

python

>> import torch
>> print(torch.cuda.device_count())
8

這應(yīng)該打印出系統(tǒng)中安裝的GPU數(shù)量（我的情況下是8），也應(yīng)該與nvidia-smi命令中列出的GPU數(shù)量相匹配。