Ollama：簡(jiǎn)單易用的LLM部署工具 

Ollama以其簡(jiǎn)潔的安裝和易于使用的特性而聞名。其官方文檔清晰易懂，即使是新手也能快速上手。Ollama支持多種LLM模型，并提供便捷的命令行界面進(jìn)行管理和運(yùn)行。其核心優(yōu)勢(shì)在于：   

• 簡(jiǎn)單安裝：Ollama的安裝過(guò)程非常簡(jiǎn)單，只需幾條命令即可完成，無(wú)需復(fù)雜的配置。
• 易于使用：Ollama提供友好的用戶界面和命令行工具，方便用戶管理和運(yùn)行LLM模型。
• 跨平臺(tái)支持：Ollama支持macOS、Windows和Linux系統(tǒng)，具有良好的跨平臺(tái)兼容性。
• 內(nèi)存占用少：相較于其他一些部署方案，Ollama對(duì)內(nèi)存的占用相對(duì)較少，這對(duì)于資源受限的設(shè)備來(lái)說(shuō)非常友好。

 然而，Ollama也存在一些不足之處： 

• 并發(fā)限制：Ollama的并發(fā)處理能力相對(duì)有限，需要根據(jù)實(shí)際需求調(diào)整最大并發(fā)數(shù)。
• 國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境：由于服務(wù)器在國(guó)外，國(guó)內(nèi)用戶在下載和使用過(guò)程中可能會(huì)遇到網(wǎng)絡(luò)速度慢的問(wèn)題。

 Ollama安裝示例（Linux）： 

curl -fsSL https://ollama.com/install.sh | sh

 Ollama運(yùn)行示例： 

ollama run qwen2.5:32b-instruct

如果遇到網(wǎng)絡(luò)問(wèn)題的解決辦法,可以修改下載源

打開(kāi) ollama_install.sh，找到以下兩個(gè)下載地址：

https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}
https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}

我們要將這兩個(gè)地址替換成 GitHub 的下載鏈接。但直接使用 GitHub 可能依舊緩慢，因此我們推薦使用 GitHub 文件加速服務(wù)。

使用以下腳本來(lái)修改下載源：

#!/bin/bash


# 文件路徑
FILE="ollama_install.sh"


# 修改 URL
sed -i 's|https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64|g' $FILE
sed -i 's|https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz|g' $FILE

最終，把下載地址改為：

https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64
https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz

 vLLM：高性能LLM推理引擎 

vLLM是一個(gè)專注于高性能LLM推理的工具。它能夠有效地利用多核CPU和GPU資源，顯著提升LLM的推理速度。vLLM的主要優(yōu)勢(shì)在于： 

• 高推理速度：vLLM在推理速度方面表現(xiàn)出色，能夠快速生成LLM的輸出。
• 資源利用率高：vLLM能夠充分利用多核CPU和GPU資源，提升資源利用率。
• 靈活配置：vLLM允許用戶根據(jù)實(shí)際需求靈活配置參數(shù)，例如模型路徑、端口號(hào)等。

 但是，vLLM的上手難度相對(duì)較高：

• 配置復(fù)雜：vLLM的配置相對(duì)復(fù)雜，需要用戶具備一定的技術(shù)基礎(chǔ)。
• 顯存占用更大：相比于ollama的顯存占用,vLLM占用的更大。 

vLLM安裝示例： 

pip install vllm

 vLLM運(yùn)行示例： 

vllm serve --host 0.0.0.0 --port 8080 --model-path /path/to/model

 總結(jié)

Ollama和vLLM各有千秋，選擇哪種方案取決于具體需求。如果需要一個(gè)簡(jiǎn)單易用、快速部署的LLM解決方案，并且對(duì)推理速度要求不高，那么Ollama是不錯(cuò)的選擇。如果追求高性能的LLM推理，并且具備一定的技術(shù)基礎(chǔ)，那么vLLM更適合。