概述

LLaMA-3（Large Language Model Meta AI 3）是由Meta公司開發(fā)的大型開源生成式人工智能模型。它在模型結(jié)構(gòu)上與前一代LLaMA-2相比沒有大的變動。

LLaMA-3模型分為不同規(guī)模的版本，包括小型、中型和大型，以適應(yīng)不同的應(yīng)用需求和計算資源。小型模型參數(shù)規(guī)模為8B，中型模型參數(shù)規(guī)模為70B，而大型模型則達到400B，仍在訓(xùn)練中，目標(biāo)是實現(xiàn)多模態(tài)、多語言的功能，預(yù)計效果將與GPT 4/GPT 4V相當(dāng)。

安裝 Ollama

Ollama 是一個開源的大型語言模型（LLM）服務(wù)工具，它允許用戶在本地機器上運行和部署大型語言模型。Ollama 設(shè)計為一個框架，旨在簡化在 Docker 容器中部署和管理大型語言模型的過程，使得這一過程變得簡單快捷。用戶可以通過簡單的命令行操作，快速在本地運行如 Llama 3 這樣的開源大型語言模型。

官網(wǎng)地址：https://ollama.com/download

圖片

Ollama 支持多種平臺，包括 Mac 和 Linux，并提供了 Docker 鏡像以簡化安裝過程。用戶可以通過編寫 Modelfile 來導(dǎo)入和自定義更多的模型，這類似于 Dockerfile 的作用。Ollama 還具備一個 REST API，用于運行和管理模型，以及一個用于模型交互的命令行工具集。

Ollama服務(wù)啟動日志

圖片

模型管理

下載模型

ollama pull llama3:8b

默認(rèn)下載的是llama3:8b。這里冒號前面代表模型名稱，冒號后面代表tag，可以從這里查看llama3的所有tag

圖片

模型測試

注意：如果想讓模型中文回復(fù)，請先輸入：你好！請中文回復(fù)

圖片

配置Open-WebUI

在CPU下運行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

圖片

訪問

輸入地址 http://127.0.0.1:3000 進行訪問

圖片

初次訪問需要注冊，這里我注冊一個賬號，注冊完成登錄成功

圖片

切換中文語言

圖片

下載llama3:8b模型

llama3:8b

圖片

下載完成

圖片

使用

選擇模型

圖片

使用模型

圖片

注意：如果想讓模型中文回復(fù)，請先輸入：你好！請中文回復(fù)

圖片

內(nèi)存

圖片