Google Gemma 是什么？

2月底 Google 發(fā)布的 Gemma 相比自家的 Gemini 更加輕量級，不僅可以在筆記本電腦上運行，而且還免費可商用，支持中文，相比其他開源在各個方面都占了上風(fēng)?？萍季揞^出品、領(lǐng)先地位、全面對外開放、免費可商用、筆記本就能跑……各種福利標(biāo)簽的加持之下，近乎讓全球的 “觀眾老爺們” 為之雀躍，那么如何快速本地使用呢？

gemma-vs-llama-mistral

只需要簡單的一行命令，即可快速在本地運行 Google 開源 Gemma 大模型，還猶豫什么，快速體驗一下吧。

步驟 1：安裝 Docker

從 Docker 官方網(wǎng)站下載對應(yīng)平臺進(jìn)行安裝，安裝完成后，打開 Docker Desktop 以確保其正常運行。注意需要根據(jù) Mac 芯片類型選擇對應(yīng)的版本，新款電腦一般都選擇 Apple 芯片，早期的一般選擇 Intel 芯片。

從 Mac 應(yīng)用程序中選擇 Docker 圖標(biāo)啟動。

步驟 2：一行命令運行 Gemma

一行命令搭建好本地環(huán)境（Ollama 和 open-webui ）：

$ curl -o docker-compose.yaml https://raw.githubusercontent.com/open-webui/open-webui/main/docker-compose.yaml && docker compose up -d
...
 ? Container ollama                  Started
 ? Container open-webui              Started

如果地址不能訪問 raw.githubusercontent.com，可在本地使用以下文本內(nèi)容創(chuàng)建 docker-compose.yaml 文件，然后運行 docker compose up -d，這里我已經(jīng)將部分鏡像地址進(jìn)行了替換，盡管如此，仍然建議整個過程要科學(xué)上網(wǎng)（我并未在特定網(wǎng)絡(luò)下進(jìn)行充分測試）：

version: '3.8'

services:
  ollama:
    volumes:
      - ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    restart: unless-stopped
    image: ollama/ollama:latest

  open-webui:
    build:
      context: .
      args:
        OLLAMA_BASE_URL: '/ollama'
      dockerfile: Dockerfile
    image: dwh0403/open-webui:main
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    ports:
      - ${OPEN_WEBUI_PORT-3000}:8080
    environment:
      - 'OLLAMA_BASE_URL=http://ollama:11434'
      - 'WEBUI_SECRET_KEY='
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

volumes:
  ollama: {}
  open-webui: {}

考慮下載速度已經(jīng)將 docker-compose.yaml 文件中鏡像地址 ghcr.io/open-webui/open-webui:main 替換為 dwh0403/open-webui:main

打開瀏覽器輸入 http://127.0.0.1:3000 頁面，首次打開沒有賬號，需要注冊一個賬號作為管理員。注冊后使用賬號登錄 Web 頁面開始下載模型，下載完成后，就可開始我們本地大模型之旅了。

open_webui_login

使用注冊后的賬號登錄進(jìn)入到整體主頁面，這里的主頁面和 ChatGPT 的使用頁面類似，當(dāng)前我們還未下載模型，需要通過設(shè)置下載支持的模型，支持 Llama 2、Mistral 等多種開源模型。本文中我們以 gemma 為例。

welcome_web

如果機器內(nèi)存 < 8G，建議 gemma:2b，如果內(nèi)存 > 16G 可以直接體驗一下 gemma:7b，速度上可能略有些慢。

google-gemma-openwebui-setting

模型下載成功后，在主頁面選擇模型，可將選擇模型設(shè)置為默認(rèn)模型使用。

choose_model_and_test_gemma

我的電腦配置為 8G16G，在 gemma:7b 運行過程中的負(fù)載情況如下：

running_gemma-7b-cpu-load

running_gemma-7b-mem-load

如果完成測試，想要銷毀環(huán)境，直接執(zhí)行一下命令即可。

$ docker compose down

補充資料

Ollama 是什么？

本地安裝運行模型我們使用 Ollama 項目。Ollama 是一個發(fā)布在 GitHub 上的項目，專為運行、創(chuàng)建和分享大型語言模型而設(shè)計。它為開發(fā)者和研究者提供了一個集成的平臺，可以方便的搭建、訓(xùn)練并分享他們的語言模型。這些模型可以應(yīng)用于各種語言處理任務(wù)，如機器翻譯、文本生成、情感分析等。Ollama 的目標(biāo)是推動大型語言模型的發(fā)展，提升模型的性能，同時也為開發(fā)者提供了一個分享和學(xué)習(xí)的社區(qū)。在這個社區(qū)中，開發(fā)者可以分享他們的模型，學(xué)習(xí)他人的經(jīng)驗，共同推動大型語言模型的發(fā)展。

Open-webui 是什么？

open-webui 是一個開源項目，是 LLMs 的用戶友好型 WebUI，支持的 LLM 運行程序包括 Ollama 和 OpenAI 兼容的 API。