自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

數(shù)據(jù)不出內(nèi)網(wǎng)：基于Ollama+OneAPI構(gòu)建企業(yè)專屬DeepSeek智能中臺

發(fā)布于 2025-4-17 07:04
瀏覽
0收藏

前言

這次在沒有外網(wǎng)（應(yīng)該說是被限制比較多）的服務(wù)器上部署，遇到一些坑，記錄一下

ollama

ollama 自然無法使用在線安裝腳本了

根據(jù) ollama 的文檔

先在本地電腦根據(jù)服務(wù)器的系統(tǒng)和CPU架構(gòu)下載安裝包

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

然后使用 scp 等工具上傳到服務(wù)器

scp ollama-linux-amd64.tgz 服務(wù)器地址:/temp

連接到服務(wù)器上后解壓安裝，跟著 ollama 文檔來就行（見第一個參考資料）

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

這時候已經(jīng)能執(zhí)行 ollama 程序了

ollama serve

然后再添加到服務(wù)，這也是 ollama 官方推薦的做法，方便管理

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

在 /etc/systemd/system 下新建 ollama.service 文件

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

然后啟用服務(wù)

sudo systemctl daemon-reload
sudo systemctl enable ollama

到這里 ollama 的安裝就搞定了

模型部署

離線服務(wù)器是無法使用 ollama pull 拉取模型的

需要先在本地下載，可以在本地的電腦上執(zhí)行 ollama pull 的操作

然后把模型文件找到并上傳到服務(wù)器

大概思路就是這樣，具體的接下來介紹

找到本地模型文件

如果沒有特別配置，ollama 默認(rèn)的模型文件都在 ??~/.ollama/models/blobs?? 里

先執(zhí)行命令看看指定模型的路徑，比如說要找 deepseek-r1:32b 模型

ollama show deepseek-r1:32b --modelfile

執(zhí)行命令后的輸出（節(jié)選）

FROM C:\Users\deali\.ollama\models\blobs\sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>

可以看到這一行

FROM C:\Users\deali\.ollama\models\blobs\sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49

就是 ollama 下載到本地的模型的路徑

把這個文件上傳到服務(wù)器

導(dǎo)出Modelfile

這個文件格式類似 Dockerfile

使用以下命令導(dǎo)出

ollama show deepseek-r1:32b --modelfile > Modelfile

然后這個文件也要上傳到服務(wù)器上

服務(wù)器上導(dǎo)入模型

模型文件和 Modelfile 上傳之后，放在同一個目錄下

先重命名一下，方便后續(xù)導(dǎo)入

mv sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49 deepseek-r1_32b.gguf

接著編輯一下 Modelfile 文件，把 FROM 這一行改成，也就是剛才修改之后的模型文件名稱

FROM ./deepseek-r1_32b.gguf

然后執(zhí)行以下命令導(dǎo)入

ollama create deepseek-r1:32b -f Modelfile

如無意外就導(dǎo)入成功了，可以執(zhí)行 ??ollama list?? 來查看是否已導(dǎo)入。

one-api

One API 是一款開源的 LLM（大語言模型）API 管理與分發(fā)系統(tǒng)，旨在通過標(biāo)準(zhǔn)的 OpenAI API 格式，統(tǒng)一訪問多種大模型，開箱即用。 它支持多種主流大模型，包括 OpenAI ChatGPT 系列、AnthropicClaude 系列、Google PaLM2/Gemini 系列、Mistral 系列、字節(jié)跳動豆包大模型、百度文心一言系列模型、阿里通義千問系列模型、訊飛星火認(rèn)知大模型、智譜 ChatGLM 系列模型、騰訊混元大模型等。

docker部署

one-api是用go的gin框架開發(fā)的，部署很容易，我一般用docker部署，這塊不再贅述

services:
  db:
    image:mysql:8.1.0
    container_name:mysql
    restart:always
    environment:
      MYSQL_ROOT_PASSWORD:mysql-password
    volumes:
      -./data:/var/lib/mysql
one-api:
    image:justsong/one-api
    container_name:one-api
    restart:always
    ports:
      -"3000:3000"
    depends:
      -db
    environment:
      -SQL_DSN=root:mysql-password@tcp(db:3306)/one_api
      -TZ=Asia/Shanghai
      -TIKTOKEN_CACHE_DIR=/TIKTOKEN_CACHE_DIR
    volumes:
      -./data:/data
      -./TIKTOKEN_CACHE_DIR:/TIKTOKEN_CACHE_DIR

networks:
default:
    name:one-api

解決 tiktoken 問題

遇到的問題是它依賴了 tiktoken 這個庫，tiktoken 需要聯(lián)網(wǎng)下載 token encoder

解決方法是看錯誤日志，比如

one-api  | [FATAL] 2025/02/17 - 10:47:21 | relay/adaptor/openai/token.go:26 [InitTokenEncoders] failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp 57.150.97.129:443: i/o timeout, if you are using in offline environment, please set TIKTOKEN_CACHE_DIR to use exsited files

這里需要從 https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 下載

我們先在本地下載這個文件，然后上傳到服務(wù)器

但這時還不行

tiktoken 只認(rèn) URL 的 SHA-1

生成 SHA-1

TIKTOKEN_URL=https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken
echo -n $TIKTOKEN_URL | sha1sum | head -c 40

也可以合成一行命令

echo -n "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken" | sha1sum | head -c 40

在這行命令中，??echo -n??? 用于輸出指定的 URL 字符串（其 ??-n?? 參數(shù)的作用是禁止在輸出的末尾添加換行符），??sha1sum??? 計(jì)算其 SHA-1 哈希值，??head -c 40?? 截取前 40 個字符，即哈希值的前 40 位。

執(zhí)行結(jié)果是

9b5ad71b2ce5302211f9c61530b329a4922fc6a4

然后把 cl100k_base.tiktoken 文件重命名為輸出的 ??9b5ad71b2ce5302211f9c61530b329a4922fc6a4??

在前面的 docker-compose.yaml 里，我們已經(jīng)指定了 TIKTOKEN_CACHE_DIR 環(huán)境變量

然后把這個 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 文件放在 TIKTOKEN_CACHE_DIR 目錄里即可。

后續(xù)還有遇到類似報(bào)錯，重復(fù)以上操作，直到?jīng)]有報(bào)錯為止。

我目前使用的版本只下載了兩個 encoder

在OneApi中添加Ollama渠道

這里因?yàn)閐ocker網(wǎng)絡(luò)的問題會有些麻煩

有多種思路，一種是讓OneApi的容器跑在 host 網(wǎng)絡(luò)模式下

一種是使用 host.docker.internal 這個地址

當(dāng)然前提都是 ollama 的 host 設(shè)置為 ??0.0.0.0??? 。?

在添加渠道的時候，類型選擇 Ollama

自定義模型部分填入我們部署的 deepseek-r1:32b

然后代理填寫 ??http://host.docker.internal:11434??

注意：在 Linux 環(huán)境中，??host.docker.internal??? 可能無法工作，但你可以直接使用宿主機(jī)的 IP 地址。例如，如果宿主機(jī)的 IP 地址是 ??192.168.1.100???，可以在OneApi中使用 ??http://192.168.1.100:11434?? 來訪問 Ollama 服務(wù)。

參考資料

本文轉(zhuǎn)載自???程序設(shè)計(jì)實(shí)驗(yàn)室????，作者：曦遠(yuǎn)

標(biāo)簽
贊
收藏
回復(fù)
舉報(bào)
回復(fù)
相關(guān)推薦