基于 LangServe 的 Deepseek 本地大模型服務(wù)化實(shí)踐
在人工智能技術(shù)飛速發(fā)展的今天，大模型（LLM）已成為推動 AI 應(yīng)用落地的核心驅(qū)動力。上次分享「普通人上手 Deepseek 的實(shí)用攻略」，我們已經(jīng)將 Deepseek 大模型的能力高效地部署到本地環(huán)境，并對外提供穩(wěn)定的服務(wù)。
本文將分享我們基于 LangServe 框架，將 DeepSeek 本地大模型 服務(wù)化的實(shí)踐經(jīng)驗(yàn)，帶你一步步了解如何快速搭建、部署和管理本地大模型服務(wù)，讓 AI 能力真正觸手可及。
圖片
1、 認(rèn)識 LangServe
LangServe 是一個專為語言模型設(shè)計(jì)的服務(wù)化框架，旨在幫助開發(fā)者將大模型能力快速封裝為 API 服務(wù)。它的核心優(yōu)勢在于：
- 簡單易用：通過少量代碼即可完成模型服務(wù)的部署；
- 高性能：支持并發(fā)請求和高效推理，滿足生產(chǎn)環(huán)境需求；
- 靈活擴(kuò)展：可與其他工具（如 LangChain）無縫集成，構(gòu)建復(fù)雜 AI 應(yīng)用。
對于需要在本地環(huán)境中部署大模型的團(tuán)隊(duì)來說，LangServe 是一個不可多得的利器。
2、安裝實(shí)踐
從零到一的 DeepSeek 服務(wù)化，也是本文介紹的重點(diǎn)內(nèi)容。
2.1 環(huán)境準(zhǔn)備
- 安裝 LangServe：
pip install "langserve[all]"或者使用 pip install "langserve[client]" 安裝客戶端代碼，使用pip install "langserve[server]" 安裝服務(wù)器端代碼。
- 下載 DeepSeek 模型權(quán)重，并配置本地推理環(huán)境，之前「普通人上手 Deepseek 的實(shí)用攻略」已完成此步驟。
2.2 模型封裝
使用 LangServe 將 DeepSeek 模型封裝為 API 服務(wù)：
我們創(chuàng)建一個問答鏈，它提供簡單地計(jì)算功能，按步驟組織代碼
- 引入關(guān)聯(lián)類庫
from fastapi import FastAPI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_ollama.llms import OllamaLLM
from langserve import add_routes- 創(chuàng)建提示詞模板
system_template = "來，一起計(jì)算這個難題吧！"
prompt_template = ChatPromptTemplate.from_messages([
('system', system_template),
('user', '{text}')
])- 創(chuàng)建本地大模型
model = OllamaLLM(model="deepseek-r1:1.5b")- 創(chuàng)建解析器
parser = StrOutputParser()- 創(chuàng)建鏈
chain = prompt_template | model | parser- App 定義
app = FastAPI(
title="LangChain Server",
versinotallow="1.0",
descriptinotallow="使用 LangChain 的 Runnable 接口的簡單 API 服務(wù)器。",
)- 添加鏈的路由
add_routes(
app,
chain,
path="/calc",)- 啟動命令
if __name__ == "__main__":
import uvicorn
uvicorn.run(app, host="localhost", port=8010)至此，一個簡單的問答鏈已經(jīng)創(chuàng)建好了。
運(yùn)行它需要一個參數(shù)：`text`。
2.3 啟動程序
啟動此程序，出現(xiàn)類似下面的輸出則說明啟動成功。
圖片
根據(jù)上圖的信息，在瀏覽器輸入`http://localhost:8010/calc/playground/`
圖片
2.4 問答交互
接下來，我們嘗試輸入個簡單問題來進(jìn)行交互吧~
圖片
