from fastapi import FastAPI
from langchain.prompts.chat import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    HumanMessagePromptTemplate,
)
from langchain_openai import ChatOpenAI
from langserve import add_routes


# FastAPI是一個基于Python的Web框架，用于構(gòu)建高性能、可擴(kuò)展的API
app = FastAPI(
    title="LangChain Server",
    version="1.0",
    description="A simple API server using Langchain's Runnable interfaces",
)


# 接口1
add_routes(
    app,
    ChatOpenAI(),
    path="/openai",
)


# 接口2
system_message_prompt = SystemMessagePromptTemplate.from_template("""
    You are a helpful assistant that translates {input_language} to {output_language}.
""")
human_message_prompt = HumanMessagePromptTemplate.from_template("{text}")


chat_prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])


add_routes(
    app,
    chat_prompt | ChatOpenAI(),
    path="/translate",
)


if __name__ == "__main__":
    import uvicorn
    # Python的Web服務(wù)器
    uvicorn.run(app, host="localhost", port=9999)

python app.py

from langchain.prompts.chat import ChatPromptTemplate
from langserve import RemoteRunnable


# 配置遠(yuǎn)程接口
openai_llm = RemoteRunnable("http://localhost:9999/openai/")


# 創(chuàng)建提示詞
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一名資深的AI大模型專家"),
        ("human", "請幫忙講解一下，有哪些常用的通用開源大模型，中外各自羅列5個"),
    ]
).format_messages()


# LLM接口調(diào)用
openai_llm.invoke(prompt)


# 輸出：
# AIMessage(content='當(dāng)談?wù)撏ㄓ瞄_源大模型時，常常會提到自然語言處理（NLP）領(lǐng)域中的預(yù)訓(xùn)練模型。以下是中外各自常用的5個通用開源大模型：
# **國外：**
# 1. BERT（Bidirectional Encoder Representations from Transformers）：由Google開發(fā)，是一種基于Transformer架構(gòu)的預(yù)訓(xùn)練模型，用于各種NLP任務(wù)。
# 2. GPT-3（Generative Pre-trained Transformer 3）：由OpenAI發(fā)布，是一個非常大的語言生成模型，可以用于文本生成等任務(wù)。
# 3. RoBERTa（A Robustly Optimized BERT Approach）：由Facebook發(fā)布的預(yù)訓(xùn)練模型，基于BERT進(jìn)行了一些優(yōu)化，用于提高性能。
# 4. T5（Text-to-Text Transfer Transformer）：由Google發(fā)布，是一個通用的文本生成模型，可以應(yīng)用于多種NLP任務(wù)。
# 5. XLNet：由谷歌Brain團(tuán)隊(duì)發(fā)布，是一種自回歸預(yù)訓(xùn)練模型，結(jié)合Transformer-XL和自回歸方法。
# **國內(nèi)：**
# 6. ERNIE（Enhanced Representation through kNowledge Integration）：由百度發(fā)布，是一種基于Transformer架構(gòu)的多語言預(yù)訓(xùn)練模型，融合了知識融合的方法。
# 7. GPT-2（Generative Pre-trained Transformer 2）：由哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布，是一個類似于GPT-3的語言生成模型，用于文本生成等任務(wù)。
# 8. HFL/THU Bert：由清華大學(xué)自然語言處理與社會人文計算實(shí)驗(yàn)室發(fā)布，是一個BERT的中文預(yù)訓(xùn)練模型，適用于中文NLP任務(wù)。
# 9. RoFormer：由華為發(fā)布，是一種優(yōu)化的中文預(yù)訓(xùn)練模型，用于中文NLP任務(wù)。
# 10. PaddleNLP：由百度發(fā)布，是一個NLP模型庫，提供了多種預(yù)訓(xùn)練模型，包括BERT、ERNIE等，適用于各種NLP任務(wù)。')