自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

LangChain轉(zhuǎn)換鏈:讓數(shù)據(jù)處理更精準

人工智能 開發(fā)
本文主要介紹了LangChain中的轉(zhuǎn)換鏈(TransformChain)的概念,它主要用在需要對輸入的內(nèi)容進行轉(zhuǎn)換的場景下。

上篇文章《5分鐘了解LangChain的路由鏈》里主要介紹了路由鏈,核心類是LLMRouterChain和MultiPromptChain。本文介紹LangChain里的另外1個重要的鏈:轉(zhuǎn)換鏈。

轉(zhuǎn)換鏈的概念

在開發(fā)AI Agent(智能體)時,我們經(jīng)常需要對輸入數(shù)據(jù)進行預(yù)處理,這樣可以更好地利用LLM。LangChain提供了一個強大的工具——轉(zhuǎn)換鏈(TransformChain),它可以幫我們輕松實現(xiàn)這一任務(wù)。

轉(zhuǎn)換鏈(TransformChain)主要是將 給定的數(shù)據(jù) 按照某個函數(shù)進行轉(zhuǎn)換,再將 轉(zhuǎn)換后的結(jié)果 輸出給LLM。 所以轉(zhuǎn)換鏈的核心是:根據(jù)業(yè)務(wù)邏輯編寫合適的轉(zhuǎn)換函數(shù)。

其實,轉(zhuǎn)換鏈的設(shè)計也很精妙,從源碼可以看出,它只是做了一條鏈,然后具體的任務(wù)完全丟給了外部的函數(shù)來實現(xiàn)。在LangChain里只要是鏈,就可以隨處鏈接。

轉(zhuǎn)換鏈的使用場景

轉(zhuǎn)換鏈只有1個核心類,TransformChain。

有時,我們在將數(shù)據(jù)發(fā)送給LLM之前,希望對其做一些操作時(比如替換一些字符串、截取部分文本等等),就會用到轉(zhuǎn)換鏈。TransformChain 在 NLP 中很重要,有些場景還很實用。

一般使用轉(zhuǎn)換鏈有幾個固定步驟:

  • 根據(jù)需求定義轉(zhuǎn)換函數(shù)transform_func,入?yún)⒑统鰠⒍际亲值洹?
  • 實例化轉(zhuǎn)換鏈TransformChain。
  • 因為轉(zhuǎn)換鏈只能做內(nèi)容轉(zhuǎn)換的事情,后續(xù)的操作還需要LLM介入,所以需要實例化LLMChain。
  • 最終通過順序連SimpleSequentialChain將TransformChain和LLMChain串起來完成任務(wù)。

使用轉(zhuǎn)換鏈的案例

比如,給定LLM一篇很長的文章,但是我只想讓LLM幫我總結(jié)文章前3自然段的內(nèi)容,同時,總結(jié)之前,我還需要將自然段里的 部分字段 替換成 給定字段。

具體代碼如下:

from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain, TransformChain, SimpleSequentialChain
from langchain_openai import OpenAI, ChatOpenAI

file_content = ""
with open("./file_data.txt", "r") as file:
    file_content = file.read()


# 定義轉(zhuǎn)換函數(shù),截取文章前8段,再替換部分字符串
def transform_func(data):
    text = data["input_text"]
    shortened_text = "\n".join(text.split("\n")[:7])
    transform_shortened_text: str = shortened_text.replace(
        "PVC", "PersistentVolumeClaim"
    ).replace("PV", "PersistentVolume")
    return {"output_text": transform_shortened_text}


# 定義轉(zhuǎn)換鏈
transform_chain = TransformChain(
    input_variables=["input_text"],
    output_variables=["output_text"],
    transform=transform_func,
)

# 定義LLM
model = ChatOpenAI(
    model_name="gpt-3.5-turbo",
    openai_api_key="sk-xxxxxx",
    openai_api_base="https://api.302.ai/v1",
)

# 定義提示詞模板 和 LLM鏈
prompt_template = """
請你對下面的文字進行總結(jié):
{output_text}

總結(jié):
"""

prompt = PromptTemplate(input_variables=["output_text"], template=prompt_template)
llm_chain = LLMChain(
    llm=model,
    prompt=prompt,
)


# 使用順序鏈連接起來
final_chain = SimpleSequentialChain(chains=[transform_chain, llm_chain])
res = final_chain.run(file_content)
print(res)

代碼執(zhí)行結(jié)果符合預(yù)期??偨Y(jié)的結(jié)果很精通,同時也是按照給定的字符串返回的。

總結(jié)

這篇博客主要介紹了LangChain中的轉(zhuǎn)換鏈(TransformChain)的概念,它主要用在需要對輸入的內(nèi)容進行轉(zhuǎn)換的場景下。希望對你有幫助!

責任編輯:趙寧寧 來源: 程序員半支煙
相關(guān)推薦

2018-05-07 14:52:27

區(qū)塊鏈扶貧

2025-03-20 10:43:21

2020-05-25 11:16:31

編制

2012-11-19 16:08:21

病毒攻擊AVAR

2016-10-19 13:18:28

數(shù)據(jù)驅(qū)動分析

2012-03-23 15:27:24

阿拉丁

2015-05-05 11:18:18

大數(shù)據(jù)Hadoop技術(shù)處理

2014-07-17 15:05:49

阿里云ODPS數(shù)據(jù)處理

2021-04-02 15:02:42

開源技術(shù) 工具

2024-11-29 14:50:00

模型數(shù)據(jù)

2017-03-20 09:17:36

2016-12-27 15:01:08

人工智能機器識別

2017-05-16 09:00:46

2024-09-25 14:16:35

2024-06-24 00:05:00

Python代碼

2024-01-31 23:22:35

vaexPython

2024-07-12 14:07:04

2024-10-24 17:03:19

AWK數(shù)據(jù)處理
點贊
收藏

51CTO技術(shù)棧公眾號