作者 | Richard MacManus

策劃 | 言征

Web3未能顛覆掉Web2，但新興的大模型開發(fā)棧正在讓開發(fā)者從“云原生”時(shí)代邁向新的AI技術(shù)棧。

提示工程師或許不能觸動(dòng)開發(fā)者奔赴大模型的神經(jīng)，但產(chǎn)品經(jīng)理或者領(lǐng)導(dǎo)的一句：能不能開發(fā)一個(gè)“agent”，能不能實(shí)現(xiàn)一條“chain”，“使用哪款向量數(shù)據(jù)庫”，卻成為了目前各大主流大模型應(yīng)用公司中驅(qū)動(dòng)技術(shù)同學(xué)攻克生成AI開發(fā)的難點(diǎn)所在。

那么，新興的技術(shù)棧究竟分哪幾層？哪里最為棘手？本文帶大家一探究竟。

1、技術(shù)棧需要更新了開發(fā)者迎來AI工程師時(shí)代

在過去一年，LangChain和LlamaIndex等工具的出現(xiàn)，使得AI應(yīng)用程序的開發(fā)者生態(tài)系統(tǒng)開始成熟。甚至，現(xiàn)在還有一個(gè)術(shù)語來形容專注于人工智能的開發(fā)人員：“AI工程師”，根據(jù)其倡導(dǎo)者Shawn@swyx Wang的說法，這是“提示工程師”的下一步。他還創(chuàng)建了一張坐標(biāo)圖，形象展示了AI工程師在更廣泛的人工智能生態(tài)系統(tǒng)中的位置：

圖源：swyx

大型語言模型（LLM）是AI工程師的核心技術(shù)。LangChain和LlamaIndex都是擴(kuò)展和補(bǔ)充LLM的工具，這絕非巧合。但是，對(duì)于這類新的開發(fā)人員來說，還有什么其他工具可用呢？

到目前為止，我看到的LLM堆棧的最佳圖表來自風(fēng)險(xiǎn)投資公司Andreessen Horowitz（a16z）。以下是它對(duì)“LLM app stack”的看法：

圖源：a16z

2、沒錯(cuò)，最頂層的還是數(shù)據(jù)

很明顯，LLM技術(shù)棧中最重要的是數(shù)據(jù)。在a16z的圖中，這是最頂層?！扒度肽Ｐ汀笔荓LM的用武之地——你可以從OpenAI、Cohere、Hugging Face或其他幾十種LLM選項(xiàng)中進(jìn)行選擇，包括越來越流行的開源LLM。

但即使在使用LLM之前，還需要建立一個(gè)“數(shù)據(jù)管道”——它將Databricks和Airflow列為兩個(gè)示例，或者可以對(duì)數(shù)據(jù)進(jìn)行“非結(jié)構(gòu)化”處理。這也適合數(shù)據(jù)周期，可以幫助企業(yè)在將數(shù)據(jù)輸入自定義LLM之前“清理”或簡(jiǎn)單地整理數(shù)據(jù)。像Alation這樣的“數(shù)據(jù)智能”公司，就提供這種類型的服務(wù)——聽起來，有點(diǎn)像IT技術(shù)棧中更為人知的“商業(yè)智能”等工具。

數(shù)據(jù)層的最后一部分則是近期名聲大噪的向量數(shù)據(jù)庫，來存儲(chǔ)和處理LLM數(shù)據(jù)。根據(jù)微軟的定義，這是“一種將數(shù)據(jù)存儲(chǔ)為高維向量的數(shù)據(jù)庫，高維向量是特征或?qū)傩缘臄?shù)學(xué)表示?！睌?shù)據(jù)通過一種名為“embedding”的技術(shù)存儲(chǔ)為向量。

領(lǐng)先的向量數(shù)據(jù)庫供應(yīng)商Pinecone在一次媒體交談時(shí)指出，Pinecone的工具經(jīng)常與數(shù)據(jù)管道工具（如Databricks）一起使用。在這種情況下，數(shù)據(jù)通常位于其他地方（例如，數(shù)據(jù)湖），然后通過機(jī)器學(xué)習(xí)模型將其轉(zhuǎn)換為嵌入。在對(duì)數(shù)據(jù)進(jìn)行處理和分塊后，生成的向量被發(fā)送到Pinecone。

3、提示和查詢

接下來的兩層可以概括為提示和查詢——這是人工智能應(yīng)用程序與LLM和（可選）其他數(shù)據(jù)工具接口的地方。A16z將LangChain和LlamaIndex定位為“編排框架”，這意味著開發(fā)人員一旦知道自己使用的是哪種LLM，就可以使用這些工具。

根據(jù)a16z的說法，像LangChain和LlamaIndex這樣的編排框架“抽象掉了提示鏈接的許多細(xì)節(jié)”，這意味著在應(yīng)用程序和LLM之間查詢和管理數(shù)據(jù)。這個(gè)編排過程包括與外部API接口，從矢量數(shù)據(jù)庫檢索上下文數(shù)據(jù)，以及在多個(gè)LLM調(diào)用中維護(hù)內(nèi)存。a16z圖表中最有趣的方框是“游樂場(chǎng)”，其中包括OpenAI、nat.dev和Humanloop。

A16z在博客文章中沒有確切定義，但我們可以推斷，“游樂場(chǎng)”工具可以幫助開發(fā)人員施展A16z所說的“提示柔術(shù)”。在這些地方，開發(fā)人員可以嘗試各種提示技術(shù)。

Humanloop是一家英國公司，其平臺(tái)的一個(gè)功能是“協(xié)作提示工作區(qū)”。它進(jìn)一步將自己描述為“用于生產(chǎn)LLM功能的完整開發(fā)工具包”。因此，基本上，它允許您嘗試LLM的東西，然后將其部署到應(yīng)用程序中（如果它有效的話）。

4、流水線作業(yè)：LLMOps

大模型生產(chǎn)的流水線目前正在逐漸清晰。編排框的右側(cè)是許多操作框，包括LLM緩存和驗(yàn)證。還有一系列與LLM相關(guān)的云和API服務(wù)，包括Hugging Face等開放的API存儲(chǔ)庫，以及OpenAI等專有的API提供商。

這可能是我們?cè)凇霸圃睍r(shí)代習(xí)慣的開發(fā)人員技術(shù)棧中最相似的地方，許多DevOps公司將人工智能添加到了他們的產(chǎn)品列表中，這絕非巧合。5月，我與Harness首席執(zhí)行官Jyoti Bansal進(jìn)行了交談。Harness運(yùn)行一個(gè)“軟件交付平臺(tái)”，專注于CI/CD流程的“CD”部分。

Bansai告訴我，人工智能可以減輕軟件交付生命周期中涉及的繁瑣和重復(fù)的任務(wù)，從基于現(xiàn)有功能生成規(guī)范到編寫代碼。此外，他還表示，人工智能可以自動(dòng)化代碼審查、漏洞測(cè)試、錯(cuò)誤修復(fù)，甚至為構(gòu)建和部署創(chuàng)建CI/CD管道。根據(jù)我在五月份的另一次對(duì)話，人工智能也在改變開發(fā)人員的生產(chǎn)力。來自構(gòu)建自動(dòng)化工具Gradle的Trisha Gee告訴我，人工智能可以通過減少重復(fù)任務(wù)（如編寫樣板代碼）的時(shí)間來加速開發(fā)，并使開發(fā)人員能夠?qū)Ｗ⒂诖缶郑绱_保代碼滿足業(yè)務(wù)需求。

5、Web3涼了，大模型開發(fā)棧來了

在新興的LLM開發(fā)技術(shù)棧中，我們看到了一系列新的產(chǎn)品類型，例如編排框架（LangChain和LlamaIndex）、向量數(shù)據(jù)庫和Humanloop等“游樂場(chǎng)”平臺(tái)。所有這些都擴(kuò)展和/或補(bǔ)充了這個(gè)時(shí)代的底層核心技術(shù)：大型語言模型。

一如前幾年Spring Cloud、Kubernetes等云原生時(shí)代工具的興起。只不過當(dāng)下，幾乎所有云原生時(shí)代的大、小、頂流企業(yè)都在極力將其工具適應(yīng)AI工程化，這就會(huì)對(duì)LLM技術(shù)棧的未來發(fā)展非常有利。

沒錯(cuò)，這一次的大模型儼然“站在巨人的肩膀上”，計(jì)算機(jī)技術(shù)中最好的創(chuàng)新總是建立在以前的基礎(chǔ)上。也許這就是“Web3”革命失敗的原因——與其說它是建立在上一代的基礎(chǔ)上，不如說它試圖篡奪它。

很明顯，LLM技術(shù)棧似乎做到了，它是從云開發(fā)時(shí)代到更新的、基于AI的開發(fā)者生態(tài)系統(tǒng)的橋梁。

參考鏈接：https://thenewstack.io/llm-app-ecosystem-whats-new-and-how-cloud-native-is-adapting/