作者 | Adrien Treuille

譯者 | 布加迪

審校 | 重樓

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

自從OpenAI發(fā)布首個(gè)ChatGPT模型以來，人們對(duì)生成式AI的興趣激增?；诖笳Z言模型（LLM）的應(yīng)用程序現(xiàn)處于企業(yè)思考生產(chǎn)力和效率的最前沿，用于構(gòu)建生成式AI應(yīng)用程序的工具和框架得到了極大的擴(kuò)展。但人們?nèi)匀粨?dān)心生成式AI輸出的準(zhǔn)確性，因此開發(fā)人員需要快速學(xué)會(huì)處理諸如此類的問題，以構(gòu)建強(qiáng)大、可靠的應(yīng)用程序。

以下是提高LLM應(yīng)用程序準(zhǔn)確性的一些建議和技術(shù)，以及選擇正確LLM的注意事項(xiàng)。我們無法詳盡地探討這些問題，因?yàn)槊總€(gè)問題本身都很復(fù)雜，但我們可以提供一番建議，供諸位進(jìn)一步探索。

本文中的Streamlit是一個(gè)免費(fèi)開源框架，用于快速構(gòu)建和共享機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)Web應(yīng)用程序，最近它發(fā)布了一份報(bào)告，分析了Streamlit社區(qū)云上13000余名開發(fā)人員構(gòu)建的21000多個(gè)LLM應(yīng)用程序。它介紹了開發(fā)人員迄今為止一直在使用的一些工具和技術(shù)，并提供了以下一些建議。

比如說，矢量檢索工具可以為基于LLM的應(yīng)用程序有效地改善上下文推薦，但我們的調(diào)查發(fā)現(xiàn)，目前只有少數(shù)開發(fā)人員在使用矢量功能，這代表未來大有機(jī)會(huì)。

隨著更多的開發(fā)人員利用生成式AI開發(fā)應(yīng)用程序，我們將開始看到跨類別和垂直行業(yè)的應(yīng)用程序逐漸內(nèi)置基于AI的搜索以及對(duì)話和輔助體驗(yàn)。以下是我給開發(fā)人員的四條建議，幫助他們構(gòu)建更好的基于LLM的應(yīng)用程序，這樣他們可以給所在組織帶來真正的顛覆效應(yīng)。

1、為更智能的應(yīng)用程序使用代理和編排

像LangChain和LlamaIndex這樣的編排框架可以使用額外的工具或代理來幫助增強(qiáng)模型基于LLM的應(yīng)用程序的功能。在這種情況下，可以將代理視為插件系統(tǒng)，允許您將額外功能做入到應(yīng)用程序中，用自然語言來表達(dá)。

這些代理可以組合起來管理和優(yōu)化LLM功能，比如改進(jìn)AI推理、解決偏見和集成外部數(shù)據(jù)源。代理還可以為L(zhǎng)LM提供一種方法來思考它是否犯了錯(cuò)誤以及成功完成任務(wù)所必須采取的步驟。

打個(gè)比方，考慮一下開發(fā)人員如何編寫提供特定函數(shù)的API和描述該函數(shù)的文檔：API表示為代碼，文檔使用自然語言。代理以類似的方式工作，除了提供文檔是為了方便LLM，而不是方便其他開發(fā)人員。因此，LLM關(guān)注手頭的任務(wù)，查看代理的文檔，并確定代理是否可以幫助它完成任務(wù)。

這些代理還為應(yīng)用程序提供了一種反思自身錯(cuò)誤并糾正它們的方法，從而為L(zhǎng)LM應(yīng)用程序增添了健壯性。比如說，假設(shè)一個(gè)LLM應(yīng)用程序編寫了一些SQL代碼來執(zhí)行任務(wù)，比如檢查數(shù)據(jù)庫中的庫存數(shù)量，但它在代碼中犯了錯(cuò)誤。對(duì)于標(biāo)準(zhǔn)的“幼稚”的LLM應(yīng)用程序而言，這個(gè)錯(cuò)誤如同路之盡頭。

然而，如果應(yīng)用程序有一個(gè)執(zhí)行SQL的代理，它可以查看錯(cuò)誤，使用代理來確定應(yīng)該采取什么不同的做法，然后糾正錯(cuò)誤。這可能只是語法上的一個(gè)小變化，但是如果沒有代理，LLM就無法通過推理解決錯(cuò)誤。

2、使用矢量魔法和RAG來對(duì)抗幻覺

有時(shí)，您在使用的LLM無法訪問完成預(yù)期任務(wù)所需的所有信息。這可以在提示時(shí)注入額外的信息，但大多數(shù)LLM限制了這些提示的大小。為了克服這種限制，LLM可能需要使用矢量查詢外部數(shù)據(jù)庫，這種技術(shù)就叫檢索增強(qiáng)生成（RAG）。

為了理解RAG可以為L(zhǎng)LM應(yīng)用程序做什么，不妨考慮三個(gè)不同級(jí)別的LLM應(yīng)用程序。

?第1級(jí)：應(yīng)用程序可以使用LLM中已有的知識(shí)生成結(jié)果。

?第2級(jí)：應(yīng)用程序需要額外的信息，信息可以在提示時(shí)注入。只要您能保持遵守提示限制，這相當(dāng)簡(jiǎn)單。

?第3級(jí)：LLM需要聯(lián)系外部信息源（比如數(shù)據(jù)庫）以完成任務(wù)。

RAG在第3級(jí)有了用武之地，外部數(shù)據(jù)庫通常使用矢量進(jìn)行語義索引，這就是為什么您最近可能頻頻聽到矢量數(shù)據(jù)庫和矢量搜索工具的新聞。

具有矢量數(shù)據(jù)庫和矢量搜索的應(yīng)用程序可以通過對(duì)龐大的非結(jié)構(gòu)化數(shù)據(jù)集（包括文本、圖像、視頻或音頻）進(jìn)行分類，以實(shí)現(xiàn)快速的上下文搜索。這對(duì)于進(jìn)行更快、更強(qiáng)大的上下文推薦非常有效。但矢量工具仍未得到廣泛應(yīng)用。Streamlit的調(diào)查發(fā)現(xiàn)，僅20%的基于生成式AI的應(yīng)用程序使用了某種矢量技術(shù)。

3、聊天機(jī)器人為用戶提供了一種強(qiáng)大的方式來優(yōu)化查詢

聊天機(jī)器人將生成式AI帶入了主流，但有人懷疑將來它們是否會(huì)成為一種有效的界面。有人認(rèn)為，聊天機(jī)器人給了用戶太多的自由，卻沒有足夠的背景知識(shí)來說明如何使用LLM應(yīng)用程序。有人被過去的失敗所嚇倒：Clippy是一場(chǎng)災(zāi)難，為什么聊天機(jī)器人今天會(huì)成功呢？

很顯然，聊天機(jī)器人是否合適一方面取決于應(yīng)用程序的預(yù)期用途。但聊天機(jī)器人至少有一個(gè)非常有用的優(yōu)點(diǎn)不容忽視：它們?yōu)橛脩敉ㄟ^流暢的、仿人的界面添加上下文和完善答案提供了一種簡(jiǎn)單又直觀的方式。

要理解為什么這很強(qiáng)大，不妨想想搜索引擎。用戶通常無法改進(jìn)搜索引擎查詢；比如說，如果結(jié)果略有偏差，沒有辦法告訴搜索引擎“再試一次，但排除關(guān)于X的答案”，或者“給y更多的權(quán)重”。這將是一種方便而強(qiáng)大的功能，這也是聊天機(jī)器人為L(zhǎng)LM應(yīng)用程序提供的功能。

調(diào)查發(fā)現(xiàn)，用Streamlit構(gòu)建的生成式AI應(yīng)用程序中28%是聊天機(jī)器人，而72%的應(yīng)用程序通常不允許會(huì)話改進(jìn)。另一方面，調(diào)查顯示，這些聊天機(jī)器人的每周使用率上升到近40%，而非聊天機(jī)器人應(yīng)用程序的使用率有所下降。因此，聊天機(jī)器人可能是最終用戶青睞的界面。

4、考慮GPT的替代方案，包括開源LLM

基本的GPT模型仍然是最知名的LLM，它們功能非常強(qiáng)大，但在過去的一年里出現(xiàn)了更多的選擇，其中一些可能更適合您的應(yīng)用程序。需要考慮的因素包括：LLM所需的知識(shí)廣度、LLM的規(guī)模、您的訓(xùn)練要求和預(yù)算，以及LLM是開源還是專有對(duì)您來說是否重要。與科技界的許多方面一樣，這里也存在取舍。

如果您在構(gòu)建一個(gè)供內(nèi)部使用的生成式AI應(yīng)用程序，可能需要使用內(nèi)部企業(yè)數(shù)據(jù)來訓(xùn)練該LLM。對(duì)于大多數(shù)企業(yè)來說，出于安全原因，與公共LLM共享敏感數(shù)據(jù)是不可能的，因此許多公司在現(xiàn)有的云安全邊界內(nèi)運(yùn)行LLM，這常常導(dǎo)致它們選擇比較小的LLM，比如AI21和Reka。

非常龐大的LLM還往往有更高的延遲，由于所需的計(jì)算資源，通常運(yùn)行成本更高。如果應(yīng)用程序執(zhí)行比較簡(jiǎn)單的任務(wù)，比如翻譯文本或總結(jié)文檔，較小的LLM可能效果很好，使用和操作成本顯著降低。

您也可能有理由偏愛開源LLM，比如Meta的LLaMA，而不是像OpenAI、Anthropic或Cohere這樣的專有LLM：在專有LLM中，源代碼、訓(xùn)練數(shù)據(jù)、權(quán)重或模型的其他細(xì)節(jié)通常不會(huì)公開披露。開源LLM需要自托管或通過托管提供商進(jìn)行推理，但是源代碼及模型的其他細(xì)節(jié)更容易獲得。

5、寫在最后：現(xiàn)在就開始使用生成式AI

生成式AI仍然是迅速崛起的領(lǐng)域，但所需的工具和技術(shù)在迅速發(fā)展，今天有很多選擇可以開始入手。抓住這個(gè)機(jī)會(huì)的開發(fā)人員可以為所在組織提供巨大的價(jià)值，將AI應(yīng)用程序作為日常業(yè)務(wù)運(yùn)營和任務(wù)的一項(xiàng)常規(guī)功能。隨著生成式AI繼續(xù)重塑組織中的角色和責(zé)任，依賴并精通基于LLM的應(yīng)用程序的開發(fā)人員將脫穎而出，上述建議將幫助您開始邁出正確的第一步。

原文鏈接：https://thenewstack.io/4-key-tips-for-building-better-llm-powered-apps/