出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

眾所周知，LLM會(huì)產(chǎn)生幻覺(jué)——即生成不正確、誤導(dǎo)性或無(wú)意義的信息。

有意思的是，一些人，如OpenAI的CEO Sam Altman，將AI的幻覺(jué)視為創(chuàng)造力，而另一些人則認(rèn)為幻覺(jué)可能有助于做出新的科學(xué)發(fā)現(xiàn)。

然而，在大多數(shù)情況下，提供正確回答至關(guān)重要，幻覺(jué)并不是一項(xiàng)特性，而是一種缺陷。

那么，如何減少LLM的幻覺(jué)呢？長(zhǎng)上下文？RAG？微調(diào)？

其實(shí)，長(zhǎng)上下文LLMs并非萬(wàn)無(wú)一失，向量搜索RAG也不盡如人意，而微調(diào)則伴隨著其自身的挑戰(zhàn)和限制。

下面是一些可以用來(lái)減少LLM幻覺(jué)的高級(jí)技術(shù)。

1.高級(jí)提示詞

關(guān)于使用更好或更高級(jí)的提示詞（prompts）是否能解決大型語(yǔ)言模型（LLM）的幻覺(jué)問(wèn)題，確實(shí)存在很多討論。

圖片

雖然一些人認(rèn)為編寫(xiě)更詳細(xì)的提示詞對(duì)解決（幻覺(jué)）問(wèn)題沒(méi)有幫助，但谷歌大腦（Google Brain）的聯(lián)合創(chuàng)始人吳恩達(dá)（Andrew Ng）等人卻看到了其中的潛力。

吳恩達(dá)認(rèn)為，GPT-4和其他先進(jìn)模型的推理能力使它們非常擅長(zhǎng)解釋帶有詳細(xì)說(shuō)明的復(fù)雜提示詞。

圖片

“通過(guò)多示例學(xué)習(xí)，開(kāi)發(fā)者可以在提示詞中給出數(shù)十個(gè)，甚至數(shù)百個(gè)示例，這比少示例學(xué)習(xí)更為有效，”他寫(xiě)道。

圖片

為了改進(jìn)提示詞，許多新的進(jìn)展也在不斷涌現(xiàn)，比如Anthropic公司于5月10日發(fā)布了一款新的“Prompt Generator”工具，該工具可以將簡(jiǎn)單的描述轉(zhuǎn)化為針對(duì)大型語(yǔ)言模型（LLMs）優(yōu)化的高級(jí)提示詞。通過(guò)Anthropic控制臺(tái)，就可以生成用于生產(chǎn)的提示詞。

最近，馬克·安德森（Marc Andreessen）也表示，通過(guò)正確的提示，我們可以解鎖AI模型中的潛在超級(jí)天才?！霸诓煌I(lǐng)域的提示技術(shù)可以解鎖這種潛在超級(jí)天才”，他補(bǔ)充道。

2.Meta AI的Chain-of-Verification（CoVe）

Meta AI的Chain-of-Verification（CoVe）是另一種技術(shù)。這種方法通過(guò)將事實(shí)核查分解為可管理的步驟，提高響應(yīng)準(zhǔn)確性，并與人類驅(qū)動(dòng)的事實(shí)核查過(guò)程保持一致，來(lái)減少大型語(yǔ)言模型（LLMs）的幻覺(jué)現(xiàn)象。

圖片

CoVe涉及生成初始響應(yīng)、規(guī)劃驗(yàn)證問(wèn)題、獨(dú)立回答這些問(wèn)題，并生成最終經(jīng)過(guò)驗(yàn)證的響應(yīng)。通過(guò)系統(tǒng)地驗(yàn)證和糾正其輸出，這種方法顯著提高了模型的準(zhǔn)確性。

它通過(guò)減少幻覺(jué)并增加事實(shí)正確性，在各種任務(wù)中提高了性能，如基于列表的問(wèn)題、閉卷問(wèn)答和長(zhǎng)篇文本生成等。

3.知識(shí)圖譜

RAG（檢索增強(qiáng)的生成）不再局限于向量數(shù)據(jù)庫(kù)匹配，目前引入了許多先進(jìn)的RAG技術(shù)，顯著提高了檢索效果。

圖片

例如，將知識(shí)圖譜（KGs）集成到RAG中。通過(guò)利用知識(shí)圖譜中結(jié)構(gòu)化且相互關(guān)聯(lián)的數(shù)據(jù)，可以大大增強(qiáng)當(dāng)前RAG系統(tǒng)的推理能力。

4.Raptor

另一種技術(shù)是Raptor，該方法通過(guò)創(chuàng)建更高層次的抽象來(lái)處理跨越多個(gè)文檔的問(wèn)題。它在回答涉及多個(gè)文檔概念的查詢時(shí)特別有用。

圖片

像Raptor這樣的方法與長(zhǎng)上下文大型語(yǔ)言模型（LLMs）非常契合，因?yàn)槟憧梢灾苯忧度胝麄€(gè)文檔而無(wú)需分塊。

該方法通過(guò)將外部檢索機(jī)制與變換器模型集成來(lái)減少幻覺(jué)現(xiàn)象。當(dāng)接收到查詢時(shí)，Raptor首先從外部知識(shí)庫(kù)中檢索相關(guān)且經(jīng)過(guò)驗(yàn)證的信息。

然后，將這些檢索到的數(shù)據(jù)與原始查詢一起嵌入到模型的上下文中。通過(guò)將模型的響應(yīng)基于事實(shí)和相關(guān)信息，Raptor確保生成的內(nèi)容既準(zhǔn)確又符合上下文。

5.共形抽離（Conformal Abstention）

論文《通過(guò)共形抽離緩解大型語(yǔ)言模型的幻覺(jué)現(xiàn)象》介紹了一種通過(guò)應(yīng)用共形預(yù)測(cè)技術(shù)來(lái)確定模型何時(shí)應(yīng)該避免給出響應(yīng)，從而減少大型語(yǔ)言模型（LLMs）中的幻覺(jué)現(xiàn)象的方法。

圖片

通過(guò)使用自我一致性來(lái)評(píng)估響應(yīng)的相似性，并利用共形預(yù)測(cè)進(jìn)行嚴(yán)格的保證，該方法確保模型只在對(duì)其準(zhǔn)確性有信心時(shí)才做出響應(yīng)。

這種方法在保持平衡的抽離率的同時(shí)，有效地限制了幻覺(jué)現(xiàn)象的發(fā)生率，特別有利于需要長(zhǎng)篇回答的任務(wù)。它通過(guò)避免錯(cuò)誤或不合邏輯的響應(yīng)，顯著提高了模型輸出的可靠性。

6.RAG減少結(jié)構(gòu)化輸出中的幻覺(jué)現(xiàn)象

最近，ServiceNow通過(guò)RAG減少了結(jié)構(gòu)化輸出中的幻覺(jué)現(xiàn)象，提高了大型語(yǔ)言模型（LLM）的性能，實(shí)現(xiàn)了域外泛化，同時(shí)最小化了資源使用。

圖片

該技術(shù)涉及一個(gè)RAG系統(tǒng)，該系統(tǒng)在生成文本之前從外部知識(shí)庫(kù)中檢索相關(guān)的JSON對(duì)象。這確保了生成過(guò)程基于準(zhǔn)確且相關(guān)的數(shù)據(jù)。

圖片

通過(guò)融入這一預(yù)檢索步驟，模型不太可能產(chǎn)生錯(cuò)誤或捏造的信息，從而減少了幻覺(jué)現(xiàn)象。此外，這種方法允許使用較小的模型而不犧牲性能，使其既高效又有效。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??