檢索增強(qiáng)生成被認(rèn)為是使AI模型改善數(shù)據(jù)、減輕幻覺(jué)的最有前途的技術(shù)之一。

譯自From RAG to Riches: Dispelling AI Hallucinations，作者 Rahul Pradhan 擁有超過(guò)16年經(jīng)驗(yàn)，是 Couchbase 的產(chǎn)品和戰(zhàn)略副總裁。

Generative AI（GenAI）和大語(yǔ)言模型（LLM）毫無(wú)疑問(wèn)是2023年最熱門(mén)的科技，而這種勢(shì)頭在2024年及以后也不會(huì)減緩。企業(yè)將繼續(xù)投資數(shù)十億美元用于這些技術(shù)，富裕的組織將沉溺于并購(gòu)狂潮，以確保他們處于創(chuàng)新的前沿。

作為一種商業(yè)工具，GenAI完全合乎邏輯 —— 它可以使員工更加高效，增加理解力和技能，并開(kāi)拓新的機(jī)會(huì)。組織對(duì)人工智能的依賴增加的危險(xiǎn)在于你需要相信它做出正確的決策的能力。沒(méi)有這一點(diǎn)，組織可能會(huì)花費(fèi)大部分人工智能投資來(lái)對(duì)每個(gè)提示和答案進(jìn)行雙重甚至三重檢查，以確保它們是可信的。此外，人工智能很容易陷入幻覺(jué)，導(dǎo)致混淆組織或使它們完全走上錯(cuò)誤的道路。

宏偉的幻覺(jué)

LLM是概率引擎，分析輸入和可用數(shù)據(jù)，然后計(jì)算在回復(fù)中下一個(gè)單詞（或單詞序列）應(yīng)該是什么。這是一種雙刃劍的方法。它使組織能夠用自然、易懂和語(yǔ)法正確的語(yǔ)言回答可能涉及任何主題的查詢。

然而，歸根結(jié)底，大語(yǔ)言模型（LLMs）是在打賭。如果它們的學(xué)養(yǎng) —— 以及它們學(xué)習(xí)和使用的數(shù)據(jù)集 —— 不能匹配一個(gè)查詢，那么它們唯一的選擇就是虛張聲勢(shì)。答案看起來(lái)準(zhǔn)確，而且信心十足，但它并不基于現(xiàn)實(shí)或任何可以添加上下文的學(xué)到的知識(shí)。對(duì)于需要根據(jù)事實(shí)證據(jù)做出業(yè)務(wù)決策并遵循最佳實(shí)踐的組織而言，這極大地降低了人工智能的可信度，從而降低了其有效性。

幕后

人工智能幻覺(jué)是由各種因素引起的，但歸根結(jié)底，問(wèn)題在于，雖然一個(gè)人擁有一生的知識(shí)和經(jīng)驗(yàn)可供借鑒，但人工智能模型只能像它們的數(shù)據(jù)集一樣聰明。

例如，導(dǎo)致人工智能幻覺(jué)的最常見(jiàn)挑戰(zhàn)之一是數(shù)據(jù)稀疏性。如果數(shù)據(jù)集存在缺失或不完整的值，人工智能將別無(wú)選擇，只能填補(bǔ)這些空缺。一個(gè)人將具有處理這一情況的上下文、判斷和批判性思維能力，但人工智能可能輕易得出不準(zhǔn)確的結(jié)論。例如，即使它從未看過(guò)他的任何電影，大多數(shù)人都會(huì)認(rèn)為湯姆·漢克斯是一位優(yōu)秀、甚至是偉大的演員。然而，只有少數(shù)表演在其數(shù)據(jù)集中的人工智能可能會(huì)得出相反的結(jié)論。

與缺失數(shù)據(jù)相關(guān)的是不正確的數(shù)據(jù)。導(dǎo)致信息被錯(cuò)誤分類或標(biāo)記的低質(zhì)量數(shù)據(jù)，或者人工智能（AI）從不可靠的來(lái)源學(xué)習(xí)，都可能導(dǎo)致AI無(wú)意中傳播錯(cuò)誤信息。這不僅僅是分享單一不準(zhǔn)確的事實(shí)的情況；例如，聲稱詹姆斯·韋伯太空望遠(yuǎn)鏡在發(fā)射前17年拍攝照片。無(wú)法交叉參考相關(guān)數(shù)據(jù)或理解偏見(jiàn)會(huì)導(dǎo)致越來(lái)越不準(zhǔn)確的結(jié)論 —— 比如使用不具代表性的醫(yī)療數(shù)據(jù)來(lái)預(yù)測(cè)、檢測(cè)和治療皮膚癌。

最后，還有AI模型的培訓(xùn)方式的問(wèn)題。如果訓(xùn)練數(shù)據(jù)中沒(méi)有足夠的樣本使模型能夠概括，如果存在太多不相關(guān)的“噪音”數(shù)據(jù)，如果模型在單一樣本數(shù)據(jù)集上訓(xùn)練時(shí)間過(guò)長(zhǎng)，或者如果模型過(guò)于復(fù)雜以至于從不相關(guān)和相關(guān)數(shù)據(jù)中學(xué)到，結(jié)果就是過(guò)擬合。AI模型在其訓(xùn)練樣本上運(yùn)行良好，但在真實(shí)世界中具有極差的模式識(shí)別能力，導(dǎo)致不準(zhǔn)確和錯(cuò)誤。

打破魔咒

消除人工智能的幻覺(jué)是確保其充分發(fā)揮潛力的關(guān)鍵。解決數(shù)據(jù)稀疏性、質(zhì)量和過(guò)擬合是關(guān)鍵的第一步。與任何其他業(yè)務(wù)功能或員工一樣，企業(yè)不能指望人工智能在沒(méi)有正確信息和培訓(xùn)的情況下有效運(yùn)行。微調(diào)或重新訓(xùn)練模型也有助于生成相關(guān)、準(zhǔn)確的內(nèi)容。問(wèn)題在于，如果沒(méi)有持續(xù)的培訓(xùn)，數(shù)據(jù)可能會(huì)過(guò)時(shí)。所有這些都可能意味著巨大的成本和延遲的投資回報(bào)。

提示工程是避免幻覺(jué)的另一種方法，并且迅速成為預(yù)期的人工智能技能之一。然而，這帶來(lái)了確保模型始終接收高度描述性提示和額外培訓(xùn)投資的負(fù)擔(dān)。

跳出數(shù)據(jù)集的盒子

理想情況下，通過(guò)適當(dāng)?shù)膸椭?，人工智能模型?yīng)該能夠改進(jìn)其數(shù)據(jù)并減輕幻覺(jué)。檢索增強(qiáng)生成（RAG）是實(shí)現(xiàn)這一目標(biāo)最有前途的技術(shù)之一。通過(guò)根據(jù)需要從外部來(lái)源獲取數(shù)據(jù)，RAG人工智能框架為大語(yǔ)言模型提供了它們改進(jìn)回應(yīng)所需的重要上下文，關(guān)鍵的是，避免了幻覺(jué)。

為了幫助應(yīng)用程序如虛擬助手、聊天機(jī)器人和其他內(nèi)容創(chuàng)作者生成精確、相關(guān)的回應(yīng)，組織需要確保檢索增強(qiáng)生成（RAG）能夠提供引用多個(gè)信息源和深刻理解上下文的能力。與任何人工智能應(yīng)用一樣，這是一個(gè)信任的問(wèn)題 —— 通過(guò)從相關(guān)、可靠且最新的來(lái)源提取信息，并為用戶提供對(duì)這些來(lái)源的訪問(wèn)，RAG有助于消除人們對(duì)人工智能可靠性的疑慮。

迫切的是，RAG需要訪問(wèn)實(shí)時(shí)數(shù)據(jù)，以確保所有信息盡可能當(dāng)前、完整且準(zhǔn)確。例如，在銷售旺季期間，任何旨在向用戶提供最佳、最個(gè)性化產(chǎn)品優(yōu)惠的應(yīng)用程序或聊天機(jī)器人，除非能夠根據(jù)每個(gè)用戶的個(gè)人資料和用戶會(huì)話上下文定制建議，否則將毫無(wú)價(jià)值。此外，它需要訪問(wèn)實(shí)時(shí)數(shù)據(jù)以獲取價(jià)格的動(dòng)態(tài)變化，以制定最佳的用戶優(yōu)惠。畢竟，沒(méi)有人想要已經(jīng)購(gòu)買(mǎi)的商品的優(yōu)惠，發(fā)現(xiàn)他們的推薦并不是在正確的時(shí)間以正確的價(jià)格購(gòu)買(mǎi)正確的產(chǎn)品，或者因?yàn)槠渌胤教峁┑膬r(jià)格更低而支付過(guò)高的費(fèi)用。

此外，檢索增強(qiáng)生成（RAG）應(yīng)與操作數(shù)據(jù)存儲(chǔ)結(jié)合，以提高其效果。為了有效地查詢數(shù)據(jù)，數(shù)據(jù)需要存儲(chǔ)在高維數(shù)學(xué)向量中，使模型能夠使用數(shù)值向量而不是特定術(shù)語(yǔ)或語(yǔ)言進(jìn)行搜索。然后，人工智能可以在正確的上下文中找到相關(guān)信息，而無(wú)需依賴于找到相同的術(shù)語(yǔ)。通過(guò)使用支持向量的高效存儲(chǔ)和搜索，并且可以將模型的查詢轉(zhuǎn)換為這些數(shù)值向量的數(shù)據(jù)庫(kù)，人工智能模型可以實(shí)時(shí)保持其理解的最新?tīng)顟B(tài)：始終學(xué)習(xí)，始終適應(yīng)，極大地降低了過(guò)時(shí)或不完整信息導(dǎo)致昂貴幻覺(jué)的機(jī)會(huì)。