譯者 | 李睿

審校 | 重樓

盡管LLM在內(nèi)容生成方面表現(xiàn)出色，但需要采用語(yǔ)義分塊和向量嵌入等技術(shù)來(lái)解決復(fù)雜數(shù)據(jù)環(huán)境中的搜索問(wèn)題。

大型語(yǔ)言模型（LLM）的涌現(xiàn)推動(dòng)了信息檢索和人機(jī)交互的范式轉(zhuǎn)變。這些模型在大量的文本語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，并針對(duì)預(yù)測(cè)語(yǔ)言任務(wù)進(jìn)行了優(yōu)化，在響應(yīng)查詢、總結(jié)文本內(nèi)容和生成上下文相關(guān)信息方面展現(xiàn)出了顯著成效。

然而，盡管LLM具有令人印象深刻的生成能力，但它們并不能從本質(zhì)上解決結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)環(huán)境中搜索和檢索的復(fù)雜性。與其相反，它們需要使用語(yǔ)義分塊、向量嵌入和上下文感知個(gè)性化等先進(jìn)技術(shù)進(jìn)行增強(qiáng)，以提高優(yōu)化精度和召回率。

本文探討了LLM在解決搜索問(wèn)題方面的固有局限性，強(qiáng)調(diào)了內(nèi)容生成和檢索效率之間的脫節(jié)。本文探討了通過(guò)復(fù)雜的索引、排序和上下文過(guò)濾方法來(lái)增強(qiáng)它們?cè)谒阉骷軜?gòu)中效用的策略，并采用案例研究的方法來(lái)揭示LLM在信息檢索過(guò)程中的幕后操作。

案例研究：餐館老板的查詢

以華盛頓州西雅圖的一位餐館老板為例，這名用戶正在研究在紐約開(kāi)設(shè)餐廳的政策，并尋求有關(guān)薪酬、工作時(shí)間和許可要求的信息?，F(xiàn)在，想象一下開(kāi)發(fā)一個(gè)基于LLM的聊天機(jī)器人為美國(guó)各地的餐館老板提供幫助，這需要了解美國(guó)各州縣的政策細(xì)節(jié)。

內(nèi)容生成與檢索之間的差異

企業(yè)搜索系統(tǒng)的一個(gè)主要挑戰(zhàn)是內(nèi)容創(chuàng)建和以用戶為中心的信息檢索之間的不對(duì)稱性。技術(shù)文檔、公司政策和特定領(lǐng)域的知識(shí)庫(kù)通常以異構(gòu)的、非結(jié)構(gòu)化的格式存在，使得高效檢索變得困難。雖然LLM可以從這些語(yǔ)料庫(kù)中提取和綜合見(jiàn)解，但它們依賴于概率令牌排序的依賴而不是確定性索引機(jī)制，導(dǎo)致了結(jié)果精度存在可變性和不一致性。

傳統(tǒng)的搜索架構(gòu)利用元數(shù)據(jù)驅(qū)動(dòng)的索引、基于關(guān)鍵字的檢索啟發(fā)式和相關(guān)性排序算法來(lái)增強(qiáng)文檔的可發(fā)現(xiàn)性。相比之下，LLM優(yōu)先考慮流暢性和上下文連貫性，而不是嚴(yán)格的事實(shí)檢索，這常常導(dǎo)致幻覺(jué)——雖然在語(yǔ)法上看似合理，但在事實(shí)上可能不準(zhǔn)確，或者在語(yǔ)義上與用戶意圖不一致。

LLM本質(zhì)上是無(wú)狀態(tài)的設(shè)計(jì)

LLM的一個(gè)關(guān)鍵方面是它們的無(wú)狀態(tài)特性：除了單一的輸入-輸出交換之外，它們不會(huì)保留過(guò)去交互的記憶。除非在輸入提示符中明確地提供會(huì)話上下文，否則每個(gè)查詢都是獨(dú)立處理的。

然而，像ChatGPT和Claude這樣的應(yīng)用程序似乎記住了上下文。這是通過(guò)應(yīng)用程序?qū)拥募夹g(shù)實(shí)現(xiàn)的，例如：

• 對(duì)話歷史記錄。在提示符中傳遞先前的交互以維護(hù)上下文。
• 外部API。集成實(shí)時(shí)數(shù)據(jù)源以更新信息。
• 基于對(duì)話的架構(gòu)。實(shí)現(xiàn)跟蹤和管理對(duì)話的邏輯。
• 個(gè)性化。存儲(chǔ)用戶屬性以定制響應(yīng)。

從本質(zhì)上來(lái)說(shuō)，LLM本身并不保留過(guò)去的對(duì)話。與其相反，應(yīng)用程序必須在每個(gè)提示符中提供相關(guān)的歷史上下文。各種優(yōu)化可以提高效率，例如總結(jié)之前的對(duì)話而不是包括整個(gè)歷史記錄。目前可以假設(shè)應(yīng)用程序所有者將三個(gè)主要輸入傳遞給LLM：

• 最新用戶查詢。
• 通過(guò)用戶屬性對(duì)用戶進(jìn)行個(gè)性化設(shè)置。
• 對(duì)話歷史。

走向搜索：RAG如何在搜索中變得相關(guān)

在上述設(shè)計(jì)中，如果只傳遞三個(gè)輸入（用戶查詢、用戶屬性和對(duì)話歷史），則LLM僅依賴其預(yù)訓(xùn)練的知識(shí)進(jìn)行回應(yīng)，其中可能不包括最新的策略更新。為了解決這個(gè)問(wèn)題，需要第四個(gè)輸入——相關(guān)的政策文件。這就是檢索增強(qiáng)生成（RAG）發(fā)揮重要作用的地方：

• 檢索。從AWS S3或數(shù)據(jù)庫(kù)等源獲取最新的策略文檔。
• 增強(qiáng)。將檢索到的內(nèi)容合并到提示符中。
• 生成。使用增強(qiáng)提示來(lái)生成響應(yīng)，確保LLM優(yōu)先考慮實(shí)時(shí)和準(zhǔn)確的信息而不是預(yù)先訓(xùn)練的知識(shí)。

RAG的關(guān)鍵方面是指導(dǎo)LLM依賴檢索到的文檔而不是過(guò)時(shí)的訓(xùn)練數(shù)據(jù)，從而顯著提高響應(yīng)的相關(guān)性和準(zhǔn)確性。

在當(dāng)前的設(shè)計(jì)中，如果僅傳遞用戶查詢、用戶屬性和對(duì)話歷史這三個(gè)輸入，LLM將完全依賴于其預(yù)訓(xùn)練的知識(shí)。盡管它可能在訓(xùn)練過(guò)程中遇到過(guò)相關(guān)政策，但其回應(yīng)存在過(guò)時(shí)甚至錯(cuò)誤的風(fēng)險(xiǎn)，因?yàn)檫@些回應(yīng)反映的是訓(xùn)練時(shí)的政策狀態(tài)，而不是實(shí)時(shí)更新的政策狀態(tài)。

為了確保準(zhǔn)確性，必須引入第四種輸入——相關(guān)的政策文件。由于LLM是無(wú)狀態(tài)的，它們?cè)跁?huì)話之后不會(huì)保留先前的知識(shí)。為了整合實(shí)時(shí)策略，系統(tǒng)必須在將文檔傳遞到提示符之前下載、解析和格式化文檔。這種結(jié)構(gòu)化的方法確保響應(yīng)是基于當(dāng)前的政策，而不是過(guò)時(shí)的訓(xùn)練數(shù)據(jù)。

通過(guò)明確地指導(dǎo)LLM依賴于檢索的文檔，RAG彌合了搜索和生成之間的差距，將LLM轉(zhuǎn)換為動(dòng)態(tài)的實(shí)時(shí)知識(shí)系統(tǒng)，而不是靜態(tài)的信息存儲(chǔ)庫(kù)。以下顯示了更新后的提示，其中包括將政策文檔作為L(zhǎng)LM的另一個(gè)輸入。

LLM的上下文窗口的硬件限制是什么？

由于計(jì)算和內(nèi)存限制，LLM具有固定的上下文長(zhǎng)度。LLM的上下文窗口指的是模型在單個(gè)輸入提示符中可以處理的令牌（單詞、子詞或字符，具體取決于模型）的最大數(shù)量。這包括輸入文本和生成的輸出。上下文窗口的大小是模型構(gòu)施加的硬件限制；例如，GPT-4有128K的限制，而Claude Sonnet有200K的限制。

如果輸入超過(guò)這一限制，則必須使用以下技術(shù)截?cái)嗷蛱幚恚?/p>

• 滑動(dòng)窗口。保留最近的令牌并丟棄舊的令牌。
• 摘要。壓縮過(guò)去的互動(dòng)以適應(yīng)限制。
• 內(nèi)存增加。使用外部存儲(chǔ)（例如矢量數(shù)據(jù)庫(kù)）動(dòng)態(tài)地檢索相關(guān)的過(guò)去交互。
• 挑選相關(guān)的文檔。當(dāng)使用RAG時(shí)，技巧是從文檔中挑選最相關(guān)的部分以適應(yīng)上下文長(zhǎng)度。

當(dāng)組合大小超過(guò)文檔上下文窗口時(shí)，如何跨文檔搜索

必須將幾種高級(jí)方法集成到檢索管道中，以解決LLM在為RAG場(chǎng)景搜索大量文檔時(shí)的局限性。

在主要的企業(yè)級(jí)聊天機(jī)器人應(yīng)用中，遵循以下架構(gòu)來(lái)解決這個(gè)問(wèn)題：

1.多格式數(shù)據(jù)提取的高級(jí)解析

企業(yè)知識(shí)庫(kù)通常包括各種文檔格式，包括純文本（.txt）、標(biāo)記（.md、.html）、結(jié)構(gòu)化數(shù)據(jù)（.csv、.xlsx）、格式化報(bào)告（.pdf、.docx），有時(shí)甚至是圖像形式。必須采用強(qiáng)大的解析技術(shù)來(lái)提取和規(guī)范這些格式的數(shù)據(jù)，以促進(jìn)無(wú)縫檢索。

例如，如果想讓圖像信息成為搜索的一部分，LLM也用于對(duì)文檔進(jìn)行語(yǔ)義解析以從圖像中獲取信息?；旌辖馕龇椒▽⒒谝?guī)則的提取與人工智能驅(qū)動(dòng)的文本結(jié)構(gòu)相結(jié)合，可以顯著提高文檔的可訪問(wèn)性。

2.上下文粒度的分塊處理

將廣泛的語(yǔ)篇語(yǔ)料庫(kù)分解為語(yǔ)義有意義的單元，提高了可檢索性和語(yǔ)境一致性。各種分塊方法包括：

• 固定長(zhǎng)度分段。按預(yù)定義的令牌閾值拆分文本（例如300個(gè)令牌），以確保統(tǒng)一的可檢索性。
• 重疊分塊。保持一定程度的內(nèi)容重疊，以保持連續(xù)塊之間的上下文連續(xù)性。
• 分層分塊。文本結(jié)構(gòu)化為嵌套段，以促進(jìn)多層級(jí)檢索粒度。
• 語(yǔ)義聚類?；谠~匯相似性和概念一致性的文本聚合，而不是任意的令牌限制。

3.向量嵌入和高維搜索優(yōu)化

LLM可以生成文本數(shù)據(jù)的密集向量表示，通過(guò)高維向量搜索方法實(shí)現(xiàn)基于相似性的檢索。主要優(yōu)勢(shì)包括：

• 增強(qiáng)查詢與相關(guān)文檔的語(yǔ)義匹配。
• 通過(guò)神經(jīng)相關(guān)性評(píng)分的搜索結(jié)果的上下文感知排名。
• 基于用戶特定交互歷史的自適應(yīng)個(gè)性化。
• 多模態(tài)檢索，集成文本和非文本數(shù)據(jù)源。

4.精度優(yōu)化的重新排序機(jī)制

為了確保檢索結(jié)果與用戶意圖一致，必須采用復(fù)雜的重新排序策略。有效的重新排序方法包括：

• TF-IDF和BM25評(píng)分。優(yōu)先考慮術(shù)語(yǔ)相關(guān)性的統(tǒng)計(jì)加權(quán)技術(shù)。
• 神經(jīng)關(guān)聯(lián)模型。基于機(jī)器學(xué)習(xí)的自適應(yīng)優(yōu)化搜索輸出排序的排序機(jī)制。
• 混合檢索架構(gòu)。將關(guān)鍵字索引與基于向量的檢索相結(jié)合，以實(shí)現(xiàn)全面的排名優(yōu)化。

5.通過(guò)用戶分析實(shí)現(xiàn)上下文個(gè)性化

結(jié)合特定于用戶的屬性（例如角色、位置和訪問(wèn)級(jí)別），可以提高搜索結(jié)果的準(zhǔn)確性。系統(tǒng)檢索最相關(guān)的文檔，并根據(jù)用戶特定的屬性對(duì)它們進(jìn)行排序，以確保與訪問(wèn)權(quán)限的相關(guān)性和遵從性。LLM可以通過(guò)利用動(dòng)態(tài)用戶分析來(lái)根據(jù)個(gè)人用戶的上下文框架定制響應(yīng)，從而提高搜索效率。

走向混合搜索框架：LLM與傳統(tǒng)檢索系統(tǒng)的融合

為了充分利用LLM在搜索中的能力，將語(yǔ)義向量索引與人工智能驅(qū)動(dòng)的排名模型集成在一起的混合檢索架構(gòu)勢(shì)在必行。以下增強(qiáng)是改進(jìn)這種混合范式的關(guān)鍵：

• 特定領(lǐng)域的微調(diào)。針對(duì)專門(mén)語(yǔ)料庫(kù)的定制LLM培訓(xùn)，以提高特定領(lǐng)域的準(zhǔn)確性。
• 動(dòng)態(tài)搜索過(guò)濾器。上下文感知過(guò)濾，根據(jù)用戶意圖和元數(shù)據(jù)參數(shù)調(diào)整檢索約束。
• 多模式集成。將搜索功能擴(kuò)展到文本之外，以包含結(jié)構(gòu)化數(shù)據(jù)、表格內(nèi)容和可視化信息。

提示優(yōu)化策略。實(shí)現(xiàn)緩存、響應(yīng)路由和查詢預(yù)處理，以最大限度地減少生成延遲和幻覺(jué)風(fēng)險(xiǎn)。

用于改進(jìn)語(yǔ)義搜索的其他模式

結(jié)合以下先進(jìn)技術(shù)，以提高基于RAG檢索系統(tǒng)的檢索階段。通過(guò)結(jié)合這些策略，基于RAG的搜索系統(tǒng)提高了檢索準(zhǔn)確性、上下文相關(guān)性和響應(yīng)效率，使它們?cè)趯?shí)際應(yīng)用程序中更加可靠。

特定領(lǐng)域的嵌入

通用嵌入可能無(wú)法捕捉諸如醫(yī)學(xué)、法律或金融等專業(yè)領(lǐng)域的細(xì)微差別。通過(guò)在特定領(lǐng)域的語(yǔ)料庫(kù)上訓(xùn)練嵌入，可以確保向量表示與相關(guān)術(shù)語(yǔ)、上下文和語(yǔ)義更緊密地一致。這提高了基于相似度的檢索的準(zhǔn)確性，使搜索結(jié)果更精確，更符合上下文。

高級(jí)解析

許多企業(yè)知識(shí)庫(kù)包含各種文檔格式，例如PDF、電子表格、HTML頁(yè)面和掃描圖像。從這些格式中提取結(jié)構(gòu)化信息需要人工智能支持的解析技術(shù)，包括掃描文檔的光學(xué)字符識(shí)別（OCR）、表格數(shù)據(jù)的基于規(guī)則的提取以及非結(jié)構(gòu)化文本的基于NLP的結(jié)構(gòu)化。正確的解析確保信息無(wú)論格式如何，都可以訪問(wèn)和搜索。

動(dòng)態(tài)過(guò)濾器

通過(guò)應(yīng)用基于元數(shù)據(jù)、用戶意圖和上下文約束的動(dòng)態(tài)過(guò)濾機(jī)制，可以顯著提高搜索精度。例如，可以根據(jù)用戶的位置、日期范圍、文檔類型或訪問(wèn)權(quán)限應(yīng)用過(guò)濾器，從而確保檢索的結(jié)果高度相關(guān)和個(gè)性化。這些過(guò)濾器可以優(yōu)化搜索輸出并減少結(jié)果中的噪聲。

表格數(shù)據(jù)和圖像處理

傳統(tǒng)的搜索系統(tǒng)難以處理非文本數(shù)據(jù)，例如表格、圖表和圖像。將表格數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化嵌入允許檢索模型識(shí)別數(shù)據(jù)點(diǎn)內(nèi)的模式和關(guān)系。同樣，圖像到文本模型和多模式嵌入使搜索系統(tǒng)能夠處理和檢索相關(guān)的視覺(jué)內(nèi)容，從而將搜索功能擴(kuò)展到傳統(tǒng)的基于文本的方法之外。

排序和重新排序

一旦檢索到文檔，就必須對(duì)它們進(jìn)行排序，以優(yōu)先考慮最相關(guān)的文檔。將BM25和TF-IDF等傳統(tǒng)排序技術(shù)與神經(jīng)重新排序模型相結(jié)合，改進(jìn)了結(jié)果排序?；旌吓琶呗源_保搜索結(jié)果與語(yǔ)義意圖保持一致，減少了對(duì)關(guān)鍵字匹配的依賴，并提高了復(fù)雜搜索查詢的準(zhǔn)確性。

提示緩存和路由

為類似的請(qǐng)求反復(fù)查詢LLM的效率很低。提示緩存是LLM框架中的一項(xiàng)新技術(shù)，用于存儲(chǔ)經(jīng)常使用的查詢和響應(yīng)，從而顯著降低計(jì)算成本和延遲。此外，提示路由通過(guò)最合適的檢索管道引導(dǎo)查詢，從而優(yōu)化資源使用并縮短響應(yīng)時(shí)間。這可以確保用戶在保持效率的同時(shí)獲得更快、更相關(guān)的結(jié)果。

結(jié)論

雖然LLM在搜索能力方面帶來(lái)了革命性的進(jìn)步，但它們還沒(méi)有消除結(jié)構(gòu)化檢索框架的必要性。語(yǔ)義分塊、基于向量的索引、動(dòng)態(tài)用戶分析以及復(fù)雜的排序啟發(fā)式的集成對(duì)于提高搜索精度仍然至關(guān)重要。尋求利用LLM進(jìn)行企業(yè)搜索的組織必須采用多種方法，將人工智能的生成優(yōu)勢(shì)與傳統(tǒng)搜索方法的確定性和嚴(yán)謹(jǐn)性相結(jié)合。

最終，搜索的發(fā)展可能會(huì)趨同于一種混合范式——在這種范式中，LLM會(huì)增強(qiáng)而不是取代現(xiàn)有的檢索技術(shù)。通過(guò)持續(xù)的改進(jìn)和戰(zhàn)略增強(qiáng)，可以有效地利用LLM來(lái)創(chuàng)建更直觀、上下文感知和準(zhǔn)確的搜索體驗(yàn)，減輕其固有的局限性，并開(kāi)辟信息檢索的新領(lǐng)域。
原文標(biāo)題：Have LLMs Solved the Search Problem?，作者：Avi Dubey