自然語言處理(NLP) 是人工智能(AI)的一個領域，旨在教會計算機理解人類的書面和口頭語言，并運用這些語言與人類互動。雖然傳統(tǒng)的 NLP 方法已研究數(shù)十年，但近年來出現(xiàn)的大型語言模型(LLM) 幾乎主導了該領域的所有發(fā)展。LLM 通過將復雜的深度學習架構與能夠分析語言中復雜模式和相互依賴關系的自注意力機制相結(jié)合，徹底改變了 NLP 和整個人工智能領域。LLM 能夠處理廣泛的語言生成和語言理解任務，并具有廣泛的應用范圍，例如對話聊天機器人、深度文檔分析、翻譯等等。

LLM 的能力和局限性

各大人工智能公司推出的大型通用語言模型（LLM），例如 OpenAI 的 ChatGPT 模型，主要專注于語言生成。也就是說，給定一個提示——用戶用人類語言提出的查詢、問題或請求——LLM 必須逐字逐句地生成該提示的自然語言響應。為了完成這項看似艱巨的任務，LLM 需要基于極其龐大的數(shù)據(jù)集進行訓練，這些數(shù)據(jù)集包含數(shù)百萬到數(shù)十億個文本文檔，涵蓋任何你能想到的主題。通過這種方式，LLM 能夠全面學習人類語言的細微差別，模仿我們的溝通方式，并運用所學知識生成自己的“類人語言”，從而實現(xiàn)前所未有的流暢人機交流。

毫無疑問，大語言模型（LLM）在人工智能發(fā)展和視野方面邁出了一大步，但它們也并非沒有局限性。具體來說，如果用戶在特定情境下（例如，最新消息）向大語言模型（LLM）詢問精確的答案，模型本身可能無法提供具體準確的答案。原因在于：大語言模型（LLM）對世界的認知受限于它們接觸的數(shù)據(jù)，尤其是在訓練階段。除非頻繁地接受訓練（坦白說，這是一個成本極其高昂的過程），否則大語言模型（LLM）通常無法感知最新消息。

更糟糕的是，當LLM缺乏基礎信息來提供精確、相關或真實的答案時，他們很可能會生成看似令人信服的答案，即使這意味著答案完全建立在虛構的信息之上。LLM中經(jīng)常出現(xiàn)的這種問題被稱為“幻覺”：生成不準確且毫無根據(jù)的文本，從而誤導用戶。

RAG 的誕生

即使是市場上規(guī)模最大的語言模型（LLM）也在一定程度上遭遇了數(shù)據(jù)過時、昂貴的再訓練和幻覺問題?？萍季揞^們也深知，當這些模型被全球數(shù)百萬用戶使用時，它們會帶來風險和影響。例如，早期 ChatGPT 模型中幻覺的發(fā)生率估計約為 15%，這對使用這些模型的組織的聲譽產(chǎn)生了深遠的影響，并損害了整個人工智能系統(tǒng)的可靠性和信任度。

這就是RAG（檢索增強生成）應運而生的原因。RAG 無疑是 LLM 出現(xiàn)后自然語言處理領域的重大突破之一，因為它有效地解決了上述 LLM 的局限性。RAG 的核心理念是將搜索引擎常用的信息檢索技術的準確性和搜索能力與 LLM 的深度語言理解和生成能力相結(jié)合。

廣義上講，RAG 系統(tǒng)通過在用戶查詢或提示中融入最新且真實的上下文信息來增強 LLM。這些上下文信息是在 LLM 主導的語言理解和后續(xù)響應生成過程之前的檢索階段獲得的。

RAG 可以解決 LLM 中常見的上述問題，具體如下：

• 數(shù)據(jù)過時：RAG 可以通過檢索和整合來自外部來源的最新信息來幫助克服數(shù)據(jù)過時問題，從而使響應反映最新的可用知識
• 再培訓成本：通過動態(tài)檢索相關信息，RAG 減少了頻繁且昂貴的再培訓的必要性，使 LLM 無需完全再培訓即可保持最新狀態(tài)
• 幻覺：RAG 通過將反應建立在從真實文檔中檢索到的事實信息上，幫助緩解幻覺，最大限度地減少缺乏真實性的虛假或虛構反應的產(chǎn)生

至此，我們希望您對 RAG 是什么以及它為何出現(xiàn)以改進現(xiàn)有的 LLM 解決方案有了初步的了解。本系列的下一篇文章將深入探討 RAG 流程的一般工作原理。