譯者 | 布加迪

審校 | 重樓

本文中將重點(diǎn)介紹如何優(yōu)化RAG系統(tǒng)，使其盡可能高效。我們從多個(gè)角度介紹RAG系統(tǒng)，深入了解其用途以及如何優(yōu)化。

介紹

檢索增強(qiáng)生成（RAG）模型通常被稱為RAG系統(tǒng)，在AI行業(yè)得到極大的關(guān)注。這種模型背后的概念很簡單：我們允許模型根據(jù)需要從單獨(dú)的數(shù)據(jù)集檢索信息，而不是使用海量數(shù)據(jù)訓(xùn)練模型。

將如何改進(jìn)機(jī)器學(xué)習(xí)模型？首先，訓(xùn)練或微調(diào)大語言模型（LLM）的過程極其費(fèi)錢、費(fèi)時(shí)且乏味。它需要訓(xùn)練有素的機(jī)器學(xué)習(xí)和AI從業(yè)人員。RAG系統(tǒng)利用基礎(chǔ)LLM，增強(qiáng)輸入內(nèi)容，以保持模型處于最新版本，同時(shí)仍能夠合并新數(shù)據(jù)。新數(shù)據(jù)生成后，幾乎可以立即添加到檢索數(shù)據(jù)庫中。

我們在本文中將重點(diǎn)介紹如何優(yōu)化RAG系統(tǒng)，使其盡可能高效。我們從多個(gè)角度介紹RAG系統(tǒng)，深入了解其用途以及如何優(yōu)化。

走近RAG模型

顧名思義，RAG模型由三大部分組成：檢索、增強(qiáng)和生成。這些部分代表模型的大體工作流，每個(gè)單獨(dú)的部分包括更多的細(xì)節(jié)。

1. 查詢輸入——這個(gè)過程從用戶輸入查詢或提示開始，比如要求LLM執(zhí)行一個(gè)任務(wù)，比如回答問題或幫助研究主題。視模型及其訓(xùn)練數(shù)據(jù)而定，你可以依賴基礎(chǔ)模型的訓(xùn)練數(shù)據(jù)，也可以依賴為模型提供數(shù)據(jù)。

2. 查詢編碼——使用編碼器模型（通常是像BERT這樣的預(yù)訓(xùn)練語言模型或另一個(gè)基于Transformer的模型）將查詢編碼成向量表示。這個(gè)向量表示捕獲查詢的語義含義。

3. 信息檢索——使用編碼查詢向量，系統(tǒng)從提供的數(shù)據(jù)檢索相關(guān)文檔或段落。這個(gè)檢索步驟至關(guān)重要，可以使用密集檢索和稀疏檢索等各種技術(shù)來實(shí)現(xiàn)。先進(jìn)的索引技術(shù)也可以用來加快檢索過程。從檢索到的文檔中選擇前N個(gè)候選文檔（基于相關(guān)性分?jǐn)?shù)）。這些文檔被認(rèn)為與輸入查詢最密切相關(guān)，對于生成最終響應(yīng)是不可或缺的。

4. 文檔編碼——隨后將每個(gè)選定的候選文檔由向量表示解碼為人類可理解的語言。這個(gè)步驟確保檢索到的數(shù)據(jù)將用于生成階段。

5. 響應(yīng)生成——連接的向量被饋送到像GPT、Mistral、Llama或其他的LLM中。生成器根據(jù)輸入生成連貫且符合上下文的響應(yīng)。該響應(yīng)應(yīng)該以清晰、相關(guān)的方式回答查詢或提供所請求的信息。

那么我們可以加快這個(gè)過程的哪些方面呢？就在它的名字里！我們可以優(yōu)化RAG中的R（檢索）、A（增強(qiáng)）和G（生成）。

改進(jìn)RAG檢索——增加向量化

通過增加維度和值精度來增強(qiáng)向量化過程，創(chuàng)建更詳細(xì)更精確的嵌入，這是提高RAG系統(tǒng)性能的有效方法。向量化過程將單詞或短語轉(zhuǎn)換成數(shù)字向量，捕獲它們的含義和關(guān)系，并將它們存儲在維度數(shù)據(jù)庫中。通過增加每個(gè)數(shù)據(jù)點(diǎn)的精細(xì)度，我們有望獲得更準(zhǔn)確的RAG模型。

1. 增加向量維度——增加維度的數(shù)量讓向量可以捕獲單詞更細(xì)微的特征。高維向量可以編碼更多的信息，為單詞的含義、上下文以及與其他單詞的關(guān)系提供更豐富的表示。

• 低維向量：一些基本的嵌入模型可能會將單詞轉(zhuǎn)換成512維向量。
• 高維向量：較復(fù)雜的模型可以將單詞轉(zhuǎn)換成超過4000維的向量。

2. 提高值的精度——通過增加值的范圍，可以提高向量表示的精細(xì)度。這意味著模型可以捕獲單詞之間的細(xì)微差異和相似之處，從而獲得更精確更準(zhǔn)確的嵌入。

• 低精度向量：在簡單模型中，字段值的范圍可能在0到10之間。
• 高精度向量：為了提高精度，可以將這個(gè)范圍從0擴(kuò)展到1000，甚至更高。這允許模型捕獲更準(zhǔn)確的值。比如說，人的年齡通常在1歲到100歲之間，因此0到10的范圍將缺乏準(zhǔn)確表示的必要能力。擴(kuò)大范圍增強(qiáng)了模型更準(zhǔn)確地反映實(shí)際變化或差異的能力。

需要注意的是，這些優(yōu)化是有代價(jià)的。增加系統(tǒng)的向量維度和精度值會導(dǎo)致更龐大的存儲開銷和計(jì)算密集型模型。

改進(jìn)RAG增強(qiáng)——多個(gè)數(shù)據(jù)源

在檢索增強(qiáng)生成（RAG）系統(tǒng)中，檢索部分負(fù)責(zé)獲取生成式模型用于生成響應(yīng)的相關(guān)信息。

如果整合多個(gè)數(shù)據(jù)源，我們可以顯著提高RAG系統(tǒng)的性能和準(zhǔn)確性。這種方法被稱為增強(qiáng)優(yōu)化，利用眾多信息庫來提供更豐富更全面的上下文，從而最終獲得更準(zhǔn)確的響應(yīng)。下面是幾個(gè)例子：

• 醫(yī)療保健——旨在回答復(fù)雜的醫(yī)療查詢以幫助醫(yī)生的RAG系統(tǒng)得益于從醫(yī)學(xué)期刊和患者病歷檢索信息，以生成定制的方案。
• 法律——旨在協(xié)助律師進(jìn)行案件研究的RAG系統(tǒng)得益于從多個(gè)相關(guān)案件檢索信息。通過對每個(gè)案件中的主題進(jìn)行向量化，接受輸入提示后，RAG模型可以確定哪些案件可用于支持或辯駁訴訟觀點(diǎn)。
• 技術(shù)文檔——針對任何產(chǎn)品、軟件、硬件甚至棋盤類游戲，回答常見問題（FAQ）的RAG LLM可以極大地幫助用戶獲得快速響應(yīng)，無需閱讀大量的用戶手冊術(shù)語。

改進(jìn)RAG生成——選擇最優(yōu)模型

雖然實(shí)現(xiàn)檢索增強(qiáng)生成（RAG）系統(tǒng)時(shí)使用最先進(jìn)的LLM常?？梢员ＷC卓越的內(nèi)容生成和分析能力，但選擇最復(fù)雜的LLM并不總是最佳選擇。

下面是在使用RAG系統(tǒng)的生成部分時(shí)，需要注意的四點(diǎn)。

• 復(fù)雜性與效率——雖然GPT或Llama之類的高級LLM功能強(qiáng)大，但它們帶來巨大的計(jì)算成本和資源需求。將這些模型集成到RAG系統(tǒng)中可能帶來延遲問題或?qū)е掠?jì)算資源緊張，特別是在需要實(shí)時(shí)響應(yīng)能力的場景中。
• 用例——基于RAG的LLM的有效性在很大程度上依賴特定的用例和領(lǐng)域需求。在一些情況下，較簡單的已微調(diào)模型可能優(yōu)于較復(fù)雜的通用LLM。根據(jù)應(yīng)用的實(shí)際需要定制模型的選擇可以確保有效地利用計(jì)算資源，又不影響性能。
• 用戶體驗(yàn)和響應(yīng)性——對于響應(yīng)性和實(shí)時(shí)交互至關(guān)重要的應(yīng)用，優(yōu)先考慮較小的LLM中的速度和效率可以增強(qiáng)用戶體驗(yàn)。一種兼顧計(jì)算效率與內(nèi)容高效生成的簡化方法可確保用戶收到快速而相關(guān)的響應(yīng)。
• 成本考慮——部署基于RAG的復(fù)雜LLM可能需要更高的硬件及/或運(yùn)營成本。評估操作目標(biāo)并權(quán)衡收益和成本，以便在致力于部署高度復(fù)雜的RAG時(shí)做出明智的決策。

提高RAG模型的速度——硬件

基于RAG的LLM的巨大價(jià)值因其優(yōu)化、成本效益和高效使用的潛力而得到普及。這些優(yōu)化已經(jīng)提供了一種有效的方式來增強(qiáng)LLM的能力，允許它們檢索和合并最新的信息，確保模型保持相關(guān)性和準(zhǔn)確性。

然而，改進(jìn)RAG系統(tǒng)需要考慮其他方面。增加向量精度可以提高檢索準(zhǔn)確度，但會導(dǎo)致更高的計(jì)算成本、更長的訓(xùn)練時(shí)間和更慢的推理響應(yīng)速度。最有效的RAG系統(tǒng)是根據(jù)你的獨(dú)特需求和目標(biāo)量身定制的，又不影響整體效率。定制你的RAG系統(tǒng)，使其與你的特定用例、數(shù)據(jù)源和操作需求保持一致，有望提供最佳結(jié)果。

存儲數(shù)據(jù)和支持RAG的系統(tǒng)也是如此。高性能硬件供不應(yīng)求，它們可以提供相比AI行業(yè)競爭對手最佳的性能，但這種系統(tǒng)很少具有普適性，無法適應(yīng)所有場景。

原文標(biāo)題：How To Improve the Performance of a RAG Model，作者：Kevin Vu