理解 RAG 第六部分：有效的檢索優(yōu)化
在檢索增強(qiáng)生成 (RAG) 系統(tǒng)中，負(fù)責(zé)從外部知識庫中識別相關(guān)上下文的檢索器組件的性能與語言模型生成有效響應(yīng)的性能同等重要，甚至更為重要。因此，一些改進(jìn) RAG 系統(tǒng)的努力將重點(diǎn)放在優(yōu)化檢索過程上也就不足為奇了。
本文從檢索角度介紹了一些提升 RAG 系統(tǒng)性能的常用方法。通過實(shí)施諸如重排序混合搜索、選擇性檢索和查詢轉(zhuǎn)換等高級檢索技術(shù)，RAG 系統(tǒng)能夠更好地應(yīng)對上下文無關(guān)和信息過載等常見挑戰(zhàn)。每種策略都針對檢索過程的不同方面，以確保生成更準(zhǔn)確、更相關(guān)的響應(yīng)，并且它們都有助于縮小檢索數(shù)據(jù)的范圍，找到最相關(guān)、最高質(zhì)量的上下文片段，從而提高準(zhǔn)確性和效率，尤其是在長上下文或?qū)I(yè) RAG 應(yīng)用中。
常見的檢索優(yōu)化策略
在 RAG 系統(tǒng)中，廣泛實(shí)施的優(yōu)化檢索器性能的方法包括以下三種。
1.混合搜索和重新排名
混合搜索結(jié)合兩種檢索標(biāo)準(zhǔn)來獲取一組相關(guān)文檔或文檔塊。一種常見的方法是結(jié)合稀疏檢索和密集檢索。稀疏檢索使用基于關(guān)鍵詞的方法（例如 TF-IDF）來匹配精確詞條，這使得它能夠有效地進(jìn)行精準(zhǔn)詞條匹配。相比之下，密集檢索利用嵌入（文本的數(shù)值表示）來捕捉語義相似性，當(dāng)精確詞條不同但含義相似時，這種方法非常理想。當(dāng)這種混合搜索機(jī)制的目標(biāo)是根據(jù)相關(guān)性優(yōu)化檢索到的文檔的排名時，我們會應(yīng)用重排序來對文檔進(jìn)行優(yōu)先排序，以更好地適應(yīng)原始用戶查詢的意圖。
2.查詢轉(zhuǎn)換
查詢轉(zhuǎn)換包括調(diào)整或擴(kuò)展查詢，以便將檢索到的文檔集納入更廣泛或更具體的范圍。例如，可以通過在原始查詢中合并術(shù)語的同義詞，或重新表述部分內(nèi)容來實(shí)現(xiàn)。查詢轉(zhuǎn)換可以提高捕獲高質(zhì)量上下文的幾率，從而幫助優(yōu)化檢索器的效率，尤其是在精確術(shù)語可能存在顯著差異的情況下。
3. 上下文相關(guān)性過濾
一旦檢索到相關(guān)文檔，這種簡單但通常有效的方法就會根據(jù)上下文元數(shù)據(jù)（例如日期和時間、地點(diǎn)和作者）對其進(jìn)行過濾。這有助于根據(jù)用戶的上下文和意圖確定內(nèi)容的優(yōu)先級。
高級檢索優(yōu)化技術(shù)
以下三種技術(shù)是更專業(yè)的方法，需要額外的設(shè)置，但建議用于高風(fēng)險 RAG 用例。
1. 針對具體案例的優(yōu)化
案例特定優(yōu)化的理念是針對特定領(lǐng)域（例如醫(yī)療、金融等）調(diào)整或定制檢索流程，并對其進(jìn)行微調(diào)，以更好地捕捉目標(biāo)領(lǐng)域的細(xì)微差別。一個具體解決方案是通過特定領(lǐng)域的權(quán)重和排名指標(biāo)，根據(jù)特定術(shù)語或?qū)嶓w在目標(biāo)領(lǐng)域內(nèi)的相關(guān)性對其進(jìn)行優(yōu)先排序。另一種方法是使用特定領(lǐng)域的數(shù)據(jù)集來訓(xùn)練或微調(diào)檢索器。
2. 具有反饋循環(huán)的主動學(xué)習(xí)
帶有反饋循環(huán)的主動學(xué)習(xí)是一種交互式方法，它結(jié)合用戶反饋，不斷調(diào)整和改進(jìn)檢索結(jié)果，從而不斷提升模型的檢索準(zhǔn)確率。與其他 RAG 檢索器優(yōu)化策略不同，該方法通過整合實(shí)時反饋來調(diào)整檢索過程，使其與用戶偏好或不斷變化的需求保持一致。
3.語義哈希
語義哈希專注于提高檢索效率，通過將文檔編碼為哈希碼（通常是緊湊的二進(jìn)制向量），從而實(shí)現(xiàn)更快的基于相似度的檢索。當(dāng) RAG 效率至關(guān)重要時，語義哈希是一種首選解決方案，并且可以與上述其他專注于基于相關(guān)性的檢索結(jié)果質(zhì)量的策略結(jié)合使用。
技術(shù) | 概述 |
混合搜索 和重新排名 | 結(jié)合稀疏（基于關(guān)鍵詞）和密集（基于嵌入）檢索方法來獲取相關(guān)文檔，然后應(yīng)用重新排序來優(yōu)先考慮最符合查詢意圖的結(jié)果。 |
查詢轉(zhuǎn)換 | 通過合并同義詞或改述來調(diào)整或擴(kuò)展查詢，以捕獲更廣泛或更精確的文檔集，從而提高檢索高質(zhì)量上下文的機(jī)會。 |
上下文相 關(guān)性過濾 | 根據(jù)上下文元數(shù)據(jù)（例如日期、位置、作者）過濾檢索到的文檔，以確保所選內(nèi)容與用戶的需求緊密一致。 |
針對具體 案例的優(yōu)化 | 通過特定領(lǐng)域的加權(quán)和對專門數(shù)據(jù)集的微調(diào)來定制特定領(lǐng)域（例如醫(yī)療、金融）的檢索過程，從而提高利基環(huán)境中的相關(guān)性。 |
具有反饋 循環(huán)的主 動學(xué)習(xí) | 結(jié)合用戶反饋來迭代改進(jìn)檢索結(jié)果，動態(tài)地調(diào)整流程以適應(yīng)不斷變化的用戶偏好并確保隨著時間的推移獲得更準(zhǔn)確的結(jié)果。 |
語義哈希 | 將文檔編碼為緊湊的二進(jìn)制向量，以便快速進(jìn)行基于相似性的檢索，顯著提高效率，尤其是在高需求的 RAG 場景中。 |
小結(jié)
本文探討了六種旨在提升 RAG 系統(tǒng)檢索過程性能的策略。每種技術(shù)的復(fù)雜程度各不相同，并側(cè)重于不同的優(yōu)化方面。了解這些策略對于選擇適合您特定 RAG 實(shí)現(xiàn)的最佳方法（無論是單一技術(shù)還是多種技術(shù)的組合）至關(guān)重要。
