近來，RAG成了大語言模型的“救命稻草”，可讓大語言模型回答更準確、更靠譜?？蓡栴}來了，很多 RAG 應用的檢索系統(tǒng)還是有點“笨”：要么漏掉關鍵信息，要么抓回一堆無關緊要的“噪聲”，搞得最終答案質量參差不齊。

那么，我們該怎么優(yōu)化 RAG 的檢索算法，讓它既精準又高效呢？今天就來聊聊這個話題，帶你一步步解鎖 RAG 檢索的“進階玩法”！

為什么非得優(yōu)化檢索算法不可？

RAG 的工作流程其實很簡單：

• 用戶丟出一個問題（Query）
• 系統(tǒng)去“翻箱倒柜”找相關文檔（Retriever）
• 把文檔塞給 LLM，讓它生成答案（Generator）

聽起來挺順暢，對吧？但關鍵就在第二步——檢索。如果翻出來的文檔不靠譜，哪怕 LLM 再聰明，也只能“巧婦難為無米之炊”。所以，檢索算法就是 RAG 的命門，優(yōu)化它，才能讓整個系統(tǒng)“起飛”！

傳統(tǒng)檢索方法介紹

我們先來看看常見的檢索方法，各自有啥優(yōu)缺點：

BM25（關鍵詞搜索）

優(yōu)點：擅長精準匹配，像查字典一樣適合結構化數(shù)據(jù)。

缺點：完全不理解語義，同義詞、變體詞一概不認，漏掉的信息可不少。

向量搜索（語義搜索）

優(yōu)點：能“讀懂”句子意思，非常適合非結構化數(shù)據(jù)。

缺點：有時候太“腦洞大開”，抓回一堆似是而非的東西，誤召回讓人頭疼。

單獨靠 BM25 或向量搜索，總覺得差點火候。要不信息丟了，要不噪聲太多。所以，咱們得玩點更高級的——混合搜索（Hybrid Search）！

Hybrid Search簡介

混合搜索就是把 BM25 和向量檢索“捏”在一起，既能抓住關鍵詞，又能理解語義，簡直是“魚和熊掌兼得”。具體怎么操作呢？

第一步：BM25 出馬

根據(jù)關鍵詞鎖定一批相關文檔，精準打擊！

第二步：向量搜索補刀

用 Embedding 計算語義相似度，再撈一批“深藏不露”的好文檔。

第三步：結果融合

加權融合：給 BM25 和向量搜索的分數(shù)加個權重，算個平均值。

交集/并集策略：要么取兩者的“重合部分”（求穩(wěn)），要么全收下（求全），看需求靈活調整。

Reranker：給結果來個“大洗牌”

Hybrid Search 雖然厲害，但偶爾還是會混進一些“雜牌軍”。這時候，Reranker 就該登場了！它的任務是把檢索結果重新排個序，讓最靠譜的文檔站到“C位”。

Reranker 怎么玩？

先用 BM25 和向量搜索召回一堆文檔。

然后請 Reranker 出馬，逐一打分，把最貼合問題的文檔頂?shù)角懊妗?/span>

Query Expansion：讓查詢更“會說話”

有時候，用戶的問題太簡短或模糊，檢索系統(tǒng)“摸不著頭腦”。這時候可以用 Query Expansion，幫查詢“充實”一下，提高召回率。

擴展招式：

• WordNet 同義詞擴展：給關鍵詞找“兄弟姐妹”，適合 BM25。
• LLM 生成擴展：讓大模型直接改寫查詢，適合語義搜索。

錦上添花的優(yōu)化小技巧

除了上面的大招，還有幾招“小而美”的優(yōu)化方法：

• MetaData 過濾：用文檔的時間、分類等元數(shù)據(jù)，篩掉不相關的“路人甲”。
• 動態(tài)調權重：在 Hybrid Search 里，根據(jù)場景調整 BM25 和向量搜索的比重。
• 多輪對話優(yōu)化：讓用戶多聊幾句，提供更多上下文，查詢自然更精準。

支持Hybrid Search的開源庫

目前，有許多支持 Hybrid Search 的開源庫，它們結合了 BM25 關鍵詞搜索 和 向量搜索，并支持各種后處理優(yōu)化（如 Reranking）。以下是幾款常見的 Hybrid Search 開源庫：

01.LlamaIndex

Github地址：

https://github.com/run-llama/llama_index

簡介：LlamaIndex 是一個流行的 RAG 框架，支持 Hybrid Search（BM25 + 向量檢索），并且能夠與 LLM 結合。

特點：

• 內置 BM25 + 向量檢索融合（可調權重）
• 支持 FAISS、Weaviate、Qdrant、ChromaDB 等
• 支持 Reranker（如 Cohere Rerank）提升精準度

02.Jina AI

Github地址：

https://github.com/jina-ai/serve

簡介：Jina AI 提供一個強大的 Hybrid Search 解決方案，支持結合 BM25 和向量搜索，并內置多種 Reranker。

特點：

• 支持 FAISS、HNSW、Qdrant、Weaviate 等
• 可結合 Reranker 提高搜索質量
• 可用于 RAG、推薦系統(tǒng)等場景

03.Weaviate

Github地址：

https://github.com/weaviate/weaviate

簡介：Weaviate 是一個企業(yè)級的向量數(shù)據(jù)庫，內置 Hybrid Search，允許同時使用 BM25 + 向量搜索 進行檢索。

特點：

• 支持 OpenAI、Hugging Face 的 Embedding
• 內置 BM25 搜索，可進行關鍵詞匹配
• 支持 GraphQL 查詢，可擴展性強

04.Qdrant

Github地址：

https://github.com/qdrant/qdrant

簡介：Qdrant 是一個高性能的向量數(shù)據(jù)庫，支持 Hybrid Search，能夠結合 BM25 + 向量搜索 進行檢索。

特點：

• 輕量級，適合本地或云端部署
• 支持 REST API 和 Python SDK
• 支持 Reranker

05.ElasticSearch

Github地址：

https://github.com/elastic/elasticsearch

簡介：ElasticSearch 結合 BM25 和 kNN 向量檢索，實現(xiàn) Hybrid Search，適用于企業(yè)級應用。

特點：

• 支持 BM25 關鍵詞搜索 + kNN 語義搜索
• 可與 OpenAI、Hugging Face 的 Embedding 結合
• 適用于大規(guī)模數(shù)據(jù)檢索

圖片