一、為什么需要混合檢索技術？

1.1 大語言模型的"幻覺"困境

大語言模型（LLM, Large Language Model）雖然在文本生成和理解方面表現(xiàn)出色，但存在一個致命缺陷——會產(chǎn)生"幻覺"（Hallucination），即生成看似合理但實際錯誤或無依據(jù)的內(nèi)容。

1.2 檢索增強生成的技術革新

檢索增強生成（RAG, Retrieval-Augmented Generation）技術應運而生，它通過結合外部知識庫為 LLM 提供事實依據(jù)。傳統(tǒng) RAG 系統(tǒng)主要采用兩種檢索方式：稀疏檢索（如 BM25 算法）和稠密檢索（如 Sentence Transformers）。

? BM25 算法基于關鍵詞匹配，就像使用傳統(tǒng)圖書館目錄卡檢索書籍，雖然效率高但無法理解"心臟病"和"心肌梗塞"是同義詞。

? Sentence Transformers 等稠密檢索方法雖然能理解語義關聯(lián)，但對"COVID-19"這類專業(yè)術語的精確匹配效果欠佳，就像能理解病癥描述卻找不到準確的醫(yī)學術語。這兩種方法單獨使用時都存在明顯局限，無法完全滿足復雜場景的需求。

1.3 混合檢索的破局之道

研究團隊提出的 Hybrid-RRF 技術創(chuàng)造性地融合了兩種檢索方式的優(yōu)勢。

? 首先通過查詢擴展（QE, Query Expansion）解決"詞匯鴻溝"問題，例如將"汽車"擴展為"汽車、機動車、車輛"等同義詞。

? 其次采用動態(tài)權重調(diào)節(jié)機制，像智能調(diào)節(jié)器一樣根據(jù)查詢特性自動優(yōu)化檢索策略——對專業(yè)性強的問題偏向關鍵詞檢索，對開放性問題偏向語義檢索。

? 最后通過互逆排序融合（RRF, Reciprocal Rank Fusion）算法實現(xiàn)結果最優(yōu)整合，類似于學術論文評審時綜合多位專家的意見。

這種混合方法在 HaluBench 基準測試中展現(xiàn)出顯著優(yōu)勢，將幻覺率降低到傳統(tǒng)方法的 1/3 以下。

二、混合檢索核心技術解析

2.1 三階段混合架構

混合檢索系統(tǒng)采用三階段處理流程（如圖 1 所示），通過分層處理顯著提升檢索質(zhì)量。這種架構的設計靈感來源于信息檢索領域?qū)_率和召回率的平衡需求，其核心創(chuàng)新點在于將傳統(tǒng)的關鍵詞搜索與現(xiàn)代語義搜索技術有機結合。

2.1.1 查詢擴展模塊

查詢擴展(Query Expansion, QE)模塊使用 WordNet 語義網(wǎng)絡自動豐富原始查詢詞。例如對于查詢詞"car"，系統(tǒng)會擴展為["automobile", "vehicle"]等語義相近詞匯。這種擴展有效解決了詞匯鴻溝問題（lexical chasm），即用戶查詢用詞與文檔專業(yè)術語之間的不匹配現(xiàn)象。實驗數(shù)據(jù)顯示，該模塊能使相關文檔覆蓋率提升 41%，這主要得益于擴展后的查詢能覆蓋更多文檔中的同義表達。

技術實現(xiàn)上，系統(tǒng)通過 NLTK 工具包從 WordNet 獲取每個查詢詞的前 2 個最相關同義詞。這種受限擴展策略既保證了查詢意圖的完整性，又避免了無關詞匯引入帶來的噪聲。例如醫(yī)學查詢"myocardial infarction"可能擴展為["heart attack", "cardiac infarction"]，而不會引入不相關的血管類術語。

2.1.2 動態(tài)權重調(diào)節(jié)

系統(tǒng)獨創(chuàng)的查詢特異性評分(Query Specificity Score, S(q'))算法實現(xiàn)了檢索策略的智能適配。該評分通過計算查詢詞的平均 TF-IDF 值來量化查詢的專業(yè)程度：

圖片

基于此評分，系統(tǒng)動態(tài)分配稀疏檢索(RetS)和稠密檢索(RetD)的權重：

圖片

當處理專業(yè)查詢（如醫(yī)學術語"EGFR mutation"）時，系統(tǒng)會賦予 BM25 稀疏檢索更高權重（約 0.7），因為這類查詢需要精確匹配專業(yè)術語。

而對于通用查詢（如"如何學習編程"），則側重稠密檢索（權重約 0.8），以捕捉語義層面的相關性。

2.1.3 互逆排序融合

系統(tǒng)采用改進的加權互逆排序融合(Weighted Reciprocal Rank Fusion, WRRF)算法整合兩種檢索結果。

其核心公式為：

圖片

其中 ε=0.00001 用于防止除零錯誤。

該算法巧妙地將動態(tài)權重與排名信息結合：

1）在兩個檢索器中都排名靠前的文檔會獲得更高分數(shù)

2）專業(yè)查詢中 BM25 的匹配結果具有更大影響力

3）通用查詢中語義相似的結果更具優(yōu)勢

例如對于查詢"新能源汽車政策"，某政策文件在 BM25 排名第 2，向量檢索排名第 3，假設權重分配為 0.4:0.6，則其 WRRF 得分為：(0.4/(2+0.00001)) + (0.6/(3+0.00001)) ≈ 0.33，這個加權分數(shù)將決定文檔在最終結果中的排序位置。

2.2 其他細節(jié)

系統(tǒng)使用 sentence-transformers/all-mpnet-base-v2 模型生成稠密向量，該模型能有效捕捉長文檔的語義信息。

對于稀疏檢索，采用經(jīng)過優(yōu)化的 BM25 實現(xiàn)，其詞頻-逆文檔頻率計算針對專業(yè)語料進行了參數(shù)調(diào)優(yōu)。

實驗表明，這種組合在 HaluBench 數(shù)據(jù)集上取得了 0.915 的 NDCG@3 得分，比單一檢索方法提升約 17%。

本項目目前已經(jīng)開源：https://anonymous.4open.science/r/HybridRAG_for_Hallucinations-884F/

3. 效果評估與行業(yè)應用

3.1 基準測試結果

在 HaluBench 數(shù)據(jù)集（包含 13,867 個樣本）上的測試表明，混合檢索方法 Hybrid-RRF 顯著優(yōu)于傳統(tǒng)的稀疏檢索（BM25）和稠密檢索（Sentence Transformers）。具體性能對比如下：

圖片

?檢索精度：Hybrid-RRF 的 MAP@3（Mean Average Precision，平均精度均值）達到 0.897，比稀疏檢索（0.724）和稠密檢索（0.768）分別提升 23.9%和 16.8%；NDCG@3（歸一化折損累積增益）為 0.915，同樣領先于其他方法。

圖片

?幻覺抑制：Hybrid-RRF 將幻覺率降低 73%，效果遠超稀疏檢索（31%）和稠密檢索（52%）。例如，在醫(yī)療問答場景中，模型因檢索到更準確的藥品說明書而減少錯誤配伍結論。

圖片

技術原理上，Hybrid-RRF 通過動態(tài)加權融合稀疏檢索的關鍵詞匹配能力（如 BM25 的精確術語匹配）和稠密檢索的語義理解能力（如 Sentence-BERT 的上下文編碼）。

3.2 跨領域性能

圖片

在專業(yè)領域的測試中，Hybrid-RRF 展現(xiàn)出更強的適應性：

1. 醫(yī)療領域（PubMedQA）準確率達 92%，比基線提升 19%。例如在 COVID-19 相關查詢中，通過融合 WHO 報告（稀疏檢索）和科研論文語義分析（稠密檢索），上下文充足率提升 55%。

2. 金融領域（FinanceBench）術語檢索拒絕率降低 68%。在"LIBOR 利率計算"類問題中，混合檢索同時匹配法規(guī)條文（精確術語）和行業(yè)分析報告（語義關聯(lián)），避免單一檢索模式的局限性。

領域優(yōu)勢源于兩方面機制：

? 專業(yè)術語處理：BM25 確保法規(guī)條款等精確匹配，如金融領域的"SEC Form 10-K"。

? 概念關聯(lián)擴展：語義檢索捕捉同義表述，如醫(yī)療中"心肌梗死"與"heart attack"的關聯(lián)。

本文轉(zhuǎn)載自??大語言模型論文跟蹤??，作者：HuggingAGI