該框架不僅能夠有效挖掘潛在的跨文檔關系，還能同時去除無關信息和冗余內(nèi)容。我基于 GPT-3.5 構建的方法在多個常用的知識問答和幻覺檢測數(shù)據(jù)集上進行了驗證。實驗結果表明，該方法在各種場景和實驗設置下均實現(xiàn)了性能的顯著提升，展現(xiàn)出強大的魯棒性和廣泛的適用性。

https://arxiv.org/abs/2504.03165

一、為什么需要高效動態(tài)聚類文檔壓縮技術？

1.1 大語言模型的挑戰(zhàn)與檢索增強生成（RAG）的興起

近年來，大語言模型（Large Language Models, LLMs）在自然語言處理任務中表現(xiàn)出色，比如問答、代碼生成甚至醫(yī)療診斷。然而，LLMs 面臨兩大挑戰(zhàn)：知識更新成本高和幻覺問題（即生成誤導性內(nèi)容）。

為了解決這些問題，檢索增強生成（Retrieval-Augmented Generation, RAG）應運而生。RAG 通過結合檢索與生成，使 LLMs 能夠訪問外部知識，減少幻覺并提高可靠性。比如，當 LLMs 需要回答一個復雜的歷史問題時，RAG 可以從外部知識庫中檢索相關文檔，幫助模型生成更準確的答案。

然而，現(xiàn)有的 RAG 方法在處理檢索內(nèi)容中的噪聲、重復和冗余時效果有限。例如，檢索到的文檔可能包含大量與查詢無關的信息，或者多個文檔之間內(nèi)容高度相似，導致 LLMs 在生成答案時效率低下，甚至可能引入錯誤信息。

1.2 現(xiàn)有 RAG 方法的局限性

當前 RAG 框架主要基于查詢與候選文檔的相似性進行檢索，忽略了文檔之間的細粒度關系。這導致檢索結果中可能存在大量冗余和噪聲，影響 LLMs 的推理質(zhì)量。例如，當檢索到的文檔包含多個重復的段落時，LLMs 可能會重復生成相同的信息，浪費計算資源。

此外，基于知識圖的 RAG 方法雖然提高了檢索靈活性，但未能有效解決內(nèi)容冗余和沖突問題。知識圖的構建和維護成本高昂，且在處理大規(guī)模文檔時效率較低。例如，當面對數(shù)百萬個實體時，構建一個完整的知識圖不僅耗時，還可能導致檢索效率下降。

1.3 高效動態(tài)聚類文檔壓縮技術的必要性

為了解決上述問題，清華大學的研究團隊提出了一種高效動態(tài)聚類文檔壓縮框架（Efficient Dynamic Clustering-based document Compression, EDC2-RAG）。該技術通過聚類和壓縮技術，利用文檔之間的潛在關系，減少噪聲和冗余，從而提升 RAG 系統(tǒng)的性能和魯棒性。例如，EDC2-RAG 可以將相似的文檔聚類在一起，并通過 LLMs 生成簡潔的摘要，確保最終輸入到模型中的信息既相關又高效。

通過這種方式，EDC2-RAG 不僅減少了 LLMs 的計算負擔，還提高了生成答案的準確性和一致性。實驗表明，EDC2-RAG 在多個數(shù)據(jù)集上均取得了顯著的性能提升，尤其是在處理噪聲和冗余內(nèi)容時表現(xiàn)出色。這種技術為大語言模型的進一步應用提供了新的方向，特別是在需要處理大規(guī)模外部知識的場景中。

二、高效動態(tài)聚類文檔壓縮技術是什么？

2.1 技術核心：動態(tài)聚類與壓縮

圖片

EDC2-RAG（Efficient Dynamic Clustering-based document Compression for Retrieval-Augmented Generation）的核心思想是通過動態(tài)聚類將語義相似的文檔分組，然后使用大語言模型（LLM, Large Language Model）進行壓縮，提取關鍵信息。具體步驟如下：

1.文檔編碼：首先，將文檔轉(zhuǎn)換為向量表示。這一步類似于我們平時用搜索引擎時，輸入的查詢會被轉(zhuǎn)化為計算機能理解的數(shù)字形式。通過這種方式，文檔的內(nèi)容被編碼為高維向量，便于后續(xù)的相似性計算。

2.動態(tài)聚類：基于文檔與查詢的相似性，將文檔分組為多個簇。與傳統(tǒng)的靜態(tài)聚類方法不同，動態(tài)聚類能夠根據(jù)查詢動態(tài)調(diào)整簇的大小和數(shù)量。比如，當你搜索“人工智能”時，系統(tǒng)會自動將與“機器學習”和“深度學習”相關的文檔歸為一組，而將與“自然語言處理”相關的文檔歸為另一組。這種方法確保了檢索結果的相關性和信息密度。

圖片

1.壓縮：使用大語言模型對每個簇進行查詢感知的壓縮，去除冗余信息。舉個例子，如果你搜索“人工智能的歷史”，系統(tǒng)會從相關文檔中提取出關鍵事件和時間節(jié)點，而不是把所有細節(jié)都呈現(xiàn)給你。這樣既節(jié)省了時間，又提高了信息的精準度。

2.生成：將壓縮后的內(nèi)容整合到提示中，生成最終響應。這一步就像是把篩選后的信息打包成一個簡潔的答案，直接呈現(xiàn)給用戶。

2.2 動態(tài)聚類的優(yōu)勢

與傳統(tǒng)的靜態(tài)聚類方法相比，動態(tài)聚類有以下幾個顯著優(yōu)勢：

?靈活性：動態(tài)聚類能夠根據(jù)查詢動態(tài)調(diào)整簇的大小和數(shù)量，確保檢索結果的相關性和信息密度。比如，當你搜索“人工智能的應用”時，系統(tǒng)會自動將與“醫(yī)療”、“金融”、“自動駕駛”等不同領域的應用文檔分組，而不是將所有文檔混在一起。

?減少冗余：通過動態(tài)聚類，系統(tǒng)能夠?qū)⑾嗨频奈臋n歸為一組，避免重復信息的出現(xiàn)。比如，如果你搜索“深度學習框架”，系統(tǒng)會自動將關于“TensorFlow”和“PyTorch”的文檔歸為一組，而不是分別呈現(xiàn)多個重復的文檔。

?提高推理效率：動態(tài)聚類減少了文檔的數(shù)量，使得大語言模型在生成答案時更加高效。比如，當你搜索“人工智能的未來趨勢”時，系統(tǒng)會從相關文檔中提取出關鍵趨勢，而不是讓模型處理大量冗余信息。

2.3 開源資源

EDC2-RAG 的代碼和數(shù)據(jù)集已開源，地址為：https://github.com/Tsinghua-dhy/EDC-2-RAG。

3. 高效動態(tài)聚類文檔壓縮技術效果如何？

3.1 實驗設置與數(shù)據(jù)集

為了驗證 EDC2-RAG（Efficient Dynamic Clustering-based Compression for Retrieval-Augmented Generation）的有效性，研究團隊在多個數(shù)據(jù)集上進行了實驗，包括知識問答（KQA）數(shù)據(jù)集和幻覺檢測數(shù)據(jù)集。實驗使用了 GPT-3.5 作為基礎模型，評估了在不同噪聲和冗余率下的性能表現(xiàn)。這些數(shù)據(jù)集涵蓋了開放域問答和幻覺檢測任務，能夠全面測試模型的魯棒性和適用性。

3.2 知識問答數(shù)據(jù)集上的表現(xiàn)

圖片

圖片

在 TriviaQA 和 WebQ 數(shù)據(jù)集上，EDC2-RAG 在不同 Top-k 設置下均表現(xiàn)出色。例如，在 WebQ 數(shù)據(jù)集上，EDC2-RAG 的平均 F1 得分比標準 RAG 方法提高了 0.48，顯示出其在處理多樣化上下文中的優(yōu)勢。

EDC2-RAG 在 TriviaQA 數(shù)據(jù)集上的平均 F1 得分為 93.81，略高于標準 RAG 方法的 93.78，而 Raw Compression 方法的得分則下降了 0.49。這表明 EDC2-RAG 在處理冗余和噪聲時能夠有效保留關鍵信息，從而提升問答系統(tǒng)的性能。

3.3 噪聲與冗余處理能力

圖片

圖片

在噪聲和冗余率較高的場景下，EDC2-RAG 表現(xiàn)出更強的魯棒性。例如，在 40%噪聲率下，EDC2-RAG 在 TriviaQA 數(shù)據(jù)集上的 F1 得分比標準 RAG 方法提高了 0.76。在 WebQ 數(shù)據(jù)集上，EDC2-RAG 在高噪聲率下的平均 F1 得分為 88.22，比標準 RAG 方法高出 0.48。這些結果表明，EDC2-RAG 能夠有效處理噪聲和冗余，確保在復雜環(huán)境下仍能提供高質(zhì)量的答案。

圖片

3.4 幻覺檢測數(shù)據(jù)集上的表現(xiàn)

圖片

在 FELM、WikiBio GPT-3 和 HaluEval 數(shù)據(jù)集上，EDC2-RAG 在平衡準確率上均優(yōu)于現(xiàn)有方法。例如，在 FELM 數(shù)據(jù)集上，EDC2-RAG 在 Top-10 設置下的準確率達到了 64.03，比標準 RAG 方法提高了 6.61。在 WikiBio GPT-3 數(shù)據(jù)集上，EDC2-RAG 的平衡準確率比 CEG 方法提高了 0.45。這些結果證明了 EDC2-RAG 在減少幻覺和提升模型可靠性方面的有效性。

3.5 動態(tài)聚類的關鍵作用

圖片

通過對比動態(tài)聚類與隨機聚類和平均聚類的效果，研究發(fā)現(xiàn)動態(tài)聚類在噪聲率較高的情況下仍能保持穩(wěn)定的性能。例如，在 WebQ 數(shù)據(jù)集上，動態(tài)聚類方法的平均 F1 得分為 87.25，而隨機聚類和平均聚類方法的得分分別為 86.69 和 86.78。這表明動態(tài)聚類在文檔壓縮中具有不可替代的作用，能夠有效減少冗余和噪聲，提升模型的整體性能。

總結來說，EDC2-RAG 在多個數(shù)據(jù)集上均表現(xiàn)出色，尤其是在處理噪聲和冗余方面展現(xiàn)了強大的魯棒性。動態(tài)聚類技術的引入進一步提升了模型的性能，使其在復雜環(huán)境下仍能保持高效和準確。

? 論文原文: https://arxiv.org/abs/2504.03165

本文轉(zhuǎn)載自???大語言模型論文跟蹤???，作者：HuggingAGI