在高級RAG應用中，檢索后處理環(huán)節(jié)至關重要。Rerank技術通過重新排序檢索出的文檔塊，確保與用戶問題更相關的信息排在前面，從而提高語言模型生成答案的質(zhì)量。在這個環(huán)節(jié)中，可以做一些諸如相似度過濾、關鍵詞過濾、chunk內(nèi)容替換等處理。其中，Rerank（重排序）是一種常見的，也是在RAG應用優(yōu)化中很常見的一種技術處理環(huán)節(jié)。

本文介紹了兩種被廣泛認可的Rerank模型：Cohere Rerank模型和bge-reranker-large模型，并提供了使用指南。

一、為什么還需要Rerank

• RAG應用中有多種索引類型，很多索引技術并非基于語義與向量構(gòu)建，其檢索的結(jié)果希望借助獨立的Rerank實現(xiàn)語義重排
• 在一些復雜RAG范式中，很多時候會使用多路混合檢索來獲取更多相關知識；這些來自不同源、不同檢索算法的chunks要借助Rerank做重排
• 即使是完全基于向量構(gòu)建的索引，由于不同的嵌入模型、相似算法、語言環(huán)境、領域知識特點等影響，其語義檢索的相關度排序也可能發(fā)生較大的偏差；此時借助獨立的Rerank模型做糾正也非常有意義

二、在線模型 - Cohere Rerank模型

Cohere Rerank是一個商業(yè)閉源的Rerank模型。它根據(jù)與指定查詢問題的語義相關性對多個文本輸入進行排序，專門用于幫助關鍵詞或向量搜索返回的結(jié)果做重新排序與提升質(zhì)量。

為了使用Cohere Rerank，你首先需要在官方網(wǎng)站（https://cohere.com/）注冊后申請測試的API-key（測試使用免費）：

Cohere Rerank的使用非常簡單，通常在LangChain與LlamaIndex框架中集成使用。下面展示如何在LangChain框架中使用Cohere Rerank來優(yōu)化檢索結(jié)果。

輸出結(jié)果示例

在調(diào)用Cohere Rerank之后，內(nèi)容的相關性和其對應的查詢更加匹配，排序也更加合理。這種更加合理的排名一方面有利于LLM生成更準確的回復；另一方面也可以幫助降低top_K數(shù)量，以節(jié)約上下文空間。

三、本地模型 - bge-reranker-large模型

bge-reranker-large是國內(nèi)智源開源的一個被廣泛使用的Rerank模型，在眾多的模型測試中有著非常優(yōu)秀的成績。

下面展示如何在LangChain框架中使用bge-reranker-large來優(yōu)化檢索結(jié)果。

輸出結(jié)果示例

注：示例僅供參考，具體運行可能需要調(diào)整

了解更多：??https://github.com/FlagOpen/FlagEmbedding/blob/master/README_zh.md??

總結(jié)：

Rerank雖然在RAG流程中看似不那么顯眼，但其實現(xiàn)簡單、資源要求低，且不依賴于特定的嵌入模型，能夠顯著提升最終生成的質(zhì)量。無論是選擇在線的Cohere Rerank模型，還是本地部署的bge-reranker-large模型，都能為您的RAG應用帶來性能上的提升。

本文轉(zhuǎn)載自公眾號頂層架構(gòu)領域

原文鏈接：??https://mp.weixin.qq.com/s/y_iqvDdGNqQLZVo61hF1rQ??