來看一個(gè)RAG比賽方案，提出了一個(gè)名為EasyRAG的框架，用于自動(dòng)化網(wǎng)絡(luò)操作的檢索增強(qiáng)生成。該框架旨在解決網(wǎng)絡(luò)操作中信息檢索和生成效率低、準(zhǔn)確性差的問題。研究難點(diǎn)包括：如何在保證準(zhǔn)確性的前提下提高檢索和生成的效率；如何實(shí)現(xiàn)簡(jiǎn)單快速的部署；如何在推理過程中顯著減少延遲。

比賽地址：competition.aiops-challenge.com

方法

整體包含兩部分，數(shù)據(jù)處理工作流和RAG工作流

EasyRAG框架

數(shù)據(jù)處理工作流

1.數(shù)據(jù)處理與文本分割

對(duì)原始數(shù)據(jù)進(jìn)行處理，解壓并提取HTML文檔中的文本、圖像標(biāo)題和路徑信息。使用SentenceSplitter進(jìn)行分詞，初始按中文標(biāo)點(diǎn)分割，然后根據(jù)設(shè)定的文本塊大小合并（文本分割chunk使用的塊大?。╟hunk-size）是1024，塊重疊大?。╟hunk-overlap）是200）。為了消除路徑影響，實(shí)現(xiàn)了一個(gè)自定義的分詞類，去除路徑長(zhǎng)度的影響。

2.圖像信息提取

使用GLM-4V-9B模型從所有圖像中提取信息，并通過使用PP-OCRv4模型從圖像中提取文本內(nèi)容，過濾掉不包含中文的圖像，再根據(jù)標(biāo)題和內(nèi)容過濾掉無用圖像。

RAG工作流

1.查詢重寫：在輸入RAG pipline之前，使用GLM4進(jìn)行查詢重寫，包括查詢擴(kuò)展和假設(shè)文檔嵌入（HyDE）。使用LLM總結(jié)查詢中的關(guān)鍵術(shù)語(yǔ)或其他潛在相關(guān)關(guān)鍵詞，即利用LLM的知識(shí)進(jìn)行操作和通信領(lǐng)域的關(guān)鍵詞關(guān)聯(lián)和總結(jié)。這被稱為關(guān)鍵詞擴(kuò)展；HyDE則通過生成虛構(gòu)文檔來處理缺乏特異性的查詢。

生成假設(shè)性文檔的過程

2.粗排檢索：采用BM25算法進(jìn)行雙路稀疏檢索和密集檢索。BM25算法基于詞頻（TF）和逆文檔頻率（IDF），并結(jié)合文檔長(zhǎng)度信息計(jì)算文檔與查詢的相關(guān)性。密集檢索使用gte-Qwen2-7B-instruct模型，通過余弦相似度匹配召回相關(guān)文本塊。

3.重排：使用bge-reranker-v2-minicpm-layerwise模型(模型在中文和英文中都表現(xiàn)出高級(jí)的排名性能，并包括附帶工具代碼，可以方便地針對(duì)特定場(chǎng)景進(jìn)行微調(diào)。在實(shí)際的推理（inference）過程中，重排器是耗時(shí)的部分。因此，EasyRAG框架探索了使用不同層數(shù)的模型來平衡推理時(shí)間和排名準(zhǔn)確性。例如，可以選用28層或40層的模型，根據(jù)資源限制和性能需求進(jìn)行選擇。)進(jìn)行LLM重排，結(jié)合知識(shí)路徑和文本塊進(jìn)行相似度排名，返回前K個(gè)最高排名的文本塊。

步驟：

• 文檔擴(kuò)展：在重新排名階段，框架會(huì)將知識(shí)路徑與每個(gè)文本塊進(jìn)行拼接，形成擴(kuò)展后的文檔，這些文檔將用于檢索。
• 文本處理：將查詢（query）與粗排階段返回的k'個(gè)文本塊結(jié)合起來，形成k'個(gè)查詢-文檔對(duì)。這些查詢-文檔對(duì)被輸入到分詞器中，生成LLM的輸入數(shù)據(jù)。
• 相似性排名：將輸入數(shù)據(jù)喂給LLM，獲取查詢與每個(gè)文本塊的重新排名分?jǐn)?shù)。根據(jù)這些分?jǐn)?shù)對(duì)文本塊進(jìn)行排序，通常返回分?jǐn)?shù)最高的k個(gè)（通常是6個(gè)）文本塊作為最終結(jié)果。

4.多路排序融合

設(shè)計(jì)了多種排序融合策略，包括簡(jiǎn)單合并和互惠排名融合（RRF）。簡(jiǎn)單合并直接合并多路檢索結(jié)果，而RRF則通過對(duì)多路檢索結(jié)果的排名取倒數(shù)和來計(jì)算融合分?jǐn)?shù)。

• 粗排合并：在粗排階段，框架會(huì)從多個(gè)檢索路徑（例如，基于文本塊的檢索和基于路徑的檢索）中獲取一組候選文檔。這些文檔集合會(huì)被去重并合并成一個(gè)單一的文檔集合，然后這個(gè)集合會(huì)被傳遞給重排器（Reranker）進(jìn)行進(jìn)一步的排序。
• 重排融合：在每個(gè)檢索路徑上完成粗排和重排后，框架會(huì)采用特定的融合策略來整合這些路徑的結(jié)果。
  融合策略：

（1）使用RRF在粗略和精細(xì)排名后合并結(jié)果。

（2）將每條路線中的文本塊輸入到LLM中，以獲得各自答案，并選擇較長(zhǎng)的答案作為最終答案。

（3）將每條路線中的文本塊輸入到LLM中，以獲得各自答案，并直接連接所有路線中的答案。

小結(jié)：實(shí)際應(yīng)用中，通常更傾向于使用第一種重排融合策略，即對(duì)每個(gè)路徑分別進(jìn)行重排，然后使用RRF融合結(jié)果作為最終輸入到LLM的上下文。這種方法在實(shí)踐中是有效的，因?yàn)樗軌蛟诒３州^高準(zhǔn)確性的同時(shí)，提高處理效率。

5.LLM答案生成與優(yōu)化：將重排后的前K個(gè)文本塊內(nèi)容拼接成上下文字符串，再與問題一起輸入GLM4生成答案。設(shè)計(jì)了答案整合提示，允許LLM利用Top1文本塊補(bǔ)充和優(yōu)化答案。

相關(guān)問答提示模版：

Markdown 格式問答模板：

## Objective
Please, based on the information from
k private domain documents about 5G
operational maintenance, answer the given
question.
## Requirements
1. You may itemize your answer; be as
detailed and specific as possible.
2. Do not merely repeat information from
the context.
3. Do not use your own knowledge; rely
solely on the content from the context
documents.
## Context
{context_str}
## Question
{query_str}
## Answer

思維連問答模版：

Context information as follows:
----------
{context_str}
----------
Please answer the following question based
on the context information rather than your
own knowledge. Think step by step, first
provide an analysis process, then generate
an answer:
{query_str}
Answer:

聚焦問答模版：

Context information as follows:
----------
{context_str}
----------
Please answer the following question based
on the context information rather than
your own knowledge. You may itemize
your answer. Document 0’s content is
particularly important, consider it carefully.
If the context does not contain relevant
knowledge, you may respond with ’uncertain’. Do not simply restate the context
information:
{query_str}
Answer:

答案整合模板：

Context:
----------
{top1_content_str}
----------
You will see a question and a corresponding
reference answer
Please, based on the context knowledge and
not your own knowledge, supplement the
reference answer to make it more complete
in addressing the question
Please note, strictly retain every character
of the reference answer and reasonably
integrate your supplement with the reference answer to produce a longer, more
complete answer containing more terms
and itemization
Question:
{query_str}
Reference answer:
{answer_str}
New answer:

參考文獻(xiàn)

• EasyRAG: Efficient Retrieval-Augmented Generation Framework for Automated Network Operations，https://arxiv.org/pdf/2410.10315v2
• code：https://github.com/BUAADreamer