繼GraphRAG之后，微軟又發(fā)布PIKE-RAG，主打在復(fù)雜企業(yè)場(chǎng)景中私域知識(shí)提取、推理和應(yīng)用能力，PIKE-RAG 已在工業(yè)制造、采礦、制藥等領(lǐng)域進(jìn)行了測(cè)試，顯著提升了問答準(zhǔn)確率。

demo示例：多層次異構(gòu)的知識(shí)庫(kù)構(gòu)建與檢索+自我進(jìn)化的領(lǐng)域知識(shí)學(xué)習(xí)

RAG系統(tǒng)在滿足現(xiàn)實(shí)世界應(yīng)用的復(fù)雜和多樣化需求方面仍然面臨挑戰(zhàn)。僅依靠直接檢索不足以從專業(yè)語(yǔ)料庫(kù)中提取深度領(lǐng)域特定知識(shí)并進(jìn)行邏輯推理。

企業(yè)場(chǎng)景復(fù)雜多樣的Query

基于此，微軟亞洲研究院提出了 PIKE-RAG (sPecalized KnowledgE and Rationale Augmented Generation) 方法，該方法專注于提取、理解和應(yīng)用領(lǐng)域特定知識(shí)，同時(shí)構(gòu)建連貫的推理邏輯，以逐步引導(dǎo) LLM 獲得準(zhǔn)確的響應(yīng)。

PIKE-RAG框架主要由幾個(gè)基本模塊組成，包括文檔解析、知識(shí)抽取、知識(shí)存儲(chǔ)、知識(shí)檢索、知識(shí)組織、以知識(shí)為中心的推理以及任務(wù)分解與協(xié)調(diào)。通過調(diào)整主模塊內(nèi)的子模塊，可以實(shí)現(xiàn)側(cè)重不同能力的RAG系統(tǒng)，以滿足現(xiàn)實(shí)場(chǎng)景的多樣化需求。

例如，在患者歷史病歷搜索中，側(cè)重于事實(shí)信息檢索能力。主要挑戰(zhàn)在于：

• 知識(shí)的理解和提取常常受到不恰當(dāng)?shù)闹R(shí)切分的阻礙，破壞語(yǔ)義連貫性，導(dǎo)致檢索過程復(fù)雜而低效；
• 常用的基于嵌入的知識(shí)檢索受到嵌入模型對(duì)齊專業(yè)術(shù)語(yǔ)和別名的能力的限制，降低了系統(tǒng)準(zhǔn)確率。

利用 PIKE-RAG，可以在知識(shí)提取過程中使用上下文感知切分技術(shù)、自動(dòng)術(shù)語(yǔ)標(biāo)簽對(duì)齊技術(shù)和多粒度知識(shí)提取方法來提高知識(shí)提取和檢索的準(zhǔn)確率，從而增強(qiáng)事實(shí)信息檢索能力，流程：

對(duì)于像為患者制定合理的治療方案和應(yīng)對(duì)措施建議這樣的復(fù)雜任務(wù)，需要更高級(jí)的能力：

• 需要強(qiáng)大的領(lǐng)域特定知識(shí)才能準(zhǔn)確理解任務(wù)并有時(shí)合理地分解任務(wù)；
• 還需要高級(jí)數(shù)據(jù)檢索、處理和組織技術(shù)來預(yù)測(cè)潛在趨勢(shì)；

而多智能體規(guī)劃也將有助于兼顧創(chuàng)造力和可靠性。在這種情況下，可以初始化下面更豐富的管道來實(shí)現(xiàn)這一點(diǎn)。

與Zero-Shot CoT、Naive RAG、Self-Ask、GraphRAG Local、GraphRAG Global相比，PIKE-RAG 在準(zhǔn)確率、F1 分?jǐn)?shù)等指標(biāo)上均表現(xiàn)出色，PIKE-RAG 在處理復(fù)雜推理任務(wù)方面具有顯著優(yōu)勢(shì)，特別是在需要整合多源信息、進(jìn)行多步驟推理的場(chǎng)景中。

首次提出了5級(jí)RAG系統(tǒng)能力與挑戰(zhàn)，針對(duì)不同系統(tǒng)層級(jí)的技術(shù)挑戰(zhàn)，PIKE-RAG框架都有針對(duì)性策略。以下縮寫被使用：“PA”代表文件解析，“KE”代表知識(shí)抽取，“RT”代表知識(shí)檢索，“KO”代表知識(shí)組織，“KR”代表以知識(shí)為中心的推理。

https://arxiv.org/abs/2501.11551
https://github.com/microsoft/PIKE-RAG
PIKE-RAG: sPecIalized KnowledgE and Rationale Augmented Generation

本文轉(zhuǎn)載自??PaperAgent??