檢索增強(qiáng)生成（RAG）雖好，但一直面臨著資源消耗大、部署復(fù)雜等技術(shù)壁壘。

近日，香港大學(xué)黃超教授團(tuán)隊提出MiniRAG，成功將RAG技術(shù)的應(yīng)用門檻降至1.5B參數(shù)規(guī)模，實現(xiàn)了算力需求的大幅降低。這一突破性成果不僅為邊緣計算設(shè)備注入新活力，更開啟了基于小模型輕量級RAG的探索。

研究團(tuán)隊開發(fā)的這套MiniRAG系統(tǒng)采用小模型架構(gòu)，實現(xiàn)了輕量級的檢索增強(qiáng)生成功能。通過本地部署的方式，既降低了資源消耗，又能妥善保護(hù)用戶隱私。

為驗證系統(tǒng)在現(xiàn)實環(huán)境下的實用性，團(tuán)隊專門設(shè)計了LiHua-World評測數(shù)據(jù)集，這套數(shù)據(jù)集包含了個人通訊、信息檢索等日常應(yīng)用場景的模擬數(shù)據(jù)，為小模型RAG性能評估提供了系統(tǒng)化的測試標(biāo)準(zhǔn)。

模型的性能評測評估了不同框架在遷移至小模型時的適應(yīng)能力差異：GraphRAG完全無法保持基本功能，LightRAG的表現(xiàn)銳減近半，而MiniRAG即便在輕量化后依然保持了較高水準(zhǔn)，最優(yōu)情況下性能僅下降不到1%，最差情況也僅降低21%左右。值得關(guān)注的是，MiniRAG在顯著節(jié)省存儲空間的同時（僅需原來25%），仍能維持如此穩(wěn)定的輸出質(zhì)量。

MiniRAG架構(gòu)設(shè)計

針對傳統(tǒng)RAG系統(tǒng)過度依賴大型語言模型的問題，研究團(tuán)隊提出了新的MiniRAG框架。這一設(shè)計摒棄了依賴大模型處理復(fù)雜語義理解和多步推理的傳統(tǒng)路線，轉(zhuǎn)而構(gòu)建了一套適配小型語言模型特點的精簡架構(gòu)。

通過深入研究，團(tuán)隊發(fā)現(xiàn)小型語言模型雖然在復(fù)雜認(rèn)知任務(wù)上存在局限，但具有三個可供充分利用的優(yōu)勢特性：

• 在模式識別和局部文本處理等基礎(chǔ)任務(wù)上表現(xiàn)突出
• 借助結(jié)構(gòu)化信息的引入可顯著提升其語義理解能力
• 通過將復(fù)雜任務(wù)分解為簡單子任務(wù)的策略，能夠保證系統(tǒng)穩(wěn)定可靠運(yùn)行

基于這些發(fā)現(xiàn)，研究團(tuán)隊開發(fā)了兩項核心技術(shù)創(chuàng)新：

• 異構(gòu)圖索引：優(yōu)化信息組織結(jié)構(gòu)，提升檢索精確度
• 輕量級知識檢索：確保高效準(zhǔn)確的信息獲取

基于小模型的語義檢索機(jī)制

為突破端側(cè)智能檢索的瓶頸，MiniRAG團(tuán)隊構(gòu)建了一套全新的語義感知框架。這套系統(tǒng)將離散的文本信息與結(jié)構(gòu)化的實體知識融為一體，構(gòu)建成一張動態(tài)感知的智能網(wǎng)絡(luò)，實現(xiàn)了檢索效率的質(zhì)的飛躍。

• 文本語義分析：識別并存儲文檔中的核心要素，包括時間、地點、事件描述和領(lǐng)域概念
• 文本Chunk融合：維護(hù)原始段落的完整性，保留必要的上下文信息

這種設(shè)計讓系統(tǒng)在檢索時可以充分利用結(jié)構(gòu)化特征和原文信息。通過并行匹配策略，既提升了檢索的準(zhǔn)確度，又有效避免了小模型在語義理解上的局限性，使端側(cè)RAG應(yīng)用更加實用可靠。

輕量級知識檢索架構(gòu)

端側(cè)RAG應(yīng)用面臨著獨特的挑戰(zhàn)：計算資源受限且需要保護(hù)數(shù)據(jù)隱私，這使得傳統(tǒng)的大模型方案難以落地?；诖?，MiniRAG提出了一套輕量化的圖式檢索方案，通過優(yōu)化的語義分析和簡化的嵌入技術(shù)，在保證效果的同時大幅降低了系統(tǒng)開銷。
檢索框架主要包含兩個關(guān)鍵設(shè)計：

• 查詢語義映射： 系統(tǒng)采用精簡的語義分析流程，專注于提取查詢中的關(guān)鍵實體和邏輯關(guān)系。這種輕量級的處理方式充分發(fā)揮了小模型在特定任務(wù)上的優(yōu)勢，確保檢索過程快速高效。
• 拓?fù)湓鰪?qiáng)檢索：檢索過程分為兩個環(huán)節(jié)，先基于語義特征快速定位核心信息點，再通過異質(zhì)圖結(jié)構(gòu)化的關(guān)聯(lián)分析擴(kuò)展相關(guān)內(nèi)容，實現(xiàn)準(zhǔn)確和全面的信息獲取。

這種設(shè)計既保證了檢索質(zhì)量，又很好地適應(yīng)了端側(cè)環(huán)境的資源約束。相比傳統(tǒng)方案，具有更強(qiáng)的實用性和可擴(kuò)展性。

模擬真實端側(cè)場景的評測數(shù)據(jù)集: “假如你是LiHua…”

為了更準(zhǔn)確地評估端側(cè)RAG系統(tǒng)的實際表現(xiàn)，團(tuán)隊開發(fā)了一個貼近現(xiàn)實的評測數(shù)據(jù)集。這個名為LiHua-World的數(shù)據(jù)集模擬了一位普通用戶”李華”在移動設(shè)備上產(chǎn)生的各類信息記錄，包括社交對話、運(yùn)動日志、休閑娛樂和日程安排等豐富內(nèi)容。

數(shù)據(jù)集涵蓋了從單一信息查詢到多層次關(guān)聯(lián)分析的各類任務(wù)。通過還原移動設(shè)備的真實使用場景，LiHua-World不僅體現(xiàn)了端側(cè)應(yīng)用的實際需求，更建立起一個完整的評測體系，為端側(cè)RAG技術(shù)的發(fā)展和優(yōu)化提供了可靠的實驗基準(zhǔn)。

實驗評估

團(tuán)隊通過實驗設(shè)計對MiniRAG系統(tǒng)進(jìn)行了性能評測，重點關(guān)注其在端側(cè)實際應(yīng)用場景中的表現(xiàn)。評估工作主要從三個層面展開：

• 整體性能評估 - 團(tuán)隊選取了當(dāng)前主流的移動端RAG解決方案作為對照組，從檢索質(zhì)量、運(yùn)行效率和資源占用等維度進(jìn)行了量化對比，全面衡量系統(tǒng)的綜合表現(xiàn)
• 模塊效能分析：深入探索MiniRAG核心組件的性能貢獻(xiàn)，包括語義感知異構(gòu)圖索引機(jī)制的檢索效果、輕量級檢索策略的計算開銷，以及各模塊間的協(xié)同效應(yīng)
• 實際場景案例研究：實驗中團(tuán)隊考察系統(tǒng)處理復(fù)雜信息檢索和多步推理等高難度任務(wù)的能力。通過實際案例的詳細(xì)分析，直觀展示了MiniRAG在真實環(huán)境中的應(yīng)用價值和優(yōu)勢

性能評估結(jié)果

實驗重點考察了各類RAG系統(tǒng)在適配小型語言模型(SLMs)時的表現(xiàn)差異。測試結(jié)果顯示，傳統(tǒng)方案在這一場景下普遍面臨嚴(yán)峻挑戰(zhàn)：以LightRAG為例，系統(tǒng)整體效果大幅下滑，性能降幅接近一半。更令人擔(dān)憂的是，GraphRAG在小模型環(huán)境下完全喪失了基本功能。這些現(xiàn)象反映出現(xiàn)有RAG架構(gòu)過度依賴大模型的計算能力。

相較之下，MiniRAG通過優(yōu)化的圖索引設(shè)計和創(chuàng)新的檢索機(jī)制，有效地解決了這一技術(shù)瓶頸。實驗數(shù)據(jù)令人振奮：在遷移至小型語言模型的過程中，系統(tǒng)性能最大降幅僅為兩成左右，個別任務(wù)類型的性能甚至基本保持不變（降幅不足1%）。這充分證明了MiniRAG在輕量化場景下的獨特優(yōu)勢和較強(qiáng)適應(yīng)能力。

存儲效率評測

經(jīng)過詳細(xì)的性能測試，MiniRAG在資源優(yōu)化方面展現(xiàn)出顯著優(yōu)勢。對比使用gpt-4-mini的LightRAG基準(zhǔn)系統(tǒng)，團(tuán)隊的方案僅占用四分之一的存儲空間就達(dá)到了相近的性能指標(biāo)。這種顯著的存儲壓縮（降低約75%）并未影響系統(tǒng)的檢索質(zhì)量，說明了團(tuán)隊在架構(gòu)設(shè)計上的價值。

消融實驗分析

團(tuán)隊制定了一套系統(tǒng)化的評測方案，旨在深入分析各核心模塊對整體性能的具體貢獻(xiàn)。評測分為兩個主要部分：

首先是索引機(jī)制測試，我們將系統(tǒng)中的異構(gòu)圖索引替換為基于語義描述的傳統(tǒng)方案（簡記為-I實驗），這類方案與現(xiàn)有主流系統(tǒng)采用相似的處理思路，主要通過模型的語義理解來構(gòu)建實體和關(guān)系的描述表示。

實驗結(jié)果表明：

實際案例分析

以下通過一個富有挑戰(zhàn)性的餐廳識別場景，展示MiniRAG如何在實際應(yīng)用中充分發(fā)揮其技術(shù)優(yōu)勢，尤其在處理多維度信息檢索方面的出色表現(xiàn)。

挑戰(zhàn)：復(fù)雜查詢解析的困境

研究團(tuán)隊選取了一個具有挑戰(zhàn)性的測試案例，查詢內(nèi)容為：Wolfgang和Li Hua為慶祝Wolfgang升職而共進(jìn)晚餐的那家意大利餐廳叫什么名字？這一查詢涉及多重約束條件，要求系統(tǒng)能從在線聊天數(shù)據(jù)中準(zhǔn)確識別特定意大利餐廳及其相關(guān)上下文。盡管LightRAG采用了phi-3.5-mini-instruct模型，但受限于小型語言模型的固有局限性，特別是在提取high-level信息和處理圖索引噪聲方面的不足，導(dǎo)致其檢索效果不夠理想。

MiniRAG的解決方案

MiniRAG通過其獨特的查詢引導(dǎo)推理路徑發(fā)現(xiàn)機(jī)制成功應(yīng)對了上述挑戰(zhàn)。系統(tǒng)利用異構(gòu)圖索引結(jié)構(gòu)，首先預(yù)測答案類型（如”社交互動”或”地點”），然后通過策略性分解查詢要素（專注于”意大利場所”和”餐廳”語境），結(jié)合目標(biāo)實體匹配，實現(xiàn)了精確且具有上下文關(guān)聯(lián)的知識檢索。這種結(jié)構(gòu)化推理方法使MiniRAG能夠精確導(dǎo)航知識空間，最終成功定位目標(biāo)餐廳——Venedia Grancaffe。

結(jié)論

MiniRAG是一款輕量級的檢索增強(qiáng)生成系統(tǒng)，成功解決了小型語言模型(SLMs)在傳統(tǒng)RAG框架中的應(yīng)用限制。該系統(tǒng)采用創(chuàng)新的異構(gòu)圖索引架構(gòu)和輕量級啟發(fā)式檢索機(jī)制，有效整合了文本與圖式方法的優(yōu)勢，大幅降低了對模型能力的依賴要求。實驗結(jié)果表明，基于SLMs的MiniRAG性能可與大語言模型方案媲美。

為促進(jìn)邊緣設(shè)備RAG技術(shù)的發(fā)展，研究團(tuán)隊同時發(fā)布了首個專門的評估基準(zhǔn)數(shù)據(jù)集，重點覆蓋個人通信和多約束查詢等實際應(yīng)用場景。這一研究不僅代表著端側(cè)RAG系統(tǒng)的重要突破，也為注重隱私保護(hù)和資源效率的邊緣AI應(yīng)用開創(chuàng)了新的可能。

項目鏈接: https://github.com/HKUDS/MiniRAG
論文鏈接: https://arxiv.org/abs/2501.06713
實驗室主頁: https://github.com/HKUDS