一個(gè)開(kāi)源、清晰的本地 Graph RAG UI，支持Graph RAG 和 Hybrid RAG（支持Ollama） 原創(chuàng)
這周boss提了一個(gè)需求，希望能夠直觀(guān)感受一下GraphRAG的問(wèn)答效果，希望我讓團(tuán)隊(duì)的前端同事做一些基礎(chǔ)的前端工作，包括PDF文件上傳、流式輸出、配置Global或Local查詢(xún)方式等基本功能。
作為團(tuán)隊(duì)負(fù)責(zé)人，并非boss提的所有需求都不假思索直接安排人開(kāi)發(fā), 要分析本質(zhì)需求是什么？這個(gè)需求的本質(zhì)是只希望有一個(gè)UI界面能夠試用一下GraphRAG。如果我讓組里的前端開(kāi)發(fā)這樣的功能，大約需要兩到三天的時(shí)間，而這些代碼很可能在以后會(huì)被廢棄?？紤]到目前LLM的蓬勃發(fā)展，我首先想到的是尋找是否有類(lèi)似的開(kāi)源UI項(xiàng)目可以對(duì)接GraphRAG這樣的底層RAG引擎。
通過(guò)在GitHub上的搜索，我發(fā)現(xiàn)了一個(gè)名為kotaemon的項(xiàng)目，在此，我將這個(gè)項(xiàng)目分享給大家。
簡(jiǎn)介
kotaemon是一個(gè)開(kāi)源的干凈且可定制的RAG UI，用于構(gòu)建和定制自己的文檔問(wèn)答系統(tǒng)。既考慮了最終用戶(hù)的需求，也考慮了開(kāi)發(fā)者的需求。kotaemon為想要在他們的文檔上進(jìn)行問(wèn)答（QA）的最終用戶(hù)，以及想要構(gòu)建自己的RAG流程的開(kāi)發(fā)者提供了一個(gè)功能性的RAG UI。
特點(diǎn)
這款RAG UI提供了多種功能，滿(mǎn)足了終端用戶(hù)和開(kāi)發(fā)人員的需求。你可以使用這個(gè)簡(jiǎn)潔的UI來(lái)幫助你完成多種任務(wù)，它也可以用于問(wèn)答、互動(dòng)式流水線(xiàn)定制等多種用途。現(xiàn)在讓我們來(lái)看看Kotaemon的功能。
- 自托管文檔問(wèn)答（RAG）Web UI：允許用戶(hù)自己托管文檔問(wèn)答界面。
- 支持多用戶(hù)登錄：可以組織私人或公共文件集合，支持協(xié)作和分享。
- 組織LLM和嵌入模型：支持本地LLM和流行的API提供商，如OpenAI、Azure、Ollama、Groq等。
- 混合RAG管道：提供混合（全文和向量）檢索器和重新排名，以確保最佳的檢索質(zhì)量。
- 多模態(tài)問(wèn)答支持：支持在包含圖表和表格的多個(gè)文檔上進(jìn)行問(wèn)答，并支持多模態(tài)文檔解析。
- 高級(jí)引用與文檔預(yù)覽：系統(tǒng)默認(rèn)提供詳細(xì)的引用以確保LLM答案的正確性，可以在瀏覽器內(nèi)的PDF查看器中查看引用（包括相關(guān)分?jǐn)?shù)）并高亮顯示。
- 支持復(fù)雜推理方法：使用問(wèn)題分解來(lái)回答復(fù)雜或多跳問(wèn)題，支持基于A(yíng)gent的推理，如ReAct、ReWOO和其他代理。
- 可配置的設(shè)置UI：可以在UI上調(diào)整檢索和生成過(guò)程中的大多數(shù)重要方面（包括提示）。
- 可擴(kuò)展性：基于Gradio構(gòu)建，用戶(hù)可以自由定制或添加任何UI元素。同時(shí)，旨在支持多種文檔索引和檢索策略，提供了GraphRAG索引管道作為示例。
安裝
目前，有兩種方式可以訪(fǎng)問(wèn)Kotaemon，首先是通過(guò)Hugging Face Spaces，這使你能夠利用這個(gè)演示來(lái)開(kāi)始使用這個(gè)新的RAG UI。。另一種是在本地服務(wù)器安裝，下面介紹本地服務(wù)器安裝的兩種方式：
With Docker (推薦)
docker run \
-e GRADIO_SERVER_NAME=0.0.0.0 \
-e GRADIO_SERVER_PORT=7860 \
-p 7860:7860 -it --rm \
ghcr.io/cinnamon/kotaemon:latest使用 ??http://localhost:7860/?? 就可以訪(fǎng)問(wèn)UI界面，默認(rèn)的賬號(hào)和密碼都是admin。我們部署使用的就是這種方式，當(dāng)然，在部署的時(shí)候你可以將容器的.env映射出來(lái)，這樣就方便修改openai key等配置了。
Without Docker
- clone項(xiàng)目并安裝依賴(lài)
# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon
# clone this repo
git clone https://github.com/Cinnamon/kotaemon
cd kotaemon
pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"- 在.env中查看和編輯環(huán)境變量(API key等)。
- (可選)要啟用瀏覽器內(nèi)PDF_JS查看器，請(qǐng)下載PDF_JS_DIST并將其解壓到libs/ktem/ktem/assets/prebuilt
UI操作
Resources
Resources主要包含index（索引）、llm（大模型）、embedding（向量）、User等四個(gè)部分，簡(jiǎn)單使用的話(huà)只需要在Resources菜單欄的LLMs和Embeddings配置你使用的LLM，我使用的是openai, 修改對(duì)應(yīng)的api_key和代理即可：
Settings
"Settings"部分主要包含用戶(hù)的配置選項(xiàng)，專(zhuān)注于兩個(gè)方面：檢索（retrieval）和推理（reasoning）。在這里，你可以根據(jù)需求設(shè)定自己的檢索策略和推理框架。默認(rèn)情況下，系統(tǒng)已啟用混合檢索并開(kāi)啟了rerank功能。至于推理配置，系統(tǒng)默認(rèn)設(shè)定的是"simple"模式，但如果需要，您也可將其更改為"React"模式。
Files
"Files"部分是用于上傳文件的地方，可以被視為我們的知識(shí)庫(kù)。在這里，“File Collection”用于上傳服務(wù)于傳統(tǒng)RAG模式的文件，而“GraphRAG Collection”則用于上傳適用于GraphRAG模式的文件。
Chat
在我們的聊天系統(tǒng)中，可以選擇兩種模式：傳統(tǒng)的RAG和GraphRAG。首先，你需要配置好LLM和embedding。然后，在知識(shí)庫(kù)中上傳完文件后，你可以選擇想要使用的模式以及希望進(jìn)行聊天的文件。
一旦設(shè)置完成，就可以開(kāi)始聊天了。在界面的最右邊有一個(gè)名為“Information Panel”的區(qū)域，它會(huì)展示與你的對(duì)話(huà)相關(guān)的chunk信息或圖譜信息。這樣，你不僅可以享受到與系統(tǒng)的互動(dòng)，還能同時(shí)獲得相關(guān)的信息反饋。
注意目前kotaemon的GraphRAG只能選擇單個(gè)文件進(jìn)行聊天，選擇多個(gè)文件會(huì)報(bào)錯(cuò)
總結(jié)
基本上，這就是Kotaemon，它是一個(gè)非常棒的開(kāi)源RAG UI，允許你在其UI組件中實(shí)現(xiàn)傳統(tǒng)RAG和Graph RAG。并且它還對(duì)GraphRAG支持了更多拓展，比如微軟的GraphRAG只支持txt和csv的文件格式，但是Kotaemon支持的文件格式更豐富。并且對(duì)于傳統(tǒng)RAG模式來(lái)說(shuō)，使用了hybrid檢索和rerank等常規(guī)的RAG優(yōu)化策略，其問(wèn)答效果還是不錯(cuò)的。
本文轉(zhuǎn)載自公眾號(hào)AI 博物院 作者：longyunfeigu
