丟棄黑盒，RAGViz解剖RAG的可視化工具
今天，我們要聊聊一個(gè)酷炫的新工具——RAGViz，它就像是給RAG系統(tǒng)裝了個(gè)X光機(jī)，讓我們能透視那些神秘的內(nèi)部工作機(jī)制。
?? Query="為什么豬會(huì)飛？"的可視化：你會(huì)發(fā)現(xiàn)，那些生成的內(nèi)容竟然沒有基于任何上下文文檔，這就是所謂的“內(nèi)部幻覺”。
圖片
?? RAGViz特性和用例
- 注意力可視化：RAGViz用高亮顯示和顏色強(qiáng)度來告訴你，生成的標(biāo)記序列對輸入標(biāo)記有多關(guān)注。就像是在說：“看這里，看這里，這些是我最關(guān)心的部分！”
- 文檔級(jí)別的關(guān)注度：它不僅告訴你每個(gè)檢索段落的關(guān)注度，還給你一個(gè)累積的文檔級(jí)別注意力分?jǐn)?shù)。就像是給你一個(gè)“關(guān)注度排行榜”，讓你知道哪些段落是“人氣王”。
- 拖動(dòng)選擇用戶界面：這個(gè)功能就像是給你一個(gè)遙控器，讓你可以輕松檢查任何標(biāo)記序列的累積關(guān)注度。想檢查哪里就檢查哪里，是不是很方便？
- 文檔切換功能：這個(gè)功能讓你可以像玩拼圖一樣，選擇在構(gòu)建答案上下文時(shí)省略特定的標(biāo)記和文檔，然后比較一下，看看添加或移除它們對LLM輸出的影響。
- 自定義上下文文檔數(shù)量：你可以指定從數(shù)據(jù)集中檢索的相關(guān)文檔片段的數(shù)量。就像是在餐廳點(diǎn)菜，想點(diǎn)多少吃多少。
- API密鑰認(rèn)證：RAGViz實(shí)現(xiàn)了HTTP請求上的中間件功能，確保你的請求經(jīng)過適當(dāng)?shù)恼J(rèn)證。就像是給你的網(wǎng)絡(luò)請求穿上了一件“正裝”。
?? 在使用文檔切換功能時(shí)，對選定的標(biāo)記序列進(jìn)行注意力可視化
這個(gè)功能就像是給你的文檔來了個(gè)“X光透視”，讓你清楚地看到哪些部分是LLM的“心頭好”。
圖片
???♂? 演示了RAGViz識(shí)別和調(diào)試外部幻覺的能力
RAGViz不僅能幫你看到內(nèi)部幻覺，還能幫你識(shí)別和調(diào)試外部幻覺。就像是給你的AI系統(tǒng)裝了個(gè)“幻覺探測器”。
圖片
??? RAGViz系統(tǒng)架構(gòu)
RAGViz的系統(tǒng)架構(gòu)就像是個(gè)精心設(shè)計(jì)的樂高城堡，包含四個(gè)主要組件：近似最近鄰（ANN）索引、后端服務(wù)器、LLM推理服務(wù)器和前端用戶界面。這些組件可以獨(dú)立配置，就像是樂高積木，你可以根據(jù)自己的需要隨意組合。
圖片
?? ANN索引（Dense Retrieval）
在密集檢索中，查詢和文檔被編碼成高維特征向量，然后通過相似性搜索來確定查詢向量的最近鄰居。RAGViz使用分布式系統(tǒng)來存儲(chǔ)和索引這些向量，就像是個(gè)超級(jí)大腦，幫你記住所有的東西。
?? 上下文構(gòu)建器（Context Builder）
后端服務(wù)器處理構(gòu)建語言模型上下文的所有邏輯，就像是個(gè)幕后英雄，默默地支持著整個(gè)系統(tǒng)。
?? 生成和注意力輸出（Generation and Attention Output）
RAGViz需要一個(gè)GPU節(jié)點(diǎn)來運(yùn)行LLM推理任務(wù)。系統(tǒng)使用vLLM庫進(jìn)行快速LLM推理，生成文本，但由于vLLM不支持注意力輸出，系統(tǒng)隨后使用HuggingFace模型庫來獲取注意力分?jǐn)?shù)。
??? 前端用戶界面（Frontend User Interface）
前端用戶界面基于Next.JS框架構(gòu)建，并作為靜態(tài)文件托管在Apache web服務(wù)器上。用戶界面使用表單收集查詢信息和其他參數(shù)，并在接收到后端的注意力分?jǐn)?shù)后，將它們存儲(chǔ)在React狀態(tài)中以用于注意力可視化。
?? 展示了窗口大小為5、步長為2的滑動(dòng)窗口片段提取方法的演示
滑動(dòng)窗口方法選擇具有最高內(nèi)積相似度的片段。相反，簡單首段方法總是選擇顯示為綠色的首個(gè)窗口。就像是在玩一個(gè)“找不同”的游戲，看哪個(gè)片段最匹配。
圖片
?? 資源鏈接
- RAGViz GitHub：https://github.com/cxcscmu/RAGViz
- RAGViz Demo Video：https://youtu.be/cTAbuTu6ur4
- RAGViz Paper：https://mp.weixin.qq.com/s/ZXvAWDhqKRPq1u9NTfYFnQ
