1、寫在前面

官方開源的版本除了滿血的 671b 外，還有 1.5b，7b，8b，14b，32b，70b 六個(gè)蒸餾后的尺寸，筆者使用 Ollama 在電腦本地部署了 7b 的模型，在終端中測試了雖然回答沒有滿血版的那么驚艷，但湊活能用。

作為一款高階模型開源，確實(shí)要 salute 一下。不過進(jìn)一步的問題是，我們面對(duì)這樣的強(qiáng)思維鏈模型，除了在官網(wǎng)間或 Chat 一下，如何進(jìn)一步的將其變成工作或生活場景的生產(chǎn)力工具？本篇試圖給出一種基于RAG的回答。

2、場景分析

本篇主要介紹一個(gè)本地RAG問答系統(tǒng)的簡要示例，項(xiàng)目已開源在github。

適合對(duì)數(shù)據(jù)隱私和安全性要求高的場景，如醫(yī)療機(jī)構(gòu)處理病歷檔案、金融企業(yè)分析內(nèi)部報(bào)告、法律部門管理合同文書，以及希望在確保數(shù)據(jù)不出企業(yè)的前提下實(shí)現(xiàn)智能問答的個(gè)人或者企業(yè)?？梢栽谕耆x線環(huán)境下獨(dú)立部署和使用。

?? 私有數(shù)據(jù)安全：全程本地處理，敏感文檔無需上傳第三方服務(wù)

? 實(shí)時(shí)響應(yīng)：基于本地向量數(shù)據(jù)庫實(shí)現(xiàn)毫秒級(jí)語義檢索

?? 領(lǐng)域適配：可針對(duì)專業(yè)領(lǐng)域文檔定制知識(shí)庫

?? 離線可用：無需互聯(lián)網(wǎng)連接，保護(hù)數(shù)據(jù)隱私

?? 成本可控：避免云服務(wù)按次計(jì)費(fèi)，長期使用成本更低

3、系統(tǒng)架構(gòu)

使用 Ollama 部署的 DeepSeek-r1:7b 作為推理模型，通過 Sentence Transformer (all-MiniLM-L6-v2) 將文本向量化后存儲(chǔ)到 ChromaDB 向量數(shù)據(jù)庫，使用 LangChain 的文本分割器處理 PDF 文檔，最后用 Gradio 構(gòu)建了一個(gè)支持文件上傳和流式問答的 Web 交互界面，整個(gè)過程都在本地完成，無需連接外部服務(wù)。

?? PDF 文檔解析與向量化存儲(chǔ)

?? 基于 DeepSeek-7B 本地大模型

? 流式回答生成

?? 語義檢索與上下文理解

??? 友好的 Web 交互界面

4、使用方法

4.1 環(huán)境要求

Python 3.9+；內(nèi)存：至少 8GB；顯存：至少 4GB（推薦 8GB）

4.2 安裝步驟

克隆倉庫

git clone https://github.com/weiwill88/Local_Pdf_Chat_RAG 

cd Local_Pdf_Chat_RAG

創(chuàng)建虛擬環(huán)境

python -m venv rag_env （windows 命令）

安裝依賴

.\rag_env\Scripts\activate

pip install -r requirements.txt

安裝并啟動(dòng) Ollama 服務(wù)

ollama pull deepseek-r1:7b

ollama serve & 

啟動(dòng)服務(wù)

python rag_demo.py

訪問瀏覽器打開的本地地址

通常是 http://localhost:17995 上傳 PDF 文檔（等待處理完成）、在提問區(qū)輸入問題、查看實(shí)時(shí)生成的回答

配置說明

修改 rag_demo.py 中第 147 行的模型名稱可替換為其他支持的模型

4.3 RAG 優(yōu)化技巧

??? 分塊策略優(yōu)化：

根據(jù)文檔類型調(diào)整 chunk_size（技術(shù)文檔建議 800-1200，對(duì)話文本建議 400-600）使用滑動(dòng)窗口重疊策略保持上下文連貫性

?? 檢索增強(qiáng)：

結(jié)合 BM25+語義檢索的混合搜索添加文檔元數(shù)據(jù)過濾（如章節(jié)標(biāo)題）實(shí)現(xiàn)結(jié)果重排序（Rerank）提升相關(guān)性

?? 查詢優(yōu)化：

問題重寫（Query Rewriting）查詢擴(kuò)展（Query Expansion）多輪對(duì)話上下文管理

? 性能優(yōu)化：

使用量化版嵌入模型（如 all-MiniLM-L6-v2）實(shí)現(xiàn)向量索引緩存機(jī)制采用批處理加速文檔處理

?? 評(píng)估體系：

構(gòu)建測試用例評(píng)估召回率監(jiān)控回答準(zhǔn)確率記錄用戶反饋持續(xù)優(yōu)化

5、四種應(yīng)用場景示例

5.1 律師訴狀智能生成

痛點(diǎn)
案件證據(jù)材料分散在紙質(zhì)卷宗/郵件/聊天記錄中
人工檢索匹配相似判例需遍歷多個(gè)法律數(shù)據(jù)庫，耗時(shí)較長 

解決方案
構(gòu)建律所或者律師個(gè)人的私有案例庫：自動(dòng)解析裁判文書PDF中的爭議焦點(diǎn)、法條引用、賠償金額等要素

訴狀要素智能填充：輸入"勞動(dòng)仲裁+工傷賠償"等標(biāo)簽，自動(dòng)關(guān)聯(lián)《工傷保險(xiǎn)條例》第37條及近三年同類型判決賠償金中位數(shù)

證據(jù)鏈完整性校驗(yàn)：根據(jù)案由自動(dòng)生成必備證據(jù)清單（如勞動(dòng)合同、醫(yī)療鑒定書等）

5.2 制造業(yè)技術(shù)文檔問答

痛點(diǎn)
設(shè)備手冊包含 2000+頁P(yáng)DF/圖紙，故障代碼查詢耗時(shí)＞30分鐘
新人無法理解"主軸軸向竄動(dòng)≤0.01mm"等專業(yè)術(shù)語的實(shí)操標(biāo)準(zhǔn) 

解決方案
多模態(tài)知識(shí)庫：設(shè)備文檔結(jié)構(gòu)化（按故障代碼/維護(hù)周期/精度標(biāo)準(zhǔn)打標(biāo)簽）
實(shí)操視頻片段索引（關(guān)聯(lián)"E02報(bào)警"對(duì)應(yīng)的齒輪箱拆裝演示）

智能檢索：輸入"加工中心定位精度超差"，返回導(dǎo)軌磨損檢測流程及塞尺使用規(guī)范圖示 

5.3 貸款客戶經(jīng)理風(fēng)控初篩

痛點(diǎn)
客戶經(jīng)理需要處理大量企業(yè)客戶數(shù)據(jù)，例如發(fā)票數(shù)據(jù)、流水?dāng)?shù)據(jù)、上下游合同等信息，人工分析耗時(shí)長且易遺漏關(guān)鍵風(fēng)險(xiǎn)點(diǎn)。

企業(yè)財(cái)務(wù)與經(jīng)營狀況信息分散且非結(jié)構(gòu)化，難以快速形成清晰的風(fēng)控結(jié)論。

解決方案
信息結(jié)構(gòu)化：通過大模型對(duì)發(fā)票數(shù)據(jù)、流水?dāng)?shù)據(jù)、合同條款等進(jìn)行關(guān)鍵信息抽?。ㄈ绾贤痤~、付款周期、供應(yīng)鏈關(guān)聯(lián)方等），并自動(dòng)分類和標(biāo)注（如信用風(fēng)險(xiǎn)、履約風(fēng)險(xiǎn)）。

多模態(tài)檢索：基于RAG技術(shù)，支持客戶經(jīng)理輸入如“企業(yè)流動(dòng)資金占比異?！被颉吧舷掠温募s風(fēng)險(xiǎn)”問題，系統(tǒng)快速檢索合同條款、流水異常記錄，并返回具體的風(fēng)險(xiǎn)點(diǎn)分析和建議。

本地部署保障數(shù)據(jù)安全：所有數(shù)據(jù)分析均在本地完成，滿足企業(yè)客戶對(duì)敏感信息保護(hù)的合規(guī)要求。

5.4 零售業(yè)私有知識(shí)推薦

痛點(diǎn)
產(chǎn)品知識(shí)分散在 100+份 Excel 參數(shù)表/PPT培訓(xùn)材料中
客戶咨詢"敏感肌精華成分"時(shí)，新人需手動(dòng)比對(duì)10+競品手冊 

解決方案
商品知識(shí)中樞：
自動(dòng)提取產(chǎn)品文檔中的成分表/適用膚質(zhì)/禁忌搭配數(shù)據(jù)
構(gòu)建成分沖突庫（含酒精成分產(chǎn)品不可與 A 醇類產(chǎn)品疊加使用）

場景化推薦引擎：
輸入"30 歲油皮夏季護(hù)膚"，推送控油套裝+搭配使用順序+關(guān)聯(lián)滿減方案
實(shí)時(shí)競品對(duì)比（展示本方產(chǎn)品 B5 泛醇含量高于競品 3.2%）