這個春節(jié)，DeepSeek  實在太火爆了。

“老板指示，我們要整合 Deepseek，還得建立自己的知識庫……”

這樣的聲音，哪個開發(fā)者近期沒耳聞？

Deepseek 的火爆，智能推理的加速，以及算力成本的顯著降低，使得眾多原本對大型模型望而卻步的企業(yè)，一夜之間紛紛投向 AI 的懷抱，追求降本增效。在這個過程中，對于那些擁有優(yōu)質(zhì)私有數(shù)據(jù)和敏感數(shù)據(jù)的企業(yè)來說，若想避免數(shù)據(jù)泄露，部署本地知識庫無疑是走向大模型的關(guān)鍵一步。

然而，當(dāng)你深入調(diào)研時，會發(fā)現(xiàn)這件事情遠(yuǎn)非想象中那么簡單：

嘗試使用開源的蒸餾版模型？效果不盡人意，連基礎(chǔ)的問答準(zhǔn)確性都無法保障。

舉個例子，我們最近推出了基于 Deepseek 7b+Milvus的 本地部署教程，許多開發(fā)者反饋，即便是7B版本搭配了向量數(shù)據(jù)庫，效果仍然難以令人滿意。

若要部署完整版的大型模型？以滿血的 R1 為例，其參數(shù)高達(dá) 671B，即便是FP16 精度，所需的顯存也高達(dá) 1342GB，換成 80G 的 A100 顯卡，也需要 17張。而對于個人電腦，即便是配備頂級的 24GB 4090 顯卡，數(shù)量也需達(dá)到56張（MoE+量化可以降低實際顯存需求）……

顯然，無論是個人還是中小企業(yè)，都難以承擔(dān)如此高昂的顯卡成本。

那選擇開源方案自行搭建呢？光是環(huán)境配置就讓人頭疼：向量庫的選擇、模型部署、前端界面……每一步都是對你耐心的考驗。

難道真的沒有簡單易行的解決方案嗎？

經(jīng)過一個月的加班加點部署，我堅信，DeepSeek + Milvus + AnythingLLM，絕對是搭建本地知識庫的最佳選擇！

這個方案不僅解決了性能問題，更重要的是，它實現(xiàn)了真正的“零門檻”。僅需30分鐘，就能構(gòu)建一個具備企業(yè)級性能的私有知識庫。整個過程如同拼裝積木般簡單，即便是新手也能迅速掌握。

1、選型思路

首先，讓我們探討一下為什么選擇 DeepSeek + Milvus + AnythingLLM這個組合來進(jìn)行本次項目選型，它主要針對當(dāng)前 RAG 實施過程中的三個主要難題：

1.1 模型性能挑戰(zhàn)

體驗過 Ollama 提供的精簡版 DeepSeek 的用戶可能會發(fā)現(xiàn)，盡管它仍然是 DeepSeek，但其表現(xiàn)并不盡如人意。簡而言之，7B 版本的表現(xiàn)不盡人意，而671B 版本的成本又過高。

因此，我們建議利用硅基流動以及某些云服務(wù)提供商的 API 服務(wù)，通過 API 調(diào)用，我們可以以極低的成本獲取完整版 DeepSeek 的計算能力。更值得一提的是，近期新注冊用戶還能享受免費額度體驗。

1.2 部署復(fù)雜性

市場上的開源 RAG 解決方案眾多，但它們要么需要繁瑣的環(huán)境配置，要么需要大量的運維工作。而 AnythingLLM 則提供了一個完整的 UI 界面，無縫支持向量數(shù)據(jù)庫 Milvus 以及多種大型模型接口，大大降低了初學(xué)者的使用門檻。

Milvus 在檢索效率和數(shù)據(jù)規(guī)模支持方面，無疑是行業(yè)內(nèi)的佼佼者。同時，Milvu s也是目前在 GitHub 上向量數(shù)據(jù)庫類別中，星標(biāo)數(shù)量最多的開源項目，成為了大多數(shù) AI 開發(fā)者的入門必修課。

1.3 系統(tǒng)擴(kuò)展性

這個組合的最大優(yōu)勢在于其靈活性。它允許用戶輕松切換不同的大型語言模型，Milvus 能夠支持億級別數(shù)據(jù)的高效檢索，而 AnythingLLM 的插件機(jī)制使得功能擴(kuò)展變得輕而易舉。

綜合來看，這個組合方案不僅確保了效果，降低了使用難度，還具備了出色的擴(kuò)展性。對于希望迅速構(gòu)建私有知識庫的個人用戶來說，這無疑是一個極佳的選擇。

2、實戰(zhàn)：搭建本地 RAG

環(huán)境配置要求說明如下：

本文環(huán)境均以 MacOS 為例，Linux 和 Windows 用戶可以參考對應(yīng)平臺的部署文檔。

Docker 和 Ollama 安裝不在本文中展開。

本地部署配置：最低 CPU 4核、內(nèi)存 8G，建議 CPU 8核、內(nèi)存 16G

第一、Milvus 部署，官網(wǎng)下載地址：??https://milvus.io??

1.1 下載 Milvus 部署文件

bash-3.2$ wget https://github.com/milvus-io/milvus/releases/download/v2.5.4/milvus-standalone-docker-compose.yml -O docker-compose.yml

1.2 修改配置文件

說明：anythingllm 對接 Milvus 時需要提供 Milvus 賬號密碼，因此需要修改docker-compose.yml 文件中的 username 和 password 字段。

version: '3.5'
services:
  etcd:
    container_name: milvus-etcd
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/etcd:v3.5.5
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
    command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
    healthcheck:
      test: ["CMD", "etcdctl", "endpoint", "health"]
      interval: 30s
      timeout: 20s
      retries: 3
  minio:
    container_name: milvus-minio
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/minio:RELEASE.2023-03-20T20-16-18Z
    environment:
      MINIO_ACCESS_KEY: minioadmin
      MINIO_SECRET_KEY: minioadmin
    ports:
      - "9001:9001"
      - "9000:9000"
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data --console-address ":9001"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
  standalone:
    container_name: milvus-standalone
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/milvus:v2.5.4
    command: ["milvus", "run", "standalone"]
    security_opt:
    - seccomp:unconfined
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
      COMMON_USER: milvus
      COMMON_PASSWORD: milvus
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
      interval: 30s
      start_period: 90s
      timeout: 20s
      retries: 3
    ports:
      - "19530:19530"
      - "9091:9091"
    depends_on:
      - "etcd"
      - "minio"
networks:
  default:
    name: milvus

1.3 啟動并檢查 Milvus 服務(wù)

bash-3.2$ docker-compose up -d

第二、Ollama 下載向量模型，官網(wǎng)：??https://ollama.com/??

2.1 下載查看向量模型

bash-3.2$  ollama pull nomic-embed-text

bash-3.2$  ollama list

第三、注冊硅基流動獲取 API 密鑰

官網(wǎng)：https://siliconflow.cn/zh-cn/

3.1 復(fù)制滿血版 DeepSeek 模型名稱

3.2 創(chuàng)建 API 密鑰并記錄

第四、下載安裝 AnythingLLM，官網(wǎng)：??https://anythingllm.com/??

4.1 安裝時點擊 GetStarted

4.2 暫不配置先點下一步

4.3 點擊 Skip 跳過

4.4 部署完成進(jìn)入首頁

第五、配置 AnythingLLM

5.1 添加 DeepSeek 模型

說明：點擊 LLM 首選項選擇提供商 Generic OpenAI 并填入剛才注冊的 API 密鑰、baserul、DeepSeek 模型名稱并保存

5.2 添加 Milvus 向量數(shù)據(jù)庫

說明：點擊向量數(shù)據(jù)庫選項選擇 Milvus 并填入剛才部署好的 Milvus 的地址、用戶名、密碼并保存

5.3 添加 Embeding 模型

說明：點擊 Embedder 首選項選擇 Ollama 并填入剛才部署好的 Ollama 的 URL 和模型名稱并保存

第六、效果演示

6.1 回到首頁新建工作區(qū)

6.2 上傳測試數(shù)據(jù)集

說明：數(shù)據(jù)集可以從huggingface上獲取 網(wǎng)址：??https://huggingface.co/datasets??

上傳區(qū)域傳入數(shù)據(jù)集并點擊 Move 向量化后存入 Milvus

6.3 測試問答效果

說明：對話框中輸入“怎么實現(xiàn)向量檢索檢索？”得到的回復(fù)是符合預(yù)期的，可以看到回復(fù)中引用了本地知識庫中的內(nèi)容。

3、總結(jié)

至此，你應(yīng)當(dāng)已經(jīng)順利構(gòu)建了自己的知識庫系統(tǒng)。然而，除了具體的搭建流程，我認(rèn)為這個方案背后蘊(yùn)含的一些思考同樣值得探討。

第一、架構(gòu)設(shè)計的前瞻性

我們采用的方案是“模型服務(wù)+向量數(shù)據(jù)庫+應(yīng)用前端”的解耦架構(gòu)。這種設(shè)計的優(yōu)勢不言而喻：

面對新的大型模型，我們僅需更新模型服務(wù)部分

隨著數(shù)據(jù)量的增長，我們可以獨立升級向量數(shù)據(jù)庫

當(dāng)業(yè)務(wù)需求發(fā)生變化，前端界面也能夠獨立發(fā)展

這種松散耦合的設(shè)計理念，賦予了系統(tǒng)持續(xù)升級的能力，在 AI 技術(shù)迅猛發(fā)展的今天，這一點尤為關(guān)鍵。

第二、技術(shù)選型的平衡藝術(shù)

在技術(shù)棧的選擇上，我們尋求了多方面的平衡：

在性能與易用性之間：我們選擇了通過 API 調(diào)用完整版模型，而非本地部署精簡版

在開發(fā)效率與擴(kuò)展性之間：我們采用了即插即用的 AnythingLLM，同時保留了擴(kuò)展插件的能力

在成本與效果之間：我們利用了硅基流動等云服務(wù)，避免了高額的硬件投資

這些決策背后，展現(xiàn)了一種實用主義的工程理念。

第三、RAG 應(yīng)用的演進(jìn)方向

從更宏觀的角度來看，這套方案的出現(xiàn)揭示了幾個行業(yè)發(fā)展的關(guān)鍵趨勢：

知識庫的建設(shè)正從企業(yè)需求向個人需求拓展

RAG 技術(shù)棧正在走向標(biāo)準(zhǔn)化和組件化，降低了入門難度

云服務(wù)的廣泛應(yīng)用使得高性能AI能力變得易于獲取

展望未來，隨著更多卓越的開源組件誕生，RAG 的應(yīng)用場景將變得更加多樣化。我們可以預(yù)見：

將出現(xiàn)更多針對特定領(lǐng)域的專業(yè)知識庫解決方案

數(shù)據(jù)處理和檢索算法將變得更加智能化

部署和運維工具將變得更加便捷

總結(jié)來說，"DeepSeek+Milvus+AnythingLLM"的組合不僅滿足了當(dāng)前的需求，也為未來的發(fā)展留下了廣闊的空間。對于有意探索 RAG 應(yīng)用的個人和團(tuán)隊而言，現(xiàn)在正是最佳的參與時機(jī)。

本文轉(zhuǎn)載自公眾號玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/gMqAl3boakfPxlDmgb2xVQ??