1、為什么要在 MacBook 上搭建知識庫？

最核心最重要的是我們手上的文檔資料出于安全要求，不能隨便上傳到云服務(wù)，也就無法實際驗證知識庫的實際效用。另外對于 IT 同學(xué)來說，自己親手搭建一個完整的方案、能靈活調(diào)整和對接各種不同的模型、評測各種模型不同的表現(xiàn)，也是出于對技術(shù)的探索本能使然。

使用的 MacBook 配置如下，對大模型經(jīng)過量化處理（比如：int8）后，可以流暢運(yùn)行。

圖片

2、知識庫的架構(gòu)設(shè)計

基于一臺 MacBook 搭建部署的架構(gòu)設(shè)計如下圖，在這套架構(gòu)設(shè)計中，我們采用了實力排上游、并且對企業(yè)和學(xué)術(shù)都友好的最新開源大模型 Llama 3.1。

并采用了基于 m3e-base 模型的 embedding search RAG 方案?；谶@兩個模型封裝和 ChatGPT 兼容的 API 接口協(xié)議；通過引入 One API 接口管理 & 分發(fā)系統(tǒng)，形成統(tǒng)一 LLM 接口渠道管理平臺規(guī)范，并把封裝好的接口協(xié)議注冊進(jìn)去；搭建與 Dify.ai 齊名開源大模型知識庫平臺管理系統(tǒng) FastGPT，實現(xiàn)集私有知識數(shù)據(jù)源預(yù)處理、嵌入檢索、大模型對話一體的完整知識庫應(yīng)用流程。

麻雀雖小五臟俱全，最終形成一套既滿足商用標(biāo)準(zhǔn)、又能在 MacBook 跑起來的的方案。雖然智能程度和實際需求還有一定差距，但至少我們在不用額外購買顯卡或云服務(wù)的情況下，以最小成本部署運(yùn)行、并且能導(dǎo)入實際業(yè)務(wù)數(shù)據(jù)（如：設(shè)計文檔、業(yè)務(wù)流程文檔、項目管理文檔、技術(shù)分享文檔等等）進(jìn)行實操驗證，值得每位工程師都來動手嘗試一下。

3、知識庫的部署設(shè)計

基于 MacBook 的部署方案分為四個主要環(huán)節(jié)、14個具體步驟，只要一步步實操下去，每位 IT 同學(xué)都可以在自己的 MacBook 上擁有屬于自己的私有大模型知識庫系統(tǒng)，步驟清單如下：

部分步驟可以簡單地通過 Docker 鏡像一鍵部署完成，但本著對細(xì)節(jié)一桿子插到底的部署思路，還是采取了純手工作業(yè)的方法。

本文轉(zhuǎn)載自公眾號玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/5IMtWfcObJYU2Uu9ygJUoQ??