一、Deepexi 滴普企業(yè)大模型方案

1. DEEPEXI 產(chǎn)品邏輯架構(gòu)

下面是算力基礎(chǔ)設(shè)施，包括 Fast5000E 企業(yè)算力平臺(tái)。上面 FastData 企業(yè)融合數(shù)據(jù)平臺(tái)，目前在原有基礎(chǔ)上向 AI 進(jìn)行了跨越，可以支持在大數(shù)據(jù)平臺(tái)處理非結(jié)構(gòu)化數(shù)據(jù)，比如文檔或者音視頻數(shù)據(jù)可以在平臺(tái)上進(jìn)行訓(xùn)練數(shù)據(jù)的加工。加工之后的數(shù)據(jù)提供給 FastAGI 企業(yè)大模型服務(wù)平臺(tái)進(jìn)行模型工程做訓(xùn)練。在上面會(huì)有 Agent，基于 LangChain 框架，實(shí)現(xiàn) RAG 召回，可以創(chuàng)建 AI 智能助手，為企業(yè)應(yīng)用嵌入或者直接進(jìn)行知識(shí)問(wèn)答。

基于上述產(chǎn)品，可以支持多種場(chǎng)景，包括數(shù)據(jù)智能分析，即通過(guò)對(duì)話的方式來(lái)進(jìn)行數(shù)倉(cāng)數(shù)據(jù)的分析；單品大腦，即企業(yè)面向整個(gè)供應(yīng)鏈進(jìn)行快速反應(yīng)；以及知識(shí)問(wèn)答和用車助手，將企業(yè)知識(shí)數(shù)據(jù)訓(xùn)練進(jìn)去之后，通過(guò)問(wèn)答的方式進(jìn)行精準(zhǔn)檢索。

2. DEEPEXI 產(chǎn)品功能架構(gòu)

上圖是 DEEPEXI 產(chǎn)品的功能架構(gòu)圖，下面是 Fast5000E 訓(xùn)推一體機(jī)和 Deepexi滴普企業(yè)多模態(tài)大模型。

其上，在語(yǔ)料工程部分，可以從不同數(shù)據(jù)源進(jìn)行數(shù)據(jù)采集，包括數(shù)倉(cāng)、數(shù)據(jù)庫(kù)，還有文檔的一些存儲(chǔ)路徑，對(duì)象存儲(chǔ)、云上的存儲(chǔ)等等。同時(shí)提供統(tǒng)一的 catalog，對(duì)應(yīng)用層以及 FastAGI 企業(yè)大模型服務(wù)平臺(tái)提供統(tǒng)一的元數(shù)據(jù)，使其可以直接訪問(wèn)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)或者是大模型訓(xùn)練加工的數(shù)據(jù)。

模型工程部分，在 FastAGI 企業(yè)大模型服務(wù)平臺(tái)的基礎(chǔ)上，支持智能體的構(gòu)建、模型的訓(xùn)練和微調(diào)，以及模型的推理和評(píng)估。

再向上，我們可以面向不同的場(chǎng)景提供產(chǎn)業(yè) AI 應(yīng)用的能力。

3. DEEPEXI 產(chǎn)品技術(shù)架構(gòu)

這張 DEEPEXI 產(chǎn)品技術(shù)架構(gòu)圖展示了目前大模型相關(guān)的一些核心技術(shù)能力。左邊是語(yǔ)料工程，可以對(duì)本地?cái)?shù)據(jù)源或外部數(shù)據(jù)源的數(shù)據(jù)進(jìn)行加工。在一些場(chǎng)景中會(huì)進(jìn)行預(yù)訓(xùn)練，比如某些客戶需要自動(dòng)地基于業(yè)務(wù)場(chǎng)景寫代碼，如果讓客戶去整理應(yīng)用場(chǎng)景和代碼的關(guān)系是比較復(fù)雜的，因此我們先是把客戶大概十萬(wàn)多個(gè) API 進(jìn)行了預(yù)訓(xùn)練，再把這種應(yīng)用場(chǎng)景和代碼進(jìn)行指令精調(diào)。同時(shí)我們還通過(guò) Prompt 的方式對(duì)輸出結(jié)果進(jìn)行優(yōu)化。

我們的 Deepexi 滴普企業(yè)多模態(tài)大模型，除了基礎(chǔ)的 300 億參數(shù)之外，對(duì)于文檔的解析也用了很多小模型，比如對(duì) PDF、word 進(jìn)行解析，生成 markdown 格式的數(shù)據(jù)，再進(jìn)行切片、數(shù)據(jù)的合成，并進(jìn)行訓(xùn)練。

Fast5000E 訓(xùn)推一體機(jī)方面，我們具有對(duì) GPU 集群的管理、對(duì)模型的管理、算力的池化等能力。

4. 從數(shù)據(jù)時(shí)代走向數(shù)據(jù)智能時(shí)代

無(wú)論是公司還是整個(gè)行業(yè)，都在從原有的數(shù)據(jù)時(shí)代向智能時(shí)代跨越。

二、語(yǔ)料工程

下面介紹模型訓(xùn)練之前，我們?cè)谡Z(yǔ)料工程方面所做的工作。

1. 大模型訓(xùn)練效果 80% 取決于數(shù)據(jù)質(zhì)量

我們認(rèn)為模型訓(xùn)練的效果 80% 取決于訓(xùn)練數(shù)據(jù)集的質(zhì)量。我們?cè)陧?xiàng)目實(shí)際落地過(guò)程中，80% 的工作也都是做數(shù)據(jù)加工，包括訓(xùn)練模型之后如何進(jìn)一步提升任務(wù)的準(zhǔn)確率，都是在做數(shù)據(jù)的清洗加工和不斷調(diào)整，包括跟業(yè)務(wù)進(jìn)行比對(duì)，不斷提升數(shù)據(jù)質(zhì)量。

2. 大模型訓(xùn)練數(shù)據(jù)加工過(guò)程

數(shù)據(jù)加工的過(guò)程如上圖所示。文檔可以從產(chǎn)品側(cè)上傳，之后通過(guò)嵌入在產(chǎn)品里面的一些小模型對(duì)數(shù)據(jù)進(jìn)行解析，然后對(duì)解析之后的數(shù)據(jù)進(jìn)行標(biāo)注，可以通過(guò)模型進(jìn)行標(biāo)注，也會(huì)投入一些人工標(biāo)注。比如我們?cè)谝粋€(gè)項(xiàng)目上落地大概有 1000 本左右的文檔，進(jìn)行解析之后，由六位技術(shù)人員標(biāo)注，模型標(biāo)注完之后還需要人工去看數(shù)據(jù)是否正確。

標(biāo)注完成后，我們會(huì)對(duì)數(shù)據(jù)進(jìn)行切片，按三級(jí)標(biāo)題來(lái)切成一個(gè)一個(gè)的知識(shí)點(diǎn)，基于這些知識(shí)點(diǎn)生成問(wèn)答對(duì)。當(dāng)然，我們也會(huì)用 GPT 的方式去生成問(wèn)題，也可以自己訓(xùn)練一個(gè)小模型去合成 QA 對(duì)。最后，利用這些問(wèn)題，為 RAG 提升 Retrieve 的準(zhǔn)確度。

3. RAG 過(guò)程示意圖

上圖展示了基于 RAG 的召回過(guò)程。生成的知識(shí)點(diǎn)會(huì)放到向量庫(kù)中進(jìn)行向量化，之后一個(gè)問(wèn)題過(guò)來(lái)時(shí)會(huì)到這個(gè)向量庫(kù)里面去檢索，檢索完的上下文，會(huì)用 Prompt 的方式，通過(guò)模型進(jìn)行總結(jié)回答。這部分的核心工作就是對(duì) embedding 模型的訓(xùn)練。

4. 數(shù)據(jù) AI 分析方案

在數(shù)據(jù) AI 分析方案這個(gè)場(chǎng)景，一方面我們通過(guò)模型的能力自動(dòng)生成 SQL，當(dāng)然在企業(yè)很多復(fù)雜的場(chǎng)景中，生成的 SQL 準(zhǔn)確度是不夠的，因此我們采用的方案是，有一些指標(biāo)可能有 API 能夠直接取到，或者是我們可以配一些 SQL 模板，把一些參數(shù)變成變量來(lái)根據(jù)其意圖識(shí)別到。在實(shí)際落地過(guò)程中，不一定全是靠模型去生成，我們也測(cè)試過(guò)，單靠模型生成 SQL 的準(zhǔn)確度只能達(dá)到 60%~70% 左右。加上 API 和 SQL 模板這些手段之后，目前準(zhǔn)確度可以提升 90%。目前該功能已在企業(yè)生產(chǎn)環(huán)境中正式使用。

三、模型工程

下面介紹我們?cè)谀Ｐ头矫娴墓ぷ鳌?/span>

1. 通用大模型與企業(yè)大模型的關(guān)系

關(guān)于通用大模型與企業(yè)大模型之間的關(guān)系，從上圖中可以看到，最下面 L0 層是我們經(jīng)常看到的一些大模型廠商，它們具有一些通用能力，包括知識(shí)理解能力、推理能力、音視頻的生成或者解析的能力。上面一層是行業(yè)大模型，比如法律的大模型、醫(yī)療的大模型，它們是面向整個(gè)行業(yè)的。我們?cè)谄髽I(yè)落地的時(shí)候，需要拿著企業(yè)真實(shí)的業(yè)務(wù)數(shù)據(jù)，結(jié)合行業(yè)大模型和通用大模型進(jìn)行再訓(xùn)練或者微調(diào)，才能滿足企業(yè)的應(yīng)用場(chǎng)景，所以其實(shí)我們目前在落地過(guò)程當(dāng)中，主要做的是 L1 和 L2 這部分的工作。

2. Deepexi 滴普企業(yè)大模型核心定位

我們目前的定位是把數(shù)據(jù)和模型結(jié)合到一起，幫助企業(yè)進(jìn)行快速落地。

3. 大模型微調(diào)過(guò)程示意圖

大模型微調(diào)過(guò)程，首先是選擇大模型，我們選擇的是 300 億參數(shù)級(jí)別的模型。我們認(rèn)為這個(gè)參數(shù)級(jí)別對(duì)于客戶壓力不會(huì)特別大，使用兩臺(tái)一體機(jī)，配置 8 張主流的 GPU卡，基本上就可以落地。如果參數(shù)過(guò)大，對(duì)于私有化場(chǎng)景，企業(yè)落地應(yīng)用的成本比較高。如果選擇特別小的參數(shù)級(jí)別的話，又無(wú)法滿足企業(yè)一些比較復(fù)雜的場(chǎng)景需求。第二是準(zhǔn)備數(shù)據(jù)集，一方面是行業(yè)的數(shù)據(jù)，另一方面是企業(yè)自身的私有化數(shù)據(jù)。我們大部分工作集中在第三部分，即微調(diào)，采用了全參、Lora 以及適配器層調(diào)優(yōu)幾種方式。最后一部分就是模型的測(cè)試評(píng)估和部署。

4. Deepexi 滴普企業(yè)大模型

我們?cè)诼涞?nbsp;Deepexi 滴普企業(yè)大模型過(guò)程當(dāng)中總結(jié)了一些具體的方案，核心是幫助企業(yè)去訓(xùn)練和調(diào)整其業(yè)務(wù)場(chǎng)景會(huì)用到的模型能力，主要包括以下三個(gè)方面：

• 第一塊是知識(shí)問(wèn)答數(shù)據(jù)。
• 第二塊是 API 數(shù)據(jù)。模型的能力落地實(shí)際上還是在其業(yè)務(wù)流程中以嵌入式的方式實(shí)現(xiàn)一些智能化，或是做一些輔助分析、輔助決策。在決策過(guò)程中可能會(huì)產(chǎn)生一些動(dòng)作，比如下單操作，要調(diào)系統(tǒng) API 進(jìn)行操作，所以我們主要是訓(xùn)練它語(yǔ)義上的意圖理解能力，還有 FunctionCall 的能力，以精準(zhǔn)調(diào)用 API。
• 第三塊是 SQL 數(shù)據(jù)。在面向數(shù)據(jù)分析場(chǎng)景中，我們的一個(gè)核心優(yōu)勢(shì)是數(shù)據(jù)服務(wù)能力，很多老客戶需要提升數(shù)據(jù)分析場(chǎng)景的智能性，核心是需要這種 SQL 的能力，我們會(huì)訓(xùn)練 SQL 的生成能力，再加上 API、SQL 模板能力來(lái)提升整個(gè)數(shù)據(jù)查詢的準(zhǔn)確度。

5. 大模型微調(diào)方法

大模型微調(diào)也是圍繞這三個(gè)能力，生成三類訓(xùn)練或者微調(diào)的數(shù)據(jù)。我們對(duì)模型進(jìn)行訓(xùn)練或者微調(diào)，調(diào)整的核心參數(shù)包括 learning_rate、warmup_ratio、num_train_epochs、model_max_length 等，根據(jù) loss 值的下降情況，來(lái)判斷如何調(diào)整模型參數(shù)和數(shù)據(jù)集。

6. 大模型量化方法

模型訓(xùn)練之后，在模型推理過(guò)程中我們需要考慮客戶自身的成本，因此要對(duì)模型進(jìn)行量化，核心是降低其計(jì)算復(fù)雜度，使得客戶能用更少的資源進(jìn)行推理。當(dāng)然，降低精度的話，準(zhǔn)確度也會(huì)有一些喪失，我們也做了一些工作，盡量減少由于精度降低對(duì)推理的影響。

7. 大模型安全

目前業(yè)界對(duì)于模型安全的要求是非常高的，比如在一些政府行業(yè)項(xiàng)目中，有些敏感詞，如涉政、地域歧視、人身攻擊等是不能出現(xiàn)的，因此我們?cè)炝?23 萬(wàn)條敏感詞匯數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)，使敏感詞過(guò)濾能力有較大提升。

四、制造行業(yè)落地實(shí)踐

1. 某鞋服行業(yè)頭部企業(yè)聯(lián)手滴普科技自建 AI 訓(xùn)推平臺(tái)，快速上線智能應(yīng)用

某鞋服行業(yè)頭部企業(yè)在國(guó)內(nèi)擁有萬(wàn)余家自營(yíng)門店，我們與其共創(chuàng)了一整套與業(yè)務(wù)深入結(jié)合的流程，覆蓋了從底層算力服務(wù)一體機(jī)，到大數(shù)據(jù)平臺(tái)，再到基于模型的 AGI 平臺(tái)，核心落地實(shí)現(xiàn)了以下三大應(yīng)用場(chǎng)景：

• 研發(fā)設(shè)計(jì)助手（文生圖）：

通過(guò)圖文模式、多圖融合、關(guān)鍵詞反推、線稿渲染、款式配色實(shí)現(xiàn)鞋服新品設(shè)計(jì)，引領(lǐng)創(chuàng)意，提升設(shè)計(jì)效率。

• 商品運(yùn)營(yíng)智能助手（面向一線）：

商品全生命周期的知識(shí)問(wèn)答、數(shù)據(jù)分析、業(yè)務(wù)推理，實(shí)時(shí)了解庫(kù)存，提供補(bǔ)貨建議，提升商品流通效率。

• 零售供應(yīng)鏈助手（面向管理者）：

打通供應(yīng)鏈管理系統(tǒng)和零售運(yùn)營(yíng)系統(tǒng)數(shù)據(jù)，通過(guò)業(yè)務(wù)執(zhí)行輔助問(wèn)答實(shí)現(xiàn)供應(yīng)鏈流程智能化，提升決策效率。

我們目前與該鞋服行業(yè)的頭部企業(yè)共同探索的另外一個(gè)非常核心的場(chǎng)景是 OTB-滾動(dòng)預(yù)算，即如何根據(jù)業(yè)務(wù)情況進(jìn)行進(jìn)行智能分析和調(diào)整預(yù)算目標(biāo)。

2. 某國(guó)內(nèi)工程設(shè)計(jì)服務(wù)業(yè)的頭部企業(yè)聯(lián)手滴普自建 AI 訓(xùn)推平臺(tái)，快速上線智能應(yīng)用

某國(guó)內(nèi)工程設(shè)計(jì)服務(wù)業(yè)的頭部企業(yè)通過(guò)建設(shè) AI 智能體平臺(tái)，實(shí)現(xiàn)了問(wèn)答助手和設(shè)計(jì)助手兩大應(yīng)用場(chǎng)景。

• 問(wèn)答助手：

基于知識(shí)圖譜數(shù)據(jù)，利用 LLM 實(shí)現(xiàn)自然語(yǔ)言問(wèn)答。其內(nèi)部有 80 多萬(wàn)字的核心規(guī)范，我們也是在企業(yè)內(nèi)部進(jìn)行訓(xùn)練的。這是一個(gè)私有化的場(chǎng)景，沒(méi)法用通用大模型，也沒(méi)法用云的服務(wù)器，所以使用我們的一體機(jī)加上我們的模型訓(xùn)練和 AGI 平臺(tái)來(lái)進(jìn)行落地。

• 設(shè)計(jì)助手：

對(duì)已有圖紙文檔分析理解、專業(yè)文檔輔助生成、專業(yè)圖紙校審。最大的挑戰(zhàn)是要求 90% 的準(zhǔn)確度，目前仍在不斷的優(yōu)化中，我們 80% 的工作都是要對(duì)齊這一需求，不管是回答風(fēng)格、規(guī)范，還是語(yǔ)義場(chǎng)景。有時(shí)一個(gè)問(wèn)題可能會(huì)涉及到七八本規(guī)范數(shù)據(jù)，模型推理可能會(huì)出現(xiàn)遺漏，影響準(zhǔn)確度，所以我們做了大量的語(yǔ)料和訓(xùn)練優(yōu)化的工作，目前已經(jīng)訓(xùn)了十幾輪來(lái)不斷優(yōu)化和改進(jìn)，包括 RAG 的增強(qiáng)，訓(xùn)練 embedding 模型。

3. 滴普科技專注大模型在工業(yè)制造深入落地

滴普科技是領(lǐng)先的企業(yè) AI 基礎(chǔ)設(shè)施服務(wù)商，聚焦產(chǎn)業(yè) AI 應(yīng)用，為客戶提供 DeepexiOS 企業(yè) AI 平臺(tái)及 DeepexiGenAI 企業(yè)核心領(lǐng)域的生成式 AI 應(yīng)用，助力企業(yè)構(gòu)建智能化基礎(chǔ)設(shè)施，并實(shí)現(xiàn)產(chǎn)業(yè) AI 應(yīng)用落地。目前除了上述兩個(gè)典型場(chǎng)景之外，也在其他企業(yè)進(jìn)行著不同程度的落地。憑借眾多標(biāo)桿合作案例，滴普科技入選福布斯中國(guó)人工智能科技企業(yè) TOP50 榜單，并被認(rèn)證為 2024 年第六批國(guó)家級(jí)專精特新 “小巨人” 企業(yè)。

今天的分享就到這里，感謝大家！

五、問(wèn)答環(huán)節(jié)

Q1：前面介紹的案例，比如鞋服行業(yè)的例子里面，很多都是獲取如銷量數(shù)據(jù)或者銷量情況，如果我想問(wèn)一些關(guān)于決策的問(wèn)題，比如今天這個(gè)鞋要備貨多少件，或者是一些更偏向于歸因的問(wèn)題，比如銷量變差是什么原因，這種情況下“問(wèn)答助手”是怎么實(shí)現(xiàn)的？

A1：這其實(shí)就是剛才介紹的智能補(bǔ)貨場(chǎng)景，內(nèi)部稱為單品大腦。我們核心訓(xùn)練三個(gè)任務(wù)，第一個(gè)任務(wù)就是識(shí)別商品編號(hào)，提供給系統(tǒng)調(diào)用，這里用到語(yǔ)義識(shí)別是通過(guò)模型進(jìn)行訓(xùn)練；第二個(gè)任務(wù)是拿到編號(hào)和一些參數(shù)之后，需要調(diào)哪個(gè)系統(tǒng)的 API，補(bǔ)貨邏輯在系統(tǒng)中已經(jīng)實(shí)現(xiàn)，我們只要更精準(zhǔn)地調(diào)用 API 拿到這些數(shù)據(jù)；第三個(gè)任務(wù)是，有一些分析總結(jié)，有特別的規(guī)范，我們會(huì)按照規(guī)范的語(yǔ)料來(lái)進(jìn)行訓(xùn)練，最終把拿到的數(shù)據(jù)以及分析的結(jié)果通過(guò)規(guī)范的形式輸出出來(lái)。具體補(bǔ)多少量并不是模型給到他的，而是以 FunctionCall 的形式去調(diào)已有的業(yè)務(wù)系統(tǒng)來(lái)給出要補(bǔ)多少，我只是把這種分析的趨勢(shì)或者分析的結(jié)果給到這個(gè)系統(tǒng)，讓它給我返回結(jié)果。

Q2：模型的準(zhǔn)確率如何匹配設(shè)計(jì)行業(yè)的實(shí)際需求？

A2：目前模型的能力達(dá)到 100% 幾乎是不太可能的，客戶要求是 90% 以上，這一目標(biāo)涉及很多復(fù)雜問(wèn)題，比如一個(gè)問(wèn)題涉及到多本規(guī)范，還有復(fù)雜的表格、復(fù)雜的公式、復(fù)雜的圖紙，規(guī)范里邊還會(huì)有一些計(jì)算邏輯。模型需要幫助做好復(fù)雜推理，同時(shí)還有一些知識(shí)圖譜，會(huì)基于圖數(shù)據(jù)庫(kù)的知識(shí)，進(jìn)行復(fù)雜的推理，這些都是需要進(jìn)行提升的。

對(duì)于剩下的 10% 的不正確或不準(zhǔn)確的回答，我們?cè)诨卮饐?wèn)題過(guò)程中，不僅有結(jié)論，還會(huì)有分析過(guò)程，另外還會(huì)引用問(wèn)題答案是從哪個(gè)規(guī)范里面出來(lái)的。基本上用戶可以快速判斷。另外還可以通過(guò)產(chǎn)品化的方式來(lái)解決，我們有點(diǎn)贊或者點(diǎn)踩，會(huì)在后臺(tái)收集到日志，如果這個(gè)問(wèn)題回答的不好，被點(diǎn)踩了，我們會(huì)分析這類問(wèn)題該如何優(yōu)化語(yǔ)料，以進(jìn)一步提升。