大語言模型在多種應(yīng)用中展現(xiàn)出強(qiáng)大效力，但頂尖模型往往價(jià)格昂貴且能耗高，如GPT-4、Anthropic。開源社區(qū)則以Llama3為例，提供了節(jié)能且成本效益高的替代方案，并且定制化小型語言模型在特定領(lǐng)域如法律、醫(yī)療或金融中，已超越了大型專有模型，顯示出更高的效率和精準(zhǔn)度。

Octopus v4新型語言模型框架，通過構(gòu)建一個(gè)包含不同垂直領(lǐng)域語言模型的圖（graph）來使用各種開源語言模型。

從使用萬億參數(shù)模型的單一模型推理，轉(zhuǎn)變?yōu)橛烧卖~模型協(xié)調(diào)的多節(jié)點(diǎn)協(xié)作。該框架通過根據(jù)用戶的查詢選擇最合適的專業(yè)化模型，優(yōu)化推理過程，僅激活兩個(gè)每個(gè)模型少于100億參數(shù)的模型進(jìn)行一步推理。只展示了一個(gè)小圖，但該框架可以支持一個(gè)大圖。請(qǐng)查看圖的演示（https://graph.nexa4ai.com/）。

Octopus v4模型利用功能標(biāo)記（functional tokens）智能地將用戶查詢定向到最合適的垂直模型，并重新格式化查詢以實(shí)現(xiàn)最佳性能。該模型是Octopus v1、v2和v3模型的進(jìn)化版，在選擇、參數(shù)理解和重新格式化方面表現(xiàn)出色。

Octopus v4的核心是使用功能性標(biāo)記（functional tokens）來激活特定的模型功能，簡(jiǎn)化了語言模型的功能設(shè)計(jì)，使其只需要單一輸入和輸出。通過構(gòu)建一個(gè)有向的異構(gòu)圖，其中包含主節(jié)點(diǎn)和工作節(jié)點(diǎn)，可以有效地處理用戶查詢并生成響應(yīng)。主節(jié)點(diǎn)負(fù)責(zé)協(xié)調(diào)查詢并將其導(dǎo)向合適的工作節(jié)點(diǎn)，而工作節(jié)點(diǎn)則執(zhí)行任務(wù)并使用Octopus模型進(jìn)行進(jìn)一步協(xié)調(diào) 。

章魚模型被用來確定最優(yōu)的鄰近節(jié)點(diǎn)并生成適當(dāng)?shù)男畔⒁怨﹤鬏?。設(shè)想一個(gè)場(chǎng)景，章魚模型的鄰居包括MathGPT、LawGPT、HealthCareGPT、CodeGPT和RoomGPT。章魚模型能夠識(shí)別出最相關(guān)的GPT，并將初始查詢轉(zhuǎn)換為最適合所選GPT的格式。

規(guī)劃多步驟任務(wù)架構(gòu)由兩個(gè)抽象層組成。第一層使用功能標(biāo)記來表示Octopus v2模型可以執(zhí)行的操作。這一層包括三個(gè)不同的Octopus v2模型，每個(gè)模型都由不同的功能標(biāo)記標(biāo)識(shí)，有效地將它們區(qū)分為獨(dú)立的AI代理。第二層抽象涉及Octopus v4模型，其中內(nèi)部的功能標(biāo)記映射到各種v2模型。為了簡(jiǎn)單起見，只包括了三個(gè)v2模型，但在實(shí)際使用案例中，可以映射到多個(gè)v2模型。

語言模型圖系統(tǒng)設(shè)計(jì)：其中主節(jié)點(diǎn)部署在中心設(shè)備上，工作節(jié)點(diǎn)分布在各種設(shè)備上。采用Kubernetes（k8s）對(duì)每個(gè)單獨(dú)的工作語言模型進(jìn)行無服務(wù)器部署。為了高效的數(shù)據(jù)共享，利用了由Redis支持的分布式緩存機(jī)制。對(duì)于每個(gè)工作節(jié)點(diǎn)，都附加了一個(gè)小的章魚v4 Lora，以指導(dǎo)多代理用例中的下一個(gè)鄰居節(jié)點(diǎn)。

在10B參數(shù)規(guī)模的模型中，Octopus v4實(shí)現(xiàn)了74.8的SOTA MMLU得分。

Octopus v4與其他模型在MMLU得分上的比較。在Octopus v4與的推理過程中，僅激活了兩個(gè)小型語言模型，每個(gè)模型的參數(shù)少于100億。Octopus v4與在MMLU得分上取得了顯著提升，由于利用了功能標(biāo)記，僅需要少量的標(biāo)記犧牲。

??https://arxiv.org/pdf/2404.19296 ??

Octopus v4: Graph of language models

??https://github.com/NexaAI/octopus-v4 ??

??https://hf-mirror.com/NexaAIDev/Octopus-v4??

本文轉(zhuǎn)載自 ??PaperAgent??，作者： PaperAgent