10月17日消息，據(jù)外媒報(bào)道，AI初創(chuàng)公司Mistral?AI日前推出了兩款新的AI大模型，Ministral?3B和8B，由于它們的體積較小，因此設(shè)計(jì)用于設(shè)備上和邊緣計(jì)算。

該公司將這個(gè)新模型家族命名為“l(fā)es?Ministraux”，因?yàn)樗鼈冊(cè)诓坏?00億參數(shù)類別中的評(píng)級(jí)，可以在智能手機(jī)、平板電腦和物聯(lián)網(wǎng)設(shè)備等平臺(tái)上運(yùn)行。Mistral表示，這些新的前沿模型可以針對(duì)常見(jiàn)用例進(jìn)行微調(diào)，包括專業(yè)任務(wù)，并通過(guò)函數(shù)調(diào)用功能作為AI代理工作。

該公司表示，客戶和合作伙伴越來(lái)越多地要求“本地化、隱私優(yōu)先的推斷，用于關(guān)鍵應(yīng)用，如設(shè)備上的翻譯、無(wú)需互聯(lián)網(wǎng)的智能助手、本地分析和自主機(jī)器人”。Les?Ministraux旨在為這些場(chǎng)景提供高效計(jì)算和低延遲的解決方案。

這些較小的AI模型可以用作較大模型，如Mistral?Large的調(diào)節(jié)器，作為多步驟工作流程中的中介，處理輸入解析、任務(wù)路由和應(yīng)用調(diào)用以降低成本。

據(jù)悉，這兩個(gè)模型支持高達(dá)128,000個(gè)令牌的上下文長(zhǎng)度，這使它們?cè)跀?shù)據(jù)輸入量方面與OpenAI的GPT-4?Turbo保持一致。Ministral?8B還配備了一種特殊的“滑動(dòng)窗口注意力模式”，能夠?qū)崿F(xiàn)更快、更節(jié)省內(nèi)存的部署。

Ministral?3B和8B的發(fā)布是在Mistral?7B發(fā)布一年后，Mistral?7B是該公司宣稱在模型架構(gòu)方面取得重大進(jìn)步的一個(gè)LLM。8B和3B指的是兩個(gè)模型中的參數(shù)數(shù)量，分別是80億和30億，公司表示最小的模型，Ministral?3B，在大多數(shù)基準(zhǔn)測(cè)試中已經(jīng)超越了Mistral?7B。

根據(jù)基準(zhǔn)測(cè)試，預(yù)訓(xùn)練的Ministral?3B在多任務(wù)語(yǔ)言理解評(píng)估中超過(guò)了谷歌公司的Gemma?2?2B和Meta的Llama?3.2?3B模型，得分分別為60.9對(duì)比52.4和56.2。Ministral?8B也以65.0分的成績(jī)超過(guò)了Llama?8B的64.7分。