小模型正在變得越來越好，而且越來越便宜。

剛剛，法國 AI 創(chuàng)企 Mistral AI 開源了一個 24B 的多模態(tài)小模型，該模型在多個基準(zhǔn)上擊敗了 Gemma 3 和 GPT-4o Mini 等同類模型，而且推理速度達(dá)到了 150 個 token / 秒，稱得上是又好又快。

重要的是，它只需要一個 RTX 4090 或 32GB RAM 的 Mac 就能運行，而且開源協(xié)議是 Apache 2.0，因此既能用于研究，也能商用。

具體來說，Mistral Small 3.1 是基于 Mistral Small 3 構(gòu)建的。與 Mistral Small 3 相比，它的上下文窗口更大，達(dá)到了 128k（Mistral Small 3 僅為 32k），文本生成能力得到了改進，還新增了視覺能力。

Mistral 官方表示，Mistral Small 3.1 是一款多功能模型，旨在處理各種生成式 AI 任務(wù)，包括指令遵循、對話輔助、圖像理解和函數(shù)調(diào)用。它為企業(yè)級和消費級 AI 應(yīng)用提供了堅實的基礎(chǔ)。

目前，部分開發(fā)者已經(jīng)在自己的設(shè)備上完成了部署，并曬出了體驗效果：

Mistral Small 3.1 可在 huggingface 網(wǎng)站 Mistral Small 3.1 Base 和 Mistral Small 3.1 Instruct 上下載。

• Mistral Small 3.1 Base：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Base-2503
• Mistral Small 3.1 Instruct：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503  

以下是該模型的詳細(xì)信息。

核心特性

Mistral Small 3.1 具有以下特點：

• 輕量級：可以在單個 RTX 4090 或具有 32GB RAM 的 Mac 上運行。這使其非常適合端側(cè)使用情況。
• 快速響應(yīng)能力：非常適合虛擬助手和其他需要快速、準(zhǔn)確響應(yīng)的應(yīng)用程序。
• 低延遲函數(shù)調(diào)用：能夠在自動化或智能體工作流中快速執(zhí)行函數(shù)。
• 針對專業(yè)領(lǐng)域進行微調(diào)：Mistral Small 3.1 可以針對特定領(lǐng)域進行微調(diào)，打造精準(zhǔn)的主題專家。這在法律咨詢、醫(yī)療診斷和技術(shù)支持等領(lǐng)域尤其有用。
• 高級推理的基礎(chǔ)：開放的 Mistral 模型已經(jīng)被開發(fā)者用來構(gòu)建出色的推理模型，比如 Nous Research 的 DeepHermes 24B 就是基于 Mistral Small 3 構(gòu)建出來的。為了鼓勵這種創(chuàng)新，Mistral AI 發(fā)布了 Mistral Small 3.1 的基礎(chǔ)模型和指令檢查點，以便社區(qū)進一步對模型進行下游定制。

Mistral Small 3.1 可用于需要多模態(tài)理解的各種 B 端和 C 端應(yīng)用程序，例如文檔驗證、診斷、端側(cè)圖像處理、質(zhì)量檢查的視覺檢查、安全系統(tǒng)中的物體檢測、基于圖像的客戶支持和通用協(xié)助。

性能展示

以下是 Mistral Small 3.1 在文本、多模態(tài)、多語言、長上下文等場景中的性能表現(xiàn)情況。

文本指令基準(zhǔn)

多模態(tài)指令基準(zhǔn)

多語言指令基準(zhǔn)

預(yù)訓(xùn)練性能