Mistral AI新模型對(duì)標(biāo)GPT-4,不開(kāi)源且與微軟合作,網(wǎng)友:忘了初心
生成式 AI 領(lǐng)域,又有重量級(jí)產(chǎn)品出現(xiàn)。
周一晚間,Mistral AI 正式發(fā)布了「旗艦級(jí)」大模型 Mistral Large。與此前的一系列模型不同,這次 Mistral AI 發(fā)布的版本性能更強(qiáng),體量更大,直接對(duì)標(biāo) OpenAI 的 GPT-4。而新模型的出現(xiàn),也伴隨著公司大方向的一次轉(zhuǎn)型。
隨著 Mistral Large 上線,Mistral AI 推出了名為 Le Chat 的聊天助手(對(duì)標(biāo) ChatGPT),任何人都可以試試效果。
試用鏈接:https://chat.mistral.ai/
此前,Mistral AI 提出的 Mistral-Medium 因?yàn)閺?qiáng)大的性能、「意外」的開(kāi)源而名噪一時(shí),目前很多大模型初創(chuàng)企業(yè)都已不再對(duì)標(biāo) Llama 2,而是將 Mistral AI 旗下模型作為直接競(jìng)爭(zhēng)對(duì)手。此次 Mistral Large 的出現(xiàn),自然迅速吸引了眾人關(guān)注。
人們首先關(guān)注的是性能,盡管在參數(shù)數(shù)量上不及 GPT-4,Mistral-Large 在關(guān)鍵性能方面卻能與 GPT-4 媲美,可以說(shuō)是當(dāng)前業(yè)內(nèi)的前三:
Mistral Large 的推理準(zhǔn)確性優(yōu)于 Claude 2、Gemini 1.0 Pro、GPT-3.5,支持 32k token 的上下文窗口,支持精確指令,自帶函數(shù)調(diào)用能力。
人們也發(fā)現(xiàn) Mistral Large 的推理速度超過(guò)了 GPT-4 和 Gemini Pro。然而優(yōu)點(diǎn)到此為止。
模型除了增加體量,也需要有相應(yīng)的數(shù)據(jù)。在模型發(fā)布后,人們發(fā)現(xiàn)它生成的文本有一種 ChatGPT 的既視感。
如果說(shuō)為了能趕上業(yè)內(nèi)最先進(jìn)的 GPT-4,使用 AI 生成的內(nèi)容進(jìn)行訓(xùn)練或許并不是什么大問(wèn)題。但 Mistral Large 的出現(xiàn)也給 AI 社區(qū)的人們帶來(lái)了危機(jī)感:它并不是一個(gè)開(kāi)源大模型。
這次發(fā)布的大模型有跑分,有 API 和應(yīng)用,就是不像往常一樣有 GitHub 或是下載鏈接。
有網(wǎng)友發(fā)現(xiàn),新模型發(fā)布后,Mistral AI 官網(wǎng)還悄悄把所有有關(guān)開(kāi)源社區(qū)義務(wù)的內(nèi)容全部撤掉了:
難道以開(kāi)源起家的 Mistral AI,成立才不足一年,這就要轉(zhuǎn)向了嗎?
Mistral Large 目前已經(jīng)能在 Mistral AI 自有平臺(tái) La Plateforme 和微軟 Azure 上使用。除了 Mistral Large 之外,Mistral AI 還發(fā)布了新模型 Mistral Small,針對(duì)延遲和成本進(jìn)行了優(yōu)化。Mistral Small 的性能優(yōu)于 Mixtral 8x7B,并且推理延遲得到了降低,提供了一種開(kāi)放權(quán)重模型和旗艦?zāi)P椭g的中間方案。
但模型的定價(jià)也引發(fā)了一些質(zhì)疑。比如 Mistral Small 的低延遲相比于 Mixtral 8x7B 的提升微乎其微,但輸入貴了 2.8 倍,輸出貴了 8.5 倍:
如果以商業(yè)大模型的標(biāo)準(zhǔn)來(lái)看待,Mistral Large 的定價(jià)和 GPT-4 相比并不具備優(yōu)勢(shì),這又該如何吸引客戶呢?
這位業(yè)內(nèi)人士表示:「如果它的價(jià)格是 GPT-4 Turbo 的一半,我會(huì)更理解?!?/span>
新的 Mistral AI「大杯」模型,表現(xiàn)如何?
在官方博客中,Mistral AI 詳細(xì)介紹了 Mistral Large 的功能和優(yōu)勢(shì):
Mistral Large 在多個(gè)常用基準(zhǔn)測(cè)試中取得了優(yōu)異的成績(jī),使其成為世界上排名第二的可通過(guò) API 普遍使用的模型(僅次于 GPT-4):
GPT-4、Mistral Large(預(yù)訓(xùn)練)、Claude 2、Gemini Pro 1.0、GPT 3.5 和 LLaMA 2 70B 在 MMLU 上的比較(測(cè)量大規(guī)模多任務(wù)語(yǔ)言理解)。
Mistral Large 的優(yōu)勢(shì)如下:
- Mistral Large 的母語(yǔ)是流利的英語(yǔ)、法語(yǔ)、西班牙語(yǔ)、德語(yǔ)和意大利語(yǔ),對(duì)語(yǔ)法和文化背景有細(xì)致入微的理解;
- Mistral Large 的 32K Token 上下文窗口允許從大型文檔中精確調(diào)用信息;
- 其精確的指令跟隨能力使開(kāi)發(fā)人員能夠設(shè)計(jì)自己的審核策略 ——Mistral AI 以此來(lái)設(shè)置 le Chat 的系統(tǒng)級(jí)審核;
- Mistral Large 本身就能夠進(jìn)行函數(shù)調(diào)用。這與在 la Plateforme 上實(shí)施的受限輸出模式一起,實(shí)現(xiàn)了大規(guī)模應(yīng)用程序開(kāi)發(fā)和技術(shù)堆?,F(xiàn)代化。
關(guān)于基準(zhǔn)測(cè)試結(jié)果對(duì)比,可以參考以下:
推理和知識(shí)
Mistral Large 展現(xiàn)出了強(qiáng)大的推理能力。下圖報(bào)告了預(yù)訓(xùn)練模型在標(biāo)準(zhǔn)基準(zhǔn)上的性能:
與多個(gè)領(lǐng)先 LLM 模型在廣泛常識(shí)、推理和知識(shí)基準(zhǔn)上的表現(xiàn)對(duì)比,基準(zhǔn)包括 MMLU(測(cè)量理解中的大規(guī)模多任務(wù)語(yǔ)言)、HellaSwag(10-shot)、Wino Grande(5-shot)、Arc Challenge(5-shot)、Arc Challenge(25-shot)、TriviaQA(5-shot)和 TruthfulQA。
多語(yǔ)言能力
Mistral Large 具有原生的多語(yǔ)言能力。它在法語(yǔ)、德語(yǔ)、西班牙語(yǔ)和意大利語(yǔ)的 HellaSwag、Arc Challenge 和 MMLU 基準(zhǔn)測(cè)試中明顯優(yōu)于 LLaMA 2 70B。
Mistral Large、Mixtral 8x7B 和 LLaMA 2 70B 在 HellaSwag、Arc Challenge 和 MMLU 上法語(yǔ)、德語(yǔ)、西班牙語(yǔ)和意大利語(yǔ)的比較。
數(shù)學(xué)和編碼
Mistral Large 在編碼和數(shù)學(xué)任務(wù)中表現(xiàn)出頂尖的性能。下表報(bào)告了一系列流行基準(zhǔn)的性能,以評(píng)估一些頂級(jí) LLM 模型的編碼和數(shù)學(xué)性能。
領(lǐng)先 LLM 模型在流行編碼和數(shù)學(xué)基準(zhǔn)上的性能:HumanEval pass@1、MBPP pass@1、Math maj@4、GSM8K maj@8(8-shot)和 GSM8K maj@1(5-shot)。
與微軟合作,行 OpenAI 故事
在發(fā)布 Mistral Large 等模型的同時(shí),Mistral AI 還宣布了一個(gè)消息:將與微軟合作,在 Azure 上提供自己的模型。
此次合作使 Mistral AI 成為第二家在微軟 Azure 云計(jì)算平臺(tái)上提供商業(yè)語(yǔ)言模型的公司。這有助于 Mistral AI 將自己的模型推向市場(chǎng),也讓 Mistral AI 有機(jī)會(huì)使用 Azure 的尖端 AI 基礎(chǔ)設(shè)施,以加速其下一代大型語(yǔ)言模型的開(kāi)發(fā)和部署。
這家公司表示,「在 Mistral AI,我們的使命是讓前沿人工智能無(wú)處不在。這就是我們今天宣布將自己的開(kāi)放和商業(yè)模型引入 Azure 的原因。微軟對(duì)我們模型的信任讓我們前進(jìn)了一步!」
這項(xiàng)為期多年的協(xié)議標(biāo)志著微軟正在其最大的賭注 OpenAI 之外,努力提供各種人工智能模型,為其 Azure 云服務(wù)吸引更多客戶。去年 11 月,OpenAI 經(jīng)歷了 CEO Altman 被解雇(后又重返)的風(fēng)波。而作為最大的股東,微軟在消息公布前 5 到 10 分鐘才從 OpenAI 那里得到消息。在這次動(dòng)蕩后,微軟設(shè)法在控制 OpenAI 的非營(yíng)利性董事會(huì)中獲得了一個(gè)無(wú)投票權(quán)的觀察員席位。這讓他們對(duì) OpenAI 的內(nèi)部運(yùn)作有了更多了解,但在重大決策上,微軟依然沒(méi)有投票權(quán)。
Mistral AI 對(duì)路透社表示,作為交易的一部分,微軟將持有該公司少數(shù)股權(quán),但未透露細(xì)節(jié)。
微軟證實(shí)了對(duì) Mistral AI 的投資,但表示不持有該公司的股權(quán)。這家科技巨頭因向 OpenAI 提供巨額資金而受到歐洲和美國(guó)監(jiān)管機(jī)構(gòu)的審查。
根據(jù)公告,微軟與 Mistral AI 的合作主要集中在三個(gè)核心領(lǐng)域:
- 超算基礎(chǔ)設(shè)施:微軟將通過(guò) Azure AI 超級(jí)計(jì)算基礎(chǔ)設(shè)施支持 Mistral AI ,為 Mistral AI 旗艦?zāi)P偷?AI 訓(xùn)練和推理工作負(fù)載提供一流的性能和規(guī)模;
- 市場(chǎng)推廣:微軟和 Mistral AI 將通過(guò) Azure AI Studio 和 Azure 機(jī)器學(xué)習(xí)模型目錄中的模型即服務(wù)(MaaS)向客戶提供 Mistral AI 的高級(jí)模型。除 OpenAI 模型外,模型目錄還提供了多種開(kāi)源和商業(yè)模型。
- 人工智能研發(fā):微軟和 Mistral AI 將探索為特定客戶訓(xùn)練特定目的模型的合作。
除了微軟,MistralAI 還一直在與亞馬遜和谷歌合作,分銷自己的模型。一位發(fā)言人表示,該公司計(jì)劃在未來(lái)幾個(gè)月內(nèi)將 Mistral Large 應(yīng)用于其他云平臺(tái)。
Mistral AI 成立于 2023 年 5 月,由來(lái)自 Meta Platforms 和 Alphabet 的幾位前研究人員 ——Arthur Mensch(現(xiàn)任 CEO)、Guillaume Lample 和 Timothee Lacroix 共同創(chuàng)立。成立不到四周,Mistral AI 就獲得了 1.13 億美元 的種子輪融資,估值約為 2.6 億美元。成立半年后,他們?cè)?A 輪融資中籌集了 4.15 億美元,估值飆升至 20 億美元,漲了七倍多。而此時(shí),他們僅有 22 名員工。
總體來(lái)說(shuō),Mistral AI 的模型現(xiàn)在有以下幾種獲取方式:
- Mistral AI 自己的 API:該接入點(diǎn)安全地托管在 Mistral AI 位于歐洲的基礎(chǔ)設(shè)施上,使開(kāi)發(fā)人員能夠在各種型號(hào)的模型上創(chuàng)建應(yīng)用和服務(wù)。
- Azure:Mistral Large 可通過(guò) Azure AI Studio 和 Azure Machine Learning 獲取,其用戶體驗(yàn)與 Mistral AI 的 API 一致。
- 安全部署:Mistral AI 的部分模型可以部署在用戶自己的環(huán)境中,用于對(duì)安全性最敏感的用例。
感興趣的讀者可以前去嘗試。
參考內(nèi)容:
https://mistral.ai/news/mistral-large/。
https://azure.microsoft.com/en-us/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/。
https://techcrunch.com/2024/02/26/mistral-ai-releases-new-model-to-rival-gpt-4-and-its-own-chat-assistant/。
https://www.reuters.com/technology/microsoft-partners-with-openais-french-rival-mistral-2024-02-26/。
https://azure.microsoft.com/en-us/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/。