出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

Mistral 發(fā)布了首個(gè)代碼模型 Codestral-22B！

該模型的瘋狂之處不僅在于訓(xùn)練了80多種編程語言，包括許多代碼模型忽略的Swift等。

還在于他非同一般的速度。要求用Go語言編寫一個(gè)“發(fā)布/訂閱”系統(tǒng)。這邊的GPT-4o還在輸出，Codestral已經(jīng)用快到看不清的速度交卷了！

由于該模型剛剛推出，尚未公開測試。但根據(jù)Mistral的負(fù)責(zé)人說法， Codestral是目前表現(xiàn)最佳的開源代碼模型。

圖片

感興趣的朋友可以移步：

-抱抱臉 ：https://huggingface.co/mistralai/Codestral-22B-v0.1

-博客：https://mistral.ai/news/codestral/    

從博客來看，Codestral在長文本以及多種編程語言的性能測試中都超過了對(duì)手，包括70B的CodeLlama、33B的Deepseek Coder和70B的Llama 3 70B。

圖片

下面來一起細(xì)致地看看代碼模型的“王”，Codestral強(qiáng)在何處。

1.Codestral要為代碼模型立標(biāo)準(zhǔn)

作為 22B 機(jī)型，Codestral 為代碼生成的性能/延遲空間設(shè)定了一個(gè)新標(biāo)準(zhǔn)。在核心上，Codestral 22B具有32K的上下文長度，為開發(fā)人員提供了在各種編程環(huán)境和項(xiàng)目中編寫和與代碼交互的能力。

圖片

上圖：Codestral 擁有 32k 的較大上下文窗口（不同于競爭對(duì)手的 4k、8k 或 16k），在代碼生成的遠(yuǎn)程評(píng)估 RepoBench 中優(yōu)于所有其他模型。

Codestral近乎瘋狂地在超過80種編程語言的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，這使其適合于各種編程任務(wù)，包括從頭開始生成代碼、完成編碼功能、編寫測試和使用中間填充機(jī)制完成任何部分代碼。

它涵蓋的編程語言包括流行的SQL、Python、Java、C和C++，以及更特定的Swift和Fortran等，成為編程界的多面手。

Mistral表示，Codestral可以幫助開發(fā)人員提升他們的編碼水平，加速工作流程，并在構(gòu)建應(yīng)用程序時(shí)節(jié)省大量的時(shí)間和努力。更不用說，它還可以幫助減少錯(cuò)誤和漏洞的風(fēng)險(xiǎn)。

上圖：Codestral性能在不同編程語言上的HumanEval評(píng)估

在HumanEval上評(píng)估Python代碼生成和CruxEval測試Python輸出預(yù)測時(shí)，該模型分別以81.1%和51.3%的分?jǐn)?shù)超越了競爭對(duì)手。它甚至在Bash、Java和PHP的HumanEval上也都取得了第一名。

值得注意的是，該模型在C++、C和Typescript的HumanEval上的表現(xiàn)并不是最好的，但所有測試的平均分?jǐn)?shù)最高，為61.5%，略高于Llama 3 70B的61.2%。在評(píng)估SQL性能的Spider評(píng)估中，它以63.5%的分?jǐn)?shù)排名第二。

一些流行的開發(fā)人員生產(chǎn)力和人工智能應(yīng)用開發(fā)工具已經(jīng)開始測試Codestral。這包括LlamaIndex、LangChain、Continue.dev、Tabnine和JetBrains等大名鼎鼎的名字。

“從我們的初步測試來看，它是一個(gè)生成代碼工作流的好選擇，因?yàn)樗焖伲杏欣纳舷挛拇翱?，并且指?dǎo)版本支持工具使用。我們使用LangGraph進(jìn)行了自我糾正代碼生成的測試，使用指導(dǎo)Codestral工具使用進(jìn)行輸出，并且它開箱即用效果非常好，”LangChain的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Harrison Chase說。

另外，Codestral已經(jīng)與JetBrains、SourceGraph和LlamaIndex在內(nèi)的幾家行業(yè)伙伴展開合作。LlamaIndex的CEO Jerry Liu提到他對(duì)Codestral的測試說，“到目前為止，它始終能生成高度準(zhǔn)確和實(shí)用的代碼，即使是復(fù)雜的任務(wù)也不例外。例如，當(dāng)我要求它完成一個(gè)創(chuàng)建新的 LlamaIndex 查詢引擎的非繁瑣函數(shù)時(shí)，它生成的代碼盡管基于較舊的代碼庫，卻能無縫運(yùn)行。”

2.如何開始使用Codestral？

Mistral在Hugging Face上提供Codestral 22B，在其自己的非商業(yè)許可下，允許開發(fā)人員將該技術(shù)用于非商業(yè)目的、測試和支持研究工作。

該公司還通過兩個(gè)API端點(diǎn)提供該模型：codestral.mistral.ai和api.mistral.ai。   

前者旨在為希望在IDE內(nèi)部使用Codestral的指導(dǎo)或中間填充路線的用戶設(shè)計(jì)。它配有個(gè)人級(jí)別的API密鑰，沒有通常的組織速率限制，在八周的測試期間免費(fèi)使用。而api.mistral.ai是更廣泛的研究、批量查詢或第三方應(yīng)用開發(fā)的常規(guī)端點(diǎn)，將每個(gè)Token的查詢計(jì)費(fèi)。

比較有趣的是，Mistral在 Le Chat 上公開了 Codestral 的指導(dǎo)版本，允許通過他們免費(fèi)的對(duì)話界面 Le Chat 訪問Codestral。開發(fā)人員可以自然、直觀地與 Codestral 互動(dòng)，充分利用該模型的功能。

3.寫在最后

國產(chǎn)大模型中同樣有表現(xiàn)驚艷的代碼模型，例如阿里不久前開源的70億參數(shù)大模型CodeQwen1.5-7B。

在HumanEval測試中，CodeQwen1.5-7B-Chat版本的得分甚至超過了GPT-4早期版本，比GPT-4-Turbo（2023年11月版本）略低。

圖片

CodeQwen的開發(fā)者Binyuan Hui在祝賀時(shí)不忘提醒Mistral的聯(lián)創(chuàng)Guillaume Lample，帶上通義一起測評(píng)下！

圖片

估計(jì)我們很快就能看到CodeQwen1.5-7B與Codestral在競技場上一決高下了。

來源： ??51CTO技術(shù)棧??