這幾天，代碼大模型領(lǐng)域又熱鬧了起來！

先是 Meta 開源代碼專用大模型 Code Llama，且免費商用。效果也非常好，Code Llama 在 HumanEval 和 MBPP 代碼數(shù)據(jù)集上的一次生成通過率（pass@1）輕松超越 GPT-3.5，其中「Unnatural」版本的 pass@1 逼近了原始 GPT-4（OpenAI 在今年 3 月 GPT-4 技術(shù)報告中的數(shù)據(jù)）。

Code Llama 發(fā)布僅一天，來自 Phind 組織的研究人員用微調(diào)的 Code Llama-34B 在 HumanEval 評估中擊敗了 GPT-4。他們的兩個模型 Phind-CodeLlama-34B-v1 以及 Phind-CodeLlama-34B-Python-v1 在 HumanEval 分別實現(xiàn) 67.6% 和 69.5% 的 pass@1，顯然都超越了原始 GPT-4 的 67%。

不過，僅僅又過了一天，Phind 微調(diào)版 Code Llama 又迎來了一個強勁的對手。這次是 WizardLM 團隊的編程專用大模型 WizardCoder。

該團隊推出了基于 Code Llama 的最新版本模型 WizardCoder 34B，它利用 Evol-Instruct 進行微調(diào)而成。

結(jié)果顯示，它在 HumanEval 上的 pass@1 達到了驚人的 73.2%，超越了原始 GPT-4、ChatGPT-3.5 以及 Claude 2、Bard。此外，WizardCoder 13B 和 7B 版本也將很快到來。

• GitHub 地址：https://github.com/nlpxucan/WizardLM/tree/main/WizardCoder
• Huggingface：https://huggingface.co/WizardLM/WizardCoder-Python-34B-V1.0

此次具體版本是 WizardCoder-Python-34B-V1.0，下圖是與主流閉源和開源模型的 HumanEval pass@1 比較。除了最新 API 的 GPT-4（該團隊測試后得到的結(jié)果是 82.0%），該模型超越了所有閉源和開源模型，包括最新 API 的 ChatGPT（72.5%）和原始 GPT-4（67%）。

因此，WizardCoder-Python-34B-V1.0 成為了最新的 SOTA 開源代碼大模型。

WizardLM 團隊還表示，WizardCoder-Python-34B-V1.0 的性能百分之百是可以復(fù)現(xiàn)的。

想要體驗 WizardCoder-Python-34B-V1.0 的小伙伴可以嘗試以下 demo。

demo 地址：http://47.103.63.15:50085/

有人表示，在試了 demo 后發(fā)現(xiàn)，提供準確代碼之前似乎有 COT（思維鏈）在起作用，這非常棒。

還有人表示，WizardCoder-Python-34B-V1.0 要比 GPT-4 犯的錯更少。

不過運行 WizardCoder-Python-34B-V1.0 需要 32GB 以上的 mac。

WizardLM 團隊會帶來更多驚喜

WizardCoder 在成為代碼家族一員已經(jīng)不是新鮮事，但是 WizardLM 團隊每次都會給大家?guī)聿灰粯拥捏@喜。

斯坦福發(fā)布的大語言模型排行榜 AlpacaEval 是一種基于 LLM 的全自動評估基準，且更加快速和可靠。很多著名的模型如 GPT-4、ChatGPT 等都在其上刷榜單。在這其中，WizardLM 13B V1.2 依舊在第六位。

WizardLM 是由 Can Xu 等人在 2023 年 4 月提出的一個能夠根據(jù)復(fù)雜指令生成文本的大型語言模型。它使用了一個名為 Evol-Instruct 的算法來生成和改寫指令數(shù)據(jù)，從而提高了指令的復(fù)雜度和多樣性。 WizardLM 共有三個版本：7B、13B 和 30B。

WizardLM 推出的指令微調(diào)代碼大模型 ——WizardCoder，更是打破了閉源模型的壟斷地位，在 HumanEval 和 HumanEval + 上優(yōu)于 Anthropic 的 Claude 和 Google 的 Bard。

更值得一提的是，WizardCoder 還大幅度地提升了開源模型的 SOTA 水平，創(chuàng)造了驚人的進步，提高了 22.3% 的性能，成為了開源領(lǐng)域的新晉「領(lǐng)頭羊」。

以下為 WizardLM 團隊在 GitHub 上發(fā)布的諸多模型，這些模型是該團隊不斷創(chuàng)新、改進的足跡。

WizardLM 團隊在 WizardLM 與 WizardCoder 之后，還在今年八月中旬公布了 WizardMath。該團隊還發(fā)推文表示，自己一直在致力于解決各個學科復(fù)雜的問題。

那么未來 WizardLM 團隊還會帶給我們怎樣的驚喜，讓我們拭目以待。