谷歌發(fā)布了面向企業(yè)、開發(fā)人員的全新代碼模型Code Gemma，一共有基礎(chǔ)預(yù)訓(xùn)練、指令微調(diào)和快速推理三個(gè)版本。

Code Gemma是基于谷歌在今年2月發(fā)布的Gemma模型之上開發(fā)而成。其參數(shù)很小只有20億和70億兩種，但使用了超過5000億tokens的代碼、數(shù)學(xué)、文本等數(shù)據(jù)進(jìn)行了大規(guī)模預(yù)訓(xùn)練，能快速生成Python、JavaScript、Java、C/C++、C#等主流編程語言代碼。

在代碼編程、多語言編程等基準(zhǔn)測(cè)試中，Code Gemma 70億參數(shù)的性能超過了DeepSeek Coder、 StarCoder2等同類代碼模型，并且推理效率和準(zhǔn)確率更高。

開源地址：https://huggingface.co/collections/google/codegemma-release-66152ac7b683e2667abdee11

技術(shù)報(bào)告地址：https://goo.gle/codegemma

Code Gemma簡(jiǎn)單介紹

為了提升模型的性能，Code Gemma開發(fā)團(tuán)隊(duì)采用了基于“填充中間”任務(wù)的訓(xùn)練方法，對(duì)性能進(jìn)行了大幅度改進(jìn)，包括使用特定的格式化控制令牌，例如，F(xiàn)IM前綴、中間和后綴，以及文件分隔符等。

還特別針對(duì)多文件環(huán)境下的代碼生成任務(wù)進(jìn)行了優(yōu)化。通過將代碼庫中最相關(guān)的源文件放在一起，并盡可能將它們分組到同一個(gè)訓(xùn)練樣本中，可以使模型能夠更好地理解和生成基于倉(cāng)庫級(jí)別上下文的代碼。

本次發(fā)布的Code Gemma系列模型一共有三個(gè)版本：Code Gemma 2B 是專門針對(duì)代碼填充進(jìn)行訓(xùn)練，其推理效率非常高但對(duì)硬件要求卻很低，非常適用于對(duì)延遲、隱私要求較高的業(yè)務(wù)環(huán)境中。

Code Gemma 7B 是基礎(chǔ)預(yù)訓(xùn)練模型，主要包括代碼填充數(shù)據(jù)（80%）和自然語言，可用于代碼補(bǔ)全以及代碼和語言的理解和生成。

Code Gemma 7B Instruct 是在Code Gemma 7B。基礎(chǔ)之上進(jìn)行了指令微調(diào)，非常適用于開發(fā)對(duì)話式AI機(jī)器人，尤其是代碼、編程或數(shù)學(xué)推理主題的對(duì)話。

為了提升Code Gemma的推理能力，開發(fā)人員在多個(gè)數(shù)學(xué)數(shù)據(jù)集上進(jìn)行監(jiān)督式微調(diào)，包括來自競(jìng)賽的12,500個(gè)具有挑戰(zhàn)性的數(shù)學(xué)問題、8,500個(gè)小學(xué)數(shù)學(xué)問題、大規(guī)模的數(shù)學(xué)文字問題數(shù)據(jù)集等，以及用于提高解決長(zhǎng)代數(shù)問題能力的合成數(shù)據(jù)集。

Code Gemma測(cè)試數(shù)據(jù)

開發(fā)人員在多個(gè)知名測(cè)試平臺(tái)中對(duì)Code Gemma進(jìn)行了多維度的測(cè)試，皆取得了不錯(cuò)的成績(jī)。

通過HumanEval In?lling平臺(tái)測(cè)試了Code Gemma的CodeGemma的代碼補(bǔ)全能力，結(jié)果顯示，Code Gemma 2B表現(xiàn)出色，與其他FIM感知代碼模型相比，在推理速度上快了近2倍，同時(shí)保持了更好的代碼補(bǔ)全質(zhì)量。

在Python編碼方面，Code Gemma使用了HumanEval和MBPP測(cè)試平臺(tái)。結(jié)果顯示，CodeGemma 7B預(yù)訓(xùn)練基礎(chǔ)模型和指令微調(diào)兩款模型，均優(yōu)于Gemma基礎(chǔ)模型，并且在在Python編程任務(wù)上效果更好。

多語言編程方面，CodeGemma使用了Babel Code測(cè)試平臺(tái)，結(jié)果顯示，Code Gemma在多種流行的編程語言上都展現(xiàn)出了強(qiáng)大的編碼能力，包括C/C++、C#、Go、Java、JavaScript、Kotlin、Python和Rust等。

尤其是在Java、JavaScript和Kotlin等語言上，Code Gemma的指令微調(diào)版本效果非常好。

本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/BQ1uOpKxIrHDzHoaC-G9Jg??