谷歌發(fā)布了面向企業(yè)、開(kāi)發(fā)人員的全新代碼模型Code Gemma，一共有基礎(chǔ)預(yù)訓(xùn)練、指令微調(diào)和快速推理三個(gè)版本。

Code Gemma是基于谷歌在今年2月發(fā)布的Gemma模型之上開(kāi)發(fā)而成。其參數(shù)很小只有20億和70億兩種，但使用了超過(guò)5000億tokens的代碼、數(shù)學(xué)、文本等數(shù)據(jù)進(jìn)行了大規(guī)模預(yù)訓(xùn)練，能快速生成Python、JavaScript、Java、C/C++、C#等主流編程語(yǔ)言代碼。

在代碼編程、多語(yǔ)言編程等基準(zhǔn)測(cè)試中，Code Gemma 70億參數(shù)的性能超過(guò)了DeepSeek Coder、 StarCoder2等同類(lèi)代碼模型，并且推理效率和準(zhǔn)確率更高。

開(kāi)源地址：https://huggingface.co/collections/google/codegemma-release-66152ac7b683e2667abdee11

技術(shù)報(bào)告地址：https://goo.gle/codegemma

Code Gemma簡(jiǎn)單介紹

為了提升模型的性能，Code Gemma開(kāi)發(fā)團(tuán)隊(duì)采用了基于“填充中間”任務(wù)的訓(xùn)練方法，對(duì)性能進(jìn)行了大幅度改進(jìn)，包括使用特定的格式化控制令牌，例如，F(xiàn)IM前綴、中間和后綴，以及文件分隔符等。

還特別針對(duì)多文件環(huán)境下的代碼生成任務(wù)進(jìn)行了優(yōu)化。通過(guò)將代碼庫(kù)中最相關(guān)的源文件放在一起，并盡可能將它們分組到同一個(gè)訓(xùn)練樣本中，可以使模型能夠更好地理解和生成基于倉(cāng)庫(kù)級(jí)別上下文的代碼。

本次發(fā)布的Code Gemma系列模型一共有三個(gè)版本：Code Gemma 2B 是專(zhuān)門(mén)針對(duì)代碼填充進(jìn)行訓(xùn)練，其推理效率非常高但對(duì)硬件要求卻很低，非常適用于對(duì)延遲、隱私要求較高的業(yè)務(wù)環(huán)境中。

Code Gemma 7B 是基礎(chǔ)預(yù)訓(xùn)練模型，主要包括代碼填充數(shù)據(jù)（80%）和自然語(yǔ)言，可用于代碼補(bǔ)全以及代碼和語(yǔ)言的理解和生成。

Code Gemma 7B Instruct 是在Code Gemma 7B?；A(chǔ)之上進(jìn)行了指令微調(diào)，非常適用于開(kāi)發(fā)對(duì)話式AI機(jī)器人，尤其是代碼、編程或數(shù)學(xué)推理主題的對(duì)話。

為了提升Code Gemma的推理能力，開(kāi)發(fā)人員在多個(gè)數(shù)學(xué)數(shù)據(jù)集上進(jìn)行監(jiān)督式微調(diào)，包括來(lái)自競(jìng)賽的12,500個(gè)具有挑戰(zhàn)性的數(shù)學(xué)問(wèn)題、8,500個(gè)小學(xué)數(shù)學(xué)問(wèn)題、大規(guī)模的數(shù)學(xué)文字問(wèn)題數(shù)據(jù)集等，以及用于提高解決長(zhǎng)代數(shù)問(wèn)題能力的合成數(shù)據(jù)集。

Code Gemma測(cè)試數(shù)據(jù)

開(kāi)發(fā)人員在多個(gè)知名測(cè)試平臺(tái)中對(duì)Code Gemma進(jìn)行了多維度的測(cè)試，皆取得了不錯(cuò)的成績(jī)。

通過(guò)HumanEval In?lling平臺(tái)測(cè)試了Code Gemma的CodeGemma的代碼補(bǔ)全能力，結(jié)果顯示，Code Gemma 2B表現(xiàn)出色，與其他FIM感知代碼模型相比，在推理速度上快了近2倍，同時(shí)保持了更好的代碼補(bǔ)全質(zhì)量。

在Python編碼方面，Code Gemma使用了HumanEval和MBPP測(cè)試平臺(tái)。結(jié)果顯示，CodeGemma 7B預(yù)訓(xùn)練基礎(chǔ)模型和指令微調(diào)兩款模型，均優(yōu)于Gemma基礎(chǔ)模型，并且在在Python編程任務(wù)上效果更好。

多語(yǔ)言編程方面，CodeGemma使用了Babel Code測(cè)試平臺(tái)，結(jié)果顯示，Code Gemma在多種流行的編程語(yǔ)言上都展現(xiàn)出了強(qiáng)大的編碼能力，包括C/C++、C#、Go、Java、JavaScript、Kotlin、Python和Rust等。

尤其是在Java、JavaScript和Kotlin等語(yǔ)言上，Code Gemma的指令微調(diào)版本效果非常好。

本文素材來(lái)源谷歌官網(wǎng)，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > 谷歌開(kāi)源專(zhuān)業(yè)代碼模型：對(duì)硬件要求低，性能超強(qiáng)！