全球科技巨頭Meta在社交平臺(tái)開源了，3個(gè)專業(yè)代碼大語(yǔ)言模型Code Llama 70B、CodeLlama-70B-Python和CodeLlama-70B-Instruct。

據(jù)悉，這三款模型都是基于Meta的Llama 2開發(fā)而成，比去年發(fā)布的三款70億、130億、340億三款專業(yè)代碼模型參數(shù)更大，這也是截至目前參數(shù)最大、功能最強(qiáng)的純代碼模型之一。

就連Meta聯(lián)合創(chuàng)始人扎克伯格都為Code Llama 70B代碼模型站臺(tái)官宣，可見其性能以及Meta對(duì)其重視程度。

Github地址：https://github.com/facebookresearch/codellama?ref=maginative.com

模型權(quán)重下載地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

由于Meta暫時(shí)沒有公布Code Llama 70B的論文，「AIGC開放社區(qū)」就用Meta曾經(jīng)發(fā)布的Code Llama論文為大家介紹下。

論文下載地址：https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/

Code Llama是基于目前最強(qiáng)開源大語(yǔ)言模型Llama 2開發(fā)而成，在代碼和文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練、微調(diào)，提升代碼生成和理解能力。

目前，一共有70億、130億、340億和700億四種參數(shù)。除了基礎(chǔ)模型之外，還有Python和Instruct兩種特殊微調(diào)模型，每個(gè)模型都使用了5000億tokens優(yōu)質(zhì)代碼數(shù)據(jù)進(jìn)行訓(xùn)練。

其中，70億和130億的 Code Llama模型采用了多任務(wù)目標(biāo)，包括自回歸和因果填充預(yù)測(cè)方法。為了提升輸入擴(kuò)展，研究人員進(jìn)行了額外的微調(diào)步驟，將上下文長(zhǎng)度從4,096tokens擴(kuò)展到了100,000tokens。

Python是目前代碼生成方面最高效、應(yīng)用最廣的編程語(yǔ)言之一，并且Python 和 PyTorch 在AI 社區(qū)中發(fā)揮著重要作用。

所以，Meta推出了針對(duì)Python的代碼模型。該模型在 1000億標(biāo)記的優(yōu)質(zhì)Python代碼進(jìn)行微調(diào)。

Code Llama - Instruct 則是 Code Llama 針對(duì)自然文本指令微調(diào)的模型，該模型支持自然文本輸入和輸出。

如果你想使用文本生成代碼，Meta建議使用該模型，因?yàn)镃ode Llama - Instruct已經(jīng)過(guò)數(shù)據(jù)微調(diào)理解自然文本更好并且生成的代碼更符合開發(fā)人員要求。

資源消耗方面，70億參數(shù)模型可在單個(gè)GPU上運(yùn)行。340億參數(shù)模型可返回最佳結(jié)果并提供更好的編程輔助，但資源消耗更大。所以，本次發(fā)布的700億參數(shù)模型，在AI算力方面也比前三個(gè)消耗更多。

根據(jù)Meta公布的消息，Code Llama 70B 在 HumanEval 基準(zhǔn)測(cè)試中的準(zhǔn)確率達(dá)到 53%，比 GPT-3.5 的 48.1% 表現(xiàn)更好，更接近OpenAI的GPT-4 67%，是目前性能最強(qiáng)的開源代碼模型之一。

此外，Code Llama 70B的多語(yǔ)言支持、子任務(wù)執(zhí)行、內(nèi)容安全方面，也是同類開源模型中最佳之一。

本文素材來(lái)源Code Llama論文，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > 700億參數(shù)，可商用！Meta開源3個(gè)最強(qiáng)代碼大模型