4月10日，Techcrunch消息，Meta在本周倫敦舉辦的一場活動中確定，下個月將正式發(fā)布Llama 3并且繼續(xù)開源。

Meta全球事務(wù)總裁Nick Clegg表示，我們希望在下個月，甚至更短的時間內(nèi)，正式推出新一代基礎(chǔ)模型Llama 3。它將有很多個版本，而且功能也各不相同。

根據(jù)Meta的AI副總裁Joelle Pineau透露，Llama 3的參數(shù)大約只有1400億左右，將繼續(xù)保持高性能，低參數(shù)的風(fēng)格。這對于中小企業(yè)和個人開發(fā)者來說幫助巨大，可以節(jié)省很多成本。

Llama系列模型時類ChatGPT開源模型的鼻祖，早在去年2月，ChatGPT火爆出圈時，全球多個國家、地區(qū)皆在嘗試開發(fā)類似的產(chǎn)品。雖然已經(jīng)有一些開源產(chǎn)品，但在功能、能耗等方面與其相差甚遠(yuǎn)。

同月，Meta重磅開源了類ChatGPT開源模型LLaMA。隨后，國內(nèi)外不少科研機(jī)構(gòu)、個人開發(fā)者在LLaMA基礎(chǔ)之上，開發(fā)了眾多知名開源項(xiàng)目。但LLaMA有一個致命缺點(diǎn)，無法商業(yè)化只能用于研究。

LLaMA與ChatGPT同樣是基于Transformers架構(gòu)演變而來，共有70億、130億、330億和650億參數(shù)四種類型，接受了20種不同語言文本的訓(xùn)練。

數(shù)據(jù)訓(xùn)練方面，LLaMA使用公開可用的數(shù)據(jù)集進(jìn)行訓(xùn)練，其中包括開放數(shù)據(jù)平臺Common Crawl、英文文檔數(shù)據(jù)集C4、代碼平臺GitHub、維基百科、論文平臺ArXiv等，總體標(biāo)記數(shù)據(jù)總量大約在1.4萬億個Tokens左右。

2023年7月，Meta在LLaMA基礎(chǔ)之上訓(xùn)練、開源了LLaMA 2，擁有70億、130億、340億和700億四種參數(shù)。并且這一代終于允許商業(yè)化。

Llama 2 預(yù)訓(xùn)練模型接受了2萬億個標(biāo)記的訓(xùn)練，上下文長度是Llama 1的兩倍。其微調(diào)模型已經(jīng)接受了超過100 萬個人類注釋的訓(xùn)練，整體性能非常強(qiáng)悍。

目前，Llama 2也是整個生成式AI開源界應(yīng)用最多的大模型之一。

本文素材來源Techcrunch，如有侵權(quán)請聯(lián)系刪除

END

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > Llama 3下月正式發(fā)布，繼續(xù)開源！