全球AI領(lǐng)導(dǎo)者英偉達(dá)（Nvidia）和著名開源大模型平臺(tái)Mistral.ai聯(lián)合開源了，企業(yè)級(jí)大模型Mistral NeMo 12B。（以下簡稱“MN 12B”）

據(jù)悉，MN 12B一共有基礎(chǔ)和指令微調(diào)兩種模型，支持128K上下文長度，能生成文本、代碼、摘要等，其性能比最新開源的Gemma 2更好。

基礎(chǔ)模型開源地址：https://huggingface.co/mistralai/Mistral-Nemo-Base-2407

指令微調(diào)模型：https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407

MN 12B在多輪對(duì)話、數(shù)學(xué)、常識(shí)推理、世界知識(shí)以及編碼方面表現(xiàn)出色，比谷歌開源的Gemma 2 9B、Meta開源的Llama 3 8B 性能更好。支持128K的上下文長度，能夠更連貫、更準(zhǔn)確地處理大量復(fù)雜信息。

MN 12B以Apache 2.0許可證發(fā)布，允許企業(yè)、個(gè)人開發(fā)者進(jìn)行商業(yè)化基礎(chǔ)訓(xùn)練和微調(diào)。此外，模型采用FP8數(shù)據(jù)格式進(jìn)行模型推理，極大減少了內(nèi)存大小并加快了部署速度，同時(shí)沒有任何準(zhǔn)確性的降低。這意味著模型可以更好地學(xué)習(xí)任務(wù)，更有效地處理多樣化的場景，使其非常適合企業(yè)級(jí)業(yè)務(wù)用例。

MN 12B作為NVIDIANIM推理微服務(wù)的一部分，使用了NVIDIA TensorRT-LLM引擎的優(yōu)化推理性能。這種容器化格式允許在任何地方輕松部署，為各種應(yīng)用提供了增強(qiáng)的靈活性，模型可以在幾分鐘內(nèi)部署在任何地方，無需耗費(fèi)幾天的時(shí)間。

在多語言方面，MN 12B支持英語、中文、法語、德語、西班牙語、意大利語、葡萄牙語、日語、韓語、阿拉伯語等主流語言，在MMLU等多語言基準(zhǔn)測(cè)試中超過了同類開源模型。

此外，MN 12B使用了一種基于Tiktoken的更高效分詞器Tekken。該分詞器經(jīng)過100多種語言的訓(xùn)練，比之前Mistral模型中使用的 SentencePiece 分詞器更有效地壓縮自然語言文本和源代碼。

尤其是在壓縮源代碼、中文、意大利語、法語、德語、西班牙語和俄語時(shí)，效率提升了大約30%。在壓縮韓語和阿拉伯語時(shí)效率相比之前，分別提升了2倍和3倍。

Mistral AI的創(chuàng)始人兼首席科學(xué)家Guillaume Lample表示，Mistral NeMo結(jié)合了Mistral AI在訓(xùn)練數(shù)據(jù)方面的專長與NVIDIA優(yōu)化的硬件和軟件生態(tài)系統(tǒng)為各種應(yīng)用場景提供了高性能。

本次與NVIDIA團(tuán)隊(duì)的合作，借助其頂級(jí)的硬件和軟件，共同開發(fā)出了具有前所未有的準(zhǔn)確度、靈活性、高效性的企業(yè)級(jí)大模型。

本文素材來源英偉達(dá)官網(wǎng)，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國RPA生態(tài)發(fā)展 | 流 > 英偉達(dá)、Mistral AI 開源企業(yè)級(jí)大模型，120億參數(shù)、可商用