12月6日，彭博消息，開源類ChatGPT平臺(tái)Mistral AI獲得4.5億歐元（近35億元）融資，估值近20億美元（142億元）。本次由英偉達(dá)、 Salesforce等投資。

Mistral AI的開源大語言模型Mistral 7B主打參數(shù)小、能耗低、性能強(qiáng)等特點(diǎn)，并且允許商業(yè)化。支持生成文本/代碼、數(shù)據(jù)微調(diào)、總結(jié)內(nèi)容等，目前在github有4500顆星。

值得一提的是，Mistral AI曾在沒有發(fā)布任何產(chǎn)品的情況下，獲得1.13億美元種子輪融資，這也是歐洲科技史上最大的種子輪融資之一。

開源地址：https://github.com/mistralai/mistral-src

幫助文檔：https://docs.mistral.ai/

API接口：https://docs.mistral.ai/api

相比元宇宙，剛過完1歲生日的ChatGPT經(jīng)受住了商業(yè)落地、用戶受眾等多重考驗(yàn)，并且?guī)?dòng)了一大批科技公司參與到生成式AI變革中。

目前，主要分為閉源和開源兩大陣營。在Meta的Llama打響第一槍后，開源大語言模型領(lǐng)域涌現(xiàn)出了Writer、百川智能、Together.ai、Mistral AI等一大批優(yōu)秀企業(yè)，同時(shí)獲得了資本市場的認(rèn)可。這些廠商也堅(jiān)信，開源才是大模型通向AGI的捷徑之一。

早在今年6月「AIGC開放社區(qū)」就介紹過Mistral AI，當(dāng)時(shí)對其印象非常深刻。因?yàn)闆]有發(fā)布任何產(chǎn)品，官網(wǎng)只有3句話：我們正在組建一支世界一流的技術(shù)團(tuán)隊(duì)，來開發(fā)最好的生成式 AI 模型。

今年6月Mistral AI的官網(wǎng)內(nèi)容

我們在歐洲開展業(yè)務(wù)，總部在法國巴黎。如果你在AI領(lǐng)域擁有豐富的研究、開發(fā)經(jīng)驗(yàn)，請聯(lián)系我們。

當(dāng)時(shí)就憑這三句話，便融了1.13億美元種子輪融資，估值達(dá)到2.6億美元。通常這種企業(yè)要么蹭一波熱度拿完錢，隨便改改模型坐著等死；

要么就是掃地僧級(jí)別的技術(shù)大牛，一出手便名震天下。從本次融資結(jié)果來看，Mistral AI屬于后者確實(shí)有兩下子。

公開資料顯示，Mistral AI的三位聯(lián)合創(chuàng)始人Timothée Lacroix 、Guillaume Lample和Arthur Mensch來頭不小，擁有大廠履歷和知名項(xiàng)目的成功經(jīng)驗(yàn)同時(shí)也是大學(xué)校友。

Guillaume、Arthur、Timothee

Timothée和Guillaume曾在Meta的AI研究部門工作，并領(lǐng)導(dǎo)了LLaMA的開發(fā)，這也是類ChatGPT開源模型的鼻祖。Arthur曾在谷歌的 AI 研究實(shí)驗(yàn)室DeepMind工作。

Mistral AI核心團(tuán)隊(duì)

產(chǎn)品方面，Mistral AI在今年9月27日推出的Mistral 7B是目前最強(qiáng)開源大語言模型，在所有基準(zhǔn)測試中均優(yōu)于Llama 2 13B；在許多基準(zhǔn)測試上優(yōu)于或與Llama 1 34B相當(dāng)；在代碼測試的表現(xiàn)與CodeLlama 7B相當(dāng)。

為了使模型能以更快的速度、更小的能耗進(jìn)行推理，Mistral AI分別使用了分組查詢注意力和滑動(dòng)窗口注意力兩大機(jī)制。

分組查詢注意力是對標(biāo)準(zhǔn)注意力機(jī)制的一種改進(jìn)，通過對查詢進(jìn)行分組來減少計(jì)算復(fù)雜性。在 Transformer 模型中，注意力機(jī)制通常涉及查詢、鍵和值的三組向量。

在標(biāo)準(zhǔn)的自注意力機(jī)制中，每個(gè)查詢都會(huì)與所有的鍵進(jìn)行匹配，這在序列很長時(shí)會(huì)導(dǎo)致巨大的計(jì)算負(fù)擔(dān)。

而分組查詢注意力通過將多個(gè)查詢合并成一個(gè)組來工作。然后，每個(gè)組的查詢向量只與一部分鍵向量進(jìn)行交互，而不是與所有鍵向量交互，整體效率非常高效。

滑動(dòng)窗口注意力是一種在序列處理任務(wù)中用來限制注意力機(jī)制的范圍并減少計(jì)算量的技術(shù)。在這種方法中，每個(gè)元素的注意力不是對整個(gè)序列計(jì)算，而是僅限于其附近的一個(gè)窗口內(nèi)的元素。

Mistral 7B詳細(xì)介紹

通過這種方式，模型的每個(gè)部分只需要處理窗口內(nèi)的信息，從而降低了每個(gè)注意力計(jì)算中涉及的元素?cái)?shù)目。

這不僅減少了計(jì)算需求，還可以限制模型的上下文范圍，有助于模型關(guān)注局部信息。

本文素材來源Mistral AI官網(wǎng)、維基百科，如有侵權(quán)請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國RPA生態(tài)發(fā)展 | 流 > 35億元！開源類ChatGPT平臺(tái)Mistral AI，再獲巨額融資