11月30日，開源生成式AI平臺Together AI在官網(wǎng)宣布，獲得1.025億美元（約7.3億元）A輪融資。本次由凱鵬華盈 (Kleiner Perkins) 領投，英偉達、Emergence Capital、 NEA、Prosperity 7、Greycroft等跟投。

公開資料顯示，Together AI創(chuàng)立于2022年6月，總部位于美國舊金山硅谷。曾在今年5月15日獲得2000萬美元種子輪融資，是大模型開源領域發(fā)展非?？斓囊患移髽I(yè)。

產(chǎn)品方面，Together AI堅信開源才是大模型的未來，自成立以來便發(fā)布了多個受到企業(yè)、開發(fā)者好評的開源產(chǎn)品。

分別是類ChatGPT開源模型RedPajama-INCITE，開源30萬億訓練數(shù)據(jù)集RedPajama-Data-v2，開源大語言模型訓練、推理加速器FlashAttention v2。

下面，「AIGC開放社區(qū)」將介紹這些主打開源產(chǎn)品并附帶地址。

RedPajama-INCITE：是Together AI在今年5月初發(fā)布的一款類ChatGPT開源模型，主要包括30億、70億兩種參數(shù)，特點是功能強大算力消耗低，可在筆記本、普通顯卡運行，適用于中小企業(yè)和個人開發(fā)者。

30億參數(shù)開源地址：https://huggingface.co/togethercomputer/RedPajama-INCITE-Base-3B-v1

70億參數(shù)開源地址：https://huggingface.co/togethercomputer/RedPajama-INCITE-Chat-7B-v0.1

RedPajama-Data-v2：今年3月Together AI首次開源了1萬億訓練數(shù)據(jù)集，受到開發(fā)者的極大好評下載量近20萬次。

最近，又開源了專門用于訓練大語言模型的30萬億訓練數(shù)據(jù)集RedPajama-Data-v2，這也是目前最大的開源數(shù)據(jù)集。

該數(shù)據(jù)集包含1000 億個文本文檔，其中300億文檔已進行了標記，支持英語、法語、西班牙語、德語和意大利語5種語言。

30萬億開源訓練數(shù)據(jù)集

github地址：https://github.com/togethercomputer/RedPajama-Data

Huggingface地址：https://huggingface.co/datasets/togethercomputer/RedPajama-Data-V2

FlashAttention v2：這是Together AI首席科學家Tri Dao博士，在今年7月17日發(fā)布的一款大語言模型訓練、推理加速器，已經(jīng)被 OpenAI、Anthropic、Meta等知名科技巨頭使用，其性能可見一斑。

FlashAttention-2將大語言模型的訓練和微調(diào)效率提高了4倍，并在 NVIDIA A100上的訓練中實現(xiàn)了72%的模型 FLOP 利用率。

幾乎成為Transformer 架構模型使用最多的訓練、推理加速器，支持100多種主流大語言模型。

FlashAttention v2開源地址：https://github.com/Dao-AILab/flash-attention

此外，隨著ChatGPT的影響不斷擴大受眾用戶、初創(chuàng)企業(yè)呈指數(shù)級增長，Together AI還新增了全新的生成式AI云平臺服務。

Together AI與英偉達、 Crusoe Cloud、Vultr等伙伴進行合作，在歐美地區(qū)運營了一個云計算中心，為生成式AI初創(chuàng)企業(yè)提供推理、訓練等服務。例如，剛獲得5500萬美元融資的文生視頻平臺Pika Labs，便是他們的忠實用戶。

本文素材來源Together AI官網(wǎng)，如有侵權請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 開源生成式AI初創(chuàng)平臺together.ai，獲7.3億元融資