12月7日凌晨，谷歌在官網(wǎng)發(fā)布了全新最強多模態(tài)大模型——Gemini。

據(jù)悉，Gemini有Ultra、Pro、Nano三個版本，可自動生成文本、代碼、總結(jié)內(nèi)容等，并能理解圖片、音頻和視頻內(nèi)容。在MMLU、DROP 、HellaSwag、GSM8K等主流評測中，Gemini Ultra的能力全面超越了OpenAI的GPT-4和GPT-4 V。

值得一提的是Gemini Ultra在MMLU中的得分為90%，這也是第一個在MMLU上超越人類專家的大模型。

目前，谷歌已經(jīng)公布了Gemini的論文，從12月13日起提供Gemini Pro的API。Ultra版本還在安全、功能優(yōu)化中，很快會開放使用。

用戶可以在谷歌的類ChatGPT產(chǎn)品Bard中體驗Gemini Pro版本模型，支持中文。

Bard地址：https://bard.google.com/chat

論文地址：https://goo.gle/GeminiPaper

Gemini Pro的API地址：https://cloud.google.com/vertex-ai

Gemini簡單介紹

Gemini一共有三個版本，Ultra是功能最強版，可用于超復雜的推理、理解，但AI算力消耗也非常大；

Pro的參數(shù)只有Ultra的一半，性能卻很好適用于大規(guī)模應用部署；Nano是輕量級模型，適用于移動設備和個人、小規(guī)模部署。

技術架構方面，Gemini模型的基礎架構建立在Transformer編碼器結(jié)構之上，采用了多層自注意力和前饋神經(jīng)網(wǎng)絡來建模序列依賴性。不同的是Gemini采用了多查詢注意力機制，這也是處理復雜長文本的關鍵所以。

傳統(tǒng)的Transformer結(jié)構采用單查詢注意力機制,即查詢-鍵值對的拼接對于每個位置都是獨一無二的。但是對于很長的序列,這將帶來很大計算成本。

Gemini采用了多查詢注意力機制,其基本思路是對序列的每個位置,不再使用唯一的查詢向量,而是使用一組查詢向量。

具體來說,模型首先將輸入序列的每個位置編碼成多組查詢向量。然后,將這些查詢向量并行地與鍵值對進行批量注意力運算,得到多個注意力結(jié)果。

此外，Gemini模型還使用了類似WordPiece的SentencePiece算法對輸入序列進行字粒級別分詞，可以支持多種語言同時節(jié)約算力資源。

在訓練數(shù)據(jù)方面,Gemini使用來自網(wǎng)絡文本、圖書和代碼的大量數(shù)據(jù)進行預訓練。在數(shù)據(jù)采樣前開發(fā)人員進行了嚴格的數(shù)據(jù)篩選,除去了暴力、虛假、歧視等有害內(nèi)容。

Gemini的各種能力

理解文本、圖片、音頻

Gemini模型經(jīng)過海量數(shù)據(jù)訓練，可以很好識別和理解文本、圖像、音頻等內(nèi)容，并可以回答復雜主題相關的問題。所以，非常擅長解釋數(shù)學和物理等復雜學科的推理任務。

生成代碼

Gemini可以生成和理解Python、Java、C++和Go等主流代碼。Gemini Ultra在多個編碼基準測試中表現(xiàn)出色，包括HumanEval，這是評估編碼任務性能的重要行業(yè)標準。

谷歌還基于Gemini模型開發(fā)了專業(yè)的代碼模型AlphaCode 2。與前一代相比，AlphaCode 2的性能提升了至少50%以上。

復雜推理

Gemini的多模態(tài)功能，使其能在視覺理解、文本生成等方面有非常強的功能。例如，從數(shù)十萬字的小說中整理出重要觀點；

從200頁的金融報告中找出最有價值的內(nèi)容。這對于金融、科技、醫(yī)療的科研和業(yè)務人員來說幫助巨大。

支持Bard

目前，谷歌的Bard已經(jīng)集成了Gemini Pro模型，「AIGC開放社區(qū)」體驗了一下，其圖片理解和文本生成能力比之前強很多，尤其是代碼生成和審查能力很出色。

Gemini全面超越GPT-4

谷歌在MMLU、DROP 、HellaSwag、GSM8K等主流評測中，將Gemini與OpenAI的GPT-4和GPT-4 V進行深度評測。

測試數(shù)據(jù)顯示，Gemini Ultra的性能超過了大型語言模型研究和開發(fā)中廣泛使用的32個學術基準中的30個，也是第一個在MMLU上超過人類專家的大模型。

此外，Gemini Nano型模型在移動設備上展現(xiàn)卓越的自然語言處理能力。尤其是在針對性任務微調(diào)后,在閱讀理解和摘要生成等任務上勝過其他同規(guī)模模型。

谷歌首席執(zhí)行官Sundar Pichai表示，Gemini是我們迄今為止最強大和最通用的模型，在許多領先的基準測試中表現(xiàn)非常出色。

第一個版本的Gemini針對不同尺寸進行了優(yōu)化，這適用于不同的人群和行業(yè)。Ultra、Pro和Nano是Gemini的第一批模型，也是我們成立Google DeepMind的愿景的第一次實現(xiàn)。非常興奮，未來我們會持續(xù)發(fā)布更多強大的模型。

本文素材來源谷歌官網(wǎng)、Gemini論文，如有侵權請聯(lián)系刪除