爆乳肉体大杂交SOE646磁力,动漫精品亚洲一区二区三区

2月22日，谷歌在官網(wǎng)宣布，開(kāi)源大語(yǔ)言模型Gemma。
Gemma與谷歌最新發(fā)布的Gemini 使用了同一架構(gòu)，有20億、70億兩種參數(shù)，每種參數(shù)都有預(yù)訓(xùn)練和指令調(diào)優(yōu)兩個(gè)版本。
根據(jù)谷歌公布的測(cè)試顯示，在MMLU、BBH、GSM8K等主流測(cè)試平臺(tái)中，其70億模型在數(shù)學(xué)、推理、代碼的能力超過(guò)Llama-2的70億和130億，成為最強(qiáng)小參數(shù)的類(lèi)ChatGPT模型。
目前，Gemma可以商用，并且普通筆記本、臺(tái)式機(jī)就能跑，無(wú)需耗費(fèi)巨大的AI算力矩陣。
Kaggle地址：https://www.kaggle.com/models/google/gemma/code/
huggingface地址：https://huggingface.co/models?search=google/gemma
技術(shù)報(bào)告：https://goo.gle/GemmaReport

谷歌作為貢獻(xiàn)出Transformers、TensorFlow、BERT、T5、JAX、AlphaFold等一系列改變世界AI發(fā)展的宗師級(jí)大師，在生成式AI領(lǐng)域卻一直落后于OpenAI。
不僅如此，開(kāi)源領(lǐng)域還打不過(guò)類(lèi)ChatGPT開(kāi)源鼻祖Meta的Llama系列。痛定思痛之后，谷歌決定重新加入開(kāi)源陣營(yíng)，以搶奪開(kāi)發(fā)者和用戶(hù)。
Gemma簡(jiǎn)單介紹
谷歌表示，Gemma之所以性能如此強(qiáng)悍，主要是使用了與Gemini相同的技術(shù)架構(gòu)。
更詳細(xì)的開(kāi)發(fā)者指南：https://ai.google.dev/gemma/docs?utm_source=agd&utm_medium=referral&utm_campaign=quickstart-docu
Gemini的基礎(chǔ)架構(gòu)建立在Transformer編碼器結(jié)構(gòu)之上，通過(guò)多層自注意力和前饋神經(jīng)網(wǎng)絡(luò)來(lái)建模序列依賴(lài)性。不同的是Gemini采用了多查詢(xún)注意力機(jī)制，可處理超復(fù)雜長(zhǎng)文本。

具體來(lái)說(shuō),模型首先將輸入序列的每個(gè)位置編碼成多組查詢(xún)向量。然后,將這些查詢(xún)向量并行地與鍵值對(duì)進(jìn)行批量注意力運(yùn)算,得到多個(gè)注意力結(jié)果。
除了開(kāi)源模型權(quán)重，谷歌還推出Responsible Generative AI Toolkit等一系列工具，為使用Gemma提供更安全的AI應(yīng)用程序提供指導(dǎo)。
目前，Gemma開(kāi)放了兩個(gè)版本：預(yù)訓(xùn)練，該版本未針對(duì) Gemma 核心數(shù)據(jù)訓(xùn)練集以外的任何特定任務(wù)或指令進(jìn)行訓(xùn)練；指令微調(diào)，通過(guò)人類(lèi)語(yǔ)言互動(dòng)進(jìn)行訓(xùn)練，可以響應(yīng)對(duì)話(huà)輸入，類(lèi)似ChatGPT聊天機(jī)器人。
跨框架、工具和硬件，對(duì)Gemma進(jìn)行優(yōu)化
開(kāi)發(fā)者可以根據(jù)自己的數(shù)據(jù)微調(diào) Gemma 模型，以適應(yīng)特定的應(yīng)用程序需求，例如，生成摘要/文本或檢索增強(qiáng)生成 (RAG)等。Gemma 支持以下多種工具和系統(tǒng)：
多框架工具：可跨多框架 Keras 3.0、本機(jī) PyTorch、JAX 和 Hugging Face Transformers 進(jìn)行推理和微調(diào)。
跨設(shè)備兼容性：Gemma可以跨多種設(shè)備類(lèi)型運(yùn)行，包括筆記本電腦、臺(tái)式機(jī)、物聯(lián)網(wǎng)、移動(dòng)設(shè)備和云，從而實(shí)現(xiàn)廣泛的 AI 功能。

高級(jí)硬件平臺(tái)：谷歌與NVIDIA合作，針對(duì) NVIDIA GPU 優(yōu)化 Gemma模型，從數(shù)據(jù)中心到云端再到本地RTX AI PC，提供行業(yè)領(lǐng)先的性能并與尖端AI技術(shù)集成。
針對(duì) Google Cloud 進(jìn)行了優(yōu)化：Vertex AI 提供廣泛的 MLOps 工具集，具有一系列調(diào)整選項(xiàng)，并可使用內(nèi)置推理優(yōu)化功能進(jìn)行一鍵式部署。
高級(jí)定制功能可通過(guò)完全管理的頂點(diǎn)人工智能工具或自我管理的GKE 實(shí)現(xiàn)，包括部署到 GPU、TPU 和 CPU 平臺(tái)上具有成本效益的基礎(chǔ)設(shè)施。
Gemma性能測(cè)試
谷歌在MMLU、BBH、GSM8K等主流測(cè)試平臺(tái)中，用Gemma 70億模型與Llama-2、Mistral在數(shù)學(xué)、推理、代碼等方面進(jìn)行了深度測(cè)試。
Gemma的標(biāo)準(zhǔn)學(xué)術(shù)基準(zhǔn)測(cè)試平均分?jǐn)?shù)都高于同規(guī)模的Llama 2和Mistral模型。甚至在一些關(guān)鍵能力方面，高于Llama-2 130億參數(shù)模型。