4月10日凌晨，谷歌在官網(wǎng)正式發(fā)布了Gemini 1.5 Pro，現(xiàn)在可在180多個(gè)國(guó)家/地區(qū)使用。

除了能生成創(chuàng)意文本、代碼之外，Gemini 1.5 Pro最大的特色是能根據(jù)用戶(hù)輸入的文本提示，理解、總結(jié)上傳的視頻、音頻內(nèi)容進(jìn)行深度總結(jié)，并且支持100萬(wàn)tokens上下文。

目前，可以在Google AI Studio開(kāi)發(fā)平臺(tái)中免費(fèi)試用Gemini 1.5 Pro，支持中文進(jìn)行提示。

此外，谷歌還對(duì)Gemini API進(jìn)行了性能優(yōu)化，包括系統(tǒng)指令、JSON模式以及函數(shù)調(diào)用優(yōu)化，可顯著提升模型的穩(wěn)定性和輸出能力。

視頻理解展示

「AIGC開(kāi)放社區(qū)」通過(guò)Google AI Studio開(kāi)發(fā)平臺(tái)第一時(shí)間體驗(yàn)了一下最新的Gemini 1.5 Pro的多模態(tài)理解能力。使用方法非常簡(jiǎn)單便捷，以下是教程示例。

1）登錄https://aistudio.google.com/app/prompts/new_chat然后選擇模型Gemini 1.5 Pro，以及上方的Video功能。

2）點(diǎn)擊Video后，選擇Upload上傳視頻。

3）由于模型對(duì)上傳視頻的解析速度過(guò)慢，所以，這里直接使用了谷歌內(nèi)置的視頻示例。需要注意的是，上傳視頻不要超過(guò)100萬(wàn)tokens。

4）我們使用內(nèi)置視頻示例，然后用中文提問(wèn)：“介紹一下這部影片講述了哪些內(nèi)容。”

5）Gemini 1.5 Pro正在解析，通常只需要幾十秒就能完成。

結(jié)果已經(jīng)出來(lái)了，這是一部由BusterKeaton 于 1924 年主演并導(dǎo)演的電影《福爾摩斯二世》。

6）我們繼續(xù)發(fā)問(wèn)，“你能用這個(gè)視頻寫(xiě)一段600字的影評(píng)嗎？”大概幾十秒后，Gemini 1.5 Pro便生成了影評(píng)。

雖然生成的內(nèi)容無(wú)法與頂級(jí)影評(píng)人的作品媲美。但整體的文章架構(gòu)、敘述方法以及詞匯的準(zhǔn)確度是超過(guò)很多小白、中級(jí)影評(píng)人的水平。只需要在這個(gè)基礎(chǔ)之上進(jìn)行稍加修改，就是一篇不錯(cuò)的內(nèi)容。

值得一提的是，用戶(hù)可以一次性上傳多個(gè)視頻一起解讀，這對(duì)于視頻媒體行業(yè)來(lái)說(shuō)很有幫助，可以快速理解長(zhǎng)視頻內(nèi)容節(jié)省時(shí)間。

音頻理解展示

我們?cè)僭囋囈纛l，基本操作與視頻差不多。這里我們上傳一份英文閱讀ESL Podcast的課程。

然后上傳MP3格式文件

2）音頻比視頻解析快了很多很多，這里我們上傳的音頻有大約12萬(wàn)tokens。

3）開(kāi)始發(fā)問(wèn)，“總結(jié)一下這個(gè)音頻的內(nèi)容。”

4）Gemini 1.5 Pro已經(jīng)精準(zhǔn)解讀出來(lái)了，這個(gè)音頻是 ESL Podcast 系列課程“Jeff 的一天”的第一課，旨在幫助學(xué)習(xí)者掌握日常英語(yǔ)詞匯。

比較意外的是，Gemini 1.5 Pro還把整個(gè)可成的結(jié)構(gòu)、故事內(nèi)容和學(xué)習(xí)目標(biāo)全部都解讀了出來(lái)，看來(lái)Gemini 1.5 Pro還是更懂英文數(shù)據(jù)內(nèi)容。

Gemini 1.5 Pro的音頻理解，同樣支持多個(gè)文件一起解讀。

Gemini API改進(jìn)

為了幫助開(kāi)發(fā)人員更好地控制Gemini模型，谷歌對(duì)API進(jìn)行了三個(gè)優(yōu)化。

系統(tǒng)指令：目前可以在Google AI Studio 和 Gemini API 中使用系統(tǒng)指令功能，可指導(dǎo)模型的響應(yīng)輸出。能讓用戶(hù)根據(jù)其特定需求和用例控制模型的行為。

在設(shè)置系統(tǒng)指令時(shí)，用戶(hù)需要為模型提供額外的上下文來(lái)了解任務(wù)、提供自定義程度更高的響應(yīng)，并在用戶(hù)與模型的整個(gè)互動(dòng)過(guò)程中遵循特定準(zhǔn)則。

而開(kāi)發(fā)者通過(guò)系統(tǒng)指令能定義角色、格式、目標(biāo)和規(guī)則，以引導(dǎo)模型在特定用例中的各種行為。

JSON模式：現(xiàn)在Gemini API 提供了一個(gè)配置參數(shù)，用于請(qǐng)求 JSON 格式的響應(yīng)?？梢詭椭_(kāi)發(fā)者從文本或圖像中提取結(jié)構(gòu)化數(shù)據(jù)。

函數(shù)調(diào)用優(yōu)化：開(kāi)發(fā)者可以使用自定義函數(shù)并將其提供給AI模型，但模型不會(huì)直接調(diào)用這些函數(shù)，而是生成指定函數(shù)名稱(chēng)和建議的參數(shù)的結(jié)構(gòu)化數(shù)據(jù)輸出。

該輸出支持調(diào)用外部 API，然后生成的 API 輸出可以重新合并到模型中，從而幫助開(kāi)發(fā)者實(shí)現(xiàn)更全面的查詢(xún)響應(yīng)。

目前，Gemini 1.5 Pro已經(jīng)全面開(kāi)放使用了，有興趣的小伙伴趕緊去試試吧。

本文素材來(lái)源谷歌官網(wǎng)，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > 谷歌重磅發(fā)布Gemini 1.5 Pro：能自動(dòng)寫(xiě)影評(píng)，理解視頻！