多模態(tài)生成一直是OpenAI、微軟、百度等科技巨頭的重要研究領(lǐng)域，但如何實現(xiàn)連貫的文本和相關(guān)圖像是一個棘手的難題。

為了突破技術(shù)瓶頸，加州大學(xué)圣克魯斯分校研發(fā)了MiniGPT-5模型，并提出了全新技術(shù)概念“Generative Vokens "，成為文本特征空間和圖像特征空間之間的“橋梁”,實現(xiàn)了普通訓(xùn)練數(shù)據(jù)的有效對齊,同時生成高質(zhì)量的文本和圖像。

為了評估MiniGPT-5的效果,研究人員在多個數(shù)據(jù)集上進行了測試,包括CC3M、VIST和MMDialog。結(jié)果顯示,MiniGPT-5在多個指標(biāo)上都優(yōu)于多個對比基線,能夠生成連貫、高質(zhì)量的文本和圖像。

例如，在VIST數(shù)據(jù)集上,MiniGPT-5生成的圖像CLIP分數(shù)高于fine-tunedStable Diffusion 2; 在人類評估中,MiniGPT-5生成的語言連貫性更好(57.18%),圖像質(zhì)量更高(52.06%),多模態(tài)連貫性更強(57.62%)。

在MMDialog數(shù)據(jù)集上,MiniGPT-5的MM相關(guān)性指標(biāo)達到0.67,超過基準(zhǔn)模型Divter的0.62。這充分證明MiniGPT-5在不同數(shù)據(jù)模式下的強大適應(yīng)能力。

開源地址：https://github.com/eric-ai-lab/MiniGPT-5

論文地址：https://arxiv.org/abs/2310.02239

MiniGPT-5模型主要有3大創(chuàng)新點：1）利用多模態(tài)編碼器提取文本和圖像特征,代表了一種全新的文本與圖像對齊技術(shù),效果優(yōu)于直接利用大語言模型生成視覺token的方法。

2）提出了無需完整圖像描述的雙階段訓(xùn)練策略：第一階段，專注文本與圖像的簡單對齊;第二階段，進行多模態(tài)細粒度特征學(xué)習(xí)。

3）在訓(xùn)練中引入了“無分類器指導(dǎo)”技術(shù),可有效提升多模態(tài)生成的內(nèi)容質(zhì)量。主要模塊架構(gòu)如下。

Generative Vokens

MiniGPT-5的核心創(chuàng)新就是提出了“Generative Vokens”技術(shù)概念，實現(xiàn)了大語言模型與圖像生成模型的無縫對接。

具體來說,研究人員向模型的詞表中加入了8個特殊的Voken詞元[IMG1]-[IMG8]。這些Voken在模型訓(xùn)練時作為圖像的占位符使用。

在輸入端,圖像特征會與Voken的詞向量拼接,組成序列輸入。在輸出端,模型會預(yù)測這些Voken的位置,對應(yīng)的隱狀態(tài)h_voken用于表示圖像內(nèi)容。

然后,h_voken通過一個特征映射模塊,轉(zhuǎn)換為與Stable Diffusion文本編碼器輸出對齊的圖像條件特征ˆh_voken。

在Stable Diffusion中,ˆh_voken作為指導(dǎo)圖像生成的條件輸入。整個pipeline實現(xiàn)了從圖像到語言模型再到圖像生成的對接。

這種通過Voken實現(xiàn)對齊的方式,比逆向計算要直接,也比利用圖像描述更為通用。簡單來說，Generative Vokens就像是一座“橋梁”,使不同模型域之間信息傳遞更順暢。

雙階段訓(xùn)練策略

考慮到文本和圖像特征空間存在一定的域差異,MiniGPT-5采用了兩階段的訓(xùn)練策略。

第一階段是單模態(tài)對齊階段：只使用單個圖像-文本對的數(shù)據(jù),如CC3M。模型學(xué)習(xí)從圖像標(biāo)題生成對應(yīng)的Voken。同時,加入輔助的圖像標(biāo)題損失,幫助Voken與圖像內(nèi)容對齊。

第二階段是多模態(tài)學(xué)習(xí)階段：使用包含連續(xù)多模態(tài)樣本的數(shù)據(jù),如VIST,進行微調(diào)。設(shè)置不同的訓(xùn)練任務(wù),包括生成文本、生成圖像和同時生成兩者。增強了模型處理多模態(tài)信息的能力。

這種分階段策略,可以緩解直接在有限數(shù)據(jù)上訓(xùn)練帶來的問題。先進行粗粒度對齊,再微調(diào)細粒度特征，并提升了模型的表達能力和魯棒性。

無分類器指導(dǎo)

為進一步提升生成文本和圖像的連貫性,MiniGPT-5還采用了“無分類器指導(dǎo)”的技術(shù)。

其核心思想是,在圖像擴散過程中,以一定概率用零特征替換條件Voken,實現(xiàn)無條件生成。

在推理時,將有條件和無條件的結(jié)果作為正負樣本,模型可以更好地利用兩者的對比關(guān)系,產(chǎn)生連貫的多模態(tài)輸出。這種方法簡單高效,不需要引入額外的分類器,通過數(shù)據(jù)對比自然指導(dǎo)模型學(xué)習(xí)。

文本到圖像生成模型

MiniGPT-5使用了Stable Diffusion 2.1和多模態(tài)模型MiniGPT-4作為文本到圖像生成模型?？梢愿鶕?jù)文本描述生成高質(zhì)量、高分辨率的圖片。

Stable Diffusion使用Diffusion模型和U-Net作為主要組件。Diffusion模型可以將圖片表示成噪聲數(shù)據(jù),然后逐步進行去噪和重構(gòu)。

U-Net則利用文本特征作為條件,指導(dǎo)去噪過程生成對應(yīng)的圖片。相比GAN,Diffusion模型更穩(wěn)定,生成效果也更清晰逼真。

為了準(zhǔn)確地將生成標(biāo)記與生成模型對齊，研究人員制定了一個用于維度匹配的緊湊映射模塊，并結(jié)合了一些監(jiān)督損失，包括文本空間損失和潛在擴散模型損失。

文本空間損失幫助模型學(xué)習(xí)標(biāo)記的正確位置，而潛在擴散損失直接將標(biāo)記與適當(dāng)?shù)囊曈X特征對齊。由于生成Vokens的特征直接由圖像引導(dǎo)，因此，不需要圖像的全面描述就能實現(xiàn)無描述學(xué)習(xí)。

研究人員表示,MiniGPT-5的最大貢獻在于實現(xiàn)了文本生成和圖像生成的有效集成。只需要普通的文本、圖像進行預(yù)訓(xùn)練,就可以進行連貫的多模態(tài)生成,而無需復(fù)雜的圖像描述。這為多模態(tài)任務(wù)提供了統(tǒng)一的高效解決方案。

本文素材來源加州大學(xué)圣克魯斯分校論文，如有侵權(quán)請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 突破性技術(shù)！開源多模態(tài)模型—MiniGPT-5