安徽工程大學(xué)、南洋理工大學(xué)和理海大學(xué)的研究人員開(kāi)源了多模態(tài)大模型——TinyGPT-V。

TinyGPT-V以微軟開(kāi)源的Phi-2作為基礎(chǔ)大語(yǔ)言模型，同時(shí)使用了視覺(jué)模型EVA實(shí)現(xiàn)多模態(tài)能力。盡管TinyGPT-V只有28億參數(shù)，但其性能可以媲美上百億參數(shù)的模型。

此外，TinyGPT-V訓(xùn)練只需要24G GPU就能完成，不需要A100、H100那些高端顯卡來(lái)訓(xùn)練。

所以，非常適用于中小型企業(yè)和個(gè)人開(kāi)發(fā)者，同時(shí)可以部署在手機(jī)、筆記本等移動(dòng)設(shè)備上。

開(kāi)源地址：https://github.com/DLYuanGod/TinyGPT-V

論文地址：https://arxiv.org/abs/2312.16862

TinyGPT-V主要架構(gòu)

TinyGPT-V主要由大語(yǔ)言模型Phi-2、視覺(jué)編碼器和線性投影層三大塊組成。

開(kāi)發(fā)人員選擇了微軟最新開(kāi)源的Phi-2，作為T(mén)inyGPT-V的基礎(chǔ)大語(yǔ)言模型。Phi-2只有27億參數(shù),但理解和推理能力非常強(qiáng),在多項(xiàng)復(fù)雜基準(zhǔn)測(cè)試中體現(xiàn)出與大130億參數(shù)模型接近或者超過(guò)的效果。

視覺(jué)編碼器采用了與MiniGPT-v2相同的架構(gòu),基于ViT的EVA模型。這是一個(gè)預(yù)訓(xùn)練好的視覺(jué)基礎(chǔ)模型,在整個(gè)TinyGPT-V的訓(xùn)練過(guò)程中保持凍結(jié)狀態(tài)。

線性投影層的作用則是，將視覺(jué)編碼器提取的圖像特征嵌入到大語(yǔ)言模型中,使大語(yǔ)言模型能夠理解圖像信息。

TinyGPT-V中的第一層線性投影層采用了來(lái)自BLIP-2的Q-Former結(jié)構(gòu),這樣可以最大程度復(fù)用BLIP-2的預(yù)訓(xùn)練成果。

第二層線性投影層用新的高斯分布初始化,目的是彌補(bǔ)前一層輸出和語(yǔ)言模型嵌入層之間的維度差距。

TinyGPT-V訓(xùn)練流程

TinyGPT-V的訓(xùn)練經(jīng)過(guò)了四個(gè)階段,每個(gè)階段所使用的數(shù)據(jù)集及實(shí)驗(yàn)流程各不相同。

第一階段是熱身訓(xùn)練,目的是使Phi-2模型適應(yīng)圖像模式的輸入。這個(gè)階段使用的訓(xùn)練數(shù)據(jù)包含Conceptual Caption、SBU和LAION三個(gè)數(shù)據(jù)集,總計(jì)約500萬(wàn)幅圖像和對(duì)應(yīng)的描述文本。

第二階段進(jìn)行預(yù)訓(xùn)練,目的是進(jìn)一步減少圖像文本對(duì)上的損失。這個(gè)階段同樣使用第一階段的Conceptual Caption、SBU和LAION數(shù)據(jù)集。實(shí)驗(yàn)設(shè)置了4個(gè)階段,每個(gè)階段有5000個(gè)迭代。

第三階段進(jìn)行指令調(diào)優(yōu),使用MiniGPT-4和LLaVA的一些帶指令的圖像文本對(duì)進(jìn)行模型訓(xùn)練,如“描述這張圖片的內(nèi)容”。

第四階段進(jìn)行多任務(wù)調(diào)優(yōu)。這一階段使用了更為復(fù)雜和豐富的多模態(tài)數(shù)據(jù)集,如LLaVA中復(fù)雜語(yǔ)義對(duì)齊的句子、Flickr30K中的物體解析數(shù)據(jù)集、多任務(wù)混合語(yǔ)料、純文本語(yǔ)料等。

同時(shí)采用了與第二階段類(lèi)似的學(xué)習(xí)率策略,最終使得損失從2.720下降到了1.399。

為了測(cè)試TinyGPT-V的性能,研究人員從多個(gè)角度評(píng)估了在視覺(jué)問(wèn)答、視空間推理、圖片字幕生成等多個(gè)視覺(jué)語(yǔ)言任務(wù)上的表現(xiàn)。

結(jié)果顯示，TinyGPT-V的參數(shù)很小，性能卻非常強(qiáng)悍，例如，在VSR空間推理任務(wù)上,以53.2%的準(zhǔn)確率，超過(guò)所有參與測(cè)試的模型。

本文素材來(lái)源TinyGPT-V論文，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > 參數(shù)小，性能強(qiáng)！開(kāi)源多模態(tài)模型—TinyGPT-V