Picsart人工智能研究所、德克薩斯大學(xué)和SHI實驗室的研究人員聯(lián)合推出了StreamingT2V視頻模型。通過文本就能直接生成2分鐘、1分鐘等不同時間，動作一致、連貫、沒有卡頓的高質(zhì)量視頻。

雖然StreamingT2V在視頻質(zhì)量、多元化等還無法與Sora媲美，但在高速運動方面非常優(yōu)秀，這為開發(fā)長視頻模型提供了技術(shù)思路。

研究人員表示，理論上，StreamingT2V可以無限擴(kuò)展視頻的長度，并正在準(zhǔn)備開源該視頻模型。

論文地址：https://arxiv.org/abs/2403.14773

github地址：https://github.com/Picsart-AI-Research/StreamingT2V（即將開源）

StreamingT2V生成的2分鐘視頻

傳統(tǒng)視頻模型一直受訓(xùn)練數(shù)據(jù)、算法等困擾，最多只能生成10秒視頻。Sora的出現(xiàn)將文生視頻領(lǐng)域帶向了一個全新的高度，突破了諸多技術(shù)瓶頸，僅通過文本就能生成最多1分鐘的視頻。

而StreamingT2V采用了創(chuàng)新的自回歸技術(shù)框架，通過條件注意力、外觀保持和隨機(jī)混合三大模塊，極大的延長了視頻的時間，同時保證動作的連貫性。

簡單來說，StreamingT2V使用了一種“擊鼓傳花”的方法，每一個模塊通過提取前一個視頻塊中的表示特征，來保證動作一致性、文本語義還原、視頻完整性等。
 

生成的1分鐘視頻

條件注意力模塊

條件注意力模塊是一種“短期記憶”,通過注意力機(jī)制從前一個視頻塊中提取特征,并將其注入到當(dāng)前視頻塊的生成中,實現(xiàn)了流暢自然的塊間過渡,同時保留了高速運動特征。

先使用圖像編碼器對前一個視頻塊的最后幾幀(例如20幀)進(jìn)行逐幀編碼,得到相應(yīng)的特征表示，并將這些特征送入一個淺層編碼器網(wǎng)絡(luò)(初始化自主模型的編碼器權(quán)重)進(jìn)行進(jìn)一步編碼。

然后將提取到的特征表示注入到StreamingT2V的UNet的每個長程跳躍連接處，從而借助前一視頻塊的內(nèi)容信息來生成新的視頻幀,但不會受到先前結(jié)構(gòu)、形狀的影響。

外觀保持模塊

為了保證生成視頻全局場景、外觀的一致性，StreamingT2V使用了外觀保持這種“長期記憶”方法。

外觀保持從初始圖像（錨定幀）中提取高級場景和對象特征，并將這些特征用于所有視頻塊的生成流程。這樣做可以幫助在自回歸過程中，保持對象和場景特征的連續(xù)性。

此外，現(xiàn)有方法通常只針對前一個視頻塊的最后一幀進(jìn)行條件生成，忽視了自回歸過程中的長期依賴性。通過使用外觀保持，可以使用初始圖像中的全局信息，從而更好地捕捉到自回歸過程中的長期依賴性。

隨機(jī)混合模塊

前兩個模塊保證了StreamingT2V生成的視頻大框架，但是在分辨率、質(zhì)量方面還有欠缺，而隨機(jī)混合模塊主要用來增強視頻的分辨率。

如果直接增強質(zhì)量會耗費大量AI算力、時間，所以，隨機(jī)混合采用了自回歸增強的方法。

首先，研究人員將低分辨率視頻劃分為多個長度為24幀的視頻塊,這些塊之間是有重疊的。然后,利用一個高分辨率的視頻模型,對每一個視頻塊進(jìn)行增強,得到對應(yīng)的高分辨率視頻塊。

例如，有兩個重疊的視頻塊A和B,重疊部分包含20幀。對于重疊部分的每一幀,隨機(jī)混合模塊會從A塊和B塊中各取出一幀,然后對這兩幀進(jìn)行加權(quán)平均,生成一個新的混合幀。通過這種方式,重疊部分的每一幀都是A塊和B塊對應(yīng)幀的隨機(jī)混合。

而對于不重疊的部分,隨機(jī)混合模塊則直接保留原始視頻塊中的幀。經(jīng)過隨機(jī)混合后的視頻塊就可以輸入到高分辨率模型中進(jìn)行增強。

研究人員指出，如果讓相鄰的兩個視頻塊直接共享完全相同的重疊幀,會導(dǎo)致視頻在過渡處出現(xiàn)不自然的凍結(jié)和重復(fù)效果。而隨機(jī)混合模塊通過生成新的混合幀,很好地規(guī)避了這個難題,使得塊與塊之間的過渡更加平滑自然。

實驗數(shù)據(jù)顯示, StreamingT2V生成的1分鐘、2分鐘長視頻，不僅保持了高分辨率和清晰畫質(zhì),整體的時間連貫性也得到了很大提升。視頻中的物體運動姿態(tài)豐富，場景和物體隨時間的演變更加自然流暢,沒有突兀的斷層或凍結(jié)情況出現(xiàn)。

本文素材來源StreamingT2V論文，如有侵權(quán)請聯(lián)系刪除

END

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 文本直接生成2分鐘視頻，即將開源模型StreamingT2V